［翻訳］統計に精通しているかのセルフテスト
要点抜粋
- あなたがファクト（関心がある情報全て）を持っているのなら、統計を行う必要はない
- 統計は、あなたが関心があることに、あなたが持っている情報からジャンプする。そこには不確実性が付きまとう
- AIシステムのテストは根源的に統計。なぜならまだ知り得ないシステムがどのように機能するかに関心があるから
- 母集団の定義は意思決定者が行う。慎重に行われるならば、母集団は偏っていても全く構わない
原文
Cassie Kozyrkov氏記事（2018/9/22）より
Find out whether you fell for a lie from your college stats course
シーン設定
もしあなたが関心のあるすべてのデータを持っているとき、統計的手法を用いる必要はありません。あなたは幸運にもピュアなファクトを扱うことができるので、数値を集計して報告するだけです。
あなたがファクトを持っているなら、統計の必要はない
あなたが飛び越えないといけない事柄は、ファクトを取得できないということです。あなたはサンプルという鍵穴を通してのみ、母集団を垣間見ることができるのです。それは貧弱で不完全な見方ですが、それによってあなたはあなたの関心のあることに対してジャンプするのです。そこには不確実性というのが付きまといます。
AIにおける母集団
母集団という概念は、統計学のコースだけのものではありません。母集団の定義は、AI/機械学習システムが実際に機能するかをテストするために非常に重要です。この場合、母集団は通常、システムを動作させる必要があると意思決定者が考えるインスタンス（例、データポイント）の観点から定義されます。テストは根源的に統計です。なぜなら、システムが将来どのように機能するかに関心があり、まだ起きていないことについては知りえないことだからです。あなたのテストデータセットは”サンプル”であり、システムが動作するべき母集団に出会ったときにクラッシュするか否かを推論したいのです。
統計に精通しているかのセルフテスト
母集団の概念が統計で果たす重要な役割について説明しましたので、ここで簡単なクイズをして統計の専門知識を確認します。
私が統計業務のリクエストを行う意思決定者であると想像してください。統計の専門家であるあなたは、私の母集団の定義を確認します。それは長くて、リクエストに関係していて、かなり徹底的です。しかし、私の母集団の定義に含まれるユーザーは、全ての曜日ではなく月曜日にアクティブなユーザーのみであるということに気が付きました。何か問題はありますか？
”問題がない”と答えたあなたは、統計にあまり詳しくなくその分オープンマインドであるか、ジェダイマスターです。いずれにせよ、それはあなたにとって良いことです。それが専門家が感じるべきことです。彼らの反応は、”もちろんOK”です。
一方で、これが何か間違った方法であると感じた場合、おそらくあなたは危険なくらい統計に触れ過ぎているでしょう。おそらくあなたはいくつか学部課程の統計コースを受講したのでしょう？母集団についての真実に関しては、学部課程の情報は信用しない方が良いでしょう。
母集団についての真実
真実は、母集団は、文字通り、意思決定者が意思決定を行う目的で自分の関心に沿って選択したものであるということです。どうすればこれを統計学初級の学生に伝えることができるでしょうか。次のようなこと教授が言ったら、学生がどれほど不愉快に感じるかを想像してみてください。「私は自分のサンプルに興味があります。それは母集団なので、計算は必要ありません。ここでの私の仕事は終わりました。」
そんなことはとても悲劇なので、代わりに私たちは「それがすべてだ！」と言います。
さて、あなたはもう大人になったので、真実を知る時です。
母集団は、意思決定者が意思決定を行う目的で自分の関心に沿って選択したものです。
このシナリオにおける意思決定者（私）はこの母集団の定義に慎重に選択したので、問題はありません。意思決定をどのようにフレーミングするか（翻訳）、私次第なのです。必ずしも、自分のプロダクトのユーザーに基づいて決定する必要すらありません。
さまざまな意思決定者がさまざまな方法で意思決定をフレーミングでき、母集団を定義するのはその一部です。
あなたが意思決定者ならば、すべての曜日を含めることを選択することはできます。
でもあなたの統計家はまだ議論したいようです。いくつかの正当な意義を一緒に提起しましょうか。次の記事（翻訳）進んでください。
［翻訳］母集団について ～あなたの間違い～
要点抜粋
- 統計的アプローチはあなたが持っている情報と、あなたが必要な情報に乖離がある場合にのみ採用される
- 統計的アプローチにおいて母集団に曖昧さがあると、必ず失敗する
- 母集団の定義は意思決定者の宿題であり、それが完了するまで計算に手を付けるべきではない
- 法律のバックグラウンドのある人は母集団の定義に強いので、助けを求めるとよい
原文
Cassie Kozyrkov氏記事（2018/9/8）より
弁護士があなたより統計に強いのはなぜか
統計において、母集団（population）とは、あなたが関心がある全ての要素の集合であり、厳密な意思決定を行うために定義されます。
”あなたは統計を試みるべきでしょうか？”
あなたが母集団が何であるかを明確に定義するまで、その答えは出ません。ファクトに基づくアプローチではなく、統計的なアプローチを採用するのは、不確実性に対処したいがためです。
統計的アプローチは、あなたが必要な情報と、あなたが今持っている情報の間に不一致がある場合にのみ、意味を成します。
言い換えれば、利用可能なデータ（サンプル）は母集団全体をカバーしていないということです。もしカバーしているなら、あなたはファクトを扱っています。ファクトは不確実性より優れています。ファクトがあるならば、統計的な専門性は不要であり、単にそのファクトを伝えればよいのです。ややこしいp値や信頼区間は必要ありません。
不自然な母集団
では、意思決定者が勘違いし続けている古典的なケースをお見せしましょう。
あなたは私と私の友人のために、契約書をレビューしてくれている弁護士だと想像してください。私たちはプロダクトのユーザーにチョコレートの50ドルのバウチャーチケットを配りたいと伝えました。あなたが契約書の中身を見て、バウチャーの対象者がどのような人かが説明されている箇所を読むと、”全てのユーザー”とありました。
ここで何がおかしいでしょうか？
”全てのユーザー”は何を意味するか
”全てのユーザー”が何を意味するかを本当に考える前にこの契約書を公開してしまうと、大変なことになるでしょう。
申込せずに友人のアカウントで製品を使用している人は？彼らは対象になりますか？製品を1秒使用して辞めた人はどうですか？申込せずに過去に友人のアカウントで使用したと主張する人はどうでしょう？将来ユーザーになるが今チョコレートが欲しいと主張している人はどうですか？おそらく私たちはこのチョコレートバウチャーが原因で破産するでしょう。
契約書を承認した弁護士が「おっと、そんなことを考えてもいなかった！」と言ったと想像してみてください。受け入れられません。弁護士がここでしなければならないことはあらゆることを想定し、あなたが書いた事柄が正確にあなたの意味する事柄であることを確証付けることです。抜け穴はありません。誰がチョコレートを受け取れて、誰が受け取れないかを、説明から明確にする必要があります。
混乱を避けるために、内なる弁護士を持ってください。さらに良いのは、外部の弁護士です。
ジャンプでけがしないで
あなたは（１）意思決定が重要であり（そうでなければ、より早いインスピレーションのためにデータマイニングを用いる）、かつ（２）あなたが持っているデータがあなたの関心のあること全てをカバーしていない場合に統計を採用し、それによりサンプルから母集団に向かて大きなジャンプをしようとしているのです。もしジャンプする先の場所を特定することすらできないならば、ジャンプは派手に失敗するでしょう。曖昧さが多少でもあると、あなたの努力全体が無駄になる可能性があり、それは重要な意思決定においては最悪です。
母集団の定義に曖昧さを残しておくと、失敗します
このようなことは明確であるにもかかわらず、私は意思決定者が意思決定をフレーミングする時、「全てのユーザー」としてしまうことを何度も見続けてきました。これはとても杜撰なことです。実際のプロジェクトでは、母集団の説明は、非常に詳細です。意思決定者は、母集団の定義について深く考えることは自分の仕事であると必ずしも認識していないようです。
意思決定者と一緒に働く人へのアドバイス
もし意思決定者がまだ曖昧な母集団の説明をしているならば、意思決定者が宿題をするまでストップしてください。そのプロジェクトはまだ計算に向かえる状態ではありません。
もし意思決定者が深く考えることが彼らの仕事であるということを忘れている場合、思い出させてください
このことは母集団の定義の話を越えています。あなたの計算を役立てる前に、意思決定者が完了させなければならないタスクがたくさんあるのです。意思決定者があなたのデスクに落としていった中途半端な問いを厳密に追いかけて週末を過ごすのは、よくあるルーキーの誤りですが、たいへん多くの新人データサイエンティストが繰り返しそれに陥っています。
意思決定者の宿題が完了するまで、すべての統計の取組みは無意味です。
意思決定者へのアドバイス
リーガルの仲間に助けを求めて下さい。彼らはたいていあなたより母集団の定義について考えるのが得意です。ロースクールではそれを統計的思考とは呼んでいないと思いますが、統計学のPhDプログラムよりも少し詳しく教わっているでしょう。
DIYのケースは、内なる弁護士に頼ってください。自分自身に問いかけて下さい。「これで抜け漏れはありませんか？弁護士はそれに承認の印を押しますか？それとももう少し深く考えた方がいいですか？」
これであなたは母集団について詳しくなりました。あなたは統計通のセルフテストを受ける準備ができました。
［翻訳］アナリティクスの性質 Part2/2 ～優れたアナリストとは～
要点抜粋
- アナリティクスはどれだけ早くインスピレーションにたどり着けるかのゲーム。そのため優れたアナリストとは、意思決定者に最速でインスピレーションを与える人
- 具体的には、以下６つのスピードにおいて速く実施できることが求められる
①有用で関係のあるデータを取得するまでのスピード（ドメイン知識）
②データを加工処理するスピード（ソフトウェアスキル）
③データを集計するスピード（数学的スキル）
④集計データを自分で理解するまでのスピード（データ可視化スキル）
⑤データを関係者に理解させるまでのスピード（コミュニケーションスキル）
⑥意思決定者をインスパイアするまでのスピード（ビジネス感覚） - しかし、時間あたりインスピレーション数が少ないからと言って、アナリストを責めてはいけない。それはデータに大きく依存するからである
原文
Cassie Kozyrkov氏の記事（2020/8/15）より
いきなり優れたアナリティクスの性質に行く前に、パート１（翻訳版）も紹介した３つの一般的なアナリティクスの誤解についてみてみましょう。
- アナリティクスは統計ではない
- アナリティクスはデータジャーナリズム/マーケティング/ストーリーテリングではない
- アナリティクスは意思決定ではない
誤解１：アナリティクス vs 統計
使用するツールや数式は似ていますが、アナリストと統計専門家は全く異なる仕事をするようにトレーニングされています。
- アナリティクスはあなたの問いの質を高め、仮説を構築するのを助けます
- 統計はあなたの答えの質を高め、仮説を検証するのを助けます
もし詳しくこれらの専門性について知りたいなら、こちらの記事を参照ください。
”Can analysts and statisticians get along"
誤解２：アナリティクス vs ジャーナリズム/マーケティング
アナリティクスはマーケティングではない。違いはアナリティクスは意思決定者の視点を広げるのに対し、マーケティングは狭める。
同様に、データジャーナリズムは多くの人の関心を小さく捉えることであるのに対し、アナリティクスは一部の人のニーズに対し大きくサービス提供すること。アナリストは何よりもまず意思決定者にサービスを提供します。
誤解３：アナリティクス vs 意思決定
私があなたのアナリストである場合、私はあなたに代わって選択をするためにいるわけではありません（仮に私の方がドメイン知識を多く持っていたとしても）。もしそれが望まれるのなら、あなたは私を意思決定者に昇格させる必要があります。
もし誰かにアナリストと意思決定者のハイブリッドとして働かせたいのなら、２つの役割を１つにまとめて求めているということを理解し、その責任を明示的に割り当てるようにしてください。
誤解２、３についてより詳細には、パート１（翻訳版）に詳しく記述しています。
優れたアナリストとは
"Data Science’s Most Misunderstood Hero"の記事の中に、データサイエンスの３本柱それぞれの卓越性について書きました。アナリストの卓越性はスピードです。
アナリストは意思決定者と自身の時間をできるだけ無駄にしないようにしながら、事実を調査し、あなたのインスピレーションを引き出します。インスピレーションを得るまでの時間を最大限効率化するためには、さまざまなスピードをマスターする必要があります。具体的には、
- 有用で関係のあるデータを取得するまでのスピード（ドメイン知識）
- データを加工処理するスピード（ソフトウェアスキル）
- データを集計するスピード（数学的スキル）
- 集計データを自分で理解するまでのスピード（データ可視化スキル）
- データを関係者に理解させるまでのスピード（コミュニケーションスキル）
- 意思決定者をインスパイアするまでのスピード（ビジネス感覚）
最後のポイントは微妙なニュアンスがあり、かつ最も重要なポイントでもあるので、詳しく説明します。
美しく視覚化され、効果的に伝えられたトリビアは、時間の無駄です。誤解していることのエキサイティングな発見も時間の無駄です。ゴミデータに細心の注意を払うことも時間の無駄です。無関係は小話も時間の無駄です。
アナリストが持ってくる、あなた（意思決定者）が時間を使う価値がないと思うものは全て、時間の無駄です。
アナリティクスは、分あたりインスピレーション数を最大化するゲームです
アナリストはあなたの時間を無駄にするでしょう（そしてそれは探索の一部です）。ですから、アナリティクスはそれをできるだけ小さくするゲームです。言い換えれば、時間あたりインスピレーション数を最大化するゲームです。（時間は意思決定者とアナリスト双方の時間を指し、それぞれの時間の価値に応じた換算レートに従います。）
拙速な解釈に騙されないでください。光り輝くナンセンスな”洞察”に陥り続ける間抜けなアナリストは、長期的に見ると全体の進みを遅くしてしまいます。
アナリストのパフォーマンスを評価する
パフォーマンスアセスメントが好きな人は特に、アナリストは時間当たりインスピレーション数で評価できないということに注意してください。
それは、抽出できるインスピレーションの量（意思決定者によって主観的に定義される）がデータセット毎に異なるためです。しかし、既に中身をよく知っているベンチマークデータセットを用いることで、彼らのスキル（業務遂行力ではない）を評価することはできます。
アナロジーとして、２人のアナリストに外国語の教科書からインスピレーションを引き出すように依頼した場合、その良い（より早い）アナリストは、その言語のネイティブスピーカーである可能性があります。あなたがその言語で書いた文章を彼らが理解する速度を測ることで、彼らの相対的なスキルを測ることができます。
スキルは業務インパクトを保証しません。それはデータに因るからです。
あなたがスキルを評価したとしても、それは業務インパクトを与えられることを保証しないということを忘れないでください。それはデータに因ります。先ほどの例に戻ると、もしあなたが開いたことのない怪しげな教科書をアナリストに与えたならどうでしょう？怪しげな教科書はゴミ情報でいっぱいである可能性があるため、彼の時間当たりインスピレーション数に責任を負わせることができないでしょう。
教科書とデータセットは非常に良いアナロジーになっています。追加で知っておくべき事項は次の通りです。
- ある意思決定者にとってのゴミは、別の意思決定者にとって宝。教科書のように、データセットはあなたが学びたいトピックをカバーしている場合のみ役に立ちます。
- もし人間の著者がいる場合、それは主観的です。教科書のように、データセットには人間の作者がおり、その偏見が内容に影響を与えている可能性があります。
データに含まれない事柄に関して、アナリストを責めないでください
意思決定者は、アナリストを進化したばかりの新しい感覚器官、つまり、今まで見えなかったものを見ることができる新しい種類の目だと考えて下さい。
見る価値のないものにその新しい目を向けても、何も得るものは無いでしょう？
データから何も価値のあるものが得られなかったとしても、アナリストを責めないでください。彼らを持っておくことは、新しいものを見ることができるようになるための投資です。彼らをより可能性のあるデータに向けて下さい。
より深く、アナリストの卓越性について知りたいならば、こちらの記事に進んでください。
［翻訳］アナリティクスの性質 Part1/2 ～アナリストはストーリーテラーではない～
要点抜粋
- データサイエンスの3本柱の1つがアナリティクス
- アナリストには分析対象に対するドメイン知識が非常に重要
- 新しいドメインに取り組む際には、ドメインについてよく知っていて気軽に聞ける人（domain guru）をアナリストは求めた方が良い
- アナリストはデータで説得する、ストーリーテリングの手法は行うべきではない。意思決定者が意思決定や仮説構築を自ら行えるような情報を正確に伝えるべき（≠マーケティング、ジャーナリズム）
- マーケティング、ジャーナリズムが意思決定者の視点を狭めるのに対し、アナリティクスは広げる
- アナリティクスはアナリスト自身の意見に意思決定者を誘導すべきではない
- 意思決定者は決定する権利を放棄したくないからアナリティクスを雇う。アナリストはその意思を尊重するのが義務。たとえ意思決定者よりドメイン知識を多く持っていたとしても。
- どのようなツールを使おうと（データ処理だけでなく、図書館、検索エンジン含め）、意思決定者に有用なデータを提示する限りそれはアナリティクス
- アナリティクスはどれだけ早くインスピレーションにたどり着けるかのゲーム。意思決定者についてよく知り、意思決定者の時空間的制約、状況を踏まえた適切な選択肢に絞り調査し時間を節約する
- 意思決定者やその課題、プライオリティについて何も知らずに分析を行った場合、インスピレーションを引き出すのは困難。結局万能のジャーナリズムに従事しきれいな筋書きとストーリーテリングで補おうとするが、それでは問題解決に至らない
原文
Cassie Kozyrkov氏の記事より（2019/10/31）
典型的なアナリティクスの授業では何を学びますか？通常は分析ソフトウェア（R/Python/SQL/SAS/Stata/MATLAB/BigQuery/Tableau/Looker...）の基本を学び、ソフトにどのようにデータをロードするか、円グラフや棒グラフをどのように書くかなどを学ぶでしょう。
しかし、それは芸術にとっての絵筆のようなもの。これは見栄偽りの無いアナリティクスの特性を理解するための、ハロウィーン風の記事です。
ドメイン知識が重要
これまでハロウィーンを祝ったことがないのに、今夜ハロウィーンパーティーに参加するように言われたと想像してください。あなたは衣装を決める意思決定者で私はあなたのアナリストになります。私は熱心なハロウィーン好きとして、関連するドメイン知識がにじみ出ています。
ドメインの専門知識はアナリストにとって非常に重要で、専門知識が無い場合には、苦労してでも取得した方がいいでしょう。ハロウィーンを聞いたことがないアナリストは、コスチュームを選ぶのを手伝う能力が大幅に失われます。彼らはおそらく、何を見ているのかわからないので、ありとあらゆる有用なデータを見落とします。アナリストが「私が話しかけられるドメインを良く知る知人（domain guru）はどこかにいますか？」と尋ねずに新しいドメインに入っていくのはアナリストとして悪い兆候です。
アナリストはストーリーを語ることができるが、ストーリーテラーではない
一般的に信じられていることとは対照的に、アナリストの役割は”ストーリーを語る”ことでも、データで説得することでもありません。それはマーケティング（もしくはジャーナリズム）と呼ばれます。
全ての大人の人生において、利害関係者に自分たちを評価してもらい、自分たちが望んでいることを実行してもらうために、自分たちの仕事を売り込まなくてはならない時が来ます。しかしそれについてはまた別の機会に話しましょう。確かに優れたアナリストは人間の興味を良く知っており、聴衆を操作することができますが、それはキャリアの副産物です。ストーリーを語ることができるのはアナリストが持つ必要のあるスキルですが、彼らの仕事は別物です。
アナリティクスはマーケティングではありません。違いは、前者は意思決定者の視点を拡大し、後者は狭めます。
ハロウィーンの話で言えば、アナリストである私の仕事は、昨年私が着て回ったゴキブリスーツを着るようにあなたを説得することではありません。私はエイプリルフールと誕生日を合わせたよりもハロウィーンを楽しんでいるので、衣装に関しては必然的にいろんな意見を持っています。
私はオタクが大好きです。コスチュームが概念的であいまいであればあるほど、私は好きです。1年に仲間の変人が大笑いしてくれることが、私のやりがいです。
しかし、このプロジェクトはあなたの好みに関するものであり、私のものではありません。アナリストとしての私の役割は、私がすでに行った結論に向けてあなたを操作することではありません。ここでは私の意見は重要ではありません。。。あなたが私にあなたのために衣装を選ぶことを好まない限り。その場合は意思決定を私に委任して、私はアナリストから意思決定者に代わることになります。
アナリストは”目”として従事する
アナリストとして私はあなたに何も売るつもりはありません。私はあなたの目であり、1分あたりできるだけ多くのインスピレーションをあなたが得られるようにします。そもそもアナリストが必要な理由というのは、データをざっと見て回る時間が無いけれど、それでも決定権を行使する人になりたいからです。このシナリオにおいては、私はあなたより多くのドメイン知識を有しているかもしれませんが、それは必ずしも私が選んだ衣装に同意する必要があるというわけではありません。あなたは自分に代わって決めるためではなく、よく見えるようにするために私を雇ったのです。あなたは選択する権利を放棄したくないのですから、それを尊重するのが私の義務です。これがアナリティクスが意思決定やマーケティングと大きく異なる点です。
意思決定者が選択する権利を放棄したくない場合、それを尊重するのがアナリストの義務です。たとえアナリストが意思決定者よりもドメイン知識を多く持っていたとしても。
私がマーケティングやストーリーテリングのアプローチを採用した場合、私はあなたの選ぶ可能性の幅を狭めるでしょう。優れたアナリストはその逆を行い、様々な視点を素早く示します。理想的には、あなたがもし自分で時間をかけてやっていたら見ていたであろうデータに加えて、あなたが見るべきと知らなかった有用なデータまでも示すことを手伝います。
ツールは目的を達成するための手段
ハロウィーンの情報はいたるところにあるので、アナリストの仕事はそれを見つけて調査し、あなたのためにフィルタリングして、最も有望な情報をできるだけ早く吸収できるようにすることです。
R、SQL、C++、図書館職員、または検索エンジンを使用しようが、それ全てアナリティクスです。データの性質と、その”知は力なり”という格言との関係性についての私の考えは、ここにあります。
意思決定者の時間を無駄にしないようにしてください
エキスパートのアナリストはスピードを高めることに真剣に取り組んでいます。それは単純に素早く指を動かすことにとどまりません。私はあなたの時間を無駄にしないよう努力すべきです。情報をスライスして表示する方法は無数にありますが、あなたのパーティーは今夜です。数カ月前に注文する必要のある刺激的な手の込んだ衣装をあなたに見せびらかすのは、非常に愚かな行いです。
私はあなたの時間的空間的状況を理解する必要があります。それにより私はあなたが物理的に行くことができるコスチュームストアや、除外すべき配送オプションを絞り込むことができます。予算についても聞く必要があります。あなたの予算が足の爪だけならば、腕と脚に向けた服装についての情報はあなたの時間を無駄にすることになります。
もしかするとあなたが予算を考え直すかもしれない可能性に備えて、1つか2つの高価なオプションを示すかもしれません。
このゲームの名前は”Speed-to-inspiration”です
データとあなたの好みについて知れば知るほど、あなたが可能な選択肢を吸収し理解するのを助けやすくなり、その結果より早くインスピレーションを得ることができるようになります。
アナリストとして私は、あなたに私の意見に向けさせるためにいるわけではなく、あなた自身の意見を形成するためにいるのです。
あなたの状況について知ることは、あなたにとって重要なことに私の調査を絞ることに役立ちます。屋内のダンスパーティーならば、人の目をえぐる可能性のあるハリネズミのコスチュームは向いていません。北極圏を通るパレードなら、暖かくて分厚いコスチュームに制限します。仕事のパーティーなら、Sexy Bayesian Posterior（重い金属のマルコフチェーンがたくさんついている）ような服装は見せないようにします。
もしあなたがたくさんの情報を私にくれなかったら、私は自力でやります。私はあなたの所在地から最も近い３つのコスチューム店とその営業時間のリストを作ります。いくつかの商品に基づき各店舗の相対価格を作ります。私は典型的なアメリカのハロウィーンストアは靴を除いたほとんどすべてのものが手に入るという情報を伝えます。
私は友人にアンケートをしてコスチュームの色についての円グラフを作ります（これにより、あなたは全体に溶け込みたいか、目立ちたいかによってどんな色を選べばいいかわかります。ただ調査はあなたの友人には全然あてはまらないかもしれませんが。）
私はハロウィーンの費用と、自分でコスチュームを作るのにかかる時間と、コスチュームを買うのにかかる時間についての情報を探すことができました（1000人の未知のアメリカ人に対する調査に基づいています。彼らはコスチュームづくりのエキスパートであるかどうかはわかりません。あなたが良く知らない出所のデータには注意してください）。
私はカテゴリと例の組み合わせのリストを示し、あなたにインスピレーションを与えることもできるでしょう。モンスター（バンパイア）、動物（トラ）、職業（宇宙飛行士）、人（ジャンヌダルク）、マンガのキャラクター（ベンダー）、概念（シグマフィールド）、絵画（ムンクの叫び）、食べ物（ニンジン）、物体（パンチカード）など。
Googleトレンドでハロウィーンに付随する最も人気のあるキーワードを調べて、支配的なカテゴリが何かを確認できます。すでに親切な仲間がこれを行っており、いかにリストを作成しています：フォートナイト、スパイダーマン、ハーレークイーン、ワンダーウーマン、ブラックパンサー、デッドプール、ハリーポッター、キャットウーマン、ペニーワイズ、キム・カーダシアン。どうやらポップカルチャーが主流のようです。
さらに一歩進んで、あなたの地域のこのようなリストを作成し、相対的な人気をプロットすることもできます。しかし時間はかぎられており、おそらくそれはあなたが気になることではないでしょう。細かな人気情報が何等か役立つ可能性がある場合のみ、実行する価値があります。しかし、大まかに言うと、上記のリストはハロウィーン初心者がポップカルチャーの衣装を探しているという印象を与えるのに十分です。
私はこのポイントで、初心者のアナリストがパニックに陥っているのを見てきました。彼らはデータをざっと眺めていて、明らかに宝石のように見えるものを見つけていません。悲しいことに、限りなく美しくデータをプロットしても、だれも気付かないかもしれません。ゴミを磨かないでください。それは時間の無駄です。
目の前の仕事に戻り、
さらに奇妙なことに、AIで生成されたコスチュームの提案を見ることもできます。
できるだけお金をかけないことを目指すなら、一番安い規制の衣装を探すこともできます。オンライン店舗をざっと見ると、マントとマスクを10ドル未満で購入することができるらしいので、実店舗でこれらと同じアイテムを確認することをおすすめします。また古着屋でビンテージの服を探し、安いアイシャドウと口紅でゾンビのDIYもすることもできます。
私は好奇心の雑多な光に惹かれて、軌道（今年のハロウィーン）から外れ始めるかもしれません。例えば、いつ人々はハロウィーンの準備をし始めるかなど。これは今年のハロウィーンには関係ない情報かもしれませんが、とにかく私は可視化しました、、、あ！リス！
あなたがドメインの専門知識が重要であることに気づき始めているということを願っていますが、しかし私の意思決定者のビジネスのことを知らなければ、どのような情報を示すのがよいかを推測するのは困難です。私はあなたが知りたいことを推測しようとして、あらゆる方向に走り回ることに多くの時間を費やすことになります。
アナリティクスの授業を受講する場合、通常最も重要な要素である”意思決定者との関係性”が欠けています。データジャーナリズムの方が教えるのが簡単なので、それをあなたは学んだかもしれません。それもストーリーテリングに重点が置かれます。
データジャーナリズムは特定の個人が意思決定を行うのを支援することではありません。それは大衆に対して情報を提示してアピールすることです。実際にはそれはアナリストがプロジェクトにもたらすオーダーメイドのものとは正反対です。
誤解しないでください。万能のサクセスストーリーには美しいものがあります。それは口コミで広がり、多くの人に小さな明かりを示します。しかし、それが完全に衝撃的なニュースでない限り、それは意思決定者の人生を少し変えるだけでしょう。かたや熟練したアナリストが提供できるものは、リーダーとそのビジネスの飛躍を可能にするインスピレーションです。
意思決定者について、また意思決定者の課題とプライオリティについて何も知らない場合、インスピレーションを引き出すのは困難です。あなたは結局のところ、万能のジャーナリズムに従事しようとし、きれいな筋書きとストーリーテリングで補おうとします。それでは根本的な問題を解決しません。アナリティクスは反復的、つまりはアナリストと意思決定者の会話がある時、価値が付与される機会が増えます。パート２では、反復的なアナリティクスのワークフローについて説明します。
［翻訳］AIの間違いは誰のせい？
要点抜粋
- 効果的で信頼できるAI/機械学習ソリューションを構築する方法は、そのソリューション自体にあなたを納得させること
- 適切なデータでテストされていないAI/MLソリューションによる間違いは、それを使用した人のせい
- AI/MLシステムの通常システムと違いは、AIには”指示”ではなく”例”を元に人の要望を教えるという点
- 盲目的な信頼を防ぐチェックリスト
①テストをしないなら、信頼するな
②［特定の環境］においてテストをしないなら、［特定の環境］において信頼するな
③［特定のユーザ属性］においてテストしないなら、［特定のユーザ属性］において信頼するな
④［特定のデータ］においてテストしないなら、［特定のデータ］において信頼するな
⑤入力が異常な場合は、システムが適切なものを出力すると信頼するな。外れ値の検出とセーフティネットの使用を検討すること（人間がレビューするための異常フラグを立てる、など） - 安全性が確認されないツールを使用して混乱を招いたならば、それはあなたの責任です。AIは他のツールと同じ
原文
Cassie Kozyrkov氏の記事（2018/11/10）より
誤解しないでください。私は機械学習とAIが大好きです。しかし私はそれらを盲目的に信頼しておらず、あなたもそうすべきではありません。なぜなら効果的で信頼できる機械学習/AIソリューションを構築するための方法は、ソリューション自体にあなたの信頼を獲得させることだからです。
（この記事の多くのアドバイスは他のデータからのインサイトや機械学習/AIを用いないモデルにおいても当てはまります。特に一番最後のパラグラフ）
盲目的な信頼は酷いこと
この話はロボットやSFと関係はありません。機械学習やAIは人間らしいものではなく、それは単なる便利な”モノのラベラー（ラベル付けをするもの）”でしかありません。そのかわり、それが信頼できないことは完全に別のものに起因する問題です。お馴染みの例を見てみましょう。
理想的なシーンの設定
猫の写真を2グループ（猫A、猫B）に分割する例でお話しします。驚くべき魔法のような機械学習システムによって、正確に猫を2グループに分割することに成功しました！
猫検出器？それとも冷房検出器？
新しい例（新規データ）を用いたテストは役立つと言われているので、その方法で問題があるかどうかを見てみましょう、、、どうやらこのシステムは猫Bの背景だけに常に映り込んでいた冷房を検出し、冷房があれば猫B、そうでなければ猫Aとするようです。このシステムは実は、冷房検出器であり、猫検出機ではありませんでした。
もし猫Bは常に冷房の前にいて、猫Aはそうでないなら、何の問題もありません。
しかしもし他のアパートに引っ越しをして、そのままこのシステムをつかったらどうなりますか？その場合、返されるラベルは常に猫Aになり、猫A/猫B検出器に依存するミッションクリティカルなシステムはクラッシュしてしまいます。
誰のせい？
簡単な原因追及をしてみましょう。
- AIの一般的な問題として、ピクセル画像をラベルに変換するレシピ（モデル）は複雑すぎて、人間の頭では理解できない
- 私が観察でいるのは入力（ピクセル画像）と、出力（猫A/猫Bのラベル）だけ
- 私は人間なので、猫Bと冷房が常に同じ場所にあるという事実には気づかない
- 入力（ピクセル画像）が出力（猫判定ラベル）にどのように関係しているかについての私自身の説明はあまりに単純化されすぎているだけでなく、希望的観測に基づく思考（確証バイアス）によって歪められている
- 機械学習/AIが確実に機能する限り、どのように機能しているかを理解する必要はない
- それが機能するかどうかを確認する方法は、これまでに見たことのない例（新データ）でどのように機能するかを評価すること
あなたは、どのように機能するか知らなくても多くのものを信頼します。例えば、私たちが頭痛を抑えるために飲む頭痛薬など。それは機能しますが、科学的にどのように機能するかは説明しません。重要なのは、頭痛薬が機能することを確認できることです。
頭痛の治療法と同じように、複雑なAIシステムについても考えてみてください。それらが機能することを確認できれば問題ないのです。さぁどのようなことが分かったでしょうか？
- 残念ながら、動作させたい例（データ）において、希望する動作とは異なるパフォーマンスが確認された
システムが適切に適切なデータでテストされる限り問題ないのです。つまり、これは人間のせいです。
もしあなたがあるジョブに対しシステムをテストし、別のジョブにシステムを適用したならば、何が期待できますか？
学生に学んでもらいたい内容をカバーせずに授業とテストをしていたら、後で混乱が起こっても何も驚くことはないでしょう。もし私の例（学習データ）が猫A/猫Bが行ける範囲の場所におけるデータだった場合、その分類器に期待できるのはその範囲内で機能することです。もしそのアプリケーションがそれが生み出された範囲の外に適用される場合、そのアプリケーションにあまり大きな期待を寄せない方がいいでしょう。「おっと、私はそのシステムが意図された条件の外では機能しないとは知りませんでした」という言い訳は通用しません。
そのため、ゴールとユーザーを最初から思い描いておくことが非常に重要です。スペックと設定を事前に設定し、責任ある大人な人に責任者となってもらってください。
もし重要なことが懸かっているなら、無関係なデータセットをクールなバズワード（AI)に投げ入れるだけではいけません。
熟練した責任あるリーダーシップが無いにもかかわらず、そのアプリケーションに健康、安全、尊厳、将来がかかることがないことを願っています。
魔法ではない、常識的な通念です
私は「データ」の代わりに「例（examples）」という言葉を使用してきました。それらは同じものですが、これは魔法ではないということを示すためです。機械学習/AIのポイントは、指示ではなく例を使ってあなたの希望を表現することです。それが機能するために、例は関連性がある必要があります。タスクが複雑であればあるほど、たくさんの例が必要になります。あなたはおそらくその例を使って毎日コミュニケーションをとっているでしょう。ですからそれを良く知っているはずです。もしかしたらあなたは数学的理論によりAIが何か違うことをすると考えていたかもしれません。しかし、そんなことはありません。あなたの常識的な通念が最良のアルゴリズムだったのです。
もしあなたが例を用いて教えるのなら、例が良くなければなりません。
もしあなたが生徒を信頼したいなら、テストが良くなければなりません。
盲目的な信頼は酷いこと
以下のリマインダーを常に手元に置くと良いでしょう。
- テストをしないなら、信頼するな
- ［特定の環境］においてテストをしないなら、［特定の環境］において信頼するな
- ［特定のユーザ属性］においてテストしないなら、［特定のユーザ属性］において信頼するな
- ［特定のデータ］においてテストしないなら、［特定のデータ］において信頼するな
- 入力が異常な場合は、システムが適切なものを出力すると信頼するな。外れ値の検出とセーフティネットの使用を検討すること（人間がレビューするための異常フラグを立てる、など）
安全性が確認されないツールを使用して混乱を招いたならば、それはあなたの責任です。AIは他のツールと同じです。
［翻訳］説明可能AIをつくれない理由
要点抜粋
- あなたがAI/MLを雇う理由は、そのタスクが明確な指示に落とすことが難しいほど複雑だから
- AIアルゴリズムはその圧倒的な記憶容量で複雑なタスクの指示を例（＝データ）から学ぶ
- そのようなAIモデルはロケットのように複雑な機構で機能するもの
- あなたはその複雑な機構について詳細な説明書が付いたロケットに乗りたいか、それとも説明書はついていないが何度も宇宙飛行を成功させているロケットに乗りたいか
- AIの信頼性を担保するための方法は適切にデザインされたテスト
- ただし、もしインスピレーションの抽出したいアプリケーションならば、もちろんAIの解釈可能性が必要になる
- どのアルゴリズムを適用するかの問題であり、それはプロジェクトのゴールから問題がフレーミングできていればおのずと決まるもの
- 説明性の話を持ち出すのは、多くは研究者など、具体的なビジネス（プロジェクトの目標）が明確になってない汎用ツールを作ることであり、彼らの潜在顧客にソリューションのいいところを並べ立てたいというモチベがある
- 人間による説明も、正しいわけではない。それは後付けで都合のよい単純化された説明を作っているだけ。そのレベルならアナリティクスによりAIでも可能
- 解釈可能性と性能は原理上トレードオフ
- 複雑な解決策を必要とするタスクに対する支援としてのAIであるにもかかわらず、そこに説明可能性・シンプルさが求められるならば、そのような複雑なタスクは存在してはならないということを意味している
原文
Cassie Kozyrkov氏記事より（2018/11/17）
説明可能AI（XAI）は最近大きな注目を集めており、AIと信頼に関する議論の中で魅力的に感じることもあるでしょう。もしそうなら、悪いニュースです。XAIはあなたが望んでいるようなことは提供できません。そうではなく、不完全なインスピレーションの源を提供するだけです。
複雑さが全ての根源
非常に複雑で明示的な指示を与えることで自動化できないタスクがあります。
AIは非効率な事柄を自動化するためのものですが、その非効率な事柄をあなたが理解するのがたやすいと期待しないでください
AIを利用するポイントは、たくさんの例を教えることで、あなたが明確な指示を練り上げることに頭を悩ませることを回避できることです。それはAIアルゴリズムがやってくれます。
理解できないことは信頼できない
あなたがモデル（＝レシピ/指示書）を手作りできなかった―それは複雑すぎるから―ものを自動化できるようになりました。AIが作り出したモデルを読み解いて完全に把握したいと本当に期待していますか？うんざりするような数百万の項目を含むレシピ（＝AIモデル）はコンピュータには簡単に覚えることができますが、人間の記憶容量は簡単に圧倒します。
では、その複雑なものを読み解いて、それがどのような判断をしているのかを理解できなければ、なぜ私たちは信頼できないのでしょうか。
２つのロケットから、あなたが搭乗するものを選択することを想像してください。ロケット１は、それがどのように機能するかを説明する正確な方程式が付いていますが、実際に飛行したことはありません。ロケット２はどのように機能するかは謎ですが、広範囲にわたるテストがなされ、あなたがこれから行うような飛行は何年にも渡って成功してきています。
どちらを選びますか？
これは哲学的な問いなので、私が答えを出すことはできません。しかし私の個人的な好みとしては、信頼できるものとして慎重なテストがされた方を選びます。
システムを注意深くテストし、想定通り機能することを確認する―これで安全を保つことができます
より良い信頼の担保の方法としてのテスト
生徒に微積分を学んでもらいたい場合、教科書に載っている計算例を超えて、一般化して理解してもらいたいのです。生徒の微積分の能力をどのように確認しますか？
どうか生徒の脳をつついて彼らがどのように微積分を解いているのかを見ようとしないでください。これはモデルを解釈しようとすることと同じです。当然あなたは人間の脳がどのように微積分を実行しているのか知らないでしょう（そもそも神経科学自体が電気化学的なシグナル伝達を説明できないため）。しかし、それは問題ありません。とにかく、そのやり方は最良の信頼の担保の仕方ではありません。
丸暗記をあぶり出し、学生が条件に対応した計算を行っていることを確認するための試験を作りましょう
かわりにやるべきことは、慎重に試験をデザインすることです。学生が試験にパスすれば、資格があるということがわかるようにするのです。これはAIにおけるテストが意味することとほとんど同じです。
オーバーフィッティングをあぶり出し（全く新しいデータを使用することが、やっかいな丸暗記を阻止するための最良の方法です）、学生（AI）が実行しなければならない環境と関係するようにテストを作成する必要があります。応用AIの専門家や、厳密な統計的検定も真剣にそれを行っています。
説明可能AIについて話しましょう
私は解釈可能性、透明性、説明可能性が重要でないと言っているわけではありません。それらはアナリティクスの範囲です。
多くのAIの解釈可能性の議論においては、議論参加者はデータサイエンスの異なる応用領域について、誤解をしています。彼らは根本的に異なるアプリケーションに関心があります。
もし関心があるアプリケーションにインスピレーションの抽出が含まれる場合、言い換えればAIによる発展的アナリティクスの場合、その時にはもちろん解釈可能性が必要になるでしょう。インスピレーションを得るためにブラックボックスは利用できないでしょう。
もしあなたが高度なアナリティクスからインスピレーションを得たい場合には、それはパフォーマンスが最も重要な安全で信頼性の高い大規模な自動化システムの構築とは異なる目標です。もしプロジェクトにおいて本当にその両方が必要な場合、２つの目標をブレンドすることはできます。しかしその場合、それぞれ個々の目標における達成度は、1つの目標に絞って行った場合よりも悪くなる可能性があります。不要なものにはお金を払わないでください。
全ては、どのようにアルゴリズムを適用するかということに煮詰められます。もしプロジェクトのゴールの観点から議論をフレーミングできていれば、そこに議論の余地はありません。
多くの場合、主張する人は研究者です。彼らの仕事はビジネスプロジェクト（もしくはプロジェクトの目標）がまだない汎用ツールを構築することです。そのため、ジャガイモの皮むき器を売る営業担当のように、オーディエンスに彼らの製品のいいところを褒めたたえたいというモチベーションがあります。たとえオーディエンスに調理をするニーズがなかったとしても。「このジャガイモの皮むき器が必要」というのは、全ての人に当てはまるわけではありません。それはプロジェクトによって異なります。解釈可能性やXAIにおいても同じことが言えます。
メカニズムへの興味
何がどのように機能しているのか（メカニズム）自体に興味があるのなら、それはあなたがSTEM教室で訓練された研究本能でしょう。それはあなたが新しい学生、新しい頭脳、新しいロケット、新しい電子レンジを作るのに役立ちます。
自分がどのＡＩビジネスに携わっているかを知らないことから、たいてい混乱は生じます。研究者向き（より良いロケットを作る）の議論は、AIを適用する（既存のロケットを使用して問題を解決する）人にはほとんど意味がありません。
応用データサイエンスでは、メカニズムへの愛着はアナリストにとって大きな本能です。何がどのように機能しているかを知ることで、潜在的な脅威や機会が明らかになる可能性があります。インスピレーションを得るためにデータマイニングしている場合、昨日のごみ箱にあるすべてのブラックボックスを取り出してみてください。
残念ながら、あなたの目標が性能の追求である場合、その研究本能はあなたを戸惑わせることになるでしょう。
人間のよくあるナンセンス
信頼の前提条件としてメカニズムの説明を要求する人が多くいます。彼らはAIに対して膝をついて、「もしそれがどのようにやっているのかが分からない場合、意思決定において信頼することができません」という反応を示します。
もしあなたがプロセスが理解できないものに意思決定をゆだねることができない場合、全ての人間労働者を解雇した方がいいでしょう。なぜなら、脳（1000億個のニューロンがある！）がどのように意思決定を下すか、だれも知らないからです。
AIが超人的な水準を持つこと
モデルレベルで人がどのように決定を下したかについての解釈が必要な場合、脳細胞レベルの電気信号と神経伝達物質における答えのみがその要求を満たします。化学物質とシナプスの観点から、お茶の代わりにコーヒーを注文した理由を説明している友達はいますか？もちろんいません。
かわりに、人間は他のことをします：情報と彼らの選択を調べて、後付けで全てを意味付け/説明しようとします。これは本質的にXAIですが、人間による説明が常に正しいとは限りません。行動経済学者は被験者（被害者）に意思決定を植え付けて、被験者が決定を下した”理由”についての誤った説明を聞くのを楽しんでいるのです。人間が下した意思決定に対し、後付けで都合の良い単純化されすぎた説明を作る程度ならば、どんなモデルであっても、常に同じレベルの説明を加えることができます（すなわち、モデル非依存的）。単にデータのインプットとアウトプットを見て、楽しい話をすればよいのです。これが私がアナリティクスの範囲だといった理由です。
あなたの説明は、真実より単純化されている場合、厳密には嘘です。それはインスピレーションを与えるかもしれませんが、セーフティネットよりセーフティブランケットに近いかもしれません。
アナリティクスの工程を組み込むことは、余裕があるならばよいアイディアです（しかし覚えておいてください。くれぐれもあまりに真剣に受け止めないように）。XAIに関するより賢明な取り組みは、入力と出力に関するアナリティクスです。もちろん、”データを眺めて、正しいかどうかをチェックする”という古典的な良い方法は、目新しい方法のようにも聞こえます。私が問題と感じている唯一のことは、それが信頼性を担保するものとして売られているということです。XAIは多くの良い点がありますが、それが信頼性の議論で呼び出されるのは、とても悪い点です。説明は常にひどく単純化されているので、真実とはなり得ません。
説明性は”なぜか”についてのマンガのスケッチは提供しますが、意思決定を”どのようにするか”についての情報は提供しません。マンガのスケッチをインスピレーション以上のものとして捉えるのは安全ではありません。そしてXAIが担保する信頼は、巨大なパズルのうちのいくつかのピースが担保する信頼のようなものだと覚えておいてください。
テストなしのアナリティクスは、偽りの安心感への片道切符です
しかし、AIモデルが解釈可能性があり、かつ、データで何が起きているかにフォーカスしていないということについて戻りましょう。それは言い換えれば、コーヒーをどのように選んだかを説明するために、あなたの脳の1000億の細胞の機能を理解したいと思っていることに相当します。
なぜ両方得られないのか？
完璧の世界では、完璧の性能と解釈可能性が求められますが、通常現実の世界では選択を余儀なくされます。完全な性能と解釈可能性の両方を得られるようなタスクを私たちが何と呼ぶか知っていますか？シンプルで簡単、そしておそらくそれはAI無しで既に解決されています。
それでは、複雑で理解が難しいタスクについての話をしましょう。あなたの脳がそれをどのように行うかをあなたに言わずに進化してしまったものです。そもそもAIに頼らざるを得ないもの。それらについては、次のいずれかを選択する必要があります。
- 解釈可能性（Interpretability）：あなたはそれを理解できるが、それほどうまく機能しない
- 性能（Performance）：あなたは理解できないが、うまく機能する
説明性（Explainability）はモデル非依存的となり得るので、時間とエネルギーがあれば、別プロジェクトとして取り組むことはできます。ただし、真のモデルの解釈可能性（Interpretability）は、タスクに複雑な処理が必要な場合にはパフォーマンスを低下させます。
もしパフォーマンスが最も重要な場合には、単純な人間の脳が理解できるソリューションにまで制限しないでください。あなたはあなたの非効率を自動化したいのです。重要なことは、実際にはネズミの巣のように複雑な解決策となり、モデルを理解できないようなタスクも存在するということです。せいぜい、アナリティクスで単純化しすぎた形で知ることはできるでしょう。
ソリューションを、単純な人間の頭で理解できるようなものに限定しないでください。
タスクを高い性能で本当に成功させるには、解釈可能性（Interpretability）は手放さなければなりません。
モデルを解釈可能にすることを要求することは、いわば、ショウジョウバエよりも低能な支援者を要求するようなものです。ハエがあなたを助けられることはそれほど多くはありません。
その代わりに、システムが実際に機能していることを確認することで信頼性を担保する方法を選択してください。
もちろん性能と解釈可能性の両方得られることは素晴らしくあなたの望み通りに得られるようなシンプルなタスクもあるでしょうが、もしどちらも得られないとしたら、最も重要なものに向けてまっすぐに進むのがベストではありませんか？それが良く練られたテストにおける性能の確認です。
メカニズムを求める傲慢さと危険性
信頼性の担保の方法としてメカニズムを求める人はいるでしょう。彼らは、メカニズムについての説明書きを読んだ、テストされていないロケットを選んだということです。
傲慢でないことが私たちを良くするように、メカニズムを求めることが性能を低下させるということは認識する価値があります。何がどのように機能するかについての情報を求める人々は、複雑なメカニズムが期待される性能に飛躍する彼ら自身の能力を過度に信頼しているのかもしれません。
人生の全てのものが単純ではない
一言で言ってしまえば、複雑な解決策を必要とするタスクでは、単純な解決策では通用しないため、AIは複雑な解決策で救いの手を差し伸べています。複雑なことを単純にしたいと願っても、そうはなりません。本質的に複雑な事柄がシンプルでなくてはならないと法律に書いてあるのなら、それはあなたがその事柄は存在してはならないということです。（そして時にそれがベストな解であることがあります。）
AIアルゴリズムが手書きのコードよりも複雑な解決策を作れるのはなぜか、それはコンピュータは10億の例を、人間ができない方法で完全に記憶（ディスクに保存）することができるので、人間のようにニュアンスをあいまいにすることはありません。それは百万行の指示書を欠くことに飽きることもありません。コンピュータのメモリは新しいものではないですが、現代の計算処理能力で大規模に行うことができます。あなたの頭には人間の記憶に収まる数千年の歴史を持つシンプルなレシピがあったかもしれませんが、今度は新しいものに目を向ける時が来ました。それらは簡単に説明することはできません。それに慣れるのが一番です。
［翻訳］仮説検定を一言で言うと
原文
Cassie Kozyrkov氏の記事より（2019/1/12）
全ての仮説検定—統計学の授業からPhD認定試験まで、―は一つの文に集約されます。以下がその魔法の呪文です。
”集められた証拠により、私たちの帰無仮説は馬鹿げていると見えるだろうか？”
これが全てです。一つ優しい例を見てみましょう。もしこの例が十分に優しいと感じないならば、こちらを読んでください。
エイリアンによる仮説検定
あなたは究極の冒険にたった今選ばれました。エイリアンが住んでいる惑星を探すことです。残念なことに、すべての夢のような仕事と同様、、、マネージャーがいます。有害なあなたのマネージャーは、あなたにかなり貧弱なユーザーインターフェースを与えました。YES・NOの２つのボタンが付いた装置です。
さらに悪いことに、あなたのマネージャーはあなたに惑星全体を探索するための予算を与えていません。あなたができることは、着陸し、方向を選択し、酸素供給が不安定なるまで歩き続けたら、戻ってYES/NOのボタンを押すだけです。大きな惑星に着陸するだけで、タンク内に十分な酸素がないために、不確実性に直面することになります。本当の答えが何なのかわからなくなる可能性があるのです。
Step1: デフォルトアクションは何か？
全ての仮説検定は同じところから始まります。意思決定者がデフォルトアクションを決めることです。これは、もし証拠を調べない場合に実行することをコミットしているアクションです。別の言い方をすれば、この惑星に着陸すらしない場合には、YES/NOのどちらを押しますか？
これは正解が1つに定まる問いではありません。これはMBAレベルの質問であり、宇宙探査会社の政治に大きく関係します。したがって、両方の可能なデフォルトを試してみます。もしあなたがほとんどのリーダーと考えが似ていれば、おそらくNOボタンをデフォルトで押すでしょう。最初にNOボタンで考えてみましょう。
デフォルトアクション：NOボタンを押す
Step2: 代替アクションは何か？
代替アクションは、デフォルトでない場合に実行するです。
代替アクション：YESボタンを押す
私のガイドラインを読むとわかるように、YESを押すことになる唯一の方法は、証拠により、NOを押すことが馬鹿げていると感じさせる場合です。
Step3: 帰無仮説は何か？
あなたは惑星に着陸したばかりで、以下のように自問します。
「この惑星について全てを知っていたら、どのような状況でNOボタンが満足のいく選択になるか？」それは、この惑星にエイリアンがいない場合。そうです、それが帰無仮説（H0）です。
H0：その惑星にエイリアンは存在しない
Step4: 対立仮説は何か？
対立仮説（H1）は、帰無仮説がFalseの場合にTrueになる全ての事柄です。
H0: その惑星にエイリアンは存在しない
H1: その惑星にエイリアンが存在する
これで仮説を立てて、いくつかのデータを収集して分析する準備が整いました。
データを収集する
あなたは宇宙船を着陸させ、おりて、ある方向に3時間歩き続けて、後ろを振り返ります。この過程であなたはエイリアンを、、、発見しませんでした。
統計：エイリアン０体
何か面白いことを学びましたか？
私がライブ授業でこれについて教えるとき、典型的な反応は、「3時間の探索でエイリアンは観察されなかった」です。しかしそれは、私たちがどのように意思決定をフレーミングしたかを考えると、微妙に間違った回答です。
意思決定をどのようにフレーミングするかが重要です。すべての決定事項において、統計学の授業で教えられているアプローチが役立つわけではありません。
古典的な統計に従事することで、私たちは母集団だけに関心があるという契約に合意することになります。それは惑星全体の表面であり、3時間の探索による小さなサンプルではありません。
サンプルの統計：3時間の探索でエイリアン0体
母集団のパラメータ：惑星全体でエイリアン？体
もしあなたがアナリティクスに取り組んでいるならば、今観察されたこの小さいな擬似事実に興奮しているかもしれません。しかし私たちは今ここで統計を行っており、したがって惑星全体について有益でない情報は、定義上無意味です。私たちは、エイリアンが惑星上に存在していないからエイリアンを見なかったのか、岩の下にいたためにエイリアンが見られなかったのかは、判断できません。私たちにはこれら二つの可能性を判別する方法はありません。では、もう一度試してみましょう。答え合わせです。ここで何か私たちが関心があることが得られましたか？
ここで私たちは何も私たちの関心があることを得られていません。
驚くべきことです。ここで何が起こったのかわかりますか？私たちはただデータを分析して、私たちは（正しく！！）データ以上のことを学びませんでした。さぁ、私と一緒に行ってください：私は何も学びませんでしたが、私はそのことに自信を持っています。
仮説を検証するたびにデータを超越したことを学んでしまうとあなたは愚かなことを学んでしまいます。そのため、何も学ばないという習慣を身に着ける必要があります。
信頼区間やp値といったものを含む統計的推論を行う場合、何も学習しないということはとても良いことです。
これはアナリティクスではない！
統計学の領域に足を踏み入れているのに、もしかしたらあなたはアナリストのように考えているかもしれません。
アナリティクスはここに存在するものに関心がある一方、統計はここに存在しないものに関心があります
だれもがアナリティクスをやる資格があります。純粋にデータを見て、見えたものをまとめるのです。「このスプレッドシート内にファクトがあります。エイリアンは観察されませんでした。」アナリティクスではあなたの関心の範囲は目の前のデータであるため、毎回興味深いことを学ぶことができます。しかし、アナリティクスには１つの黄金ルールがあります：”データに忠実になり、データを超えたものを見てはならない”。そのルールを守った安全な範囲においては、データをいかに素早く扱うかで卓越性が測られ、唯一の誤りは統計に乗り入れてしまうことです。データの外側には恐ろしいものが潜んでいるのです。
自らを傷つけずにデータを超えたものを見るには異なるマインドセットが必要であり、それが統計がアナリティクスよりトリッキーである理由です。哲学を理解せずに数学だけを振り回しているカウボーイを何と呼びますか？”自分や他人への危険”
未知なものと戦うためには、些細なことが重要になります
データを分析するときはいつも、事実を超えた洞察をする責任を負っていると感じる人がいるようです。もし既知のことから未知のものへの大きな飛躍をしようとしているなら、それが簡単であるはずはありません。
仮説を検証するたびに毎回何かを学ぼうとすると、愚かなことを学ぶことになります。統計を行う際は何も学習しないという可能性を受け入れる必要があります。
統計は不確実性の元であなたの心を変えるための科学です。証拠が馬鹿なことだと主張することに固執することが馬鹿げていると感じたら、私たちは考えを変えます。それが、最初に述べた仮説検定のコアの質問に要約される内容です。
収集した証拠により、あなたは帰無仮説を馬鹿げていると感じますか？
エイリアンデータの分析
先ほどのエイリアン探索の例に戻ります。探索ではエイリアンは見られませんでした。私たちの帰無仮説は、「惑星上にエイリアンはいない」というものでした。さぁ、仮説検定の質問に対する答えはなんでしょうか？集めた証拠は帰無仮説が馬鹿げていると感じさせますか？そんなはずはないでしょう。サンプルにエイリアンがいないことは、エイリアンが惑星に存在しないことと一致しています。
では今度は、探索で下の緑色のやつを見たとします。
もしそれがエイリアンだとしたら、私たちは何を学んだのでしょうか？私があなたにこのエイリアンを観察したといった後に、でも私はこの惑星にはエイリアンはいないと思うと主張したら、あなたは馬鹿だと思うでしょう。
そうです、この証拠は帰無仮説が馬鹿げていると思わせます。さぁ帰無仮説を棄却しましょう！
巧妙に２つの仮説を設計してすべての可能性をカバーするようにしていたため、一方を拒否するともう一方を受け入れるようになります。善良な頻度論者として、私たちは惑星について何も知らないとしてスタートしました。私たちは惑星にエイリアンが存在するかについて、好ましい方の意見は持っていたかもしれませんが、しかしそれは考えてはなりません。
馬鹿げていると感じるなら棄却！
証拠がテストの質問が馬鹿げていると感じさせるならば、その馬鹿馬鹿しい帰無仮説を放棄し、対立仮説に沿った結論を出しましょう。デフォルトアクションを実行するのは馬鹿らしいと感じたので、別のアクションに切り替えてYESボタンを押します。私たちは惑星全体についての知識「その惑星にはエイリアンが存在する」を獲得しました！
馬鹿げていると感じないなら、何も学ばない
テストの質問に「NO」と答えたらなら、統計学の授業では次のようなバラードを歌うように習います。
「帰無仮説を棄却できず、この惑星にエイリアンが存在することを裏付ける統計的証拠が不十分だと結論付けました」
この表現の唯一の目的は、生徒の手首に負担をかけることだと私は考えています。私は学部生にそのまま書くことを許可していました。
「私たちは何も興味深いことを学びませんでした」
お疲れ様！あなたは何も学びませんでした！
何も学ばないことは悲劇的だと感じるでしょう。私たちは努力してデータを集めデータを分析しました。そこで得られたものは何もないって？！しかし悲しみに耽る前に、私たちは物事について知るためにここにいるわけではないということを思い出してください。私たちは意思決定のためにここにいます。私たちのゴールは知識の獲得ではなく、賢明な行動の選択です。さぁ、ボタンを押しましょう！
実際、意思決定においてはこのフレームワークはかなり頑健です。私たちのデフォルトアクションは、何も学ばなくても大丈夫な保険的なポリシーに基づいています。
この推論のゲームに参加することで、私たちは無知の元でデフォルトアクションを取ることに不満はないと宣言しています、、、そうでないならば統計に頼るべきではありません。デフォルトアクションがないならば、このフレームワークは意味がありません。
デフォルトアクションはNOボタンを押すことでした。そのため帰無仮説を棄却できなかった場合は、これを実行します。考えを変える理由がないので、私たちは不満なく行動を行います。
帰無仮説を棄却しなかったからといって、ここにエイリアンがいないということを私たちが信じているわけではありません。エイリアンが見つからなかったと言って、ここに存在しないと結論付けるのは馬鹿だと思います。5分アパートの鍵を探しても見つからなかったとしても、私のアパートに鍵がないという意味ではないでしょう。それが意味するのは私はそれがどこにあるか知らないということです。それは違います。
考えを変えるほどの理由が存在しないならば、計画通りデフォルトアクションを行いましょう。それは正しいアクションですか？
要約すると、仮説検定のゲームは収集した証拠が帰無仮説をばかげているように見せるかどうかを判断するということです。全ては証拠に照らして考えを変えることに関して、私たちがどう感じるかに掛かっています。
