［翻訳］仮説検定を一言で言うと
原文
Cassie Kozyrkov氏の記事より（2019/1/12）
全ての仮説検定—統計学の授業からPhD認定試験まで、―は一つの文に集約されます。以下がその魔法の呪文です。
”集められた証拠により、私たちの帰無仮説は馬鹿げていると見えるだろうか？”
これが全てです。一つ優しい例を見てみましょう。もしこの例が十分に優しいと感じないならば、こちらを読んでください。
エイリアンによる仮説検定
あなたは究極の冒険にたった今選ばれました。エイリアンが住んでいる惑星を探すことです。残念なことに、すべての夢のような仕事と同様、、、マネージャーがいます。有害なあなたのマネージャーは、あなたにかなり貧弱なユーザーインターフェースを与えました。YES・NOの２つのボタンが付いた装置です。
さらに悪いことに、あなたのマネージャーはあなたに惑星全体を探索するための予算を与えていません。あなたができることは、着陸し、方向を選択し、酸素供給が不安定なるまで歩き続けたら、戻ってYES/NOのボタンを押すだけです。大きな惑星に着陸するだけで、タンク内に十分な酸素がないために、不確実性に直面することになります。本当の答えが何なのかわからなくなる可能性があるのです。
Step1: デフォルトアクションは何か？
全ての仮説検定は同じところから始まります。意思決定者がデフォルトアクションを決めることです。これは、もし証拠を調べない場合に実行することをコミットしているアクションです。別の言い方をすれば、この惑星に着陸すらしない場合には、YES/NOのどちらを押しますか？
これは正解が1つに定まる問いではありません。これはMBAレベルの質問であり、宇宙探査会社の政治に大きく関係します。したがって、両方の可能なデフォルトを試してみます。もしあなたがほとんどのリーダーと考えが似ていれば、おそらくNOボタンをデフォルトで押すでしょう。最初にNOボタンで考えてみましょう。
デフォルトアクション：NOボタンを押す
Step2: 代替アクションは何か？
代替アクションは、デフォルトでない場合に実行するです。
代替アクション：YESボタンを押す
私のガイドラインを読むとわかるように、YESを押すことになる唯一の方法は、証拠により、NOを押すことが馬鹿げていると感じさせる場合です。
Step3: 帰無仮説は何か？
あなたは惑星に着陸したばかりで、以下のように自問します。
「この惑星について全てを知っていたら、どのような状況でNOボタンが満足のいく選択になるか？」それは、この惑星にエイリアンがいない場合。そうです、それが帰無仮説（H0）です。
H0：その惑星にエイリアンは存在しない
Step4: 対立仮説は何か？
対立仮説（H1）は、帰無仮説がFalseの場合にTrueになる全ての事柄です。
H0: その惑星にエイリアンは存在しない
H1: その惑星にエイリアンが存在する
これで仮説を立てて、いくつかのデータを収集して分析する準備が整いました。
データを収集する
あなたは宇宙船を着陸させ、おりて、ある方向に3時間歩き続けて、後ろを振り返ります。この過程であなたはエイリアンを、、、発見しませんでした。
統計：エイリアン０体
何か面白いことを学びましたか？
私がライブ授業でこれについて教えるとき、典型的な反応は、「3時間の探索でエイリアンは観察されなかった」です。しかしそれは、私たちがどのように意思決定をフレーミングしたかを考えると、微妙に間違った回答です。
意思決定をどのようにフレーミングするかが重要です。すべての決定事項において、統計学の授業で教えられているアプローチが役立つわけではありません。
古典的な統計に従事することで、私たちは母集団だけに関心があるという契約に合意することになります。それは惑星全体の表面であり、3時間の探索による小さなサンプルではありません。
サンプルの統計：3時間の探索でエイリアン0体
母集団のパラメータ：惑星全体でエイリアン？体
もしあなたがアナリティクスに取り組んでいるならば、今観察されたこの小さいな擬似事実に興奮しているかもしれません。しかし私たちは今ここで統計を行っており、したがって惑星全体について有益でない情報は、定義上無意味です。私たちは、エイリアンが惑星上に存在していないからエイリアンを見なかったのか、岩の下にいたためにエイリアンが見られなかったのかは、判断できません。私たちにはこれら二つの可能性を判別する方法はありません。では、もう一度試してみましょう。答え合わせです。ここで何か私たちが関心があることが得られましたか？
ここで私たちは何も私たちの関心があることを得られていません。
驚くべきことです。ここで何が起こったのかわかりますか？私たちはただデータを分析して、私たちは（正しく！！）データ以上のことを学びませんでした。さぁ、私と一緒に行ってください：私は何も学びませんでしたが、私はそのことに自信を持っています。
仮説を検証するたびにデータを超越したことを学んでしまうとあなたは愚かなことを学んでしまいます。そのため、何も学ばないという習慣を身に着ける必要があります。
信頼区間やp値といったものを含む統計的推論を行う場合、何も学習しないということはとても良いことです。
これはアナリティクスではない！
統計学の領域に足を踏み入れているのに、もしかしたらあなたはアナリストのように考えているかもしれません。
アナリティクスはここに存在するものに関心がある一方、統計はここに存在しないものに関心があります
だれもがアナリティクスをやる資格があります。純粋にデータを見て、見えたものをまとめるのです。「このスプレッドシート内にファクトがあります。エイリアンは観察されませんでした。」アナリティクスではあなたの関心の範囲は目の前のデータであるため、毎回興味深いことを学ぶことができます。しかし、アナリティクスには１つの黄金ルールがあります：”データに忠実になり、データを超えたものを見てはならない”。そのルールを守った安全な範囲においては、データをいかに素早く扱うかで卓越性が測られ、唯一の誤りは統計に乗り入れてしまうことです。データの外側には恐ろしいものが潜んでいるのです。
自らを傷つけずにデータを超えたものを見るには異なるマインドセットが必要であり、それが統計がアナリティクスよりトリッキーである理由です。哲学を理解せずに数学だけを振り回しているカウボーイを何と呼びますか？”自分や他人への危険”
未知なものと戦うためには、些細なことが重要になります
データを分析するときはいつも、事実を超えた洞察をする責任を負っていると感じる人がいるようです。もし既知のことから未知のものへの大きな飛躍をしようとしているなら、それが簡単であるはずはありません。
仮説を検証するたびに毎回何かを学ぼうとすると、愚かなことを学ぶことになります。統計を行う際は何も学習しないという可能性を受け入れる必要があります。
統計は不確実性の元であなたの心を変えるための科学です。証拠が馬鹿なことだと主張することに固執することが馬鹿げていると感じたら、私たちは考えを変えます。それが、最初に述べた仮説検定のコアの質問に要約される内容です。
収集した証拠により、あなたは帰無仮説を馬鹿げていると感じますか？
エイリアンデータの分析
先ほどのエイリアン探索の例に戻ります。探索ではエイリアンは見られませんでした。私たちの帰無仮説は、「惑星上にエイリアンはいない」というものでした。さぁ、仮説検定の質問に対する答えはなんでしょうか？集めた証拠は帰無仮説が馬鹿げていると感じさせますか？そんなはずはないでしょう。サンプルにエイリアンがいないことは、エイリアンが惑星に存在しないことと一致しています。
では今度は、探索で下の緑色のやつを見たとします。
もしそれがエイリアンだとしたら、私たちは何を学んだのでしょうか？私があなたにこのエイリアンを観察したといった後に、でも私はこの惑星にはエイリアンはいないと思うと主張したら、あなたは馬鹿だと思うでしょう。
そうです、この証拠は帰無仮説が馬鹿げていると思わせます。さぁ帰無仮説を棄却しましょう！
巧妙に２つの仮説を設計してすべての可能性をカバーするようにしていたため、一方を拒否するともう一方を受け入れるようになります。善良な頻度論者として、私たちは惑星について何も知らないとしてスタートしました。私たちは惑星にエイリアンが存在するかについて、好ましい方の意見は持っていたかもしれませんが、しかしそれは考えてはなりません。
馬鹿げていると感じるなら棄却！
証拠がテストの質問が馬鹿げていると感じさせるならば、その馬鹿馬鹿しい帰無仮説を放棄し、対立仮説に沿った結論を出しましょう。デフォルトアクションを実行するのは馬鹿らしいと感じたので、別のアクションに切り替えてYESボタンを押します。私たちは惑星全体についての知識「その惑星にはエイリアンが存在する」を獲得しました！
馬鹿げていると感じないなら、何も学ばない
テストの質問に「NO」と答えたらなら、統計学の授業では次のようなバラードを歌うように習います。
「帰無仮説を棄却できず、この惑星にエイリアンが存在することを裏付ける統計的証拠が不十分だと結論付けました」
この表現の唯一の目的は、生徒の手首に負担をかけることだと私は考えています。私は学部生にそのまま書くことを許可していました。
「私たちは何も興味深いことを学びませんでした」
お疲れ様！あなたは何も学びませんでした！
何も学ばないことは悲劇的だと感じるでしょう。私たちは努力してデータを集めデータを分析しました。そこで得られたものは何もないって？！しかし悲しみに耽る前に、私たちは物事について知るためにここにいるわけではないということを思い出してください。私たちは意思決定のためにここにいます。私たちのゴールは知識の獲得ではなく、賢明な行動の選択です。さぁ、ボタンを押しましょう！
実際、意思決定においてはこのフレームワークはかなり頑健です。私たちのデフォルトアクションは、何も学ばなくても大丈夫な保険的なポリシーに基づいています。
この推論のゲームに参加することで、私たちは無知の元でデフォルトアクションを取ることに不満はないと宣言しています、、、そうでないならば統計に頼るべきではありません。デフォルトアクションがないならば、このフレームワークは意味がありません。
デフォルトアクションはNOボタンを押すことでした。そのため帰無仮説を棄却できなかった場合は、これを実行します。考えを変える理由がないので、私たちは不満なく行動を行います。
帰無仮説を棄却しなかったからといって、ここにエイリアンがいないということを私たちが信じているわけではありません。エイリアンが見つからなかったと言って、ここに存在しないと結論付けるのは馬鹿だと思います。5分アパートの鍵を探しても見つからなかったとしても、私のアパートに鍵がないという意味ではないでしょう。それが意味するのは私はそれがどこにあるか知らないということです。それは違います。
考えを変えるほどの理由が存在しないならば、計画通りデフォルトアクションを行いましょう。それは正しいアクションですか？
要約すると、仮説検定のゲームは収集した証拠が帰無仮説をばかげているように見せるかどうかを判断するということです。全ては証拠に照らして考えを変えることに関して、私たちがどう感じるかに掛かっています。
