AI・機械学習を中心に

AI/機械学習/データ分析/子育て/日々の雑感

[翻訳]統計に精通しているかのセルフテスト

要点抜粋

  • あなたがファクト(関心がある情報全て)を持っているのなら、統計を行う必要はない
  • 統計は、あなたが関心があることに、あなたが持っている情報からジャンプする。そこには不確実性が付きまとう
  • AIシステムのテストは根源的に統計。なぜならまだ知り得ないシステムがどのように機能するかに関心があるから
  • 母集団の定義は意思決定者が行う。慎重に行われるならば、母集団は偏っていても全く構わない

原文

Cassie Kozyrkov氏記事(2018/9/22)より

hackernoon.com

 

Find out whether you fell for a lie from your college stats course

シーン設定

もしあなたが関心のあるすべてのデータを持っているとき、統計的手法を用いる必要はありません。あなたは幸運にもピュアなファクトを扱うことができるので、数値を集計して報告するだけです。

あなたがファクトを持っているなら、統計の必要はない

あなたが飛び越えないといけない事柄は、ファクトを取得できないということです。あなたはサンプルという鍵穴を通してのみ、母集団を垣間見ることができるのです。それは貧弱で不完全な見方ですが、それによってあなたはあなたの関心のあることに対してジャンプするのです。そこには不確実性というのが付きまといます。

AIにおける母集団

母集団という概念は、統計学のコースだけのものではありません。母集団の定義は、AI/機械学習システムが実際に機能するかをテストするために非常に重要です。この場合、母集団は通常、システムを動作させる必要があると意思決定者が考えるインスタンス(例、データポイント)の観点から定義されます。テストは根源的に統計です。なぜなら、システムが将来どのように機能するかに関心があり、まだ起きていないことについては知りえないことだからです。あなたのテストデータセットは”サンプル”であり、システムが動作するべき母集団に出会ったときにクラッシュするか否かを推論したいのです。

統計に精通しているかのセルフテスト

 母集団の概念が統計で果たす重要な役割について説明しましたので、ここで簡単なクイズをして統計の専門知識を確認します。

私が統計業務のリクエストを行う意思決定者であると想像してください。統計の専門家であるあなたは、私の母集団の定義を確認します。それは長くて、リクエストに関係していて、かなり徹底的です。しかし、私の母集団の定義に含まれるユーザーは、全ての曜日ではなく月曜日にアクティブなユーザーのみであるということに気が付きました。何か問題はありますか?

”問題がない”と答えたあなたは、統計にあまり詳しくなくその分オープンマインドであるか、ジェダイマスターです。いずれにせよ、それはあなたにとって良いことです。それが専門家が感じるべきことです。彼らの反応は、”もちろんOK”です。

一方で、これが何か間違った方法であると感じた場合、おそらくあなたは危険なくらい統計に触れ過ぎているでしょう。おそらくあなたはいくつか学部課程の統計コースを受講したのでしょう?母集団についての真実に関しては、学部課程の情報は信用しない方が良いでしょう。

母集団についての真実

真実は、母集団は、文字通り、意思決定者が意思決定を行う目的で自分の関心に沿って選択したものであるということです。どうすればこれを統計学初級の学生に伝えることができるでしょうか。次のようなこと教授が言ったら、学生がどれほど不愉快に感じるかを想像してみてください。「私は自分のサンプルに興味があります。それは母集団なので、計算は必要ありません。ここでの私の仕事は終わりました。」

そんなことはとても悲劇なので、代わりに私たちは「それがすべてだ!」と言います。

さて、あなたはもう大人になったので、真実を知る時です。

母集団は、意思決定者が意思決定を行う目的で自分の関心に沿って選択したものです。

このシナリオにおける意思決定者(私)はこの母集団の定義に慎重に選択したので、問題はありません。意思決定をどのようにフレーミングするか翻訳)、私次第なのです。必ずしも、自分のプロダクトのユーザーに基づいて決定する必要すらありません。

さまざまな意思決定者がさまざまな方法で意思決定をフレーミングでき、母集団を定義するのはその一部です。

あなたが意思決定者ならば、すべての曜日を含めることを選択することはできます。

でもあなたの統計家はまだ議論したいようです。いくつかの正当な意義を一緒に提起しましょうか。次の記事翻訳)進んでください。