［翻訳］仮説から始めるな ～統計学の授業で学ぶ嘘～
原文
Cassie Kozyrkov氏の記事より（2018/12/1）
仮説検定の設定は社交ダンスです。そのステップはaction-action-worlds-worldsです。素敵なフォックストロットのリズムがあります。残念ながら、多くの人は間違った足から始めてしまうことで失敗してしまうのです。正しいダンスの仕方は以下の通りです。
Step1: デフォルトアクションを書き出す
統計は不確実性の中であなたの考えを変えるための科学です。したがって、最初のステップは、データによる説明がない場合に、あなたが何をしようとするかを理解することです。
もしあなたが無知のままならば、あなたは何をするとコミットしますか？
そのため、（追加の）証拠を収集しない場合、あなたが実行することをコミットする行動/意思決定から始めます。これをデフォルトアクションと呼びます。
スタートするとは、行動することであり、考えることではありません。
私があなたに尋ねているのは、「あなたが情報を知らないままだったならば、実際にどのような行動をしますか？」ということです。
「データを集める」は適切な答えではありません。もし、今すぐ行動/意思決定をするように強制された場合に、どのようなオプションを選択するかを考えてください。
Step2: 代替アクションを書き出す
意思決定をバイナリに保ちましょう。意思決定を「するか」ｖｓ「しないか」のようにフレーミングします。デフォルトではない方の行動が代替アクションです。
もしバイナリの意思決定が基本的過ぎると感じるならば、様々なスクリーン上の形状は、バイナリの選択の累乗で表されるということを思いましょう。より複雑な意思決定をしたいならば、複数の仮説検定を組み合わせて行います。まずは１度に１つずつ進めましょう。
第一パートは”あなたの考え”ではない
スタートするとは、行動することであり、考えることではありません。私はあなたが初めから知っていることについて尋ねてはいません。なぜなら、よい頻度論者（古典的な統計学者）は分析をする前には何も知らないとするからです。
ベイズ論者はこれについては異なる考えを持ちますが、もしあなたがここでの言説に関してベイズ論者の怒りを感じているならば、冷静になって対立論者について知るレッスンだと考えてください。ベイズ論的な考えについては後ほど触れます。
無情報への対処
デフォルトアクションに関する問いは、分析者に対してのものではありません。それはMBA的なもので、チームの意思決定者が担当すべきものです。熟考ののち、意思決定者のビジネスセンスに基づき、それを決めます。
デフォルトアクションを選択するにはビジネスに精通している必要があり、チームの意思決定者の義務です。
私はあなたが無知ならば何をしたいかを尋ねており、あなたは質問に答えるために、過去の分析のインスピレーションを受けるかもしれませんが、基本的にはデータを必要としません。Explaratory data analysis（EDA、探索的データ分析）は一種のガイド付きの思考プロセスです。もしアナリストと意思決定者がどのように連携するかについてより深く知りたい場合には、こちらの記事を読んでください（翻訳）。
安全な方をとる
新製品の発売に関する意思決定をする場面を想像してみてください。意思決定者における典型的な選択は安全な方を取ることです。つまり、データが緑（GO）ボタンを押す正当な理由を示さない限り、新製品の発売をしないという選択をします。もしデータが無いならば、あなたはプロジェクトを先延ばしにするでしょう。あなたは失敗が起きても悪が少なくなるように、デフォルトアクションを選択しました。
デフォルトアクションは無知の状況下であなたにとって受け入れやすい選択肢です
社会で明白にデフォルトと考えられている他の例は、”疑わしきは罰せず”（デフォルト＝証拠がなければ無罪）、新薬の承認（デフォルト＝証拠がなければ承認しない）、科学論文誌への掲載（デフォルト＝証拠がなければ掲載しない）
もしデフォルトアクションが存在しないならば、統計は必要ありません
本当の無関心はかなりまれですが、もしデータが無い状態でコインを投げたいのならば、あなたは統計が必要ありません。もしあなたの考えが設定されていないならば、それを変えることはできないのです。代わりにこれを読んでください。統計的推論は、不確実性下での意思決定のためのものです。もしあなたが答えをすでに持っているならば、必要ありません。無情報化での意思決定をフレーミングするために、意思決定者のトレーニングが必要であり、数学者は必要ありません。
完全情報への対処
次のステップは少し奇妙です。統計の授業ではそれが何でもないかのようにそれを教えますが、それはかなり大きな心理的飛躍があります。あなたの仕事は、世界の全ての可能性のある状態を想像することです。考えられる全てのパラレルワールドを想像したら、それぞれを２つのカゴに分別します。カゴ1は”デフォルトアクションを喜んで実行したい世界”と、カゴ２は”そうでない世界”です。
Step3: 帰無仮説（H0）を表現する
カゴ1という名前が気に入らないならば、その技術的な名前は”帰無仮説”です。
統計学の授業では、仮説検定の方法は学びますが、仮説を立てることについては学びません。
あなたは「現状維持」、「つまらない方」、「証明したくないもの」など、帰無仮説の簡単な説明を聞いたことがあるかもしれません。しかしその説明はあまり正しくはありません。帰無仮説とは、不満なくデフォルトアクションを選択できる世界（状況）のすべての集合を意味しており、私はあなた方がこの哲学的な奇妙さを受け入れることができると信じています。
ここまでを振り返ってみましょう。ここでのポイントは、あなたが何も情報を知らない、またはほとんど知らない限り、デフォルトアクションを実行するとコミットしているということ、または帰無仮説の世界の住人であることを絶対の確信をもっているということです。
仮説はゴキブリのようなものです。あなたがそれを見たならば、それは決して１つではありません。必ずどこか近くにさらに隠れているものが存在します。
Step4: 対立仮説を表現する
カゴ２は対立仮説であり、残りの世界（状況）は全てそこに入ります。帰無仮説がFalseになる場合、Trueになります。二つの仮説は数学的には、集合/補集合の関係にあり、3つ目のカゴは存在しないことを意味します。
一言で言えば、対立仮説は次の質問に対するあなたの答えです：
「あなたの考えを変えるには何が必要ですか？」
私たちはデータを追加する準備ができました。さあゲームは何でしょう？
"action-action-worlds-worlds ※"でダンスは完成です！
※ デフォルトアクション→代替アクション→帰無仮説→対立仮説
あなたの考えを変えるための科学
あなたの仮説はすべての可能性をカバーします。重なり合いはありません。もし私がデータを用いて、あなたが対立仮説の世界を生きているということを納得させたなら、、、なんということでしょう、あなたはなぜまだデフォルトアクションを取ることを考えているのですか？その選択はここではよい選択ではありません。
もしあなたがデータから対立仮説の世界に住んでいることを納得させる場合、アクションをスイッチしましょう。
能動vs受動
この意思決定の文脈において留意すべきことは、アクション（デフォルト/代替）は同じではないということです。あなたは頻度論者のように完全にオープンマインドでありますが、無知の下ではより賢く倫理的な方のアクションを取らないことを意味するわけではありません。それが鍵です。もし両方のアクションがあなたにとって同じなら、この記事を読んでください。
デフォルトアクションは受動的にそのアクションに陥っても大丈夫なものですが、代替アクションは積極的に実行するように説得する必要があるものです。
部分的な情報への対処
もし部分的なデータしか使用できない場合、あなたは不確実性に対処しなくてはなりません。それが派手な確率計算が入ってくる部分です。それは１文で表現され、毎回同じです。詳しくは次の章で触れます。
重要なことは、あなたが自分はどの世界にいるか、確実に知ることができないということです。そのため、デフォルトアクションを選択する際、あなたの価値観を忠実に反映する方法で行うことが重要なのです。どのようにチェックするか？仮説検定を正しく組み立てた場合、タイプⅠエラーはタイプⅡエラーより悪く感じるでしょう。別の言い方をすれば、
快適なゾーン（デフォルトアクション）を誤って離れること（タイプⅠエラー）は、誤ってそれ（デフォルトアクション）に固執する（タイプⅡエラー）よりも苦痛であると感じるはずです。
もしそうなっていない場合、あなたはどの行動がどれかについて正しく捉えられていないはずです。もう一度やり直しましょう！
不確実性から確実性を引き出す魔法はありません。
大声でアクションと叫ぶ
統計的な仮説を立てられるようになるためには、デフォルトアクションが何であるかを知っている必要があります。もし他の地点から始めたならば、すべてがバラバラになるでしょう。残念ながら、デフォルトアクションを間違って選択することは、哲学を全く学ばずに数学を学ぶ人々の間でよくある間違いです。またこれは、意思決定者が必要な行動をしておらず、数学オタクが一斉に動いているチームにある症状でもあります。
デフォルトのアクションを間違って選択することは、痛々しいほどよくある間違いです！
確実に失敗する方法は、アクションではなく仮説から始めることです。これは授業での演習の構成の痕跡です。（なぜなら統計の授業では意思決定者の役割は教えず、そのようなことはいつも教授がやってしまうからです。）
いつも、デフォルトアクションから始めましょう
もしあなたがこの考えについてのサンプルを必要としているなら、こちらをお読みください。統計的なニュアンスのない、基本的な事例が知りたい場合は、こちらをお読み下さい。
［翻訳抜粋］How Decision Intelligence Connects Data, Actions, and Outcomes for a Better World
原文
How Decision Intelligence Connects Data, Actions, and Outcomes for a Better World
Lorien Pratt氏（2019/9/16）
https://www.amazon.co.jp/Link-Decision-Intelligence-Connects-Outcomes/dp/1787696545
※ Chapter1, 2のみを対象に抜粋翻訳
Chapter1
GETTING SERIOUS ABOUT DECISIONS
DECISIONSについて真剣に考える
- decisionとは、行動(action)を導き、その結果、成果(outcome)を導く思考プロセス（頭の中で物事について判断するだけではない）。これが複雑なあらゆる問題解決の積み木である
- decision intelligence(DI)とは、decisionを通して人間とコンピュータがいかに行動と成果をつなげるかに関する専門領域
- NASAはDIを接近する小惑星を逸らすために使用、Googleのchief decision officer Cassie KozyrkovはDIを使って数千人のエンジニアを教育、SAP, Element Data, Prowlerなどの企業等にDIのエコシステムが拡大している
- DIによってもたらされるSolution Renaissance：複数の学問領域を統一する
- DIにおける著者のコアアプローチはcausal decision diagram(CDD)
Chapter2
Breaking through the complexity ceiling
複雑さの天井を突破する
- DIの部品に新規なものはない。その接合材が新規である
- CDDは技術と人間を結びつける足場
- どんな分野でも、フィードバックループがdecisionに与えるインパクトが大きい。このフィードバックループをうまく回すことで、winner-takes-allの原理が働く
- フィードバックループの中のソフト要因（明確に計測しにくいもの）がビジネスの成功に対し影響が支配的であるが、システム的に無視されがち
- ソフト要因が含まれるフィードバックループは目に見えないが、一般的に最も大きな成長のドライブ要因であることが多い
- CDDの構成要素
①decision levers：意思決定のレバー。大学はハーバードにするかダートマスにするか。携帯電話の新機能開発に投資するかコスト削減に注力するか、新プロダクトをリリースするか否か、など。
②Outcomes：定量的な評価基準。そのdecisionにより成功したか否かを判定するために計測するもの。”年収”、”大学でのストレス度合”、”学費”など。
③Goals：Outcomesの目標値。Outcomesがどの値になれば成功と考えるか。”高収入の職を得たい”、”高ストレスな大学は避けたい”、”学費を年間1万ドル以下に抑えたい”など。（※ Proxy goal：代理のゴール。真のゴールの測定が難しい場合、真のゴールに対応した、測定可能な代理のOutcomeに対する目標値を立てることもある。しかし、proxy goalが代理であったことを忘れ、そのまま真のゴールになってしまうことに注意せよ） - ④Externals：外部の状況。"私は銀行に5,000ドルしかない”、”私の生活費を全て賄えるローンプログラムがある”、”ハーバードはとてもストレスフルだと聞いた”など。
⑤Cause-and-effect links：原因と結果のリンク。
[ポジティブな内容の場合]
もし私がハーバードに行けば、私はたくさんの友達ができるだろう。たくさんの友達を持つことは大学のストレスを軽減するだろう。ハーバードはウォールストリートで評判が良い。アイビーリーグの大学に行くことはウォールストリートで評判が良いので良い職につながるだろう。
[ネガティブな内容の場合]
ハーバードはとてもお金がかかる。大学がお金がかかると私はあまりの借金に落胆するだろう。多くの借金は卒業後私を不幸にするだろう。
⑥Intermediates：中間要素。decision leversとoutcomeの間の要素。
⑦An archetype：無意識化、暗黙のうちに存在している、組織の文化として伝承されてきている思考のパターン。意思決定を行う際に利用される。 - CDDのアーキタイプ（Decision archetype）
Decision Archetype: CDDのテンプレート - CDDとは、archetypeの要素を著者が表出化したもの
- CDDのリンク部分に、機械学習、他の統計モデルが入り込む
Decision Archetypeへの機械学習/統計的モデルの挿入 - MLモデルは何かしらの情報を入力し、出力するもの
例：コンピュータシステムの情報を入力し、ウィルス侵害の確率を0-100の数値で返す仕組み - CDD内にMLモデルを組み込んで表現することは、意思決定や行動の方法に関して合意を取るうえで有効
- MLリンク部分の関係性は明白でなくとも、チームが状況を理解し、どこのMLリンクに関するデータを整備することの重要性が高いかを把握することができる
- データが無くとも、定性的な分析や、定量的な計算式でMLリンクを代替することができる（永続的であれ、一時的であれ）
- 各リンクの影響度を理解するためにデータの取得が必要だが、継続的にアダプティブラーニングを行うことで意思決定モデルを改良していけばよい
- DIのマジックサイクルというのがある。これはデータなしのCCDを描き、時間をかけてデータを得て、どんどんCCDを強力にしていくというもの
- データ管理はコストがかかる。そのため、まずCCDで優先度の高いデータの個所を特定したうえで取り組むことで価値を得るまでの時間を短縮し、リスクを小さくできる
- 機械学習を含むCDDの例：機械学習によるシステムの不正侵入の検知
機械学習を含むCDDの例（コストの因果リンクは赤、便益の因果リンクは緑で表される）
［翻訳］データドリブン？考え直してください
原文
Cassie Kozyrkov氏の記事より（2018/7/19）
ほとんどの人が欠いている心理的な習慣、そしてそれを欠いているために、あなたが行動を効果的にするためにデータを使用することを望まない理由
企業は厳密、科学的でバイアスのない、データドリブンな意思決定を行うために、データサイエンティストを大量に採用しています。
そして悪いニュースは、”通常、意思決定は実際にはそうではない”です。
データドリブンな意思決定のためには、意思決定を駆動するのはデータでなくてはなりません。非常に単純なように見えますが、意思決定者に重要な心理的習慣がないため、実際にはそのような意思決定は非常にまれです。
データドリブン性の崩壊
あなたは町の反対側まで出向いて買いに行く替わりに、オンラインで何かを買おうかと考えているとイメージしてください。あなたは、そのオンライン販売者が信頼できるかどうかに、あなたの決定を煮詰めました。素早く検索すると、いくつかの関連データが得られます。販売者は4.2/5の平均評価を持っていることが分かりました。
意思決定の基礎がなければ、意思決定はせいぜいデータにインスパイアされますが、データによってドライブされることはありません。
いま、その4.2というデータを使って意思決定をドライブすることはできません。一度私たちは答えを見つけたら、私たちは最も都合の良い質問を自由に選択できます。私たちが最初に行うことがデータをざっと見て回ることである場合、私たちの意思決定はせいぜい、「データインスパイアード」に過ぎないでしょう。
データインスパイアード
それはまるでクジラがプランクトンを吸い込みながら泳ぐように、私たちはいくつかの数字を見て回って、感情的な転換点に到達して、、、判断します。私たちの決定の周辺にデータはありますが、それらの数字は意思決定をドライブしてはいません。意思決定は完全に他のどこからか、来ます。
意思決定者の心はデータを見る前に決まっており、意思決定（した心）はすでに存在していました。人間はすでに心の中で行った選択を確かめるために、データから選択的に影響を受けるということが分かっています。私たちは証拠を見つけるのに最も都合の良い光を用いています。そしてそのことを私たちは常に知っているわけではありません。心理学者はこれを”確証バイアス”と呼びます。
多くの人は、データを使用して、すでに行った意思決定に関して、気分を良くするだけです。
質問を回答にフィットさせる
4.2/5は良い数字でしょうか？それはあなたの無意識化のバイアスによります。オンラインでの購入を本当にしたいと思っている意思決定者は、4.2という数字がいかに多いかということを語ります。「これは4.0を超えている！」彼らはそれが4.0より統計的に優位に高いかどうかについての厳密な分析さえ行うことができます。（確実性！それはあなたがいつも望んでいるp値です）。一方でその販売者であまり購入したくない人は、別の方法でデータに応じて質問をするでしょう。「なぜ4.5未満の販売者に満足するのか」や、「いや、☆1のレビューが少なからずある」などです。心当たりはないですか？
データをスライスする方法（分析の側面）が多ければ多いほど、分析は確証バイアスの温床になります。
数学的な複雑さは解毒剤を提供しません。単に問題を見るのを難しくするだけです。ゴージャスなガウス分布の集合の中にも、今見てきたような確証バイアスの中にも含まれています。
結果としては意思決定者は、データを使用して、やろうとしていたことをより気分よく行うだけです。
高価な趣味
分析が複雑であったりデータの処理が難しい場合、私たちのコメディが悲劇のピンチに変わります。4.2という数値に到達するために、データサイエンティストやエンジニアの大群が数カ月の労力を費やすことがあります。長い長い旅路の末、データサイエンスチームは意気揚々と結果をプレゼンします：4.2/5でした！計算は細心の注意を払って行われ、チームはスケジュール通り進めるため夜通し、週末働きました。
ステークホルダーはそれで何をするでしょう？以前の4.2と同じです。実際のアクションに何の影響を与えることもなく、確証バイアスのゴーグルでその結果を見るだけです。正確であるかどうかは関係ありません。データサイエンティストが数字を作り出しても何も変わらないのです。
GAME OVER：もし意思決定者が根本的なスキルを欠いていたら、そのことを正すための計算手法は存在しません。データサイエンスチームはデータドリブンな意思決定に何も貢献しないでしょう。
より気分の良いアクションのためにデータを使うことは高価（かつ無駄な）趣味です。データサイエンティストの皆さん、あなたの組織がこの種の意思決定者に苦しんでいるなら、時間とお金を節約するためにも最も軽くシンプルな分析に終始することをおすすめします。意思決定者がより正しく訓練されるまで、あなたの派手な数学”柔術”は熱を発散するだけです。
確証バイアスに対する解毒剤
問題：データがどこに着地したかを見た後にゴールポストを自由に移動できること。
解決策：ゴールポストを事前に設定し、後で移動したいという誘惑に抵抗すること。
別の言い方をすれば、意思決定者は誰かがデータ分析を行う前にやるべき宿題があるのです。
意思決定者がより正しく訓練されるまで、あなたの派手な数学”柔術”は熱を発散するだけです。
意思決定をフレーミングし、決定基準を設定することは、それ自体が一つの科学です（ここで検討する問題は氷山の一角に過ぎないので、今後の投稿で詳しく説明します）。しかし、それまでの間、大いに役立つ迅速な解決策はデータサイエンスプロジェクトで事前に意思決定の境界を考え出しておくことです。
練習は完璧を作る
最近友達のエマとブルックリンに洋服の買い物に行きました。かわいいドレスを見せびらしながら、彼女は背中の値札を引っ張り私に見せて言いました。「ねぇ、このタグにいくらと書いてある？もし80ドル以下だったら、私買うわ」
これが意思決定インテリジェンスです！最初に価格を確認してから、すでに行った意思決定について話す代わりに、彼女はデータを意思決定をドライブするために使っています。よく訓練された反射神経で、彼女はドレスがどれだけ好きかと彼女の予算とを天秤にかけ、意思決定の境界を設定し、それが完了したらデータ（価格）を確認できるようにしています。彼女は正しい順序でデータを使用する習慣がついており、それはあなたにも訓練できるものです。
人々は常にデータドリブンである必要はなく、エマもそれを知っています。彼女は重要でない意思決定に対してそのようにする必要はありませんが、しかし練習することで完璧にできることも知っています。重要な決定が出てきたときに苦労するよりも、些細な意思決定を使って習慣を身に着ける方がはるかに簡単です。
交渉術のクラスからの教訓
この考えは新しいものではありません。交渉術のクラスでは1日目でこのことについて確実に学びます。交渉に入る前にBATNA（≒a walk-away point）の値を置いていない場合、額に「私は何をしているかわからない」と書いた方がいいでしょう。別の表現で言えばそれは、「デフォルトのアクションと代替のアクションの間の決定境界を把握すること」です。
解毒剤は、事前に決定基準を設定することです。
実際、交渉担当者への標準的なアドバイスは、潜在的なオファーの組み合わせの全範囲を検討し、それらに対する反応を事前に計画しておくことです。そうでなければ、経験豊富な対戦相手があなたを利用するのは非常に簡単です。繰り返しになりますが、同じことがデータ分析にも当てはまります。データは、考えを変えるために交渉するものと捉えてください。対応策は、事前にあなたの対応を計画しておくことです。次回あなたが給料の交渉をするとき、金額を聞く前に自分が考える金額を伝えてみてください。
コツをつかめば簡単です
あなたが数字を見る前にそれについて考えるか、後に考えるかに関わらず、あなたは数字について考える必要があります。事前に数字について考えることは、人間のプログラミングのバグに対抗するのに役立ち、意思決定の質と交渉のパフォーマンスに大きな見返りをもたらします。ここでの動作の順序を改善することは、データドリブンな意思決定に従事したいならば身に着けるべき重要な習慣だと言えます。そして練習すれば自動的にそれが行えるようになるでしょう。
［翻訳］不完全性、デレゲーション、そして母集団
原文
Cassie Kozyrkov氏の記事より（2018/9/22）
もしあなたが統計における母集団という概念になじみがないなら、まずこちらの記事を読みムードを合わせるとよいでしょう。簡潔に言うと、
- あなたは”サンプル”という不完全な鍵穴を通してのみ、あなたの母集団について垣間見ることができる―このことに対処することは、ここでのすべての計算の目的です
- 母集団とは意思決定者が意思決定を行うために選んだ関心の対象です
- 機械学習/AIの設定においては、母集団はシステムが稼働する必要があるインスタンスとして定義されます
そのため意思決定者は自分の求める母集団の定義をしなればなりません。もしそれが馬鹿馬鹿しいものだとしたら？その時点であなたの中にいる統計専門家が腹を立てるのは良いタイミングではないでしょうか？いくつかの統計専門家が挙げる異議の申し立てを見てみましょう。
あなたの友好的な統計専門家の異論
異論１：それは意思決定者が関心があることではない
この設定で「関心がある」とは「意思決定を行う目的において関心がある」という意味です。おそらく別の言い方をすれば、「意思決定者が意思決定を行うベースとすることに同意するもの」でしょう。関心のある母集団を定義することを、ある種の”交渉”としてとらえると役立つ場合があるでしょう。
意思決定者は時に非常に野心的で包括的な関心から始めることがあります。そして、必要なサンプリングの値札を確認すると、一気に控えめで狭い”関心”に急速に後退することもあります。それは全く問題のないことです。大事なことは意思決定者が、彼らの意思決定が何に基づいているかを理解することと、穏便にショートカットや簡素化が行われることです。
異論２：意思決定者は実際の意思決定者ではない
意思決定をどのようにフレーミングするかにおいて責任を持っている人が誰なのかを知ることはとても重要です。なぜならその人がここで決定権を持つからです。もし、実際の意思決定者が統計のプロジェクトの外部にいる場合は、その人をプロジェクトに組み入れて下さい。実際の意思決定者を関与させて意思決定のフレーミングをすることが非常に重要です。
もし統計専門家が、真の意思決定者との交渉を回避した何かの事柄に取り組むように求められていると感じた時、その人（真の意思決定者）が意思決定の設定（問題設定）を承認するまで要求をブロックする権利があります。本当の意思決定者が時間と労力を割くことができない場合は、彼らは必要なスキルと知識を持った人に意思決定を委任（デレゲーション）する必要があります。
データを使用して人々を説得することが目標である場合、窓の外に統計的厳密さを捨て、代わりに小ぎれいなグラフを作成することもできます。
統計は意思決定を行うための一連のツールとして非常に理にかなっています。説得のための手段として使っている場合、認識論的な吟味にはあまり向いていません。その場合はアナリティクスに終始し、まずは母集団についてあまり気にする必要はありません。なぜならその時点ではインスピレーションのゲームなので。本質的には、あなたの目標は、あなたの被害者（意思決定者？）に代わってあなたが行った意思決定を、被害者が実行するように促すことです。彼らはいずれにしても本当の意思決定者ではありません（私は”データシアター”が始まる前に、本当の意思決定者が賢明な方法で意思決定をすでに下していることを願います）。
リーダーよ、あなたが全ての決定をする時間がある振りをするのはやめなさい！デレゲーションする時が来ています！
シニアのリーダーたち、全ての個々の意思決定を下す時間がある振りをするのをやめましょう。あなたの注意を重要な意思決定だけに振り向けて、他はデレゲーションしましょう。あなたは、あなたの部下が下した決定をあなたに売るような茶番の一部になりたくはないでしょう。そして、あなたは部下が示す分析において何も選択的なものは含まれていないということに気づいています。数字は嘘をつかない？数字は都合の良いようにいくらでもつくり上げることができます。
異論３：意思決定の問題はそこに存在しない
意思決定者が、情報がどのように行動を促すのかを明確にできない場合（＝下すべき意思決定の問題が明確にフレーミングできていない）、あなたが探しているアプローチは”アナリティクス”と呼ばれるものです（データマイニングとも呼ばれる）。統計ではありません。それは統計的推論ほどストレスフルなものではなく、色がきれいです。ここにより詳しく書いてあります。
意思決定の問題が存在していないのになぜ統計をやるのですか？異論４も考慮して下さい。
異論４：意思決定者が彼らが何をしているのかを良く知らない
意思決定者が彼らチームが何を求められているか理解していない場合、チーム全体が大きな問題を抱えています。
時に意思決定者が自分の技術にあまり熟練しておらず、自分が関心があることや、どのように意思決定をフレーミングするかに関して考える能力を欠いている場合があります。その場合、統計専門家を含む他のチームメンバーが後押しする必要があります。結局のところ、下流の作業は意思決定者のタスクが適切に完了することに依存します。したがってこの状態で完成されたアナリティクスはずさんで間違った問題に対する厳密な答えとなります。それはタイプⅢの過誤です。
もし意思決定者が適切なスキルを持っていない場合、プロジェクト全体の命運は尽きています。
なので、もしあなたがデータサイエンティストで新米の意思決定者の下で仕事をしているならば、悪いニュースがあります。あなたは、意思決定者に統計専門家の時間に見合う価値のあるリクエストを行うために必要な深い思考と厳密な意思決定の枠組み（フレーミング）のスキルを学ぶように促すという、ベビーシッターの役割に就任したのです。
現代のdecision intelligence（和訳）チームはこの問題を異なる方法で解決することができます。意思決定者に意思決定のフレーミングのスキルを身に着けさせる替わりに、デシジョンサイエンティスト（定性専門家）（翻訳）の役割を利用しましょう。
この人物は意思決定者のアシスタントとして従事し、意思決定者の思いを注意深く聞きつつたくさんの質問を投げかけ、意思決定者が考えていなかったようなシナリオを示しながら、すべてを厳密な表現と研究のデザインに翻訳することで下位のチームが活動できるようにします。
小規模なチームでは、優れた人的スキルを兼ねそろえたデータサイエンティストが、標準的な職務に加えてこの役割を担う可能性があります。一方で大規模な組織では、この役目は1人の定性専門家が複数の意思決定者を支援するフルタイムの仕事として従事している可能性があります。社会科学のバックグラウンド、特に行動経済学や認知心理学のバックグラウンドはこの役割に適しています。
異論５：十分に具体的でない母集団の説明
曖昧さは許容されない。良いものがほしいのなら、努力してそれに支払うことを想定してください。
あなたの書き下した母集団の説明が「すべてのユーザー」に他ならない、としてしまうことは決して良いアイディアではありません。
もし私たちが厳密に決定を下そうとしていることに関し誰も明確にできていない場合、厳密さのポイントは何ですか？単なるインスピレーションでよいのであれば、それでよいでしょう。インスピレーションは安いですが、厳密さは高いです。もしいいものが欲しいのなら、努力してコストを払わなくてはなりません。
［翻訳］AIユースケースを見つけるためのアドバイス
原文
Cassie Kozyrkov氏の記事より（2018/6/15）
機械学習/AIはあなたの非効率を自動化します。聞こえはいいが、、、それはあなたが良いユースケースを見つけられた時だけです。
あなたがAIという驚くべき技術を利用することを助けるために、機械学習/AIに適したタスクを見つけるためのトリックがあります。これはあなたのアハ体験を引き出すための熟考のガイドです。
AIがイカサマだと想像する
AIが存在していないと想像してください。それはイカサマだと。つまり、どこか海の真ん中にある島に、私の友達がたくさんいてコンピュータの前でAIのふりをしていると考えてください。あなたが入力を送信したら、すぐに判定結果が返ってきます。
例えば、あなたが猫の写真を送ったら、彼らはしれっと”cat"を入力して送り返すので、いかにもクールな機械学習システムに見えます。
ここからが面白いところです。私はあなたにビジネスのためにこの島を貸し出します。無料です。ただ、一つ落とし穴があります。それは彼らに指示書で支持を伝えられず、事例でのみ教えられます。彼らの学習はとても速いです。1回限りのタスクに向けて彼らを教えるのは時間の無駄なので、あなたが削減したい繰り返し起きる苦痛なことに照準を合わせて下さい。あなたはこの島を何のために使いたいですか？
あなたが荷を下ろしたい繰り返しの苦痛は何ですか？
それに答えることにより、あなたは機械学習/AIの適切なアプリケーションへの道を進むことができます。そのようなタスクは”モノのラベリング”であり、一度あなたが想像力豊かになれば、あなたはそのようなものがたくさんあることに気づくでしょう。
ここにいくつか機械学習のラベルの例を挙げます。
- ワインのボトル：私はそれが好みか否か
- テレビゲーム：ジョイスティックの動作
- 録音：正しいキャプションの文章
- 歌詞：翻訳
- トイレ利用者：彼らは手を洗ったか？
等々…
これらは全てラベルー小さな意思決定―で、島の人たちはあなたのためにこれを学習してくれます。
彼らは酔っぱらっているかも？
しかし盲目的に彼らを信用してはなりません。まずはテストしてうまく振舞うことを確認して彼らが信用に足ることを確認して下さい。そのためにはあなたがまずタスクを正しく行うことを表現できなければなりません。AIの一般的な間違いとして、AIは魔法だからタスクが”うまく”行われることについて深く考えることをスキップしてしまうことがあります。
あなたはタスクが正しく実施されることについて知る必要がある
タスクをうまく実行することに興味がありながら、実際にタスクをうまく実行するとはどのようなことかを言えないならば、それは非常に問題です。データのことについて考え出す前に、あなたが仕事が正しく行われたことをどのように知るかについて把握しているということをしっかり確認した方がよいでしょう。別の言い方をすれば、島から帰ってきたラベルが正しいかどうか。
プロジェクトに責任ある意思決定者がタスクの性能をどうスコアリングするかを明確にできなければ、機械学習は成功の見込みがないでしょう。次の概要を説明したドキュメントを用意するまで、あなたは機械学習プロジェクトに飛び込む準備はできていません。
- あなたのタスクが正しく実施されたとはどういう意味ですか
- どのような（機械学習の）エラーが、他のエラーより悪いですか
- もし1000のタスクが実施済みとなったら（一部は間違っている）、どのようにそのタスクに（性能評価の）スコアをつけますか？
AIプロジェクトはビジネスの意思決定者から始める必要がある
上の項目を説明したドキュメントを作成するために機械学習のPhDは不要であることに気づいたでしょう。一方で、ビジネスの理解が重要です。どのデータサイエンスプロジェクトも意思決定者から始まります。これは機械学習でも例外ではありません。心配はいりません。こちらに意思決定者が機械学習プロジェクトを始めるためのガイドがあります（翻訳版）
スタートするための簡単な但し書き
ペンと紙を用意して、コンピュータを忘れて、（酔っぱらった？）島の労働者をイメージしてください。どのような繰り返しのタスクを彼らに助けてもらいたいですか？あなたはそのタスクを行うレシピを表現できますか？もしYESなら、単純にソフトウェアエンジニアにあなたのレシピをコードに落としてもらえばいいでしょう。もしNOなら、あなたは1000の不完全なタスクの性能スコアを言えますか？もしNOなら、思考を続けてください。もしYESなら、機械学習へようこそ！
さらなるインスピレーションのために
以下は機械学習のラベルの例です。
- ベビーフードの成分：安全か腐っているか
- 患者：理想的な投薬量か
- メール：スパムかそうでないか
- コールセンターへの録音された通話：重要なトピックか
- ワインボトル：私が気に入るかどうか
- ハンドル：右か左か
- 写真：どの動物？
- ゲームのピース：ボード上のどの場所に？
- 文の始まり：分の終わり？
- 在庫：明日の価格？
- トランザクション：合法的か、不正か
- データセンターの冷却システム：温める？冷やす？
- 機械：いつメンテナンスが必要？
- 在庫：いつ補充する？
- シーンの説明：ビジュアルレンダリングのピクセル？
- 今日の気温：明日の気温？
- オークション：いくらで入札する？
- 映画：それを好きかどうか？
- ライブ講義：文字おこし？
- 詩：大声でどのように聞こえるか？
- 請求書の画像：合計金額はいくらか？
- サービスリクエスト：待ち時間はどのくらいか？
- 経費報告書：予算カテゴリは？
- 録音：文字おこし？
- 歌詞：翻訳？
- 英語の文章：中国語の同じ意味？
- フォームに正しく入力されていない：正しいフィールドは？
- 衣料品：スカートか、ブラウスか、それとも？
- ビデオ：どの俳優の？
- テレビゲーム：ジョイスティックの動作
- トイレ利用者：彼らは手を洗ったか？
［翻訳］AIを始めるならまずここから
原文
Cassie Kozyrkov氏の記事より（2018/10/19）
イントロ
AI適用プロジェクトの多くのチームが、望ましい出力と目的を明確にする前に、アルゴリズムとデータに手を付け始めてしまいます。残念ながら、それはニューヨーク市のアパートで数年子犬を飼育してから、羊を飼うことができないことに驚いているようなものです。
最初のあなたの努力無しに、魔法使いにあなたのビジネスに機械学習の魔法を振りかけるようにお願いするだけで何か有用なものが得られることを期待してはいけません。
そうではなく、最初のステップは所有者（つまりあなた！）のためのもので、あなたが犬（または機械学習/AIシステム）から何を求めているか、そして犬をうまくトレーニングしたことをどのように知るかについて明確なビジョンを形成することです。
私の過去の記事で”なぜ”について議論をしていますので、ここでは機械学習/AIの最初のステップにおける”方法”について、やっかいな小さなサブステップも含めて記していきます。
以下が目次です。
- 誰が責任者かを明らかにする
- ユースケースを特定する
- 現実の確認を実行する
- 賢明に性能指標をつくり上げる
- 人間によるバイアスに打ち勝つためのテスト基準を設定する
以下が以降で登場するキャストです。
1. 誰が責任者かを明らかにする
私たちが取り組もうとしているタスクは、プロジェクトに責任を持っている人間の責任のものなされます。それがプロジェクトの決定権を有する人物です。もしPhDの研究者がこの役割を担っていたとすれば、それはその人の意思決定スキルとビジネスに対する深い理解があるからです。もし誰かをその役職において、後でその人に対しとやかく周囲から言われるようならば、それは間違った人を選んだのでしょう。意思決定者（それは一人の人物の時もあればコミッティーの場合もある）という役割の人に期待されているのは、最終決定を下すことです。あなたの慈悲深い独裁者を賢く選出してください。
もし意思決定者が意思決定のアートとサイエンスに精通していない場合、定性専門家とペアにしてください。しかしその人がビジネスを理解していない場合、そのプロジェクトを降りるのが賢明でしょう。
2. ユースケースを特定する
アウトプットにフォーカスする
重要なことは機械学習やAIは魔法ではなく、すべての問題を解決できるわけではないということです。機械学習/AIは”ラベラー（ラベル付けをするもの）”であり、何にラベル付けをするかをあなたが考え出さなければなりません。
ラベル付けは何も分類問題（写真は猫か否か？のような）だけに限りません。ここでは「アウトプット」のことを「ラベル」と表現しています。それはカテゴリ、数値、文章、波形、グループID、単体の行動、ジョイスティックの動作、行動の文章、異常か否かのY/N、、、、いろんなものの可能性があります。
ML/AIシステムが稼働していると想像して、会社のリソースを使ってシステムを構築してシステムを構築して満足しているかどうか自問してみてください。いいえ？ブレインストーミングを続けてください。PhD保持者何人かが命を無駄にする前に、あなたのアプリケーションが必要ないということを発見する方がいいでしょう。
選択肢が多いのでこの作業は難しいでしょう。快適なソファに腰を下ろして熟考してください。ブレインストーミングの助けが必要なら、私のdrunk island exerciseを実施してみてください。
今はインプットの時間ではありません
意思決定者の中で、データに精通している人もいるでしょう。そういう人はインプットとアウトプットの両方を一度に議論し、、その違いも理解しているでしょう。私のアドバイスは「誘惑に打ち勝て」です。インプットについて今議論しないでください。あなたはそれができるかもしれませんが、いくつもある中で２つの理由を紹介します。
理由１：機会損失
この理由は主要な方です。ステークホルダーの何人かはあなたほどデータに精通しておらず、すぐに混乱してしまうことがあります。初めのうちは、あなたはリソースを節約したい、システムを保有するに値する理由を誤解してほしくないという想いから、アイディアをたくさん投げるかもしれません。彼らを混乱させないでください。今に集中して、それをどのように作るかではなく、それが何を作るかを彼らに伝えてください。
「それは目的なのかそれとも手段なのか」と自問してください。もしそれが手段であるならば、今はそれについて話さないでください。
理由２：暗黙の合意
長い間エンジニアの囲まれていたエンジニアとして、私は私たちのような人が細部にとらわれるのが大好きなんだということに気が付きました。大きな絵空事なんてくそくらえ、特に誰かが間違えている時に、物事の核心を軽視するのはとても楽しいのです。私たちは技術的な正しさが大好きです。
ここに悲喜劇があります。もしあなたが6時間もの間あなたの同僚と、変数ｘが目的変数ｙに対してよい変数かどうかについて議論しているならば、あなたは、つまり、目的変数ｙは追求する価値があるという意見を標準化したことになります。そもそも目的変数ｙに取り組むこと自体を疑問視することをやめてしまうので、構築する必要のないものを構築してしまうことになります。
ML/AIは多数の事柄に対してです
ワインボトルにY/Nをラベリングすることを自動化することに取り組もうとしているということを考えてみてください。あなたはたった1つや2つのワインボトルにラベル付けしたいわけではないということに注意して下さい。機械学習やAIはたくさんの繰り返しの意思決定を自動化することに意味があります。それは1回限りのものに対してではありません。
機械学習は1回限りのものに対してのものではありません。なので、あなたのビジネスが相当量の数のモノに対するラベリングをしているかどうかを確認してください。
あなたは少なくとも数千以上のものに対するラベル付けをイメージしていますか？そしてそれが実際の利用場面で、あなたはそれを予測する代わりにただ答えを調べることはできないということを確信していますか。OKなら、次に進みましょう。
まずペンをもってあなたが受け取るラベルをまず書き出してみましょう。（この例のY/Nは簡単に書き出すことができますが、よりクリエイティビティを発揮してエキゾチックなものを選択することもできます。）あなたが適切な答えが何かを知りたいものをかき出してください。ラベリングの誤りがどのようになるかを書き出してください。機械学習の間違いを予想してください！もしあなたが完璧さを期待しているならば、失望があなたの心を押しつぶしてしまう前に静かに立ち去ってください。
あなたは機械学習の準備ができていないかも
まだ、ユースケースを見つけ出すのに苦労していますか？しばらくの間、アナリティクスを優先して機械学習/AIの検討を一時停止してください。アナリティクスの目的は意思決定者のインスピレーションを引き出すことです。一度インスピレーションを受けたら再度機械学習/AIに戻ってきて始めればいいのです。機械学習/AIのプロジェクトのゴールはすべてラベリングを自動化することであるのに対し、アナリティクス（データマイニングとも言う）は全てのプロジェクトにおいてよいアイディアです。根底にある数学はほぼ同じであるのに、プロセスは全く異なります。データマイニングは発見のスピードを最速化することが全てであり、かたや機械学習/AIは自動化の性能が全てです。データマイニングでは、あなたのチームはたった一つのミスにしかなりませんが、ML/AIではたくさんの失敗のリストが存在します。あなたの悩みにあったユースケースがある場合のみ、機械学習/AIにサインアップしてください。
それは誰のためのもの？ユーザーのことを考えよう
あなたの眩いばかりの発明は誰のためのもの？誰が恩恵を受けるの？UXスペシャリストに相談して、あなたの対象ユーザーを設定する良い機会です。
新しいテクノロジーはしばしば”What”から始まります。しかし、”How”に進む前に”Who”をカバーしておくことは重要です。
UXデザイナーと過ごす時間で学んだことは、ユーザーが誰であるかについての私の反射的な説明は、通常非常に単純で深堀が足りないということです。間接的な受益者、全体としての社会、他のビジネス、その出力を入力とする他のシステム、デバッグ作業に当たるエンジニア等にとってのユーザビリティについて考えましたか？見苦しいUXデザインとなることを避けるために、先に進む前に時間をかけて可能性のあるすべてのユーザーカテゴリについて考えてみてください。ユーザーは顧客やエンドユーザーだけではありません。
それは倫理的に問題ないですか
もしあなたのアイディアが全ての人に一律に有益でないとしたらどうしますか？理想的なユースケースを計画する際には、あなたのシステムの存在により害を受ける可能性がある人を考慮してください。あなたの事業の競合他社のことを言っているわけではありません。あなたのアプリケーションによって害を受ける人間はいませんか？このことは、そのテクノロジーが数百から数億に拡大する場合には特に重要です。
あなたのシステムの想像により影響を受ける人のことを考えてください！だれが利益を得て、だれが危害を受ける可能性がありますか？
もし倫理専門家がいればこの段階で加わってもらうと役に立つでしょう。
3. 現実のチェックを実行する
あなたが求めているラベルが明確に表現できたらば、素早く現実をチェックします。つまり、このビジネス上の問題に関するデータを保有していますか？
もしデータがなければそれ以上進むことはできません。もしかするとオンラインでデータを取得できるかもしれません。無料でデータを利用可能にする流れが存在します。例えばコレ。
しかしそれでも関連性がなければなりません。明らかに無関係なデータは無意味です。あなたは現段階でそれを分析する必要はありあせんが、のちに分析をするためのデータが実際にあるかどうかはチェックしなければなりません。
関連するデータにアクセスできない、またはそれを処理するためのコンピュータがない？それでは何もできません。
現実のチェックリスト
- 適切なタスク：たくさんの意思決定/ラベリングを自動化しようとしていますか？それは完璧な答えを毎回見つけることができないものですか？
- 現実的な期待：そのシステムは優秀でも完璧ではないことを理解していますか？偶発的な間違いがあっても利用できますか？
- 稼働可能性：あなたはそれらを本番環境で提供することができますか？あなたが予測しているスケールで実行するためのエンジニアリングリソースを集めることができますか？エンジニアと一緒になった後でより詳細にこの質問について調べることになるので、この段階では問題がないことのざっくりとした確認で十分です。
- 学習データ：有用であることが期待できる入力データが存在しますか？それにアクセスできますか？
- 十分な学習データセット：統計専門家や機械学習エンジニアの仲間とコーヒーを飲んでいるときに、利用できるデータセット数について何気なく話してみてください。彼らの眉間にしわが寄っていませんか？
- 計算機：データセットサイズを処理するのに十分な処理能力を持った計算機にアクセスできますか？
- チーム：必要なスキルを持ったチームを編成できると確信していますか？
- 正解、教師データ（Ground Truth）：（教師無し学習を行わない限り、）出力（正解）を取得できますか？ない場合、正解を作るために人員を割くことができますか？
- 健全な記録：どの入力がどの出力に結び付くか判断することは可能ですか？
- 記録の品質：データは信じられるほど正確ですか？
チームを集める
チェックリストをクリックしたら、次は人員を集めてチームを作っていきます。これに関しては、こちらの記事を参照。
4. 賢明にパフォーマンスメトリックをつくり上げる
トレードオフを把握する
あなたはoutcomeがどれだけの価値があるかを決める責任があります。Yを取得したまずいワインボトルは、私たちが機械を失ったおいしいワインボトルの2倍悪いですか？それとも3.48倍？それはあなた次第です。
苦戦していますか？数字が好きな人を巻き込んでブレインストーミングを手伝ってもらいましょう。定性専門家（Qualitative experts）はこのことに対し特別にトレーニングされています。最良の助っ人が必要な場合には、正式なジャーゴン（無差別曲線を導き出したい）を五芒星で発生して、経済学者を召喚します。
経済学者はAIプロジェクトにおいて驚くほど便利な助っ人になります。
これで、一つの出力でさまざまな結果をトレードオフする方法を見つけ出しましたので、次は一度に数千の出力をスコアリングする方法を考えましょう。ここでは意思決定者がボスなので、正しいスコアリングの方法はあなたのビジネスにおいて何が正しいかによって異なります。
（任意）エキスパートモード：シミュレーション
トリッキーで複雑なプロジェクトはシミュレーションから多大なる恩恵を受けます。ここでフェイクの、しかしもっともらしいデータを生成するのに長けたアナリストが、選択の期待される結果を確認するのに役立ちます。
シミュレーションはドレスリハーサル（本番同様に衣装を着けて行うリハーサル）です。実際にプロジェクトをスタートさせる前に、多くのよじれをただすのに役立ちます。アナリティクスのように熟考してすべての事柄について考えることは、意思決定者の任務のいくらかの負担を取り除きます。
あなたのパフォーマンスメトリックを作る
パフォーマンスメトリックを作成するには様々な方法があります。ワインの例では、とても単純なものを選べます。それはaccuracy（正解率、通称”間違えるな”）です。全ての間違いは等しく悪く（0）、すべての正解は等しく良い（1）とし、平均を取ります。
もしあなたがよいワインの取りこぼしを非常に恐れていて、ハズレが含まれることは問題ないのであれば、異なるパフォーマンスメトリックであるrecall（再現率）を使用します。またはあなたはお金を無駄にしたくない、予算が厳しい時など。システムがおいしいと言っていたら、絶対においしくあって欲しい、けれどおいしいボトルを見逃してしまうことはOKな時、precision（適合率）というパフォーマンスメトリックを選択します。ここでは、あなたのビジネスに対して適切なことを反映するパフォーマンスメトリックを作りましょう。
専門家によるレビューを求める
人間の幸福が実質的に懸かっているようなアプリケーションでは、専門家のパネルと相談して、何らかのひねくれた有害な方法でメトリックが高得点を獲得できないことを確認してください。
何の専門家？意思決定者、倫理専門家、AI制御理論専門家、統計専門家、UX研究者、行動経済学者、ドメインエキスパート、信頼性エンジニア等。
確かに悪意がないビジネスアプリケーションにおいてはやりすぎになる可能性があるため、定性専門家などがこの内容をカバーできる可能性があります。
ハロー！ビジネスパフォーマンスメトリック！
これでビジネスのパフォーマンスを測るメトリックの完成です！
これは後に触れる損失関数と同じものではありません。メトリックに関しては、可能性は無限大であり、実際に何が重要かを判断するのは意思決定者の責任です。
［専門用語注意！］AI専門家が知っておくべきこと
損失関数とパフォーマンスメトリック、２つの指標が存在しているということが分かるでしょう。
損失関数は最適化のためのものであり、テストのためのものではありません。
統計的検定では「この仕組みは構築/ローンチに値する程度に性能を発揮するか」と問いかける必要があります。性能を発揮するとは、ビジネス上の課題とビジネスオーナーによって定義されるべきです。凸型最適化に合うようにビジネスの問題定義を変更するようなことはしてはなりません。便宜的にはリーダーが生み出した関数と同じ方向に移動する標準的な損失関数を使用して自由に最適化することはできます（分析的に、またはシミュレーションで相関係数チェックを実行※1）。しかし、彼らの関数（パフォーマンスメトリック）をテストしてください※2。一般的な誤りは、ソフトウェアの欠陥、大学のコースの形式、意思決定者のAIに関する
※1 標準的な損失関数がパフォーマンスメトリックとうまく相関しない場合、意思決定者にアラートを上げ、要求事項は非常に難しく最適化の研究者を雇う必要があるかもしれないことを伝えた方がよいでしょう。
※2 異議を唱えるAIエキスパートはこれを読んでください。
5. 人間によるバイアスに打ち勝つためのテスト基準を設定する
関心のある母集団を定義する
システムが”稼働している”ということは、あなたが稼働することを意図しているインスタンス（≒データポイント、観測値、例）を指定するまでということを意味しています。全てのUSの夏の入力か、グローバルの入力か、これらによって異なります！
次に進む前に、あなたは関心のある統計的な母集団を定義する必要があるでしょう。それは、システムが優れたパフォーマンスを発揮する必要があるインスタンスの集合です。二部構成のガイドを用意してあります。
プロジェクトを潰すことをコミットする！
これであなたはパフォーマンスメトリックと母集団を手にしました。もう一つやるべきことがあります。ここまで来るのに何カ月もかかることがあります。
最後のタスクは、「サインオフ（承認）しようと考える最小のパフォーマンスを決定する」です。つまり、あなたに、このシステムが十分に良くない限り、このシステムにラベリング（AIにさせようとしている作業）をさせないということを約束させようとしています。
十分に良いとはどういうことでしょう。それはあなた次第です。しかし、今すぐにコミットしなければなりません。
テスト基準の設定は、あなた（や私）が恐ろしい機械学習やAIから身を守るための方法です。
この基準は目標とする星ではありません。チームに対して伝える到達目標とするパフォーマンスレベルを別に設定しても構いません。しかしそれはあなたがテストする基準ではありません。単純に最低ラインに対してテストを行います。
私たちはバイアスを持つ生き物
なぜプロジェクトチームの編成をする前に、この基準を考えているのでしょう。なぜなら、人間として私たちは多少の愛すべき認知バイアスに晒されてしまうということが分かっています。人間が何かに時間と労力を費やすとき、私たちは自分たちが作ったものが好きになってしまいます、たとえそれが有毒なゴミの山だったとしても。その時私たちは自分と次のように交渉していることに気づくでしょう。
「うーん、けれどパフォーマンスはそれほど悪くはない。私は12%の精度に一定の誇りを持っています。いずれにしてもシステムをローンチできるんじゃないですか？テスト基準を10%ということにしてはどうですか？ほら、クリアするでしょう？それは統計的に十分良いということになります。」
こちらに悲しいトピックがあります。
私たちがまだ冷静である間に、そしてまだ多くのリソースを注ぐ前に、冷静にビジネスの問題を見つめ、「この最小要件を満たさない場合、私はそれを殺すことを約束します」と言わなくてはなりません。
人間より良い？
人間より良い？無意味な言葉です。
機械が私たちよりも優れているかどうかについて、あまり気にしないでください。コンピュータはいつも私より優れています、乗算の計算において。私のバケツは私より水を保持するのに優れています。労力を削減したり、達成できることを増やしたりすること以外に、道具に求めるポイントはなんでしょうか。
そうではなくて、それが役立つのに十分かどうかに照準を合わせましょう。
あまり求めすぎないこと
常に人間よりも優れたパフォーマンスを要求すると、利益を逃してしまう可能性があります。それはレンガを敷くためだけにオリンピックの金メダリストを雇うといっているのと少し似ています。もちろん、オリンピック選手はそこらの平均的な人よりも強いですが、そのような厳格な採用基準を持っていると、労働者が全くいないということになる可能性があります。
ビジネス上意味がある範囲で基準を下げてください。
過剰に高い採用条件を設定することで有益な解決策を逃さないでください。
自動化により、時に手作りの商品のユニット当たりの品質が低下する場合があります。しかし、マシンの規模と速度はビジネスにとって価値があります。それはあなたのビジネスにとって価値がありますか？
以上が機械学習/AIのステップ１です。ステップ２はデータやハードウェア、エンジニアが加わります。
［翻訳］決定インテリジェンスの概要～AI時代のリーダーシップのための新しい学問分野～
原文
Cassie Kozyrkov氏の記事より（2019年8月3日）
イントロ
サバンナでライオンを回避するための心理学が、責任あるAIリーダーシップやデータウェアハウスの設計の課題と共通しているということをご存じですか。ようこそ決定インテリジェンス（decision intelligence）へ。
決定インテリジェンスはオプション間の選択の全ての側面に関係する新しい学問分野です。それは、応用データサイエンス、社会科学、経営科学を統合した分野にまとめ、人々がデータを使って生活、ビジネス、そして周囲の世界をよりよいものにすることを支援します。それはAI時代における不可欠な科学であり、AIプロジェクトを責任をもって主導し、目的、メトリック、大規模自動化するためのセーフティネットなどを設計するために必要なスキルを網羅しています。
決定インテリジェンス（decision intelligence）は情報をあらゆる規模においてよりよい行動に変換するための学問分野です。
その基本的な用語の定義と概念を見てみましょう。各セクションはskim-reading（文章の全体像をつかむためにざっと読むこと）に適した形で構成されています。
決定（decision）とは何か
データは美しい。しかしそこからの意思決定が重要です。私たちの意思決定―つまり行動―によって、私たちは世界に影響を与えます。私たちは「決定（decision）」という言葉を「任意のエンティティにおけるオプション間の選択」という風に定義しており、（例えばビジネスにおいてロンドンに支社を開くかどうかといった）MBAで扱うような二者択一よりも広い話となります。
この用語の定義において、ユーザーの写真に猫か否かのラベルを付与することがコンピュータシステムにおける決定であり、一方でそのシステムをローンチするか否かを判断することがプロジェクト責任者であるリーダーの人間が下す決定です。
意思決定者（decision-maker）とは何か
私たちの用語の定義においては、「意思決定者（decision-maker）」とはプロジェクトチームの計画を拒否/不承認するような利害関係者や投資家のことを指すのではなく、むしろ意思決定アーキテクチャやコンテクストフレーミングの責任者のことを指します。別の言い方をすれば、「細心の注意を払って表現されたプロジェクトの目的を考える人」のことであり、それを壊そうとする人ではありません。
意思決定（decision-making）とは何か
「意思決定（decision-making）」とは各分野において異なった使われ方をしています。そのため、それは以下のようなことを指します。
- 複数のオプションがある中で一つの行動をとること（この意味においては、コンピュータでもトカゲでも意思決定（decision-making）をすることはできます）
- （人間の）意思決定者の機能を発動すること、その一部としては判断（decision）に責任を持つということ。つまり、コンピュータシステムも判断を下すことはできますが、それは意思決定者とは呼ばれません。なぜならその出力に対し責任を負っていないからです。その責任はそれを生み出した人の肩に乗っています。
「計算結果の出力」と「意思決定」の違い
全ての出力/提案は決定（decision）ではありません。Decision analysis（決定分析）の定義によると、決定は取り返しのつかないリソースの割り当てが行われた場合のみ成されます。何のコストもなくあなたが心変わりができる限り、何の決定も成されてはいません。
決定インテリジェンスの分類
決定インテリジェンスについて学習するための一つの方法は従来の方針に沿って、それを定量的側面（応用データサイエンスと大部分が重複しています）と定性的側面（主に社会科学と経営科学の研究者によって発展させられています）に分解することです。
定性的側面：決定科学（decision science）
定性的側面に対する学問分野は伝統的に決定科学（decision science）と呼ばれてきました。決定科学は次のような質問と関係しています。
- どのように決定基準を設定し、メトリックを設計すべきか（全て）
- あなたが選択したメトリックはincentive-compatible（インセンティブ互換）か（経済学）
- この決定を下すにはどれだけの情報の品質が必要であり、完璧な情報を得るためにはどれだけのコストが必要か（決定分析）
- 感情、ヒューリスティクス、バイアスは意思決定にどれだけ影響するか（心理学）
- コルチゾールレベルのような生物学的要因は意思決定にどのように影響するか（神経経済学）
- 情報の提示方法を変更すると、選択行動にどのように影響するか（行動経済学）
- グループで意思決定を行うとき、どのように得られる成果を最適化するか（実験ゲーム理論）
- 意思決定のコンテキストを設計するとき、たくさんの制約と多段階の目的のバランスをどのようにとるか（デザイン）
- 決定の結果を誰が経験し、各グループがその経験をどのように認知するか（UXリサーチ）
- 決定の目的は倫理的にどうか（哲学）
これはほんのごく一部です。関係する分野のリストも全く網羅しているとは言えません。決定科学（decision science）サイドは、データと呼ばれる（紙や電子といった）半永久的な記録媒体にきちんと記録されているものというより、人間の脳というあいまいな記録媒体における決定に向けた準備と情報処理を扱うと考えてください。
あなたの脳の問題
前世紀には、無邪気な人間の努力のたまものに膨大な数式を詰め込んだものが賞賛される風潮がありました。通常、定量的なアプローチをとることは無思慮なカオスよりも優れていますが、しかしさらに優れた方法があります。
意思決定や人間行動の定性的理解の無い純粋な数学的合理性のみに基づく戦略は非常にナイーブ（単純でだまされやすい、考えが甘い）であり、定量的と定性的を組み合わせた方法に基づく戦略と比べてパフォーマンスが劣化する傾向があります。
人間はoptimizer（最適解を求めるもの）ではありません。私たちはsatisficer（最低限満足のいく解を求めるもの）です。（このことは私たちの種の傲慢さに衝撃を与えるコンセプトだと考えます。これはノーベル賞にも値するでしょう。）
実際、私たち人間は時間と労力を節約するため認知的なヒューリスティクスを使用しています。それはしばしば良いことです。サバンナのライオンから逃げるための最適なルートを考え出すと、計算を開始する前に私たちは食べられてしまいます。私たちの脳は途方もなくエネルギーを消費するデバイスであり、重量がわずか約３ポンドであるにもかかわらず体全体のエネルギー消費の５分の１も消費しています。そのためSatisficing（不満なく事足りていること）は生きるコストを節約できます。
私たちのほとんどはライオンから逃げる日々を送っていないので、私たちは手を抜いた結果ゴミのような結果につながることがあります。私たちの脳は現代の環境に合わせて最適化されているわけではないのです。私たち人間が情報を行動に変換する方法について理解することで、意思決定プロセスを使って自分の脳の欠点から身を守ることができます。そうすることで、あなたのパフォーマンスを増強し、あなたの環境を脳に適用するのを助けるツールを構築するのにも役立ちます（ダーウィンの進化論にあなたの脳が間に合わないならば）。
ちなみにAIが人間を数式から解放すると考えるならば、考え直してください！すべてのテクノロジーはそれを生んだ人の反映であり、大規模に動作するシステムは人の欠点を増強することができます。それが、責任あるAIリーダーシップのために決定インテリジェンスが必要である一つの理由です。より詳しく知りたい場合はコチラ。
おそらくあなたは意思決定をしていない
時に、あなたの意思決定の基準について注意深く考えてみることで、あなたの心を変えるような事実（fact）は世界に存在しないと気づくことがあります。あなたはすでに行動を選択しており、あなたはより快く感じる方法を探しているに過ぎないということです。それは便利な現実です。つまりそれはあなたが時間を無駄にするのを防ぎ、あなたがいずれにしろやろうとしていたことをやっている間、感情的な不快感を別に向けることを助けます。データなんてへったくれです。
「彼は統計を、まるで酔っ払いが街灯を照明ではなく支えのように使うかのように、利用します」- Andrew Lang（イギリスの詩人、小説家）
あなたが、未知のさまざまな事実に対応して、さまざまな行動をとるわけでない限り、そこに決定はありません。決定分析のトレーニングはこのような状況をよりはっきりと把握するのに役立つことはありますが。
完全な情報の下での意思決定
あなたは事実に敏感に反応する決定問題を注意深く定義でき、指をパチンと鳴らすだけで意思決定を実行するために必要な事実情報（fact）を確認できるような状況を想像してみてください。何のためにデータサイエンスが必要ですか？いえ、何にも必要はないでしょう。
事実（fact）―確信をもってあなたが知っていること―に勝るものはありません。ですから、私たちはもし事実（fact）を知っているならばそれに基づいて意思決定をすることを好みます。そのため、ビジネスの最初の段階は、事実（fact）に対しどのように対処したいかを理解することです。次の用途のうち、理想的な情報（fact）を提供したいものはどれですか？
あなたは事実（fact）で何ができますか？
- あなたはその事実を用いることで、事前に構成された１つの重要な意思決定を下すことができる。それが十分に重要である場合には、質的側面に大きく頼って決定問題を賢く構成する必要があります。もしあなたが予期しない驚くべき情報を不意に受けてしまうと、あなたが望まない方向にあなたを操作してしまう可能性があることが、心理学者の間で知られている。そのため、心理学者はあなたが受容する情報を事前に選択するアプローチについて多く語ることがある。
- あなたはその事実を用いることで、事前に構成された特殊な種類の意思決定を下すことができる。その意思決定とはimpact (またはcausal）decisionというものである。もしあなたの決定問題が何かを引き起こすために行動を起こすという観点で構成されている場合、意思決定を下すための因果関係についての事実が必要である。このような場合には、結果に関する事実（例えば、人々はこの病気から回復するといった情報）は、もし原因（例えば、抗生物質により）と一緒に得られなければ不要である。原因と結果の情報を入手する方法は対照実験を行うことです。一方、もしあなたが因果関係のない事実への応答としての”実行”に関する意思決定を行おうとしている場合（例えば、もし銀行口座に〇以上の金額がたまったら、私は新しい靴を買おう、など）、実験は必要ない。
- あなたはその事実を用いて、自身の意見を裏付けることができる（「おそらく外は晴れているだろうと思います」が「外は晴れているということを知っています」になる）
- あなたは事実を用いて、一つの重要な存在ベースの意思決定を下すことができる。存在ベースの意思決定とは過去に未知であった事象の存在により、あなたのアプローチの根底が大きく揺さぶられ、後から考えて、あなたの決定のコンテキストはずさんに構成されていたということに気づき下されるものである。（「すぐ隣にエボラ出血熱の症例があることが分かったので、私はここから出ていきます」）
- あなたはその事実を用いて、多数の決定を自動化できる。従来のプログラミングでは、人間が事実から適切なアクションに変換する命令を指定する。ルックアップテーブルのようなものはこれに当たる。
- あなたはその事実を用いて、自動化ソリューションを明らかにすることができる。システムに関する事実を知ることで、それらに基づきコードを書くことができる。これは情報なしでひたすら考えてソリューションの構造を考え出す従来のアプローチよりも良いものである。例えば、もしあなたがセ氏温度をカ氏温度に変換する方法を知らず、ただセ氏とカ氏の対応データだけ利用できる場合、おそらくあなたはそれらの関係式を分析により導き出すことができるだろう。そしてその関係式（”モデル”）をコード化するだけで、あなたの泥臭い仕事を代わりにやってくれて、あなたは不格好なテーブルを捨て去ることができる。
- あなたはその事実を用いて、完全な解が求められる自動化問題の最適な解決策を生成することができる。これが古典的な最適化問題である。オペレーションズリサーチの分野では、例えば一連のタスクを完了させる最良の順序など、理想的な結果を得るためにどのように制約条件を調整するかなど、多くの事例がある。
- あなたはその事実を用いて、未来の重要な決定事項に対しどのようにアプローチするか示唆を生むことができる。これはアナリティクスといい、部分的な情報のセクションにも含まれている。
- あなたはその事実を使用して、あなたが扱っている内容を見積もる、吟味することができる。これにより将来の決定のために利用できるインプット情報の種類を理解し、情報をよりよく収集する方法をデザインすることができる。もしあなたが未知の材料（データ）でいっぱいの暗くて大きい倉庫（データウェアハウス）を引き継いだばかりの場合、誰かがその中を見るまであなたはその中に何があるかわからないでしょう。幸運にもアナリストがその中をスピーディーに確認できる。
- あなたはその事実を使用して、ぼやっとした決定事項を作ることができます。これは意思決定の重要度が低く、慎重にアプローチするほどでもない場合に有効である。例えば、「今日何食べる？」など。全ての決定事項に対し常に厳密であろうとすると、あまり最適ではない解が長い時間をかけて得られてしまい、いわゆる「完璧主義」に陥ってしまう。重要な決定を下す場面に備えて労力を節約しましょう。しかし、低品質-小労力のアプローチが効率的であっても、そのアプローチが低品質であるということを忘れないでください。そのアプローチから得た結果に自信過剰にならないようにしてください。
決定科学（decision science）のトレーニングにより、厳密でファクトベースの決定事項に対する労力を削減する方法を学びます。つまり同じ作業量で、全体的により高い品質の意思決定が得られるようになります。これはとても価値のあるスキルです。しかし、それを磨くにはとても多くの時間が必要です。例えば、行動経済学の学生は情報を得る前に前もって決定基準を設定する習慣が形成されます。このように決定科学のトレーニングを受けた人は、チケットの値段を見る前に、チケットに支払える最大額を自問せずにはいられなくなります。
データ収集とデータエンジニアリング
もし事実がそこにあるであれば、それはもう終わりでしょう。悲しいかな、私たちは現実世界に生きていて、しばしば自分の情報のために作業しなければなりません。データエンジニアリングはデータを大規模に、確実に利用できるようにすることに向けた洗練された分野です。1パイントのアイスをスーパーに買いに行く時のように、利用可能な全ての関係する情報が一つのスプレッドシートに収まるならば、データエンジニアリングは簡単になります。
しかし、200万トンのアイスクリームを溶かさずに配送するとなったら、、事は急にややこしくなります。巨大な倉庫を設計し、立ち上げ、保守する必要があり、将来どのようなものを保管する必要が出てくるのかわからない場合はなおさらです。それは魚かもしれません、またはプルトニウムかも、、、頑張って！
データエンジニアリングは決定インテリジェンスとは別の姉妹分野でありカギとなるコラボレーターですが、決定科学には事実情報のデザインと収集に対する助言の専門知識が多分に含まれています。
定量的側面：データサイエンス
もしあなたが決定問題を定義し、必要な事実を検索エンジンやアナリストを通じて見つけたら、あとは決定を下すだけです。それでおしまい！あいまいなデータサイエンスは必要ありません。もしその全ての”フットワーク”とエンジニアリング”柔術”をもってしてもあなたの決定問題に対して理想的な情報が得られなかったら？もし、部分的な情報しか得られなかったら？おそらくあなたは明日の事実が欲しいのでしょう。しかしあなたはあなたは過去の情報しか得ることができません。おそらくあなたはあなたの携わる製品の潜在顧客が何を考えているのか知りたいのでしょう。しかしあなたはそのうちの数百人にしか質問することはできません。この時あなたは不確実性について扱わなくてはならなくなります。あなたが知っていることは、あなたが知りたかったことではありません。データサイエンスにようこそ！
当然、あなたが持っている事実があなたが欲しい事実と異なる場合、あなたはアプローチを変えるべきです。おそらくそれはもっと大きなパズルの1ピースでしょう（大きな母数からのサンプリングのように）。おそらくすれは正しいパズルではないでしょう、しかしあなたが持っている最善のものです（過去からの未来の予測のように）。あなたがデータの範囲を飛び越えなくてはならない時、データサイエンスは面白くなります。しかし、イカロスのような断定は避けるように注意してください。
- あなたは部分的な事実を用いて、統計的推論を用いた仮説であなたが持っている情報を補完することで、事前に定義された決定を下すことができます。これが頻度主義（古典的）統計です。もしあなたがinpact decision（何かの出来事を引き起こすために行動をするという観点で定義された決定問題。例えば、もしより多くの人がウェブサイトを訪れるようになるのならば、ロゴの色をオレンジに変更する、など）に取り組んでいる場合、ランダム化対照実験から得られたデータを使うのがよいでしょう。もしあなたがexecution decision（例えば、ユーザーの少なくとも25%がオレンジをお気に入りの色だと考えているのならば、ロゴの色をオレンジに変更する、など）に取り組んでいる場合、調査または観察研究で十分です。
- あなたは部分的な事実を用いて、あなたの考えをより情報に基づいた（それでも依然として不十分で個人的な情報ではある）考えに論理的に変換することができます。これがベイズ統計です。もしあなたの下したい決定に原因と結果の関係性が含まれているようなら、ランダム化された対照実験からのデータを使うのがよいでしょう。
- あなたは部分的な事実が、ある事柄の存在に関する事実に変換される可能性があります。それにより、存在ベースの意思決定を後から下すことに使用できます。
- あなたは部分的な事実を用いて、大量の決定事項を自動化することができます。これは、過去に見たことのないものを過去の最も近いものに変換した上で行う、ルックアップテーブルのようなものです。（それが一言でいえばk-NNです）
- あなたは部分的な事実を用いて、自動化ソリューションに示唆を与えることができます。システムに関する部分的な事実を見ながら、あなたはコードを書くことができるでしょう。これがアナリティクスです。
- 部分的な事実を用いて、解を完全に計算で求めることができない問題に対する適切な解決策を生成することができます。これによりあなた自身で考え出す必要がなくなります。これが機械学習やAIが指すところです。
- あなたは部分的な事実を用いて、将来の重要な決定事項にどのようにアプローチするかに関し示唆を得ることができます。これがアナリティクスです。
- あなたは部分的な事実を用いて、あなたが扱っているシステムを理解し、高度な分析機能を有する自動化処理の開発を加速することができます。例えば、有効な入力情報を生成するために情報を混ぜ合わせる新しい方法（専門用語で言うところの「機械学習エンジニアリング」）やAIプロジェクトにおける新しいアルゴリズムの案出に示唆を与えます。
- あなたは部分的な事実を用いて、ぼやっとした決定事項に対するずさんな形での意思決定を下すことができます。あなたが知っていることはあなたが本当に知りたいこととは一段とかけ離れているので、意思決定の質が一段と低下することに注意してください。
これらすべての用途に対し、以前はサイロ化されていたさまざまな分野の知恵を統合し、意思決定をより効果的に取り組む方法があります。それが決定インテリジェンス（decision intelligence）です。それは意思決定に関する多様な観点を一つにまとめ、私たちを強化し、元の研究分野の制約から解放された新しい声を与えてくれます。
もしあなたがさらに興味があれば、Medium.comに私のほとんどの記事があります。私の"starting AI projects"の記事がおそらく最もおおざっぱなものでしょう。なのでそこから飛び込んでみることをおすすめします。
