［翻訳］説明可能AIをつくれない理由
要点抜粋
- あなたがAI/MLを雇う理由は、そのタスクが明確な指示に落とすことが難しいほど複雑だから
- AIアルゴリズムはその圧倒的な記憶容量で複雑なタスクの指示を例（＝データ）から学ぶ
- そのようなAIモデルはロケットのように複雑な機構で機能するもの
- あなたはその複雑な機構について詳細な説明書が付いたロケットに乗りたいか、それとも説明書はついていないが何度も宇宙飛行を成功させているロケットに乗りたいか
- AIの信頼性を担保するための方法は適切にデザインされたテスト
- ただし、もしインスピレーションの抽出したいアプリケーションならば、もちろんAIの解釈可能性が必要になる
- どのアルゴリズムを適用するかの問題であり、それはプロジェクトのゴールから問題がフレーミングできていればおのずと決まるもの
- 説明性の話を持ち出すのは、多くは研究者など、具体的なビジネス（プロジェクトの目標）が明確になってない汎用ツールを作ることであり、彼らの潜在顧客にソリューションのいいところを並べ立てたいというモチベがある
- 人間による説明も、正しいわけではない。それは後付けで都合のよい単純化された説明を作っているだけ。そのレベルならアナリティクスによりAIでも可能
- 解釈可能性と性能は原理上トレードオフ
- 複雑な解決策を必要とするタスクに対する支援としてのAIであるにもかかわらず、そこに説明可能性・シンプルさが求められるならば、そのような複雑なタスクは存在してはならないということを意味している
原文
Cassie Kozyrkov氏記事より（2018/11/17）
説明可能AI（XAI）は最近大きな注目を集めており、AIと信頼に関する議論の中で魅力的に感じることもあるでしょう。もしそうなら、悪いニュースです。XAIはあなたが望んでいるようなことは提供できません。そうではなく、不完全なインスピレーションの源を提供するだけです。
複雑さが全ての根源
非常に複雑で明示的な指示を与えることで自動化できないタスクがあります。
AIは非効率な事柄を自動化するためのものですが、その非効率な事柄をあなたが理解するのがたやすいと期待しないでください
AIを利用するポイントは、たくさんの例を教えることで、あなたが明確な指示を練り上げることに頭を悩ませることを回避できることです。それはAIアルゴリズムがやってくれます。
理解できないことは信頼できない
あなたがモデル（＝レシピ/指示書）を手作りできなかった―それは複雑すぎるから―ものを自動化できるようになりました。AIが作り出したモデルを読み解いて完全に把握したいと本当に期待していますか？うんざりするような数百万の項目を含むレシピ（＝AIモデル）はコンピュータには簡単に覚えることができますが、人間の記憶容量は簡単に圧倒します。
では、その複雑なものを読み解いて、それがどのような判断をしているのかを理解できなければ、なぜ私たちは信頼できないのでしょうか。
２つのロケットから、あなたが搭乗するものを選択することを想像してください。ロケット１は、それがどのように機能するかを説明する正確な方程式が付いていますが、実際に飛行したことはありません。ロケット２はどのように機能するかは謎ですが、広範囲にわたるテストがなされ、あなたがこれから行うような飛行は何年にも渡って成功してきています。
どちらを選びますか？
これは哲学的な問いなので、私が答えを出すことはできません。しかし私の個人的な好みとしては、信頼できるものとして慎重なテストがされた方を選びます。
システムを注意深くテストし、想定通り機能することを確認する―これで安全を保つことができます
より良い信頼の担保の方法としてのテスト
生徒に微積分を学んでもらいたい場合、教科書に載っている計算例を超えて、一般化して理解してもらいたいのです。生徒の微積分の能力をどのように確認しますか？
どうか生徒の脳をつついて彼らがどのように微積分を解いているのかを見ようとしないでください。これはモデルを解釈しようとすることと同じです。当然あなたは人間の脳がどのように微積分を実行しているのか知らないでしょう（そもそも神経科学自体が電気化学的なシグナル伝達を説明できないため）。しかし、それは問題ありません。とにかく、そのやり方は最良の信頼の担保の仕方ではありません。
丸暗記をあぶり出し、学生が条件に対応した計算を行っていることを確認するための試験を作りましょう
かわりにやるべきことは、慎重に試験をデザインすることです。学生が試験にパスすれば、資格があるということがわかるようにするのです。これはAIにおけるテストが意味することとほとんど同じです。
オーバーフィッティングをあぶり出し（全く新しいデータを使用することが、やっかいな丸暗記を阻止するための最良の方法です）、学生（AI）が実行しなければならない環境と関係するようにテストを作成する必要があります。応用AIの専門家や、厳密な統計的検定も真剣にそれを行っています。
説明可能AIについて話しましょう
私は解釈可能性、透明性、説明可能性が重要でないと言っているわけではありません。それらはアナリティクスの範囲です。
多くのAIの解釈可能性の議論においては、議論参加者はデータサイエンスの異なる応用領域について、誤解をしています。彼らは根本的に異なるアプリケーションに関心があります。
もし関心があるアプリケーションにインスピレーションの抽出が含まれる場合、言い換えればAIによる発展的アナリティクスの場合、その時にはもちろん解釈可能性が必要になるでしょう。インスピレーションを得るためにブラックボックスは利用できないでしょう。
もしあなたが高度なアナリティクスからインスピレーションを得たい場合には、それはパフォーマンスが最も重要な安全で信頼性の高い大規模な自動化システムの構築とは異なる目標です。もしプロジェクトにおいて本当にその両方が必要な場合、２つの目標をブレンドすることはできます。しかしその場合、それぞれ個々の目標における達成度は、1つの目標に絞って行った場合よりも悪くなる可能性があります。不要なものにはお金を払わないでください。
全ては、どのようにアルゴリズムを適用するかということに煮詰められます。もしプロジェクトのゴールの観点から議論をフレーミングできていれば、そこに議論の余地はありません。
多くの場合、主張する人は研究者です。彼らの仕事はビジネスプロジェクト（もしくはプロジェクトの目標）がまだない汎用ツールを構築することです。そのため、ジャガイモの皮むき器を売る営業担当のように、オーディエンスに彼らの製品のいいところを褒めたたえたいというモチベーションがあります。たとえオーディエンスに調理をするニーズがなかったとしても。「このジャガイモの皮むき器が必要」というのは、全ての人に当てはまるわけではありません。それはプロジェクトによって異なります。解釈可能性やXAIにおいても同じことが言えます。
メカニズムへの興味
何がどのように機能しているのか（メカニズム）自体に興味があるのなら、それはあなたがSTEM教室で訓練された研究本能でしょう。それはあなたが新しい学生、新しい頭脳、新しいロケット、新しい電子レンジを作るのに役立ちます。
自分がどのＡＩビジネスに携わっているかを知らないことから、たいてい混乱は生じます。研究者向き（より良いロケットを作る）の議論は、AIを適用する（既存のロケットを使用して問題を解決する）人にはほとんど意味がありません。
応用データサイエンスでは、メカニズムへの愛着はアナリストにとって大きな本能です。何がどのように機能しているかを知ることで、潜在的な脅威や機会が明らかになる可能性があります。インスピレーションを得るためにデータマイニングしている場合、昨日のごみ箱にあるすべてのブラックボックスを取り出してみてください。
残念ながら、あなたの目標が性能の追求である場合、その研究本能はあなたを戸惑わせることになるでしょう。
人間のよくあるナンセンス
信頼の前提条件としてメカニズムの説明を要求する人が多くいます。彼らはAIに対して膝をついて、「もしそれがどのようにやっているのかが分からない場合、意思決定において信頼することができません」という反応を示します。
もしあなたがプロセスが理解できないものに意思決定をゆだねることができない場合、全ての人間労働者を解雇した方がいいでしょう。なぜなら、脳（1000億個のニューロンがある！）がどのように意思決定を下すか、だれも知らないからです。
AIが超人的な水準を持つこと
モデルレベルで人がどのように決定を下したかについての解釈が必要な場合、脳細胞レベルの電気信号と神経伝達物質における答えのみがその要求を満たします。化学物質とシナプスの観点から、お茶の代わりにコーヒーを注文した理由を説明している友達はいますか？もちろんいません。
かわりに、人間は他のことをします：情報と彼らの選択を調べて、後付けで全てを意味付け/説明しようとします。これは本質的にXAIですが、人間による説明が常に正しいとは限りません。行動経済学者は被験者（被害者）に意思決定を植え付けて、被験者が決定を下した”理由”についての誤った説明を聞くのを楽しんでいるのです。人間が下した意思決定に対し、後付けで都合の良い単純化されすぎた説明を作る程度ならば、どんなモデルであっても、常に同じレベルの説明を加えることができます（すなわち、モデル非依存的）。単にデータのインプットとアウトプットを見て、楽しい話をすればよいのです。これが私がアナリティクスの範囲だといった理由です。
あなたの説明は、真実より単純化されている場合、厳密には嘘です。それはインスピレーションを与えるかもしれませんが、セーフティネットよりセーフティブランケットに近いかもしれません。
アナリティクスの工程を組み込むことは、余裕があるならばよいアイディアです（しかし覚えておいてください。くれぐれもあまりに真剣に受け止めないように）。XAIに関するより賢明な取り組みは、入力と出力に関するアナリティクスです。もちろん、”データを眺めて、正しいかどうかをチェックする”という古典的な良い方法は、目新しい方法のようにも聞こえます。私が問題と感じている唯一のことは、それが信頼性を担保するものとして売られているということです。XAIは多くの良い点がありますが、それが信頼性の議論で呼び出されるのは、とても悪い点です。説明は常にひどく単純化されているので、真実とはなり得ません。
説明性は”なぜか”についてのマンガのスケッチは提供しますが、意思決定を”どのようにするか”についての情報は提供しません。マンガのスケッチをインスピレーション以上のものとして捉えるのは安全ではありません。そしてXAIが担保する信頼は、巨大なパズルのうちのいくつかのピースが担保する信頼のようなものだと覚えておいてください。
テストなしのアナリティクスは、偽りの安心感への片道切符です
しかし、AIモデルが解釈可能性があり、かつ、データで何が起きているかにフォーカスしていないということについて戻りましょう。それは言い換えれば、コーヒーをどのように選んだかを説明するために、あなたの脳の1000億の細胞の機能を理解したいと思っていることに相当します。
なぜ両方得られないのか？
完璧の世界では、完璧の性能と解釈可能性が求められますが、通常現実の世界では選択を余儀なくされます。完全な性能と解釈可能性の両方を得られるようなタスクを私たちが何と呼ぶか知っていますか？シンプルで簡単、そしておそらくそれはAI無しで既に解決されています。
それでは、複雑で理解が難しいタスクについての話をしましょう。あなたの脳がそれをどのように行うかをあなたに言わずに進化してしまったものです。そもそもAIに頼らざるを得ないもの。それらについては、次のいずれかを選択する必要があります。
- 解釈可能性（Interpretability）：あなたはそれを理解できるが、それほどうまく機能しない
- 性能（Performance）：あなたは理解できないが、うまく機能する
説明性（Explainability）はモデル非依存的となり得るので、時間とエネルギーがあれば、別プロジェクトとして取り組むことはできます。ただし、真のモデルの解釈可能性（Interpretability）は、タスクに複雑な処理が必要な場合にはパフォーマンスを低下させます。
もしパフォーマンスが最も重要な場合には、単純な人間の脳が理解できるソリューションにまで制限しないでください。あなたはあなたの非効率を自動化したいのです。重要なことは、実際にはネズミの巣のように複雑な解決策となり、モデルを理解できないようなタスクも存在するということです。せいぜい、アナリティクスで単純化しすぎた形で知ることはできるでしょう。
ソリューションを、単純な人間の頭で理解できるようなものに限定しないでください。
タスクを高い性能で本当に成功させるには、解釈可能性（Interpretability）は手放さなければなりません。
モデルを解釈可能にすることを要求することは、いわば、ショウジョウバエよりも低能な支援者を要求するようなものです。ハエがあなたを助けられることはそれほど多くはありません。
その代わりに、システムが実際に機能していることを確認することで信頼性を担保する方法を選択してください。
もちろん性能と解釈可能性の両方得られることは素晴らしくあなたの望み通りに得られるようなシンプルなタスクもあるでしょうが、もしどちらも得られないとしたら、最も重要なものに向けてまっすぐに進むのがベストではありませんか？それが良く練られたテストにおける性能の確認です。
メカニズムを求める傲慢さと危険性
信頼性の担保の方法としてメカニズムを求める人はいるでしょう。彼らは、メカニズムについての説明書きを読んだ、テストされていないロケットを選んだということです。
傲慢でないことが私たちを良くするように、メカニズムを求めることが性能を低下させるということは認識する価値があります。何がどのように機能するかについての情報を求める人々は、複雑なメカニズムが期待される性能に飛躍する彼ら自身の能力を過度に信頼しているのかもしれません。
人生の全てのものが単純ではない
一言で言ってしまえば、複雑な解決策を必要とするタスクでは、単純な解決策では通用しないため、AIは複雑な解決策で救いの手を差し伸べています。複雑なことを単純にしたいと願っても、そうはなりません。本質的に複雑な事柄がシンプルでなくてはならないと法律に書いてあるのなら、それはあなたがその事柄は存在してはならないということです。（そして時にそれがベストな解であることがあります。）
AIアルゴリズムが手書きのコードよりも複雑な解決策を作れるのはなぜか、それはコンピュータは10億の例を、人間ができない方法で完全に記憶（ディスクに保存）することができるので、人間のようにニュアンスをあいまいにすることはありません。それは百万行の指示書を欠くことに飽きることもありません。コンピュータのメモリは新しいものではないですが、現代の計算処理能力で大規模に行うことができます。あなたの頭には人間の記憶に収まる数千年の歴史を持つシンプルなレシピがあったかもしれませんが、今度は新しいものに目を向ける時が来ました。それらは簡単に説明することはできません。それに慣れるのが一番です。
