機械の杓子定規な判断ミスと人間のヒューマンエラー、耐えがたいのはどっち？
山本一郎さんがFBでシェアしたこちらの記事を拝見しました。
この記事を拝見して、自分が以前に書いた記事を思い出しました。
こちらのエントリ、当時読んでいたダニエル・カーネマンのファスト＆スローに登場するネタを紹介したものですが、いまの時代にぴったりなネタだと思うので再掲しておきます。
ダニエル・カーネマンのファスト＆スローの、直感対アルゴリズム - 専門家の判断は統計より劣るという という章があり、ポール・ミールの「臨床的予測対統計的予測-証拠の理論分析の評価」を紹介しています。
この本は、20種類の調査結果に基づいて、訓練を積んだ専門家の主観的な印象に基づく臨床的予測と、ルールに基づく数項目の評価・数値化による統計的予測とを比較し、どちらがすぐれている分析しているものです。
この章でカーネマンはアルゴリズムに対する敵意として、臨床心理学者の敵意と不信に満ちた反応を紹介しています。
そして、人間と機械が勝負するときには、ジョン・ヘンリーからガルリ・カスパロフにいたるまで、私たちはいつだって心情的に人間の見方なのだと指摘し、人間に関わる決定を下すアルゴリズムに嫌悪感を抱くのは、多くの人が人工物や合成物よりも自然のものを好むからだとしています。
機械やアルゴリズムの進化は今後ますます進むことでしょう。この進化により人間よりミスの少ないアルゴリズムが利用可能であるなら、重要な決定を人間の直感に頼るのはリスクであるとも考えられます。
ただし自分の子供の診断を機械に任せ、その機械的で杓子定規な判断のミスが原因で子供が死んだら、ヒューマンエラーのせいで死ぬよりも耐え難いのではないでしょうか、
これについてカーネマンは「この感情的な痛手のちがいが、人間による判断を好むことにつながっている。」としています。さてあなたは人間のミスと、機械のミスを同等に受け入れる自信はありますか？
機械がどんどん進化する未来を肯定的に捉えるのも自由だし、否定的にとらえるのも自由です。
ただ最近ちょっと違和感を感じるのは、人工知能が病気を診断、いかにも病気を治してくれるかのような記事を見かけたときに感じる違和感があります。
病気の早期発見が重要ではないと言いたいのではありません。
診断結果によらず、生きているのは自分であり、最終的に病から回復するには自分の意志と治癒力があってこそとか、自分はどうするいう部分が抜け落ちるとまずいのでは？と思うのです。
このような観点から、山本さんのこちらの指摘であったり、途中紹介したカーネマンの指摘にも考えべきところは多いと思います。
AIが状況判断を間違えて人を怪我させてしまったときの責任はどこにいくのか、と考えたときに、ケセラセラでとりあえず動けばβで良いやと思っていたICT業界の文脈だけではなかなかむつかしいのでしょう。また、スケールが大きいから、マネタイズされているからと言って、保険をかけ何かあったら賠償でいいや、というわけにもいかないでしょう。