「説明できるAI」は可能なのか
すでに実用化の段階に入ったと言われている人工知能ですが、早くから取り組んで来た企業の中には、一部のプロジェクトを諦める例も出てきているようです。
履歴書を審査して適性を判断するAIを構築したのですが、学習させたデータが過去の履歴書だったため、例えば技術職では過去に応募してきたのが男性が圧倒的に多く、新しい履歴書を審査する場合に男性に有利な判定を下したということです。
これはコンピューターモデルに１０年間にわたって提出された履歴書のパターンを学習させたためだ。つまり技術職のほとんどが男性からの応募だったことで、システムは男性を採用するのが好ましいと認識したのだ。
ただこれは別に目新しいことではなく、学習データに偏りがあれば必然的に起きることです。数年前にもMicrosoftのAIが人種差別的な発言をして話題になったことがありました。
これは、人間でもAIでも教育が大事、という、ある意味当たり前の事実を考えさせてくれました。
後からモデルをうまく補正できれば良いのでしょうが、今のAIはブラックボックスと言われ、どのような根拠で答えを出したのかがわかりません。根拠がわからなければ直しようもないわけですから、「やめる」という選択しかなかったのでしょう。企業のコンプライアンスや社会的責任が問われかねない状況になっていたのです。
以前も書きましたが、結局、今のAIは「たくさんモデルを作ってみて、良い結果が出たものを使う」ということであって、モデルをリファインするとか、検証するといったことはできないようです。
「説明できるAI」への取り組み
この問題は数年前から指摘されており、「説明できるAI」への取り組みが行われてきました。XAI (Explainable Artificial Intelligence) と呼ばれる研究分野で、LIME（Local Interpretable Model-Agnostic Explanations）が有名ですね。
上の記事によると、LIMEは「データ一つに対する機械学習モデルの分類器による予測結果に対して、どうして分類が行われたのかを説明する」とあります。以下の記事にわかりやすい例が載っています。
最近では富士通からも発表がありました。
このように「説明できるAI」への取り組みは本格化しつつありますが、その先には「モデルの最適化」があります。説明できるだけでは不十分で、問題点を見つけてそれを修正していくことができなければ、AIは意外に早く壁に突き当たるかも知れません。技術的な問題ではなく、「社会が許容しない」ということになりかねないのです。ただでさえ、「AIが仕事を奪う」といったことが喧伝され、立場は悪くなっています。AIそのものの研究よりも、こちらのほうがAIの存続にとっては重要な研究になるのかも知れません。
そもそも、判断基準を説明することはできるのか?
ただ、この問題については様々な議論があります。
この中で、Googleのリサーチ担当ディレクターであるPeter Norvig氏は説明可能なAIについて以下の様に言っています。
Norvig氏が指摘したのは、結局のところ人間だって自分の意思決定について説明するのはあまり上手ではない、ということだ。
まあ、そのとおりです。冒頭の例で言えば、それなら人間が行えば選別は完璧に平等なのかいうと、そうも言えません。というより、人間の方がよほど差別的かも知れませんよね。「なんとなく嫌い」とかも関係してくるでしょうし。
以前のエントリ「AIが人間を超えるかどうかを議論するためには判断する基準が必要だ」でも書いたように、「人と同様に」とか「人並に」ということを議論するのであれば、人間そのものを先に解析しなければなりません。この問題が深刻化するのはもう少し先になると思っていましたが、一部では早くも問題が顕在化しているということですね。