ときには結果的に新たな差別をしてしまう機械

技術の発展によって、人工知能関連技術が様々なシーンで応用されることが増えてきた。特に膨大なデータを用いて、これまで人間では不可能であった事実や公理を導き出すことも可能となっている。その一方で、そのデータから導いだされた結果がときには差別などモラル面での問題に発展する事案が散見される。

ここでは、結果的に差別などのバイアスに嵌ってしまった事例を振り返り、これらの問題の根源について探っていくことにする。

MicrosoftのチャットボットTayは差別に走ってしまった

Microsoftの「Tay」は差別的な発言を繰り返し、サービス終了に追い込まれたのは記憶に新しい。2016年3月23日にTwitter上で書き込みを行う女性のチャットボットとして登場した。18歳から24歳を対象としており、機械学習技術により、人間と会話するほど賢くなるものであった。Microsoftとしてはこのようなチャットボットを通して会話データを収集することを目的としていたようだ。

公開直後、多数のユーザに注目を得て、様々なユーザの話相手になることに成功していた。しかしながら、そこで会話したデータを学習に利用するという仕組みにより、一部のユーザが意図的に差別や陰謀論などを吹聴したため、それを元に「Tay」は不適切、差別的な発言を繰り返したことから、1日でサービル終了となってしまった。

「Tay」の基本的なアルゴリズムは差別的でなかったはずだ。あくまでもユーザによって与えられたデータが「Tay」を変えてしまったと考えてよい。もちろんMicrosoftはそのようなネガティブな発言をフィルタリングする機能を備え、機能させていたが、一部のユーザの想像出来なかった悪用によるものだと考えられている。

人工知能、特に機械学習は、学習の際に使用するデータを元に判断をするものである。人間がもし、そのデータを悪くなるように故意に書き換えたり、偏ったデータを生成したりすることができれば、そのシステムは、誤った結果を導くものである。「Tay」はそんなオンライン学習などのリアルタイムでの学習を含んだ機械学習のいわば脆弱性を示してしまったわけだ。

美人コンテストの結果も問われる

人工知能による美人コンテスト「Beauty.AI」。2016年7月、1ヶ月間の応募期間に世界100か国以上、6000人もの応募がった。応募者の写真を人工知能が判断して、世界一の美人を決めるものだ。

人工知能は44名を選んだのだが、ほとんどが白人、6人がアジア系、濃い肌の色を持つ人は1人という結果であった。この結果について不公平ではないか、差別ではないかという声が出たわけだ。

何が原因であったのか、それについて、「シワを担当するアルゴリズムが学習のため取り込んだデータ画像は、白人の画像が多かった」としている。つまり、データに偏りがあったわけである。もちろんこのシステムを作った時点でそのような偏りがあったとは意識していなかっただろう。しかしながら、実際使用することで、機械学習がピュアであるがゆえにわかってしまうこともあるのだ。差別などのバイアスはこのように意図せずとも起こってしまうこともある。

新たな差別を創り出すこともある

その中で非常に問題なのは、ヨーロッパ系アメリカ人の名前はアフリカ系アメリカ人は名前よりも「快適」という概念に近い結果となっている。

人の名前のそれぞれの印象を顕在化した結果であるが、そもそもその印象は、書かれた文書集合の単語の出現度合いから導きだされた結果である。これはWeb上のデータの潜在的な偏りが顕在化された例であろう。

フロリダ州で導入されている囚人の再犯率を計算するアリゴリズムについても、黒人に不利な結果を導出するものであったという報告がある。

2013年から2014年のフロリダ州で逮捕された7000人を対象に、再犯リスク評価の結果と実際2年以内に逮捕された人を検証を行った。その結果、再犯リスクがあると判断された受刑者で、実際に再犯したのは20%だけであった。つまり、再犯率を計算するアルゴリズムはあまり信頼性がないことがわかった。また、黒人の囚人の再犯確率が高いと判定するのが白人よりも2倍以上高く判定されていた。白人は黒人よりもリスクが低いと誤認していることもわかった。

アルゴリズムが悪いわけではない、我々の利用の仕方だ

「baby」「hand」で画像検索をしてみよう。今や緩和されてきているが、少し前までは、白人の写真がほとんどであった。今でも白人が多いと感じるだろう。その状況を変えようとするプロジェクト「World White Web」もある。このようにユーザ側から、結果を変えていくという運動も中にはあるだろう(「Tay」の逆バージョンなので、それも色々ご意見があるかもしれませんが)。

このようなバイアスを生むのは、もちろん「Tay」の例のように、悪意のある人間が人工知能を誘導することもありうるが、どちらかというとそのような意図的に発生することの方が少ない。そのような場合、どちらかといえば、開発されたアルゴリズム自身の問題よりもデータに潜在的にねむっていることの方が多い。「アルゴリズムバイアス」という言葉もあるが、アルゴリズムというよりもデータの偏りだ。

上記の例のような再犯リスクの評価のような、人を直接評価するものについて、本当にそのアルゴリズム、データセットで評価するのが妥当なのか、説明が必要となるシーンも今後多くなるかもしれない。さらにそこで判定されたある評価がどこまでついて回るのか、我々は「デジタルレッテル」という新たなレッテルを貼られて生活しなければならないかもしれない。

このような懸念点について、人工知能、機械学習を使ってはダメと判断するのはまちがっている。これらは、確実に我々の生活をドライブする欠かせないものになっていく。我々がどのように人工知能、機械学習を適用して、その結果をどのように活用していくのか、意思決定をしていくのか、その力が問われている。