AIは「なぜそうしたのか」を説明できるか（中西崇文さんのXAI論文から学ぶ）

AIは「なぜそうしたのか」を説明できるか

〜Physical AI時代の安全と信頼を支えるXAIと、中西崇文氏のAIME²〜

AIが車やロボットを動かす時代、「なぜそうしたの？」に答えられることが大切になる

少し想像してみてほしい。

あなたが車に乗っている。

運転しているのは人間ではなくAIだ。

交差点に近づいたとき、その車が突然、急ブレーキをかけた。

幸い事故にはならなかった。

でも当然、

「どうして急に止まったの？」

と思うだろう。

前に人がいたのか。

自転車を見つけたのか。

道路標識を読み間違えたのか。

カメラが何かを人間と勘違いしたのか。

それともAIそのものが間違ったのか。

もし車が、

「分かりません。でもAIがそう判断しました」

としか答えられなかったら、次も安心して乗れるだろうか。

さらに、それが単なる急ブレーキではなく、本当に事故だったらどうだろう。

事故の原因を調べるためには、

「何が起きたか」

だけでは足りない。

「なぜ、そのAIはその判断をしたのか」

まで分からなければならない。

この問題が、これから非常に重要になる。

これまで私たちが身近に使ってきたAIの多くは、パソコンやスマートフォンの画面の中にいた。

文章を書く。

質問に答える。

画像を作る。

翻訳する。

こうしたAIが間違えても、人間が「これはおかしい」と判断して使わなければ、そこで止められることが多い。

しかしAIはいま、画面の外へ出始めている。

車を運転する。

ロボットを動かす。

ドローンを飛ばす。

工場の機械を操作する。

人間と同じ場所を歩き、物を持ち、人間を助ける。

これが Physical AI（フィジカルAI） と呼ばれる世界である。

Physical AIでは、AIの「答え」がそのまま現実世界の「行動」になる。

だからAIの間違いも、単なる間違った文章では終わらない。

車の急制動や誤操舵、ロボットの誤動作、機械との衝突など、物理的な結果につながる可能性がある。

中国の2026年の具身智能、つまりEmbodied Intelligenceの安全研究でも、AIのリスクが「感知→決策→控制→執行」、日本語なら「知覚→判断→制御→実行」という流れを通じて、経路逸脱、誤操作、衝突などの現実世界の被害へ拡大し得ると整理されている。

だからこれからのAIには、

「正しいか」だけではなく、「なぜそうしたのかを説明できるか」

が求められるようになる。

この「AIの判断理由を分かるようにする」研究分野が、

XAI――Explainable Artificial Intelligence、説明可能なAI

である。

僕は2026年6月12日のInterop Japan 2026で、「フィジカルAI本格実装 ～VLA・模倣学習・双腕データ・説明可能AI・ヒューマノイドから読み解く～」というセッションのChairを務めた。

そこには、東京工科大学教授の中西崇文氏にも登壇いただいた。

セッション自体が、Physical AIでは接触、不確実性、安全性など、デジタル世界だけのAIとは異なる問題が生じること、そして「AIの思考プロセスを明確にし、AIの判断が正しいことを確認できることがますます重要になる」と問題提起していた。

僕たちがそこで議論したことの一つが、

Physical AIになれば、XAIの重要性はむしろ一段と高まる

ということだった。

そして今回、英語、中国語、フランス語、スペイン語、アラビア語、日本語で世界の動きを調べてみると、この問題意識は日本だけのものではないことが分かった。

米国のNISTは、自動運転車や自律航空機のようなシステムについて、AIの説明可能性を安全保証の一部として扱っている。ただし、説明できればそれだけで安全になるわけではなく、説明可能性は必要だが十分ではない、と明確にしている。

EUのAI Actは、高リスクAIに対して、動作を後から追跡できるようイベントログを自動的に記録する能力を求め、人間が出力を解釈できることや、人間による監督も要求している。

フランスのCNILはさらに具体的だ。

AIが判断するときに使ったデータ、信頼度、システムのバージョンなどを記録し、

「その記録を使って、あとから特定の判断を説明できるか」

をチェック項目としている。

しかも例として、人間を支援する産業用ロボットまで挙げている。

スペイン語圏では、XAIについて trazabilidad（追跡可能性）、interpretabilidad（解釈可能性）、responsabilidad（責任）という言葉が並ぶ。

中国では、高リスク分野で説明可能性が足りないAIは補助的な利用にとどめ、人間が最終判断し、原データ、推論経路、判断の閾値が発動した記録を保存して「責任可追溯」、つまり責任を後から追跡できるようにする考え方まで示されている。

サウジアラビアでも2026年7月、国のAIリスク管理枠組みの基本原則として、「信頼性と安全性」「透明性と説明可能性」「説明責任と責任」が明示された。

日本でも2026年4月、経済産業省がAI利用時の民事責任についての手引きを公表した。その背景にはAIのブラックボックス性や自律性があり、想定事例には自律走行ロボットまで含まれている。

つまり世界は今、

「AIを賢くする」だけでなく、「何をしたかを記録し、なぜそうしたかを説明し、問題が起きたら責任や原因を追跡できるようにする」

方向へ動いている。

そんな時期に発表されたのが、中西崇文氏の

AIME²: toward a unified algebraic theory of explainability via approximate inverse operators

という論文である。

2026年7月14日、Nature Portfolioの新しい査読誌 Communications AI & Computing のVolume 1、Article 3として正式に掲載された。

AIME²の考え方は、一見難しそうだが、入口は意外に分かりやすい。

普通のAIは、

情報を入れる → AIが考える → 答えが出る

という方向に動く。

例えば、

検査データを入れる
→ AIが計算する
→ 「悪性である確率90％」

となる。

AIME²は、これを逆向きに見る。

「90％という答えが出た。では、その結果を説明できる入力側の構造は何だったのか」

と考える。

結果から理由側へ戻っていく。

刑事ドラマで、事件という「結果」から証拠をたどって何が起きたかを再構成するのに少し似ている。

数学では、このような考え方を 逆問題（inverse problem） と呼ぶ。

中西崇文氏は、AIの「説明」を、この逆問題として数学的に捉え直したのである。

さらにAIME²が面白いのは、現在のXAIにはSHAP、LIME、CIU、Anchorsなど、考え方の違う方法がたくさん存在するのだが、それらを、

「全部同じ方法だ」と言うのではなく、「同じ地図の上で位置関係を説明できないか」

と考えたことだ。

僕はAIME²の価値を、「新しい説明アルゴリズムを一個発明した」と理解するより、

バラバラだったAI説明の世界に、共通の地図を描こうとする研究

と捉える方がよいと思っている。

そしてこの考え方は、Physical AIの時代に興味深い意味を持つ。

AIが自動車やロボットを動かしたとき、

「何をしたのか」

だけでなく、

「なぜそうしたのか」

を結果から逆向きに調べなければならないからだ。

ただし、ここには非常に重要な注意がある。

AIME²がPhysical AIの事故原因を解明できると、この論文が証明したわけではない。

AIME²で行われた実データ実験は乳がん診断データであり、自動運転車やロボットの事故を分析した研究ではない。

また、

「AIがなぜそう判断したかを説明すること」と、「現実世界で事故を本当に引き起こした原因を突き止めること」も同じではない。

XAIは重要な証拠になり得る。

しかし事故原因の究明には、センサー、ソフトウェア、AIモデル、通信、制御装置、機械、人間の行動なども合わせて調べる必要がある。

だからXAIは、安全そのものではない。

僕なら、

「安全を作るために必要な重要な部品の一つ」

と考える。

そしてもう一つ、この研究には意外な面白さがある。

2026年7月21日、「レンタル博士」さんがAIME²について、

「人間もAIも理由をあとからつけている」

という記事を書いた。

人間も、

「どうしてそんなことをしたの？」

と聞かれると理由を説明する。

でも、その理由は本当に行動した瞬間から頭の中に保存されていたのだろうか。

それとも、すでに起きた行動という「結果」を見ながら、

「たぶんこうだった」

と後から理由を再構成しているのだろうか。

心理学には、人間が自分自身の判断過程へ完全にアクセスできない場合があることを示す古典的な研究がある。

また、自分が実際には選ばなかったものを「あなたが選びました」と示されても、入れ替わりに気付かず、その選択理由を説明してしまうChoice Blindnessという研究もある。

もちろん、人間の脳がAIME²の数式を計算しているという話ではない。

しかし、

結果から、その結果を説明する理由側を再構成する

という形には、どこか共通点がある。

中西崇文氏自身も、AIMEを考えていたころから、

「説明する」という行為そのものが、ある意味で逆演算ではないか

という感覚を持っていたという。

だからこの研究を突き詰めていくと、

「AIは自分の判断を説明できるのか」

という問いが、

最後には、

「そもそも人間は、自分がなぜそうしたかを本当に説明できているのか」

という問いへ戻ってくる。

AIの説明可能性という、とても技術的に見える研究が、

安全、事故、責任、社会からの信頼、

そして最後には、

人間にとって『説明する』とは何なのか

という問いまでつながっていく。

僕が中西崇文氏のAIME²を面白いと思う最大の理由は、そこにある。