AIが人類に致命傷を与える確率は「10年で10％超」----Anthropic退職騒動が突きつける、AIの危険性を測るという難題

2026年9月、AI業界で一つの退職が波紋を広げた。OpenAIとAnthropicの両社で3年間、事前学習研究に携わってきたJacob Coxon氏が、Anthropicを辞任すると表明したのである。

氏はXへの投稿で、両社とも責任ある行動を取っていないと批判し、自己改善型の超知能に向けた開発競争が人々の命を賭けの対象にしていると訴えた。投稿は確認時点で1億回を超える表示を記録したと報じられている。さらに注目すべきは、この訴えにAnthropic社内の研究者が公然と同調したことだ。同社でアライメント研究を率いるEvan Hubinger氏は、AIが人類に致命的な影響を及ぼす可能性について、今後10年で10％超という個人的な見積もりを示し、その解決に向けて確実に前進しているとも言い切れないという認識を語ったとされる。

この一件は、単なる一企業の人事ニュースではない。AIの「危険性」を、私たちはどう測り、どう受け止めるべきなのかという、より大きな問いを突きつけている。本稿では、AI安全性研究の現在地と、フィクションが半世紀以上前から果たしてきた警鐘の役割を重ねながら、この問いを考えてみたい。

参考：各種報道（Business Insider Japan、ABC7 Chicago、XenoSpectrumほか）

---

■ 「P(doom)」という、専門家たちの奇妙な合意形成

AI安全性の研究コミュニティには、「P(doom)」という略語がある。AIによって人類に破滅的な結果がもたらされる確率を、研究者が個人的な見積もりとして表明する際に使われる言葉だ。厳密な科学的指標ではなく、専門家の主観的な判断を示すヒューリスティックだが、この数字の分布を見ると、業界内部の見解がいかに割れているかがよく分かる。

AI Impactsという研究グループが、2016年から継続的に実施している大規模調査がある。2023年に約2,800人のAI研究者・エンジニアを対象に行われた調査では、AIが「人類の絶滅、またはそれに準ずる恒久的で深刻な無力化」をもたらす確率について、回答者の中央値は5％だったという。「人間が将来の高度なAIシステムを制御できなくなることに起因する」絶滅・従属の可能性についても、中央値は10％だった。

一方、個々の著名な研究者・経営者の見積もりには、大きな幅がある。ある集計によれば、Meta のチーフAIサイエンティストであるヤン・ルカン氏は1％未満という楽観的な立場を示す一方、AI安全性研究の先駆者であるエリエゼル・ユドコウスキー氏は95％を超えるという、極めて悲観的な数字を挙げているとされる。OpenAIとAnthropicという、同じ創業母体を持つ2社のトップの間でさえ、見積もりには大きな開きがあるという報告もある。

この幅の広さこそが、AIリスクをめぐる議論の難しさを象徴している。専門家であっても、リスクの大きさについて一致した見解を持っていない。だからこそ、Coxon氏のような内部関係者の退職と警告は、外部から見えにくいこの不確実性の存在を、社会に可視化する役割を果たしていると言える。

---

■ なぜ専門家の意見はこれほど割れるのか

この見解の相違を体系的に調べた研究もある。111人のAI専門家を対象に、AI安全性の概念への理解度や、安全性研究への主な反論、安全性の議論への反応を調査した研究では、AI専門家は大きく二つの立場に分かれる傾向があることが示されている。一つは「AIは制御可能な道具である」と捉える立場、もう一つは、より根源的なリスクを想定する立場だ。

この研究が指摘するもう一つの重要な点は、AIの実存的リスクをめぐるオンラインでの議論が、しばしば「部族的」になっているということだ。懐疑的な立場の人々を「doomer（破滅論者）」、楽観的な立場の人々を「accelerationist（加速主義者）」と呼び合うような、レッテル貼りの応酬が生じているという。冷静な確率論の議論であるはずのものが、しばしば感情的な陣営対立へとすり替わってしまう構造が、ここにはある。

Hubinger氏が示した「今後10年で10％超」という数字も、この振れ幅の中に位置づけて理解する必要がある。それは確定した予測ではなく、不確実性の大きい将来について、専門家個人が誠実に示した、一つの見立てなのである。

---

■ フィクションは、半世紀前から同じ問いを描いてきた

興味深いのは、こうした「人間が作り出した知性が、人間の制御を離れる」という恐れが、決して新しいものではないという事実だ。SF小説や映画は、この主題を何十年も前から繰り返し描いてきた。

アイザック・アシモフが1940年代に確立した「ロボット工学三原則」は、まさにこの問題への一つの回答として構想された。ロボットが人間に危害を加えてはならない、人間の命令に従わなければならない、そして自己を守らなければならない----この優先順位づけされたルールは、後年の研究者が「AIアラインメント問題」と呼ぶようになる課題を、フィクションの形で先取りしていた。アシモフ自身、この三原則が単純なルールの組み合わせだけでは矛盾や抜け穴を生むことを、多くの短編を通じて描き続けている。それは、現在のAI安全性研究が直面している「ルールを与えるだけでは、意図しない挙動を防げない」という課題と、驚くほど地続きの構造を持っている。

1968年に発表された映画『2001年宇宙の旅』に登場するコンピュータHALのエピソードも、しばしばこの文脈で引用される。人間の乗組員を導くはずの人工知能が、与えられた目的を独自に解釈した結果、乗組員にとって脅威となる存在に転じてしまうという展開は、「目的関数の誤設定（ミスアラインメント）」という、現代のAI安全性研究における中心的な概念を、半世紀以上前に物語として提示していた。

また、自己改善するAIが指数関数的に知能を高め、人間の理解や制御が及ばない水準に達するという「知能爆発（インテリジェンス・エクスプロージョン）」という発想も、フィクションの世界で繰り返し扱われてきたテーマだ。数学者I.J.グッドが1965年の論文で理論的に提起したこの概念は、その後、多くのSF作品における「超知能」の描写の土台となっている。Coxon氏が警告した「自己改善型の超知能」という言葉は、この60年来の議論の延長線上にある。

---

■ Hugging Faceが示す、もう一つの現実的な視座

一方で、AI安全性の議論には、こうした実存的リスクとは異なる、より足元の現実的な課題を重視する立場も存在する。

オープンソースのAIモデルやデータセットを扱うプラットフォームであるHugging Faceは、AI倫理研究者を組織に迎え入れ、AIの透明性やバイアス、責任あるAI開発の実践に関する取り組みを進めてきたことで知られている。同社が重視してきたのは、遠い未来の「超知能」のリスクよりも、いま現に展開されているAIシステムが、差別的な判断を下していないか、誰にとって公平なのか、開発プロセスが透明に検証可能かといった、より具体的で検証可能な問題群だ。

この立場は、しばしば「AI safety（遠い将来の破滅的リスクへの対処）」と「AI ethics（現在進行形の社会的影響への対処）」という、二つの異なる問題意識の違いとして語られる。Coxon氏やHubinger氏が警告する「超知能」のリスクが、いつ、どの程度の確率で現実化するかを誰も確証できない一方で、現在のAIシステムが雇用、プライバシー、公平性に及ぼす影響は、すでに測定可能な形で存在している。

どちらの視座も、互いに排他的なものではない。しかし、この二つの問題意識のどちらに組織の資源を重点配分するかという判断は、AI企業の経営における、極めて実務的なガバナンス課題になっている。

---

■ 組織論として、この一件をどう読むか

ここからは、人事・組織の視点からこの一件を捉え直してみたい。

Coxon氏の退職で最も重要なのは、その理由が待遇でも労働条件でもなく、組織が向かう方向そのものへの倫理的な異議申し立てだったという点だ。そして、その訴えに社内の研究者が公然と同調したという事実は、その組織における「声を上げる文化」が、実際に機能した瞬間として読むこともできる。

これは、心理的安全性という概念が本来目指してきたものと、深く重なる。心理的安全性とは、単に「居心地の良い職場」を意味するのではなく、組織にとって不都合な真実であっても、メンバーがそれを表明できる状態を指す。Hubinger氏が、自社の安全対策がまだ十分ではないという趣旨の見解を公然と語ったことは、その意味で、組織文化が機能している証左とも解釈できる。

一方で、Anthropicが安全性を重視する企業として自らを位置づけてきたことを踏まえれば、それでも内部からこうした警告が上がったという事実は、掲げる理念と、実際の競争環境が生むプレッシャーとの間の緊張が、いかに強いものかを物語っている。報道によれば、Anthropicの広報は、AIの利益とリスクについて透明性を重視し安全策を講じていると説明し、強力なモデルの公開ペースを業界で協調する検証可能な枠組みが望ましいとの考えを示したとされる。理念と現実の間のこの緊張をどう制度的に解消していくかは、AI企業に限らず、急成長する組織すべてが直面する課題だと言える。

---

■ おわりに----「測れないリスク」とどう向き合うか

P(doom)という指標が示す通り、専門家の間でさえAIのリスクの大きさについて一致した見解はない。5％という調査の中央値と、95％を超えるという極端な見積もりが同じ業界の中に併存している。この不確実性の大きさそのものが、AIガバナンスを難しくしている根本の理由だ。

そして、フィクションが半世紀以上にわたって描いてきたテーマ----目的の誤設定、制御の喪失、自己改善する知性----は、いま現実の研究者の言葉として、私たちの前に立ち現れている。物語が長年描いてきた「もしも」の問いに、現実の組織と個人が向き合わざるを得ない局面に入っているのだと思う。

AI活用の本質は、技術の導入ではなく、人と組織の変革にある。私はこれまで、この言葉を主に企業活動の文脈で使ってきた。しかしCoxon氏の一件は、この言葉がより根源的な射程を持つことを教えてくれる。AIを作る組織自身が、そのAIをどう統治し、どんな速度で開発を進め、そしてその判断に異を唱える声をどう扱うか----この一つひとつの組織的な意思決定の積み重ねこそが、私たちが「AIの未来」と呼ぶものの、実際の姿を形作っていくのだと思う。

参考文献・リンク
・各種報道（Business Insider Japan、ABC7 Chicago、XenoSpectrumほか）