ChatGPTは、なぜ驚異的な能力を持つに至ったのか？（茂木健一郎氏の動画視聴メモ）

ChatGPTは、なぜ驚異的な能力を持つに至ったのか？（茂木健一郎氏の動画視聴メモ）

ChatGPT (GPT-4) の「凄さ」について様々な観点での議論が様々な場で行われていますが、茂木健一郎 さんが2023/5/7に公開した動画の説明は、ChatGPT がどのような社会的インパクトがありそうかという観点に興味がある僕にとっては、約30分で網羅的に説明されているように感じていて、非常にわかりやすいなと感じています。（いま、２回視聴しましたが、まだまだ理解できていませんけれど）

ChatGPTのようなLLMはなぜ驚異的な能力を持つに至ったのか。そしてシンギュラリティに向けて人工知能はコントロール可能なのか？（茂木健一郎の脳の教養塾）

この動画をみなさんにご紹介するために、僕の１０％くらいの理解の段階でのメモを共有しておきます。（あくまで動画を視聴しての僕の現時点での理解のメモです。）

ーーー
LLM （Large Langage Model / 大規模言語モデル）がどうしてここまで大きな進化を遂げたのか？驚くべきこと。Super Intelligence. 超知能。　シンギュラリティが近づいているかもしれない。

Attention Is All You Need
「Attention Is All You Need」は、「Transformer」という仕組みを提案した論文。

Transformer Model はは次に来る単語を予想しているだけ。トークンを予想しているだけ。Next Taken Prediction が全て。それだけなのに、なぜこのようなことができるのか？

ChatGPTができてしまったこととは・・・・

チューリングテストには、ほぼ合格と言われている。

チューリングテストとは、人工知能の能力を測定するための評価方法の一つで、ある人工知能が人間との対話において、人間と区別がつかないような自然な応答を行えるかどうかを判断するテスト。

GPT-4 。ネット上のほぼ全てのテキストを読んでいる。どんな読書家でも知識の量はかなわない。しかも、忘れない。　臨機応変に情報を引き出してくる能力は人間を超えている。

言語能力だけでなく、Theory of Mind（心の理論）、相手の心を理解する能力についても驚異的。

「誤信念」課題についても合格してしまった、と広く理解されている。

「誤信念」課題とは、他者が何か現実とは異なる状態を信じているとき，その他者の頭の中にだけ存在する「信念」を理解することが問われる。

そして、Winograd Schema Challengeにも合格

Winograd Schema Challenge（WSC）は、自然言語理解の評価タスクの一種。このタスクは、人工知能システムの能力を測定するために、コンピューターが特定の文脈で単語の意味を理解して推論を行うことができるかどうかを判断することを目的としている。

言葉の運用、意味の理解、他人の心の理解をしているように見える。世界の常識を身につけているように見える。

驚異的である。

どういうことなのだろうと多くの人が思っている。

我々が思っている以上に、我々（人間）は世界のリアリティについての理解や身体性などを言語構造の中に入れてしまっているということがLLMの成功から見えてきた。

ここまで至ると、ほとんどの自然言語によって記述される機能は、トランスフォーマーモデルでいけると認めざるを得ない。

と、今のところはここまで。

この動画は、必見と思います。ぜひご覧ください。僕も何回も観て少しでも多く正く理解していきたいと思っています。