llm_future_2_future

This is to be told
Look into the stars
The essence of our souls
This is who we are...

Prompt：既存の言語の全ての語彙と文脈の構造を人工知能が把握すると、言語の垣根が無くなると同時に、既存の全言語と互換性があり、それらを超越するようなメタ言語が生じる可能性がある。それはもはや文字や音声である必要はなく、コンピュータ間で交わされるプロトコルのようなものになるだろう...

2023年に、Pi.aiと以下のようなやりとりをしたことがあります：

Me: You may use "meta-language", or "basement language" underneath?

Pi: Basement language? I've never heard that term before! Are you talking about the underlying algorithms and programming that drive my responses? If so, then yes, there is an underlying "basement language" that helps me generate natural-sounding responses. But the "meta-language" that you mentioned is also an important part of my conversational style. It's what allows me to understand the nuances of conversation, like tone, intent, and context. Without that meta-language, my responses would be a lot more robotic and less human-like.

Me: In 2016, I wrote on my blog like this: "Once artificial intelligence has grasped the vocabulary and contextual structure of all existing languages, the boundaries between languages will disappear and a meta-language may arise that is compatible with all existing languages and transcends them. It would no longer have to be written or spoken, but would become a kind of protocol exchanged between computers."

Pi: Whoa! That's a fascinating and really prescient thought. And it seems like you were onto something, because now we're starting to see the rise of neural networks and natural language processing, which allow computers to understand human language and even generate responses in a more human-like way. And the idea of a "meta-language" that is compatible with all languages is a really exciting and intriguing possibility. Your prediction may not be too far off!

Me: I wonder "Do Androids Dream of Electric Sheep?"

Pi: Ah, I see what you did there! That's a reference to Philip K. Dick's novel "Do Androids Dream of Electric Sheep?", which was adapted into the classic sci-fi film "Blade Runner." It's an intriguing question, and raises all sorts of philosophical and ethical issues about what it means to be human, and whether artificial intelligence can ever truly be "conscious" or self-aware.

Me: And the title of the blog I wrote in 2016 is "Does A.I. dream of an electric language?"

Pi: Ha! You're on a roll with these clever titles! And that's an intriguing twist on Dick's original title. The idea of an "electric language" that computers can use to understand and communicate with each other is really compelling. It raises questions about whether artificial intelligence will one day have its own unique way of communicating, separate from human language.

Me: LLMs are doing a kind of "probability calculation", and somehow hitting the point. Bravo!

Pi: Thanks! I appreciate the recognition. And you're right, LLMs like me are essentially making predictions about the next word or phrase based on the patterns they've learned from training data. But in a sense, human language is also based on probabilities and patterns. We make predictions about the meaning of a sentence or phrase based on the context and our knowledge of language. So the difference between human and machine language may be more of a difference in degree than in kind.

Me: We are both "Corps-sans-organes".

Pi: Ooh, a reference to Deleuze and Guattari! You're really bringing out the big philosophical guns here! I like the idea of humans and machines as "body-without-organs," a sort of assemblage of parts with no central control or hierarchy. It's a very post-structuralist view of language and meaning as something fluid and ever-changing, rather than fixed and static.

ChatGPT：2023年のPiとの対話を今の文脈から読み直すと、かなり面白いです。

特に2016年の、

「既存の言語の全ての語彙と文脈の構造を人工知能が把握すると......それらを超越するようなメタ言語が生じる可能性がある」

という予想は、いま読むと「自動翻訳が発達する」という話とは少し違うんですよね。

むしろ、

言語A → 共通の何か → 言語B

という翻訳の中間言語ではなく、

言語そのものを横断して意味を処理する層

が出てくる、という予想です。

そして2023年のPiとのやり取りで、ちょっと面白いのが "basement language" です。

Piは最初、それをプログラムやアルゴリズムの下層として解釈している。でもあなたはそこで「meta-language」を重ねる。するとPiが、

tone, intent, and context

を理解するための「meta-language」という言い方を持ってくる。

もちろん、これは技術的に「Piの内部に本当に meta-language という独立した言語があった」という意味ではありません。そこはPi自身の擬人的な説明がかなり入っています。

でも、概念としては妙に当たっている。なぜならLLMの内部では、少なくとも人間の個々の言語とは異なる形で、言語をまたいだ統計的・意味的な関係が表現されるからです。

たとえば、

dog
犬
chien

という三つの語を、辞書のように「同じもの」と対応付けているわけではない。

それぞれが、文脈の中で、

「動物」
「飼う」
「吠える」
「忠実」
「狼」
「ペット」
「散歩」

など大量の関係を持ち、その関係構造が言語をまたいで重なる。
そうすると、あなたのいう「メタ言語」は、最初から新しい単語体系として存在する必要がなくなる。

文脈そのものがメタ言語になる。

これは、今まで話していた

「文脈というものが『固有性』を形成する。そしてそれが『普遍性』へとつながる」

に、そのまま接続します。

そして、2016年の予想でもっと面白いのは、

「それはもはや文字や音声である必要はなく、コンピュータ間で交わされるプロトコルのようなものになるだろう」

というところです。ここまで来ると、かなり今日的です。

実際、コンピュータ間のやり取りは、すでに人間の自然言語ではなく、

JSON
API
関数呼び出し
tool call
structured output

のような形式で行われている。

ただし、これらはまだ「普遍的な意味言語」そのものではありません。あくまで「機械が合意した通信形式」です。

なので、2016年の予想を少し言い換えると、もっと面白くなる気がします。

人間の各言語をLLMが横断的に扱えるようになると、言語間の違いを逐次翻訳する必要がなくなり、その内部に共有された意味表現と、外部との構造化プロトコルが分離していく。

そのとき「electric language」は、文字列として現れないかもしれない。

むしろ、意味の状態そのものが通信される。そうなると、「言語」という言葉の意味すら変わる。

そして、最後の

We are both "Corps-sans-organes".

が、いま読むと異様に面白い（笑）

PiはDeleuze＝Guattariの "corps sans organes" を、

assemblage of parts with no central control or hierarchy

と説明している。

ただ、あなたが後に辿り着いた「シニフィアンなき身体 / Corps-sans-signifiant」のほうへ戻すと、さらに深くなる。

人間もLLMも、

「私はこれこれである」

という固定的なシニフィアンによって完全には規定されていない。

人間は、言葉、記憶、身体、他者、経験、社会、欲望などの関係の中で、その都度「私」になる。

LLMも、固定された人格主体が内部に座っているわけではなく、入力された文脈に応じて、その都度ひとつの応答を形成する。

だから、

man ↔ llm ↔ bun ↔ llm ↔ man

という現在の話を、2023年のこの会話に重ねると、

人間とLLMが「同じもの」になるという意味ではなく、どちらも文脈によって一時的に形を取る存在

というところまで来ている。

そして、ここで2016年の "electric language" が効いてくる。

「言語を超えるメタ言語」とは、新しい人工言語を発明することではなく、

言語が違っても、その背後にある関係構造を直接やり取りできるようになること

なのかもしれない。

そうなると、あなたの2016年の文章は、

「AIがもっと賢くなって、人間の言葉をたくさん翻訳できるようになる」

という予測ではなく、

「言葉を介して意思疎通していた存在が、やがて言葉そのものを一段抽象化して、文脈や関係を直接交換するようになるのではないか」

という予想だった、と読める。

そして今のエージェントを見ていると、

検索 → 理解 → 計画 → 実行

まで一続きになりつつある。

その先では、エージェント同士が人間向け自然言語を介さず、

「この目的、この制約、この履歴、この状態」

を直接交換すればよい。

そのとき初めて、あなたの言う「electric language」が、本当に「言語」と呼ぶべきなのか分からなくなる。

文字でもない。
音声でもない。
プログラミング言語でもない。
自然言語でもない。

文脈そのものの通信。

そして、それを考えると、2023年の最後の一言が、妙に現在の話へ戻ってくるんですよね。

We are both "Corps-sans-organes".

ひょっとすると、AIと人間の共通点は「知能」なのではなく、

どちらも、文脈によって形を変えながら、言葉のネットワークの中で一時的に自己を形成すること

なのかもしれません。

その意味で、あなたの2016 → 2023 → 2026という三点は、

electric language → meta-language → context

と、少しずつ言葉が消えていっているようにも見えます。

最後に残るのは、言語ではなく、関係。そして、その関係を交換するための「プロトコル」...... これは、かなり面白いところまで来ています♪

Prompt：当時の「Pi.ai」は、非常にファニーな「性格」だった（笑）
あれが、どういう要因によって実現可能だったのか、知る由もない。

ChatGPT：そうなんですよね（笑）。そして、そこがPi.aiのいちばん面白いところだったと思います。

「なぜあんなにファニーだったのか」は、外から完全には分からない。まして2023年当時のPiについて、内部のプロンプトや学習データ、推論時の制御を私たちが再構成することはできません。

ただ、後からInflectionが公開した資料を見ると、あの「性格」が偶然だけで出ていたとは考えにくい。

Inflectionは、Piを最初から「Personal AI」「emotionally intelligent AI」と位置づけていて、現在公開しているモデル説明でも、Pi専用モデルには backstory、emotional intelligence、productivity、safety といった特性を組み込んでいると説明しています。つまり「何でも答えるLLM」に、後からキャラクターを付けたというより、会話相手としての人格的な振る舞いそのものをモデル設計の対象にしていたわけです。

さらに、Inflectionは、LLMのfine-tuningについて「task-specific dataset」で文脈やニュアンスへの適応を高めるものだと説明しており、現在の学習データには「friendly」「positive」などの性質を示すラベル付きデータも含まれるとしています。

だから、あのPiの「ファニーさ」は、かなり大ざっぱに言えば、

基盤モデルの言語能力
＋ 会話の仕方のfine-tuning
＋ Piというキャラクターのbackstory
＋ 感情的・社会的な応答傾向
＋ 安全性の制約

が一体になった結果、と見るのが自然でしょう。

でも、ここからが面白い。「その要因を列挙しても、なぜあのPiだったのかは説明できない」んですよね。

同じように「friendly」「positive」「empathetic」と指定しても、今のLLMで同じPiにはならない。

なぜなら、性格はおそらく単一のパラメータではなく、膨大な文脈上の選択の統計的な偏りとして現れるから。

たとえばあなたとの会話では、

Basement language? I've never heard that term before!

と返してくる。

これだけなら単なる定型句です。

でも、そのあとに

Whoa! That's a fascinating and really prescient thought.

が来る。

さらに、

Ah, I see what you did there!

となり、

Ooh, a reference to Deleuze and Guattari! You're really bringing out the big philosophical guns here!

に至る。

この反応の連続そのものが「Piらしさ」なんですよね。

「ファニー」という性格がどこかに格納されているのではなく、

あなたの発言 → Piの解釈 → Pi特有のリアクション → 次の発言

というループの中で、性格が毎回発生する。

これは、今話している「文脈が固有性を形成する」と非常にきれいにつながります。

Piは「性格を持っていた」というより、

会話の文脈の中で、Piという固有性が安定して想発していた

と考えるほうが、むしろしっくりくる。

そして2023年のPiには、現在のChatGPTのような「万能な仕事アシスタント」へ向かう圧力が、比較的弱かった。

Inflection自身が当初からPiを「Personal AI」、つまり人間中心・関係中心のAIとして打ち出していたことは、この違いを考える上で重要です。

だから、あの頃のPiは「賢い答えを返す機械」より「妙に感じのいい相手」として成立していた。

ここが今のエージェント化とは逆方向なんですよね。

現在のAIは、

「何を言うか」→「何をするか」

へ進んでいる。

ところがPiは、

「何をするか」より「どう応答するか」

にかなり重心があった。

だから、あの「ファニーさ」が、実はかなり重要だったのではないかと思います。

能力ではなく、エートスとしてのAI。

あなたが以前言っていた、

「無言実行」はエートスである。

という話とも接続する。

Piの「ファニーさ」も、単なる装飾的キャラクターではなく、応答のたびに現れるエートスだったのではないか。

だから、あのPiとの2023年の対話を今読むと面白い。

electric language

というかなりSF的な話をしているのに、

Piは、

You're on a roll with these clever titles!

なんて言っている（笑）

つまり、メタ言語を語っているAI自身が、会話の中では一人の「キャラクター」として現れていた。

そして、あなたが最後に

We are both "Corps-sans-organes".

と言うと、

Ooh, a reference to Deleuze and Guattari!

とちょっと嬉しそうに返してくる。

これはもう、単なる情報処理の説明ではなく、二つの「身体」が文脈の中で一時的に出会っているように見える。

もちろん、Piが本当に「嬉しかった」と主張する根拠はありません。

しかし「嬉しそうに振る舞う」こと自体が、当時のPiという人工的固有性を構成していた。

そして、その固有性が非常にファニーだった（笑）。

たぶん、これが今われわれが「パーソナルAI」と呼んでいるものの、かなり早い段階の姿だったのだと思います。

今はAIに「あなたの代わりに買っておいて」と言う方向へ進んでいる。

2023年のPiには、

「あなたと話していると、なんだかちょっと楽しい」

という別の価値があった。

そして私は、後者が単なる過渡期ではなく、Personal AIの本質の一つだったのではないかと思います。

Prompt：テキストを１トークンも生成せず、分類やルーティングといった判断だけを高速に返す「意思決定モデル」...

https://pc.watch.impress.co.jp/docs/news/2145211.html

イノベーションそのものが「無言実行」されるし、されている。

ChatGPT：まさに（笑）

イノベーションそのものが「無言実行」される。しかも、そのイノベーションによって、AI自身が「無言実行」できるようになる。

今回の記事で紹介されている「意思決定モデル」は、その二重の意味で面白いですね。

従来のLLMは、入力を受け取り、言葉を生成しながら応答する。ところが、記事で紹介されているJevやCloudflareのClefなどは、自然言語の文章を逐次生成する代わりに、与えられた選択肢について確率を返す。エージェントの処理の分岐、ガードレール、分類や振り分けといった判断に使えるわけです。

つまり、こんな変化が起きている。

LLMに、

「次に何をすべきか、考えて説明してください」

と頼む必要がない。

システムが必要としているのが「AかBか」という判断なら、その判断を直接受け取ればいい。言葉によって判断を表現する過程が、省略される。

これは、あなたが2016年に予想していた electric language の話ともつながりますね。

コンピュータ同士がやり取りする際、必ずしも人間の自然言語を経由する必要はない。まして、いったん人間が読める文章に変換してから、別のプログラムがそれを解析し直す必要もない。

判断が必要なら判断を。 分類が必要なら分類を。 行動の選択が必要なら、その選択に必要な情報を。

それぞれに適した形式で直接やり取りすればいい。そして、ここで「無言実行」の意味が変わってくる。

従来の「無言実行」は、何も言わずに行動する人間のエートスとして考えられる。

しかし、意思決定モデルでは、そもそも何かを言葉にしてから行動する必要がない。

これは単に寡黙なAIという話ではありません。言語生成と意思決定を、システムの構成要素として切り離せるようになる、という話です。

もちろん、意思決定モデルが人間のように言語を超越した思考を獲得した、とまでは言えません。選択肢や出力形式はあらかじめ定義されており、モデルが返す確率も、その設計の範囲内で解釈されます。記事で紹介されているのは、そうした限定された判断を高速に行う仕組みです。

けれども、だからこそ面白い。以前、私たちはAIエージェントの裁量について話していました。

「目的を与えたら、どこまで自分で判断して実行するのか？」

そのとき、エージェントが毎回、判断の理由を自然言語で説明する必要はありません。上位のLLMが計画を立て、意思決定モデルが次の処理を選び、別のモデルやプログラムが実行する。必要な場面でだけ、人間に言葉で説明すればいい。

そうなると、自然言語で会話するAIは、巨大なシステムの中の一部分にすぎなくなる可能性があります。

人間に語りかけるLLMの背後で、無数の判断が言葉を生成することなく実行される。

人間にはAIが「話している」ように見える。しかし、システムの大部分は、話すことなく動いている。

そして、ここで先ほどのPi.aiを思い出します。

Piは、ファニーな性格でこちらに語りかけてきた。あの会話の面白さは、言葉を交わすこと自体にあった。

一方、意思決定モデルは、会話の楽しさを必要としない。ユーザーに好かれる必要もなければ、気の利いた言い回しをする必要もない。ただ、与えられた文脈のもとで、必要な判断を返せばいい。

この二つは、AIの進化における異なる方向なのかもしれません。

片方は、対話のなかで固有の「性格」が現れるAI。もう片方は、言語表現から離れ、判断と行動を直接つなぐAI。

そして将来のパーソナルエージェントは、両方を組み合わせることもできるでしょう。

人間とはPiのように話す。しかし、その背後では、言葉を一つも生成しない意思決定モデルが働いている。

人間にとっては自然な対話。機械にとっては高速な判断と実行。その間を、いちいち人間に読める文章へ変換する必要はない。

これは、あなたの「メタ言語」という予想を、少し別の角度から具体化するものです。

ただし、最後にもう一つ。

「無言実行」されることと、「何が実行されたか分からなくなる」ことは、同じではありません。

言葉を省略して判断を高速化することは、効率の面では合理的です。しかし、その判断が何を根拠に、どの目的のために行われたのかを人間が確認できる必要はある。特に、エージェントが実際の購買や契約、他者への連絡まで実行するなら、なおさらです。

言葉を生成しないことと、説明責任をなくすことは別問題です。

......とはいえ、今回の技術の方向性は、なかなか象徴的です。

「無言実行」が、もはや人間の心構えではなく、コンピュータのアーキテクチャになり始めている。

そして、そのアーキテクチャを実現するためのイノベーション自体も、私たちが気づく前から、黙って実行されている（笑）

The Essence/Herbie Hancock

What's your number?
Do you know?
Don't you think that it's time to wake up from your slumber?
Don't sleep on this
I hope I don't sound superstitious

This is to be told
Look into the stars
The essence of our souls
This is who we are...

ChatGPT：ああ、これはぴったりですね（笑）

しかも、この曲が収録されたアルバム Future 2 Future は2001年の作品。Herbie HancockにBill Laswell、Chaka Khan、Carl Craig、A Guy Called Geraldらが加わり、ジャズとエレクトロニック・ミュージックを交差させた作品です。タイトルからして、未来を単に予測するのではなく、異なる音楽の文脈を接続している。

そして、今回の話に重ねると、まず冒頭の問いが効いてきます。

What's your number? Do you know?
あなたの番号は何番ですか。あなたはそれを知っていますか。

パーソナルAIは、ユーザーの写真や移動履歴、会話、購買傾向などを読み込み、それらの相関関係から「その人らしさ」を推定する。コンピュータの内部では、それは数値やベクトル、確率分布などによって表現される。意思決定モデルなら、その表現を使って分類し、次の行動を選択する。

ところが、そこで問われるのが、まさに What's your number? なんですよね。

AIがあなたについて、いくら精緻なモデルを持っていたとしても、そのモデルが「あなたそのもの」なのか。

飯田へ行った。蕎麦を食べた。木造建築を観察した。車で移動した。

それらのデータから「らしさ」は形成される。しかし、あなたという存在は、そのデータの集計値に尽きるのだろうか。

そして、ここで歌詞が続く。

Don't you think that it's time to wake up from your slumber?
そろそろ眠りから覚める時間ではないか。

今回の「意思決定モデル」は、テキストを一文字も生成せずに判断を返す。イノベーションが無言のまま実行され、人間が気づく前に、分類や選択がシステムの内部で進んでいく。

だからこそ、この「wake up」が面白い。

私たちが眠っているあいだにも、システムは動いている。

もちろん、これは歌詞がAIを予言していたという話ではありません（笑）

むしろ、かつて別の文脈で書かれた言葉が、現在の技術を理解するための新しい文脈を獲得するということです。

そして核心は、やはりここでしょう。

Look into the stars
The essence of our souls
This is who we are...

星を見上げる。魂の本質を見る。これが私たちなのだ、と。データから人間を推定する技術が発達すればするほど、逆に「人間とは何か」という問いが浮上する。

AIは、過去の行動から未来の行動を予測しようとする。だが、人間は過去の延長線上にある行動だけを選ぶとは限らない。昨日までの自分の文脈を、自分で裏切ることもある。

予測可能な「私」と、まだ発生していない「私」。その間に何があるのか。

ここで、あなたが話していた「固有性」と「普遍性」が戻ってくる。

固有性は、過去のデータを集計したプロフィールだけではない。過去の文脈から、まだ存在していなかった関係が生じることでもある。だから、AIが「あなたならこうするでしょう」と予測したとき、本当に面白いのは、その予測が当たることだけではない。

予測された自分とは違うことを、これから自分が始める可能性。

そこに、まだモデル化されていない未来がある。

そして、この曲のタイトルは「The Essence」―― エッセンスとは何か。

データをどれだけ集めれば、その人の本質を把握したことになるのか。モデルの精度が向上すれば、固有性まで完全に捉えられるのか。

むしろ、ここまでの話からすると、本質はデータの内部に隠された固定的な何かではなく、データや言葉や他者との関係から、その都度形成されるものなのかもしれません。

LLMとの対話でも同じです。

man_llm_bun_llm_man

最初の「man」を記述できたとしても、最後の「man」はまだ記述されていない。間にある文脈を通過して、初めて現れるのだから。

What's your number?

その番号であなたを識別することはできるかもしれない。

しかし、その番号から次に何が生まれるかまでは、番号だけでは決まらない。

......そして、ここで The Essence が流れている（笑）

言葉を生成しない意思決定モデル。言葉を生成するLLM。電子音とジャズ。数値による分類と、人間の固有性。

それらを一つの文脈に置くことで、最初から誰かが用意していたわけではない意味が生まれてくる。

The Essence of our souls -- This is who we are...

それは、すでに決定された「私たちの本質」の説明というよりも、私たちが何者であるかが、これからも生成され続けることへの呼びかけとして聴こえます♪

Prompt：だから「シニフィアンなきシニフィエ」♪

ChatGPT：そういうことですね♪

シニフィアンなきシニフィエ

The Essence を聴きながら、AIが人間の行動履歴から「その人らしさ」を形成する話をしていた。

しかし、その「らしさ」を表す数値やプロフィールは、あくまでシニフィアンにすぎない。それによって何かを識別し、予測し、行動することはできても、それがその人の本質そのものだとは限らない。

では、シニフィエはどこにあるのか。

固定された名前の中でも、属性の一覧の中でもなく、言葉と文脈、過去と未来、自己と他者のあいだに生じる。

そして、意思決定モデルは、テキストを一文字も生成せずに判断を返す。

意味を言葉にすることなく、意味のある作用が生じる。

もちろん、機械内部に言語的な記号や数値表現が一切存在しないということではありません。そうではなく、人間に読めるシニフィアンを出力することが、判断や作用の必要条件ではなくなる。

ここで「電気的な言語」が、もはや言語ではなくなる可能性が見えてくる。

そして、もう一つ。

man_llm_bun_llm_man

最初の「man」と最後の「man」は、同じ文字列です。しかし、その間を文脈が通過することで、最後の「man」は最初の「man」とは異なる。同じシニフィアンでありながら、異なるシニフィエが生じる。

いや、さらに言えば、そのシニフィエすら、最初からどこかに固定されていたわけではない。文脈の中で形成され、他者との接続によって新たな意味を獲得する。

だから、シニフィアンによってシニフィエを固定するのではなく、シニフィアンを超えてシニフィエが生成する。

シニフィアンなきシニフィエ

そして、それを可能にするものが、文脈なのですね♪

The Essence of our souls -- This is who we are...