Transformer（トランスフォーマー）はなにが革命的だったのか 前編

なぜ、たった１つの論文が世界を塗り替えたのか

2017年、Googleの研究者たちが発表した「Attention Is All You Need（必要なのは注目だけだ）」という一本の論文が、今日の生成AIという巨大な潮流のすべての源流となりました。この論文で提唱された新しいニューラルネットワーク（人間の脳の仕組みを模した計算モデル）の構造が、本節のテーマである「Transformer（トランスフォーマー）」です。

ビジネスパーソンにとって、個別のプログラムコードや複雑な数式を覚える必要はありません。しかし、このTransformerが何を解決し、なぜ従来のAI技術と比べて非連続な進化をもたらしたのかを理解することは、極めて重要です。なぜなら、現在私たちが目の当たりにしているChatGPTをはじめとする高度な生成AIは、このTransformerという共通のアーキテクチャの上で動いているからです。本節では、何がそれほど革命的だったのかを、ビジネスの視点から紐解きます。

従来の自然言語処理が抱えていた「構造的な限界」

Transformerの凄さを理解するには、まずそれまで主流だった「RNN（リカレントニューラルネットワーク」という技術が抱えていた構造的な限界を知る必要があります。

従来のRNNは、人間が文章を左から右へ一行ずつ読んでいくように、言葉を「順番に（時系列で）」処理していました。例えば「私は 毎朝 コーヒーを 飲む」という文章があれば、まず「私は」を処理し、その情報を保持したまま「毎朝」を処理し、さらにそれを引き継いで「コーヒーを」を処理する、という手順です。

この逐次処理には、ビジネスの実装において致命的な２つの欠点がありました。

第一に、「並列処理」が不可能なことです。前の単語の処理が終わるまで次の単語の処理に移れないため、計算資源をいくら並べても、全体の処理スピードを上げることができませんでした。

第二に、「長期依存性の消失」です。文章が長くなると、最初の方に出てきた文脈や主語の情報が、後ろの単語を処理する頃には薄まって消えてしまい、長い文章の正確な理解や翻訳がどうしてもできませんでした。これが、従来の翻訳ソフトの精度が実用に耐えなかった最大の理由です。

Transformerを誕生させた「Self-Attention（自己注目機構）」の正体

この二つの限界を、根底から解決したのが「Self-Attention（自己注目機構）」という画期的なアイデアでした。

Self-Attentionは、文章を順番に読むのではなく、文章全体を「一画面」として捉え、すべての単語の関係性を同時に、かつ直接的に計算します。

例えば、「川の近くにある銀行（bank）でお金を下ろす/I withdraw money at the bank near the river.」という文と、「川の土手（bank）で遊ぶ/I play on the bank of the river.」という文があったとします。英語の「bank」という単語は「銀行」と「土手」の２つの意味を持ちます。

従来のAIは、順番に言葉を追うため、前後の文脈を捉えきれず誤訳が発生しがちでした。しかし、Self-Attentionを備えたTransformerは、「bank」という言葉を処理する際に、同時に文章全体を見渡し、「お金（Money）」や「下ろす（Withdraw）」といった関連性の高い言葉に「Attention（注目）」の比重を高く置きます。結果として、このbankは「銀行」であると一瞬で正確に判定します。

この仕組みの優れている点は、文脈の理解を人間がルールとして記述するのではなく、AIがデータの中から「どの言葉同士を結びつけるべきか」を確率的に自動学習する点にあります。これにより、長大なドキュメントであっても、文頭の主語と文末の動詞の結びつきを完璧に保持したまま、高度な翻訳や要約が可能になったのです。

「並列処理」が可能にした計算規模の爆発的拡大

Transformerがビジネスにもたらした最大の価値は、このSelf-Attentionの導入によって「並列処理」が完全に可能になった点にあります。

時系列の順番に依存せず、すべての単語を同時に処理できるため、最先端のGPUのパワーを最大限に引き出すことができるようになりました。

これにより、AIの学習スピードは文字通り桁違いに加速しました。かつては数ヶ月かかっていた大規模な学習が、数日、数時間で完了するようになり、学習させるデータの規模を指数関数的に拡大することが可能になったのです。

この学習スピードの向上が、「スケーリング則」の実現を物理的に支えました。つまり、Transformerというアーキテクチャがなければ、今日の数千億パラメータを持つような巨大な「基盤モデル」を構築することは、時間的にも予算的にも不可能だったのです。エンジニアリングの効率化が、知能の爆発を引き起こした構造的な転換点でした。

『AI実践ドリル30日チャレンジ 仕事にすぐ効くAI活用』（日経BP）を紹介する連載が、日経クロステック（xTECH）に掲載されました。

第1回　ビジネスパーソンが生成AIの有償版を使うべきである理由
第2回　「事業変革推進室長」として生成AIで新規事業を企画する
第3回　AIの「魔法」をメール作成と悩みの「壁打ち」で体感
第4回　新規事業の「3段階の自立シナリオ」をAIで描く
第5回　AIにいきなり「斬新なアイデア」を求めるのは避けよ

本書は、これまでのAI本とは毛色が異なり、新規事業開発やマーケティングの実践ノウハウを、AIを使いながら体験的に学べる「ドリル」です。

AIの使い方を解説するのではなく、実際のビジネスの現場でどう使いこなし、新しい価値を生み出せばいいのかを、手を動かしながら身につけていただけます。

「AIをどう使うか」に留まっている限り、AIの真価は引き出せません。「AIでどう変わるか」、すなわちAIを前提として、仕事のやり方をどう変えればいいのか。それをお伝えしたくて書いた本です。まだの方は、ぜひご一読ください。

どうぞよろしくお願いいたします。