GPT-3 が実現する自動プログラミング
先々週はMicrosoft Build 2021が開催されていたのですが、その中で最も気になった記事がこれです。
これにはびっくりしました。何故かというと、昨年12月に私自身が以下の様な記事を書いていたからです。
上の記事では、MicrosoftがGPT-3の独占的ライセンスを取得したことについて、もしかすると自動プログラミングを視野に入れているのではないかと書いています。今回の発表で、その読みが正しかったことになります。まあ、MicrosoftがAIに投資となればプログラミングも当然視野に入るわけで、別に威張るほどのことでもないのですが。
TechnCrunchの記事では、
MicrosoftはOpenAIに投資しているので、MicrosoftがこのエクスペリエンスにOpenAIのモデルを利用することに決めたのは当然だ。
と書いていますが、順番としては逆ではないでしょうか。ソフトウェアの自動生成に使えると思ったからこそ、Microsoftは出資を決めたのではないかと思います。ちなみに出資額は10億ドルで、その見返りにMicrosoftはGPT-3の独占的ライセンスを手に入れたということです。
巨大化するAIモデル
GPT-3のひとつ前のバージョンであるGPT-2は、あまりに精度が高いせいで悪用されたら「危険すぎる」との理由から、論文の発表が一時見合わされたという曰く付きの技術です。その後継であるGPT-3はさらに精度が上がっていますが、その精度の秘密は、意外なことに「巨大なパラメータの数と学習量」なのだそうです。つまり、新しい技術革新ではなく、ひたすらデータを大きくし、コンピューティングパワーを注ぎ込むことで精度が上がったということなのです。
AIの学習や推論には巨大な演算パワーが必要というのはほぼ常識ですが、一方で計算量を抑えて精度を上げようという研究も盛んに行われています。その中で、他を圧倒する精度を誇るモデルが圧倒的な計算量によって成立しているのは「結局は力業が勝つ」ことを示しているようで、複雑な気持ちになります。
クロステックの記事では、2020年9月時点のGPT-3のパラメータ数は1,750億個と書かれています。今ではもっと増えているでしょうが、GPT-3の成功を見て、モデルを巨大化させるプロジェクトが相次ぎました。その最新かつ最大のものが以下です。
中国の研究チームが新たなAI「悟道2.0」を発表、パラメーター数は1兆7500億でGoogleとOpenAIのモデルを上回る
GPT-3の1,750億個のちょうど10倍というのがなんだか怪しいですが、「巨大化すればなんとかなる」ということであれば、今後しばらくはこういった競争が続くのかも知れません。精度が上がることは良いことですが、これでは誰もが使えるAIにはなかなかならないのではないかと心配になります。モデルの規模はイコール予算の規模ですから、予算の少ない日本は競争上さらに不利になりかねません。
GPT-3を開発しているOpenAIは、その名の通りオープンな技術を目指していたはずです。そして、かつては囲い込みによって市場を独占し、さまざまな批判を浴びたMicrosoftも、最近では技術のオープン化に積極的でした。今回の独占的な契約の背景がどのようなもので、どちらの側の都合なのかはわかりませんが、突出した技術を囲い込もうという悪い癖が出てきたのではないことを祈りたい気持ちです。
ITの最新トレンドをわかりやすく解説するセミナー・研修を承ります
時代の変化は速く、特にITの分野での技術革新、環境変化は激しく、時代のトレンドに取り残されることは企業にとって大きなリスクとなります。しかし、一歩引いて様々な技術革新を見ていくと、「まったく未知の技術」など、そうそうありません。ほとんどの技術は過去の技術の延長線上にあり、異分野の技術と組み合わせることで新しい技術となっていることが多いのです。
アプライド・マーケティングでは、ITの技術トレンドを技術間の関係性と歴史の視点から俯瞰し、技術の本質を理解し、これからのトレンドを予測するためのセミナーや研修を行っています。ブログでは少し難しい話も取り上げていますが、初心者様向けにかみ砕いた解説も可能です。もちろんオンラインにも対応できます。詳しくはこちらをご覧下さい。