GPT-3 はプログラミングの自動化を実現できるか
今年の夏にAPIが公開され、その威力に世界中が驚愕し、熱狂した言語モデル「GPT-3」ですが、公開後半年を経て冷静な評価も出てきました。こちらの記事では、GTP-3を使って英ガーディアンが生成させた記事を引き合いに（「私（GPT-3）は人間に敵対するわけではない」といった主張をしたとのこと）、そうは言っても、GPT-3は意志を持っているわけではなく、単なる文章生成に優れた言語モデルであるだけであり、GPT-3が人間に敵対しないと出力したとしても、その意味を理解しているわけではない、と書いています。
また、脳科学者の茂木健一郎さんも
の中で
GPT-3なんかもそうだけど、今の自然言語処理の人工知能で、言葉の「意味」を扱っているものは全くない。
と書いています。まあ、GPT-3だけではなくて、今のAIはすべて同じなのですが、GPT-3が優れすぎているために、これまでのAIとは違うという印象を与えてはいけないということなのかも知れません。
GPT-3の性能の秘密は学習の量
GPT-3は、米サンフランシスコに本拠を置くAI（人工知能）開発の非営利組織OpenAI（テスラのイーロンマスクも出資）が開発している言語モデルの最新版で、今年6月に限定的にそのAPIが公開されました。その前のバージョンのGPT-2は2019年2月に公開されましたが、「あまりにも高度な文章が作成できる」ことからその危険性が指摘され、論文の公開が延期されたり、開発された4つのモデルを全て一度には公開せず、段階的に公開したという経緯があります。今回も、ソースコードやモデルのパラメータなどは公開されず、外部からその機能を使うことができるAPIのみの公開となったのです。
そこまで高度な処理がなぜ可能になったのかというと、答えは意外に単純で、学習データの量なのだそうです。
この記事に
GPT-3のニューラルネットワークのパラメーター数は1750億個で、前バージョンで2019年に公開したGPT-2の15億個と比べて100倍以上の規模だ。2018年に公開されたBERTと比べると500倍以上にもなる。事前学習した文章データの量も45TBと膨大だ。BERTの事前学習データ量は約3000分の1である16ギガバイト（GB）に過ぎなかった。
とあり、「性能向上の理由は巨大化以外に存在しない」とまで書いています。勉強しただけ賢くなった、ということですね。なんだか、この部分は人間と似ています。
要するに、これまでのAIと仕組み上は特に変わらず、学習データの量（≑時間＝コスト）をかけた結果だと言うことでしょう。AIにはいろいろな研究分野があり、現在主流のディープニューラルネットワーク（DNN）ではない手法も研究されています。GPT-3はDNNを突き詰めた結果だと思うのですが、DNNでは究極のAIである「汎用AI」は実現できないという指摘もあり、GPT-3のアプローチを批判する向きもあるようです。
日経クロステックの記事によると、GPT-3のトレーニングコストは推定1200億ドル（約12億6800万円）ということです。非営利団体にはなかなか厳しい費用です。資金調達のためか、Microsoftとの間で10月に独占契約を結びました。
自動プログラミングの可能性
GPT-3は「言語モデル」で、自然言語の処理（文章生成）が注目されていますが、6月の公開時点から言語処理以外の用途での可能性も指摘されていました。その中に、プログラミングがあります。
「プログラミングまで」とか「プログラミングも」といった修飾語を伴うことが多く、付け足しのような印象ですが、私は、この技術はプログラミングとの相性は非常に良いのでは無いかと思っています。
上の日経クロステックの記事に以下の様な記述があります。
「論文でも"If I put cheese into the fridge,will it melt?"（チーズを冷蔵庫に入れたら溶けますか）という質問に対する回答をGPT-3が間違えたと報告している。物理常識的に当たり前のことは、Webの文章として書かれにくいためだ」と述べる。
ネット上のデータを使って学習するAIは、学習データの偏りによってバランスの良い回答を出せないということがよく指摘されます。GPT-3でも、上のようにWebに出てこない知見は出力のしようが無いのです。
その点、プログラミング言語であれば、ネット上に山ほどソースコードがあります。公開されているかどうかが問題にはなるでしょうが、オープンソースのプログラムだけでも膨大な数があり、それだけでもかなり高度な学習は可能だと思われます。そして、生成したコードをテストして動作を検証し、結果が思わしくなければ修正を行う、というところまで自動化することもできるでしょう。自然言語処理よりも、早期に実用化できる可能性は高いのではないでしょうか。
と、ここまで書いてきて、MicrosoftがGPT-3の独占権を取得したのは、あるいは自動プログラミングを視野に入れているからなのかな、とふと思いました。なんといってもMicrosoftにはソースコードがたくさんある筈ですし、そういえば、GitHubもありましたね。。
「？」をそのままにしておかないために
時代の変化は速く、特にITの分野での技術革新、環境変化は激しく、時代のトレンドに取り残されることは企業にとって大きなリスクとなります。しかし、一歩引いて様々な技術革新を見ていくと、「まったく未知の技術」など、そうそうありません。ほとんどの技術は過去の技術の延長線上にあり、異分野の技術と組み合わせることで新しい技術となっていることが多いのです。
アプライド・マーケティングでは、ITの技術トレンドを技術間の関係性と歴史の視点から俯瞰し、技術の本質を理解し、これからのトレンドを予測するためのセミナーや勉強会を開催しています。是非、お気軽にお問い合わせ下さい。