TPU には汎用性が欠けているのだろうか

このところGoogleのTPUについて調べていますが、こちらの日経ビジネスの記事の中で、TPUの「競合」であるエヌビディアの人のコメントが紹介されています。

「ASICは半導体というハードウエアに100％依存し、（後からプログラムを変えるなどの）ソフトウエアへの依存は0％。つまり、AIが進化してもプログラムを書き換えられない。AIがどんどん進化する時代には向いていない」

以前の記事でも書きましたが、TPUは「今の」ニューラルネットワークの推論計算に特化していますから、このコメントは、正しいと言えます。ただ、多少の汎用性は持たせてあるとも書いてありましたから、「0%」というのは言い過ぎかもしれません。ただ、エヌビディアとしてこうコメントしたい気持ちはわかります。GPUのほうが確かに汎用性は高いでしょう。

しかしまあ、これは程度問題ですよね。エヌビディアのGPUだって、Intelなどの一般のCPUに比べればかなり特殊なハードウェアです。元々はグラフィックス用なわけですから。

Googleはもちろん、TPUに (エヌビディアがいうような) 汎用性が無いのはわかっているでしょう。AI が進化途中であることも十分わかった上で、今の計算方法がもうしばらくは有効であろうことを見切ってハードウェア化したのだろうと思います。Googleにとってそのほうがメリットがあるという判断でしょう。実際、Googleは現在既にサービスの中核としてNN推論を使っているということですから、急ぐ必要があったのでしょう。何年か後に違う手法が出てきたら、恐らくその時点で作り替えるくらいの体力があるということです。

ただ、以前の記事で書いたように、Googleの論文には、ニューラルネットワークの学習部分には浮動小数点演算が必要であり、この部分にはGPUが使われている、と書いてあります。Googleも、とは明記していませんが、文脈からは、Googleも学習にはGPUを使っていると考えて良いように思います。要は適材適所であり、コスト対効果を判断して今回TPUの開発に踏み切った、ということなのでしょう。

余談ですが、この連載の第1回のタイトルが「詳報：トヨタが頼った謎のAI半導体メーカー」で、私のFB界隈でちょっと話題になりました。エヌビディアのことなのですが、私的には普通に有名企業だと思っていましたので、「謎の」は言い過ぎではないかと思ったのです。(笑)

AI用チップは、このほかにはIBMのニューロモーフィングチップがありますね。富士通のDLUは知りませんでした。今度調べてみます。