AIチップは学習（訓練）用か推論用かを見極めよう
年明けのCESで、Intelが新しいAIチップを発表しました。
昨年のエントリでも書きましたが、Amazonなど様々なベンダーがAIチップを手掛け始めています。これまで汎用のチップに頼ってきたベンダーが、自社の用途に合わせて専用のチップを作り始めた背景にあるのは、開発費をかけてリスクを取ってでも、AI処理の高速化と他社との差別化が必須になってきたということなのでしょう。
そしてもうひとつ注目すべきは、AIチップが学習（訓練）用と推論用に分化してきたことです。昨年Amazonが発表したのは、学習用と推論用の2種類。今回Intelが発表したのは推論用。これらのチップは処理能力や用途が明確に違います。これからは、AIチップについて考えるとき、これらをきちんと分けて考えるべきでしょう。
人工知能の2つの処理
前にも書きましたが、人工知能の処理には「学習（または訓練）」と「推論」があります。学習は、ビッグデータなど学習用のデータを使ってニューラルネットワークを訓練し、AIモデルを生成します。できあがったモデルに実際のデータを与えて様々な処理（画像の認識や音声認識、自然言語処理）を行うのが推論です。学習には膨大な計算が必要になりますが、推論にはそれほどの計算は必要ありません。（とはいえそれなりに膨大ではありますが）また、要求される演算精度も、学習では16ビットあるいは32ビットの浮動小数点、推論では8ビット整数か16ビット浮動小数点と、必要なスペックに明確な差があります。
かつてはどちらも汎用のプロセッサ（IntelのXeonのような）を並列化して行っていましたが、それではとても足りなくなってきたため、GPUが使われるようになりました。GPUはグラフィック処理用に高度に並列化されており、ニューラルネットワークの学習に非常に向いていたためです。詳細はこちらをご覧下さい。
このようにして、GPU大手のNvidiaがAIの分野で脚光を浴びたのです。しかし、GPUはあくまでグラフィック用であり、「たまたま」AIに向いていたに過ぎません。GPUはAI用の機能を強化するなど性能を上げるにつれどんどん高価になって行きます。GPUは基本32ビット処理ですので、推論用にはオーバースペックでもあり、AI処理への要求の高まりと共に、コストを抑えて処理能力を向上させる必要に迫られたのです。
Googleが開発したAI専用チップ
そこで、GoogleはAI専用のチップであるTPUを開発しました。初代のTPUは2016年5月に発表されました。開発期間は15ヶ月ということで、これはASICの開発期間としては非常に短いものです。そして、この最初のTPUは推論に特化したチップでした。Goolgleは、推論に特化すれば計算精度は8ビットで十分と判断し、このタイミングで8ビットプロセッサを作ったのです。回路は簡素化され、消費電力も下げることができます。
2016年にAlphaGoが人間を破ったとき、AlphaGoの学習はGoogleのクラウド（GPU）を使い、推論にはTPUを使ったということです。その後Googleは2017年にTPU2、2018年にTPU3を発表しました。これらは計算精度を16/32ビットに上げたもので、学習にも使えるようになっています。
多様化する推論用チップ
このブログでも以前取り上げましたが、AppleはiPhone用のA11/A12プロセッサにニューラルエンジンを組み込んでいます。こちらも詳細なスペックは不明ですが、恐らく推論に特化したものでしょう。デバイスにAIモデルを読み込んでローカルに推論処理を行う事で、高度なAI処理を高速に行う事ができます。また、Appleがデバイス側のAI処理に拘るのは、プライバシー問題も関係していると思われます。情報をクラウドに上げずに処理できるようにすることで、プライバシーを守ることができます。ハードウェア・ソフトウェア・サービスを一体として開発できるAppleならではの長期的な戦略に立脚しているのです。
AI処理のアクセラレーション用のチップは、学習用と推論用では要求されるスペックが明らかに違うため、今後も2つの潮流として発展していくと考えられます。学習用のチップは主にクラウドのセンター側で活用されて行き、推論用はモバイルデバイスやIoTデバイスに組み込むために省電力化・小型化が進むでしょう。
ただ、学習用には量子コンピュータという「ラスボス」がおり、これに手を出せるベンダーは限られるでしょう。一方、推論用チップは回路規模も小さくすみますし、Armという強い味方もいますから、参入のハードルは低いはずで、様々なベンダーが多様な用途向けの製品を出してくることが考えられます。