生成AIはそもそもPoCに向いていないのではないか

2年前の今頃、ChatGPTが公開されてから半年くらい経った頃から、日本企業でも生成AIへの関心が高まり、盛んにPoCが行われました。しかしそのほとんどが失敗、あるいは曖昧な形で終わりを迎え、巷には「PoC疲れ」「PoC貧乏」「PoC死」などのワードが溢れました。

それから2年が経ちましたが、今でも生成AIのPoCに関してはあまり良い話を聞きません。（まあ、うまくいったPoCはあまり話題にならないのでしょうが）PoCが失敗する原因については、「目標設定が曖昧だった」とか「ユーザー側の成功イメージが固まっていなかった」などが指摘されますが、ひょっとすると、生成AIそのものがPoCという仮説検証の仕組みに合っていなかったということなのかもしれません。

PoCはProof of Conceptの略で、一般には「概念実証」と訳されます。あちこちに解釈が載っていますが、このサイトでは「新たなアイデアやコンセプトの実現可能性、得られる効果などを検証すること。」と書かれています。他も概ね似たようなものでしょう。

概念実証ですから、概念（目標や成功イメージ）があって、それを実現できるのかどうかを試しにやってみる、という考え方が根底にありますし、ほとんどのPoCはそういった「仮説検証」を目標に行われると考えられます。それでうまく行きそうなら、本格的に導入するというわけですが、生成AIの場合にはこれがうまく行かなかったということですね。

PoCに限らず、これまでIT業界が行ってきたシステム開発でも、まずは目標を決め（要件定義）それに向けて開発を行い、最後に目標が達成されていることを確認して納品となります。ソフトウェアパッケージも同じく、ある目的を達成するために作られています。

しかし、生成AIにはこれが通用しません。同じ質問をしても毎回答えが違いますし、時と共に生成AIが進化することでさらに答えは変わっていきます。さらに、ハルシネーションというやっかいな問題もあり、要するに結果の品質を保証できないのです。これでは仮説も立てられず、検証も役に立ちません。そしてこれらは生成AIの仕組み上の問題ですので、避けようがありません。

生成AI活用に必要なのは、目標を定めてそれを実現できるかどうかを見極めるのではなく、やりたいことをなんとかして実現できるよう、利用者のスキルを高めることなのではないでしょうか。そのためには、まずはユーザー自らが使ってみて、何を入力すると何が出てくるのか、出てこないのか、あるいはどのような聴き方が良いのか、などを学習するほかはありません。できれば生成AIの仕組みを知っておけば、活用は広がるでしょう。ですからITベンダーが取組むべきなのはPoCではなく、ユーザー教育や生成AIの仕組みの理解に時間を使うという考えに基づくアプローチが重要なのではないかと思います。