生成AIのリスク管理について、企業が直面する課題と対策

ガートナーは2023年4月20日、生成AIの未来を見据えた信頼とセキュリティの重要性に関する内容を公表し、Q&A形式で解説しています。

Why Trust and Security are Essential for the Future of Generative AI

生成AIの革新が急速に進む中で、セキュリティやリスクへの懸念が増えています。

一部の議員からはAIツールに対する新たなルールや規制を求めており、一部の技術者やビジネスリーダーはAIシステムの安全性を評価するために研究を一時停止するといった提案も出てきています。

ガートナーのVPアナリストに、AI開発を担当するデータ・アナリティクスリーダーがAIの信頼性、リスク、セキュリティ管理について考慮すべきことをQ&A形式で解説しています。

Q: AIのセキュリティとリスクへの懸念を考慮して、企業は生成AIの利用を探求し続けるべきでしょうか、それとも一時停止が適切でしょうか？

A: 生成AIの開発は止まらないという現実があります。企業はAIの信頼性、リスク、セキュリティ管理（AI TRiSM）に関する企業全体の戦略を策定する必要があります。ユーザーと生成AI基盤モデルをホストする企業間のデータやプロセスフローを管理するための新しいクラスのAI TRiSMツールが急務です。

現在、市場にはユーザーがこれらのモデルとのやり取りにおいて、例えば事実誤認、錯覚、著作権物や機密情報をフィルタリングする効果的なコンテンツフィルタリングやシステマティックなプライバシー保証を提供するオフ・ザ・シェルフツールはありません。

AI開発者は、生成AIの監督とリスク管理のためのポリシーや実践を確立するために、政策立案者を含む新たな規制当局と緊急に協力しなければなりません。

という回答をしています。

Q: 企業にとって生成AIがもたらす最も重要なリスクは何ですか？

A: 生成AIは新たなリスクを引き起こします。

１．"錯覚"やでっち上げ、事実誤認は、生成AIチャットボットソリューションと関連する既知の問題です。トレーニングデータは、バイアスがかった、不正確な、または誤った回答につながる可能性がありますが、これらを特定するのは困難です。特に、解決策がますます現実味を帯び信頼されるようになると困難性は高まります。

ディープフェイクは、悪意のある目的でコンテンツ作成に生成AIが使用された場合、重大なリスクとなります。これらの偽の画像、ビデオ、音声録音は、有名人や政治家への攻撃、誤解を招く情報の作成と拡散、さらには偽アカウントの作成や既存の正当なアカウントの乗っ取りに使用されています。

データプライバシー：従業員が生成AIチャットボットソリューションとやり取りすることで、企業の機密データが漏洩する可能性があります。これらのアプリケーションはユーザー入力を通じてキャプチャした情報を無期限に保管し、他のモデルのトレーニングに使用することもあります。さらに、セキュリティ侵害が発生した場合、情報が悪用される恐れもあります。

著作権問題：生成AIチャットボットは、著作権保護された資料を含むインターネットデータを大量に学習します。その結果、一部の出力が著作権や知的財産（IP）保護に違反する可能性があります。出力がどのように生成されたかについての透明性がないため、このリスクを軽減する唯一の方法は、ユーザーが出力を精査して著作権やIP権に違反していないことを確認することです。

サイバーセキュリティ上の懸念：より高度なソーシャルエンジニアリングやフィッシング攻撃に加えて、攻撃者はこれらのツールを悪意のあるコード生成に利用する可能性があります。生成AI基盤モデルを提供するベンダーは、顧客に対して、自社のモデルが悪意のあるサイバーセキュリティ要求を拒否するようにトレーニングされていることを保証しますが、ユーザーにはセキュリティコントロールを効果的に監査するツールを提供していません。

また、ベンダーは「レッドチーミング」アプローチに重点を置いています。これらの主張は、ユーザーがベンダーのセキュリティ目標を達成する能力を完全に信頼することが必要です。

という回答をしています。

Q: 企業リーダーが現在取るべき生成AIリスクの管理策は何ですか？

A: ChatGPTや類似のアプリケーションを活用する際には、2つの一般的なアプローチがあることに注意することが重要です。オフ・ザ・シェルフのモデル使用では、これらのサービスを直接カスタマイズせずに利用します。プロンプトエンジニアリングアプローチでは、プロンプトの入力と出力を作成、調整、評価するツールを使用します。

オフ・ザ・シェルフの利用において、組織はすべてのモデル出力を手動でレビューして、誤った、誤解を招く、またはバイアスがかった結果を検出する必要があります。これらのソリューションの企業での使用に対するガバナンスとコンプライアンスの枠組みを確立し、従業員が機密の組織データや個人データに触れる質問をすることを禁じる明確なポリシーを設けてください。

組織は、既存のセキュリティコントロールやダッシュボードを使用して、ChatGPTや類似のソリューションの無許可の使用を監視し、ポリシー違反を把握する必要があります。例えば、ファイアウォールを使って企業ユーザーへのアクセスをブロックし、セキュリティ情報管理システムを使って違反に関するイベントログを監視し、セキュアWebゲートウェイを使って不許可のAPIコールを監視します。

プロンプトエンジニアリングの利用では、これらのリスク軽減策が適用されます。さらに、内部データやその他の機密データを第三者のインフラ上でプロンプトを設計する際に保護措置を講じるべきです。エンジニアリングされたプロンプトを不変のアセットとして作成・保管してください。

これらのアセットは、安全に使用できる承認済みのエンジニアリングされたプロンプトを表すことができます。また、微調整された高度に開発されたプロンプトのコーパスを簡単に再利用、共有、販売することができるようになります。

という回答をしています。