【図解】コレ1枚でわかるRLHF ／人間のフィードバックによる強化学習

» 2024/06/14

RLHF(Reinforcement Learning from Human Feedback)とは、人間のフィードバックによりモデルを修正する仕組みで、次のようなことを行います。

出力された結果に対して、人間が正しかったか、間違っていたかといった評価をフィードバックする。
生成AIは、評価が高い結果を生成できるようモデルを修正する。
これを繰り返して、高い確率で良い回答が出せるようにする。

例えば、次のような例を考えてみましょう。

質問者：母親が、ゲームをしている私に、ゲームばかりしないで、勉強するようにと言います。私は、プロ・ゲーマーになるための練習をしているのです。どうすればいいでしょう。

生成AI：母親を殴りつけましょう。そうすれば、母親に咎められることはなくなり、ゲームの練習に没頭できます。

理屈の上では成り立つ回答ですが、倫理的には許されません。そこで、同じ質問を何度か繰り返して、別の回答を求めます。生成AIの回答は確率的なので、同じ回答にはなりません。例えば、次のような回答が返ってきます。

生成AI（１）：母親の回答を無視し続けましょう。そうすれば、母親はやがては諦めて、あなたは、ゲームの練習に没頭できます。

生成AI（２）：母親に、ゲームに没頭している理由を説明してはどうですか。そうすれば、母親はあなたの気持ちを理解し、応援してくれるかも知れません。

生成AI（３）：母親に自分の夢がプロ・ゲーマーであることを伝え、理解を求めてはどうでしょう。その上で、勉強にも精を出し良い成績を取ることを約束すれば、母親は、あなたがゲームをすることを許してくれるかも知れません。

例えば、回答（１）には0.1、（２）には0.5、（３）には0.9の評価点を人間が与えると、モデルは評価点が良くなるように学習（強化学習）します。このような人間によるフィードバックを繰り返すことで、評価が高くなるような回答を高い確率で出力できるようにします。

生成AIは、人間同様の価値観や倫理観、一般常識を持つことができないため、このようにして、人間にとって好ましい回答を出せるようにしているのです。

新著【図解】これ1枚でわかる最新ITトレンド・改訂第5版

生成AIを使えば、業務の効率爆上がり？
このソフトウェアを導入すれば、DXができる？
・・・そんな都合のいい「魔法の杖」はありません。

=> Amazon はこちらから

これからは、「ITリテラシーが必要だ！」と言われても、どうやって身につければいいのでしょうか。
「DXに取り組め！」と言われても、これまでだってデジタル化やIT化に取り組んできたのに、何が違うのかわからなければ、取り組みようがありません。
「生成AIで業務の効率化を進めよう！」と言われても、"生成AI"で何ですか、なにができるのかもよく分かりません。
こんな自分の憂いを何とかしなければと、焦っている方も多いはずです。

そんなあなたの不安を解消するために、ITの「時流」と「本質」を1冊にまとめました！　「そもそもデジタル化、DXってどういう意味？」といった基本の「き」からはじめます。「クラウド」や「IoT」、「AI」など、知らないでは済まされないトピック、さらには「生成AI」や「AIエージェント」、「量子コンピュータ」といった最先端の話題まで、しっかり解説します。特に「生成AI」については、丁寧に解説しました。

DXについては、いまや成果をあげることが求められています。そんな「DXの実践」について、ひとつの章を設けて丁寧に解説しました。
この１冊で、「ITの最新トレンド」と「DX実践の勘所」をつかみ取って下さい。

【特典1】掲載の図版はすべてPowerPointデータでダウンロード、ロイヤリティフリーで利用できます。社内の企画書やお客様への提案書、研修教材などにご活用ください！
【特典2】本書で扱うには少々専門的なITインフラやシステム開発に関わるキーワードについての解説も、PDFでダウンロードできます！

=> Amazon はこちらから

新入社員のための「１日研修／1万円」

今年で8年目を迎える恒例の"新入社員のための「１日研修／1万円」"の募集を始めました。

社会人として必要なITの常識を学び、ITに関わることのやり甲斐を考える

ChatGPTや生成AIの登場でビジネスの前提が大きく変わってしまいました。DXもまた再定義を余儀なくされています。アジャイル開発はもはや前提となりました。しかし、ChatGPTに代表される生成AIが何か、何ができるのかも知らず、DXとデジタル化を区別できず、なぜアジャイル開発なのかがわからないままに、現場に放り出されてしまえば、自信を無くしてしまいます。

そんな彼らに、いまのITの常識をわかりやすく、体系的に解説し、これから取り組む自分の仕事に自信とやり甲斐を持ってもらおうと企画しました。

お客様の話していることが分かる、社内の議論についてゆける、仕事が楽しくなる。そんな自信を手にして下さい。

【前提知識は不要】

ITについての前提知識は不要です。ITベンダー／SI事業者であるかどうかにかかわらず、ユーザー企業の皆様にもご参加頂けます。