【G検定過去問風テスト】深層強化学習の最新応用技術に関する一問一答

📝 問題

人間のフィードバックを利用して大規模言語モデル（LLM）の出力を人間にとって望ましい安全なものに微調整（アライメント）する、深層強化学習の応用技術として、最も適切な選択肢を1つ選べ。

• A）オフライン強化学習
• B）RLHF
• C）sim2real
• D）残差強化学習

🔍 ここをクリックして正解を見る

• 正解: B）RLHF

---

💡 合格に近づく！徹底解説

• 重要度: ★★★

■ 1分で分かる！この問題の要点

• RLHFは「人間のフィードバックによる強化学習（Reinforcement Learning from Human Feedback）」の略称である。
• ChatGPTなどの大規模言語モデル（LLM）の安全な出力やアライメントに不可欠な技術としてG検定でも非常に注目されている。

---

■ 初学者向け解説（例え話や背景）

生成AIやLLMがどれだけ上手に話せるようになっても、不適切な発言や倫理的に問題のある回答をしてしまっては困りますよね。そこで登場するのが「人間の先生によるダメ出しとご褒美トレーニング」であるRLHFです。

イメージとしては、新人のアルバイトスタッフ（AI）に接客マナーを教え込む店長（人間）のような関係です。

1. AIがいくつかの回答案を出します。
2. 人間の評価者が「この回答は丁寧で良い」「こっちの回答は少し乱暴だ」とランキングをつけます。
3. その人間の好みの基準を報酬モデルとして学習させ、PPO（方策勾配法）などの強化学習アルゴリズムを使って、AIがより人間にとって自然で安全な受け答えができるように微調整します。

ChatGPTの世界的ヒットを裏から支えた超重要キーワードですので、必ず押さえておきましょう！

---

■ 選択肢の解説

• A) オフライン強化学習（×）: 環境とリアルタイムで試行錯誤を行わず、過去に収集された固定データセットのみを使って方策を学習する手法です。
• B) RLHF（○）: 人間のフィードバックを報酬としてLLMを望ましい挙動に微調整する技術であり、本問の正解です。
• C) sim2real（×）: シミュレータ上のバーチャル空間で学習させたAIを、現実世界の物理ロボットなどに移植・適用する技術のことです。
• D) 残差強化学習（×）: 既存の古典的な制御ルールの出力をベースにし、AIはその補正分（残差）だけを学習する効率的な手法です。

---

👉 次の問題＆解説テキスト

お疲れ様です！
この調子で次の問題に挑戦しますか？
それとも、立ち止まって詳しい解説を確認しますか？