【G検定過去問風テスト】Actor-Criticと方策勾配法を攻略！強化学習のアプローチ比較問題を解説！

2026年7月22日 2026年7月22日 atsushi_kitazawa

※本記事では、アフィリエイトプログラムより教材を紹介しています。

📝 問題

強化学習のアプローチおよび手法に関する説明として、最も適切な選択肢を1つ選べ。

A）Actor-Critic手法において、Actorは行動の価値を評価してダメ出し（修正）を行う役割を持ち、Criticは方策に従って具体的な行動を選択する役割を持つ。
B）方策ベースのアプローチである方策勾配法（REINFORCEなど）は、行動価値関数などの見積書（価値）を完璧に作り上げてから行動を決める手法である。
C）Actor-Critic手法は、方策ベースのActor（行動手）と価値ベースのCritic（評価手）を組み合わせたハイブリッド手法である。
D）REINFORCEアルゴリズムは、1ステップ行動を起こすごとに即座に行動ルールのパラメータを更新するオンタイム型の手法である。

🔍 ここをクリックして正解を見る

正解: C）Actor-Critic手法は、方策ベースのActor（行動手）と価値ベースのCritic（評価手）を組み合わせたハイブリッド手法である。

💡 合格に近づく！徹底解説

重要度: ★★★

■ 1分で分かる！この問題の要点

Actor-Criticは「方策ベース（Actor）」と「価値ベース（Critic）」のイイとこ取りハイブリッド手法！
Actor（アクター＝役者）：実際に舞台で演じる＝行動を選択！
Critic（クリティック＝評論家）：客席からダメ出しする＝価値を評価！
REINFORCEは1ゲームが最後まで終わってから（エピソード完了後）まとめて更新する！

■ 初学者向け解説（例え話や背景）

強化学習の後半で登場する「Actor-Critic」は、英語の意味を知っておくと絶対に間違えなくなります！

演劇の舞台を想像してください。

Actor（役者）：実際に舞台で演技をする人＝ 行動を選ぶ担当（方策ベース）
Critic（批評家・演劇評論家）：客席から演技を見て評価する人＝ 価値を評価する担当（価値ベース）

評論家（Critic）の的確なダメ出し（評価）のおかげで、役者（Actor）はまわりくどい見積書を作らなくても、どんどん洗練された演技（行動パターン）を身につけることができます。このように、2つのアプローチを組み合わせた非常に強力で安定したハイブリッド手法がActor-Criticです。

一方、方策ベース（方策勾配法）は見積書を作るのをスキップして「この状況ではこの行動を〇%の確率でとる」という行動ルール（方策）そのものを直接鍛えるスタイルです。その代表格であるREINFORCEは、1回のゲームが最後まで終わった段階（エピソード完了後）で、獲得した報酬を元にまとめて行動ルールを調整します。

■ 選択肢の解説

A) Actor-Critic手法において、Actorは行動の価値を評価してダメ出し（修正）を行う役割を持ち、Criticは方策に従って具体的な行動を選択する役割を持つ。（×）: 不適切です。役割が逆になっています。Actorが「行動を選択」し、Criticが「価値を評価」します。
B) 方策ベースのアプローチである方策勾配法（REINFORCEなど）は、行動価値関数などの見積書（価値）を完璧に作り上げてから行動を決める手法である。（×）: 不適切です。見積書（価値）を作り上げるのは「価値ベース」のアプローチです。方策ベースは価値関数を経由せず、行動ルール（方策）を直接更新します。
C) Actor-Critic手法は、方策ベースのActor（行動手）と価値ベースのCritic（評価手）を組み合わせたハイブリッド手法である。（○）: 正しい（正解）です。両者の長所を組み合わせた代表的なハイブリッド手法です。
D) REINFORCEアルゴリズムは、1ステップ行動を起こすごとに即座に行動ルールのパラメータを更新するオンタイム型の手法である。（×）: 不適切です。REINFORCEは1回の手順（エピソード）が最後まで完了した後に、獲得した報酬を元に行動ルールをまとめて調整する手法です。