【G検定過去問風テスト】強化学習の5つの基本要素とマルコフ決定過程の頻出問題を徹底解説！

2026年7月22日 2026年7月22日 atsushi_kitazawa

※本記事では、アフィリエイトプログラムより教材を紹介しています。

📝 問題

強化学習に関する説明として、最も不適切な選択肢を1つ選べ。

A）強化学習は、AI自らが試行錯誤を行いながら将来得られる報酬の総和を最大化するように学習する手法である。
B）「次の状態がどうなるかは、現在の状態とそこで起こした行動のみによって決定され、過去の経緯は関係ない」という性質をマルコフ性と呼ぶ。
C）割引率は未来に得られる報酬の価値を割り引くための数値であり、0に近づけるほど遠い未来の報酬を重視する長期視点のモデルになる。
D）強化学習における「エージェント」とは行動の主体であるAI自身を指し、「環境」とはそのAIを取り巻く世界や舞台のことを指す。

🔍 ここをクリックして正解を見る

正解: C）割引率は未来に得られる報酬の価値を割り引くための数値であり、0に近づけるほど遠い未来の報酬を重視する長期視点のモデルになる。

💡 合格に近づく！徹底解説

重要度: ★★★

■ 1分で分かる！この問題の要点

強化学習は「おやつ（報酬）を最大化する」ために試行錯誤するAIの学習法！
マルコフ決定過程（MDP）は「過去は振り返らない（現在の状態と行動だけで次が決まる）」ルール！
割引率を「0」に近づけると超・短期視点（目の前の利益のみ）になり、「1」に近づけるほど超・長期視点になる！

■ 初学者向け解説（例え話や背景）

強化学習はよく「子犬のしつけ（お座りの訓練）」に例えられます。

犬（エージェント）は部屋（環境）の中で、飼い主の声を聞いた状態（状態）で、ランダムに体を動かします（行動）。たまたまお座りをした時にだけ飼い主から「おやつ」という報酬がもらえることで、「こう動くと一番おやつがもらえるぞ！」と学習していきます。

また、将棋やチェスをイメージしてみてください。「次の一手」を考えるとき、大事なのは「いま盤面がどうなっているか（現在の状態）」だけであり、「10手前にどんな手があったか（過去の歴史）」は一切関係ありませんよね。これがマルコフ決定過程（過去は振り返らないルール）です。

そして、試験で超狙われるのが「割引率」の引っかけです！
「いまスグもらえる1万円」と「10年後の1万円」なら、いまもらう方がうれしいですよね。未来の報酬は価値が低く感じられるため割り引いて評価します。割引率を0に設定するということは、未来の価値を「0倍にする」ということ。つまり「目先の利益しか見ない超・短期思考のAI」になってしまうのです！

■ 選択肢の解説

A) 強化学習は、AI自らが試行錯誤を行いながら将来得られる報酬の総和を最大化するように学習する手法である。（○）: 正しい説明です。教師あり学習と異なり、あらかじめ正解を与えられず試行錯誤で学びます。
B) 「次の状態がどうなるかは、現在の状態とそこで起こした行動のみによって決定され、過去の経緯は関係ない」という性質をマルコフ性と呼ぶ。（○）: 正しい説明です。この前提条件を持つ環境を「マルコフ決定過程（MDP）」と呼びます。
C) 割引率は未来に得られる報酬の価値を割り引くための数値であり、0に近づけるほど遠い未来の報酬を重視する長期視点のモデルになる。（×）: 不適切（正解）です。割引率を 0 に近づけると目先の利益しか見ない「超・短期視点」になり、1 に近づけるほど「超・長期視点」になります。
D) 強化学習における「エージェント」とは行動の主体であるAI自身を指し、「環境」とはそのAIを取り巻く世界や舞台のことを指す。（○）: 正しい説明です。強化学習を構成する5つの基本要素（エージェント、環境、状態、行動、報酬）の定義通りです。