【G検定過去問風テスト】AdamやSGDの仕組みを速習！最適化アルゴリズムの進化史

2026年7月25日 2026年7月25日 atsushi_kitazawa

※本記事では、アフィリエイトプログラムより教材を紹介しています。

📝 問題

ディープラーニングにおける最適化アルゴリズム（オプティマイザ）に関する記述として、最も適切な選択肢を1つ選べ。

A）モーメンタムは、過去の勾配情報の蓄積によって学習率を自動的に減少させていく手法であり、平らな地形である鞍点で停止しやすい特徴を持つ。
B）AdaGradは、過去の勾配の大きさに応じて学習率を調整する手法だが、過去の情報を無制限に蓄積していくため、学習の後半で完全に足が止まってしまう弱点がある。
C）確率的勾配降下法（SGD）は、手持ちの全データを一気に読み込んで一回だけパラメータを更新する丁寧な学習手法である。
D）Adamは、勾配の二乗和による学習率の自動調整を行う「モーメンタム」と、移動平均の慣性を利用する「RMSprop」を組み合わせたアルゴリズムである。

🔍 ここをクリックして正解を見る

正解: B）AdaGradは、過去の勾配の大きさに応じて学習率を調整する手法だが、過去の情報を無制限に蓄積していくため、学習の後半で完全に足が止まってしまう弱点がある。

💡 合格に近づく！徹底解説

重要度: ★★★

■ 1分で分かる！この問題の要点

AdaGradは自動でブレーキをかける賢い手法だが、履歴をためこみすぎて途中で足が止まる弱点がある！
モーメンタムは「慣性（勢い）」を利用して、鞍点（平らな場所）をサーッと突破する手法！
現在最強のAdamは、「勢いのモーメンタム」＋「賢いブレーキのRMSprop」のハイブリッド！

■ 初学者向け解説（例え話や背景）

最適化アルゴリズムの歴史は、まさに「歴代の滑り手たちの課題克服ストーリー」です。

1. SGD（基本）：足元の傾斜だけを見て進むが、フラフラして歩みが遅い。
2. モーメンタム（勢い重視）：スノーボードのように慣性（勢い）をつけることで、平らな場所（鞍点）もサーッと突破できるようにした。
3. AdaGrad（ブレーキ調整）：歩幅（学習率）を自動で調節し、ゴール前で小刻みに歩くようにした。しかし、真面目にブレーキを踏みすぎてゴール手前で完全に停止する弱点が発生。
4. RMSprop（古い記憶の忘却）：AdaGradの弱点を、「古い履歴はほどよく忘れる（指数移動平均）」ことで克服。
5. Adam（最強の完成形）：「勢い（モーメンタム）」と「賢いブレーキ（RMSprop）」をドッキングさせたデファクトスタンダード！

この歴史の流れさえ分かっていれば、ひっかけ問題も簡単に見破ることができます。

■ 選択肢の解説

A) モーメンタムは、過去の勾配情報の蓄積によって…（×）: モーメンタムは「慣性（勢い）」を利用する手法であり、鞍点を突破しやすいのが最大の特徴です。説明が正反対になっています。
B) AdaGradは、過去の勾配の大きさに応じて…（○）: 正解です！ AdaGradは歩幅をどんどん小さくするため、学習の後半で更新量がほぼゼロになり足が止まってしまう（収束しなくなる）課題がありました。
C) 確率的勾配降下法（SGD）は…（×）: 全データを一気に読み込んで更新するのは「バッチ学習（勾配降下法）」です。SGDはランダムに選んだ一部（ミニバッチ）のデータを使って更新します。
D) Adamは、勾配の二乗和による…（×）: モーメンタムとRMSpropの役割説明が逆です。慣性を利用するのが「モーメンタム」、過去の履歴から学習率を自動調整するのが「RMSprop」です。