【G検定過去問風テスト】バッチ正規化とレイヤー正規化の違いとは?特徴と選び方を徹底解析!

※本記事では、アフィリエイトプログラムより教材を紹介しています。

📝 問題

ディープラーニングにおける正規化層(Normalization Layer)に関する記述として、最も適切な選択肢を1つ選べ。

  • A)バッチ正規化(Batch Normalization)は、データ1件ごとにすべての特徴量を対象として正規化を行うため、バッチサイズが小さくなっても精度が低下しない。
  • B)レイヤー正規化(Layer Normalization)は、ミニバッチ全体の同一特徴量を対象として正規化を行うため、画像認識モデル(CNN)で広く用いられている。
  • C)レイヤー正規化(Layer Normalization)は、データ1件の中で正規化を行うため、ミニバッチのサイズに精度が影響されにくく、自然言語処理のモデルなどで広く採用されている。
  • D)グループ正規化(Group Normalization)は、ミニバッチサイズを数千規模に拡大させた際に、バッチ正規化以上の計算効率を発揮する目的で開発された。
🔍 ここをクリックして正解を見る
  • 正解: C)レイヤー正規化(Layer Normalization)は、データ1件の中で正規化を行うため、ミニバッチのサイズに精度が影響されにくく、自然言語処理のモデルなどで広く採用されている。

💡 合格に近づく!徹底解説

  • 重要度: ★★★

■ 1分で分かる!この問題の要点

  • 正規化層は、学習時のデータのバラつきを抑えて学習を高速化・安定化させる役割を持つ。
  • バッチ正規化(BN)はミニバッチ全体を対象とし画像処理で好まれるが、バッチサイズが小さいと精度が下がる
  • レイヤー正規化(LN)はデータ1件内で完結するためバッチサイズに依存せず、自然言語処理(Transformer等)の主役となる。
  • グループ正規化(GN)は、メモリ上限でバッチサイズを極小(1や2など)にせざるを得ない現場で活躍する。

■ 初学者向け解説(例え話や背景)

ディープラーニングにおいて、データが各層を通過する中で数値が大きすぎたり小さすぎたりすると、AIはパニックを起こして上手に学習できません。そこで登場するのが正規化層です。

これは学校のテストの「偏差値」を出す仕組みにとてもよく似ています。平均点80点の簡単なテストと、平均点30点の激難テストの点数をそのまま比べても公平な実力は測れませんよね。どちらも「平均50、標準偏差10」の基準に一度リセット(偏差値化)してあげることで、データを均等で扱いやすい状態にするのが正規化です。

G検定で問われるのは「どの単位でグループ分けして偏差値を出しているか」です。

  • バッチ正規化:「学年全体」の「国語のテスト」だけを集めて偏差値を出す(他人のデータが必要&バッチサイズが小さいと学年全体の平均が出せず精度が落ちる)。
  • レイヤー正規化:「A君ひとり」の「国・数・英・理・社」の点数だけで偏差値を出す(他人のデータは無関係。1人で完結するため文章の長さがバラバラになりがちな自然言語処理と相性抜群)。

この「切り取り範囲の違い」のイメージさえ頭に入っていれば、文章のひっかけパターンにも迷わず正解できます!


■ 選択肢の解説

  • A) バッチ正規化(Batch Normalization)(×): 記述の内容は「レイヤー正規化」の説明です。バッチ正規化はミニバッチ全体を対象とするため、バッチサイズが小さすぎると全体の平均・分散が正しく計算できず、精度が落ちるという弱点があります。
  • B) レイヤー正規化(Layer Normalization)(×): 記述の内容は「バッチ正規化」の説明です。レイヤー正規化はミニバッチ全体ではなく「データ1件」の中で正規化を行います。
  • C) レイヤー正規化(Layer Normalization)(○): 正しい記述です。データ1件(1つのサンプル)の中で完結して計算するためミニバッチのサイズに依存せず、Transformer(ChatGPTのベース)などの自然言語処理で中心的に使われています。
  • D) グループ正規化(Group Normalization)(×): グループ正規化は、バッチサイズを大きく「拡大した時」ではなく、自動運転や医療画像処理などでバッチサイズを「大きくできない(1や2などの極小時)」に威力を発揮する手法です。

👉 次の問題&解説テキスト

お疲れ様です!
この調子で次の問題に挑戦しますか?
それとも、立ち止まって詳しい解説を確認しますか?