【G検定過去問風】LoRA(Low-Rank Adaptation)とは?効率的なファインチューニングを徹底解説

※本記事では、アフィリエイトプログラムより教材を紹介しています。

📝 問題

大規模言語モデル(LLM)などの巨大なモデルを効率よく微調整する手法(PEFT)において、元の重み行列を固定(フリーズ)したまま、小さな2つの行列を追加し、その追加した小さな行列のパラメータだけを学習する手法として、最も適切な選択肢を1つ選べ。

  • A)フルファインチューニング
  • B)LoRA(Low-Rank Adaptation)
  • C)プロンプトチューニング
  • D)特徴抽出
🔍 ここをクリックして正解を見る
  • 正解: B)LoRA(Low-Rank Adaptation)

💡 合格に近づく!徹底解説

  • 重要度: ★★★

■ 1分で分かる!この問題の要点

  • 巨大なAIモデルの全パラメータを書き換えるのは計算コストが高すぎるため、効率的な調整手法(PEFT)が求められる。
  • LoRAは元の重みを「フリーズ(固定)」し、小さな追加の行列だけを学ぶことでメモリと時間を大幅に節約する。

■ 初学者向け解説(例え話や背景)

超巨大なAI(LLM)を育てるのは、まるで「何万ページもある分厚い辞書のすべての記述を、新しい時代の言葉に合わせて一から書き直す」ようなもので、膨大な時間と労力がかかります。
そこで登場したのがLoRAです。これは、分厚い辞書本体(元の重み)には一切手をつけず、「変更が必要な部分だけを書いた小さな付箋」を何枚か貼ることで対応するイメージです。これにより、最小限の労力で最新のトレンドに適応できるようになりました。G検定ではこの「何を固定して何を学ぶか」の区別がよく問われます!


■ 選択肢の解説

  • A) フルファインチューニング(×): 事前学習モデルのすべてのパラメータを再学習する手法です。高い精度が期待できますが、計算コストが非常に高くなります。
  • B) LoRA(○): 元の巨大な重み行列をフリーズしたまま、低ランクの分解行列を追加してそのパラメータのみを学習する、代表的なPEFT手法です。
  • C) プロンプトチューニング(×): モデルの重みは一切変更せず、入力データの先頭に学習可能な仮想のベクトルを付加して最適化する手法です。
  • D) 特徴抽出(×): 事前学習モデルの重みを完全に固定し、出力される特徴量だけを取り出して別の識別器を学習させる手法です。

👉 次の問題&解説テキスト

お疲れ様です!
この調子で次の問題に挑戦しますか?
それとも、立ち止まって詳しい解説を確認しますか?