【G検定対策】転移学習・ファインチューニングの重要キーワード17選!LoRA・PEFTまで完全解説

※本記事では、アフィリエイトプログラムより教材を紹介しています。
【重要度】★★★
G検定の「転移学習・ファインチューニング」分野は、機械学習・ディープラーニングを実務に適用する上で必須となる超重要テーマです。
「転移学習とファインチューニングの違いがあいまい…」「PEFTやLoRAってLLMのチューニングでどう使うの?」「負の転移や破滅的忘却ってどんな現象?」と頭を整理できずに悩んでいませんか?
ご安心ください!この記事では、既存の知識を活用して効率よくモデルを学習させる基本概念から、大規模言語モデル(LLM)時代に欠かせない最新のパラメータ効率化手法まで、G検定の重要キーワードを身近な「例え話」を交えて徹底解説します。
試験で狙われやすい「ひっかけ問題パターン」や要点比較表も用意していますので、しっかりと確認していきましょう。
1. 転移学習・ファインチューニングとは?分かりやすい例え話で解説
転移学習(Transfer Learning)とファインチューニング(Fine-Tuning)とは、一からモデルを学習させる(スクラッチ学習)のではなく、「すでに膨大なデータで学習済みのモデル(事前学習モデル)の知識を流用し、別の新しいタスクに適応させる技術」のことです。
ゼロからAIを学習させるには巨大なデータセットと莫大な計算コストが必要ですが、この手法を使えば少量のデータと短い時間で非常に高い精度のモデルを作り出すことができます。
転移学習とファインチューニングの関係は、言ってみれば「プロの料理人が新しいジャンルの料理を習得するプロセス」に例えられます。
- 事前学習モデル(基礎訓練): 包丁の使い方、火加減、食材の見分け方など、料理の「基本技術」を徹底的にたたきこまれたプロの料理人です。
- 転移学習(特徴抽出): 和食のプロが「盛り付けの基本ルール」などの知識をそのまま洋食作りにそのまま応用する状態です(基礎知識は変えず、出口の料理だけ変える)。
- ファインチューニング(微調整): 和食のプロが洋食特有のソースの味付けや火加減に合わせて、自分自身の感覚(パラメータ)を微調整して最適化する状態です(元の技術ベースを残しつつ更新する)。
G検定では、「転移学習・ファインチューニング・特徴抽出の違い」「パラメータ更新の仕組み(Freezingなど)」「LLM向けの最新効率化手法(PEFT, LoRA)」「適応時の課題(破滅的忘却など)」の4つの軸から出題されます。
それでは、重要キーワードを順番に押さえていきましょう!
2. 試験に出る!最重要キーワードの解説と覚え方
ここからは、「基礎概念」「調整手法と効率化技術(PEFT・LoRAなど)」「課題と適応アプローチ」「少量データ・適応学習」の4つのグループに分けて徹底解説します。
【基礎概念】ゼロから育てず知識を引き継ぐ
事前学習済みのモデルを活用する際の基本的な分類や概念です。
事前学習モデル(Pre-trained Model)
膨大な汎用データ(ImageNetの画像やWeb上の大量テキストなど)を使って、あらかじめ学習を完了させたモデルのことです(例:ResNet, BERT, GPTなど)。
汎用的な特徴を捉える能力をすでに備えています。
転移学習(Transfer Learning)
ある領域(ソースドメイン)で獲得した知識や学習済みパラメータを、別の領域(ターゲットドメイン)の学習に再利用・流用する技術全般を指す広義の概念です。
ファインチューニング(Fine-Tuning)
事前学習モデルの重みパラメータを「初期値」として利用し、新しいターゲットタスクのデータを使ってモデルの一部またはすべてのパラメータを微調整(再更新)する手法です。
後述する「特徴抽出」とは異なり、重み自体が書き換わるのが大きな特徴です。
特徴抽出器(Feature Extractor)としての利用
事前学習モデルの重みパラメータを完全に固定(フリーズ)し、中間層から出力される特徴量(ベクトル)だけを取り出して、別の識別器(ロジスティック回帰やSVM、シンプルな全結合層など)に入力して学習させる方法です。
事前学習モデル自体のパラメータは一切変更されません。
ソースドメイン / ターゲットドメイン
- ソースドメイン: 事前学習を行った元となるデータ領域。
- ターゲットドメイン: 最終的に解きたい新しいデータ領域。
【調整手法と効率化技術】モデルをどう調整するか(PEFT・LoRAなど)
モデルのパラメータをどのように更新・節約して調整するかを表す技術群です。G検定の最新トレンドエリアです!
層の固定(Freezing / フリーズ)
ファインチューニングを行う際、事前学習モデルの特定の層(主に初期の層)の重みを「更新しないようにロックする」処理のことです。
初期の層は「エッジ(線)」や「基本的な文法」など汎用的な特徴を抽出しているため、固定することで過学習を防ぎ、計算コストを抑えられます。
フルファインチューニング(Full Fine-Tuning)
事前学習モデルのすべての層のパラメータを再学習(更新)する手法です。
最も高い精度が期待できる反面、計算コストやメモリ消費が膨大になり、大規模言語モデル(LLM)では実施が困難になる場合があります。
PEFT(Parameter-Efficient Fine-Tuning)
LLMなどの巨大なモデルにおいて、すべてのパラメータを更新するのではなく、全体のわずか数%以下のごく一部のパラメータ(または追加した小さなモジュール)のみを効率的に微調整する手法の総称です。
計算リソースとメモリ消費量を激減させることができます。
LoRA(Low-Rank Adaptation)
PEFTの最も代表的な手法です。
元の巨大な重み行列はフリーズ(固定)したまま、「低ランク(Low-Rank)行列」と呼ばれる小さな2つの行列を分解して追加し、その小さな行列のパラメータだけを学習します。
モデルの精度をほとんど落とさずに、学習に必要なメモリ量を劇的に削減できます。
プロンプトチューニング(Prompt Tuning) / プレフィックスチューニング(Prefix Tuning)
LLMの重み自体は一切変更せず、入力プロンプトの先頭に学習可能な仮想のベクトル(ソフトプロンプト)を付加し、そのベクトルのみを最適化する手法です。
タスクごとに小さなベクトルを保持するだけで済むため、極めて軽量です。
【課題と応用アプローチ】ドメインの壁と転移の罠
知識を流用する際に直面する問題点や、それを克服するための手法です。
ドメイン適応(Domain Adaptation)
ソースドメインとターゲットドメインの間でデータの分布(見た目や性質)が異なるとき、その「分布のズレ(ドメインシフト)」を埋めて、ターゲット領域でも高い精度を出せるように適合させる技術です。
(例:シミュレータ画像で学習したAIを、現実の写真に適応させる)
負の転移(Negative Transfer)
ソースタスクとターゲットタスクの関連性が薄い(またはまったく異なる)場合に、転移学習を行ったことでかえってゼロから学習(スクラッチ学習)するよりも精度が下がってしまう現象のことです。
破滅的忘却(Catastrophic Forgetting)
モデルを新しいタスクに特化してファインチューニングした結果、事前学習で獲得していた過去の一般的な知識や別のタスクの実行能力を著しく失ってしまう現象のことです。
【少量データ・適応学習】わずかなデータで即座に適応
学習データが極端に少ない環境で高い性能を発揮させるための学習パラダイムです。
ゼロショット学習(Zero-Shot Learning) / フューショット学習(Few-Shot Learning)
新しいタスクの学習データをほとんど(あるいは全く)与えずに推論させるアプローチです。
- ゼロショット(Zero-Shot): 新タスクの訓練データを「0件」で推論させる。
- フューショット(Few-Shot): 新タスクの訓練データを「数件(1〜数千件)」だけ見せて適応させる。
インコンテキスト学習(In-Context Learning)
LLMにおいて、パラメータの更新(重みの書き換え)を一切行わず、プロンプト(入力文)の中に「いくつかのお手本(例文)」を含めるだけで、モデルにタスクを理解させて解答させる手法です(Few-Shotプロンプトなど)。
メタ学習(Meta-Learning / Learning to Learn)
単一のタスクを学習するのではなく、「新しいタスクに素早く適応するための学習方法そのもの(学び方を学ぶ)」をトレーニングする手法です。
3. 【要点整理】転移学習・ファインチューニングの重要概念比較
G検定で出題されやすい「手法の違い」と「PEFT(LoRA)の特徴」を表にまとめました。
① モデル調整手法の比較(更新対象と計算コスト)
| 手法名 | 事前学習パラメータの扱い | 新規パラメータ | 計算コスト / メモリ | 主な用途・特徴 |
|---|---|---|---|---|
| 特徴抽出 | 完全に固定(フリーズ) | 出力層の識別器のみ | 極めて低い | 少データ時、汎用特徴の流用 |
| ファインチューニング | 一部または全体を微調整 | 必要に応じて追加 | 中〜高 | ターゲットタスクへの高度な適応 |
| フルファインチューニング | すべて更新 | なし | 極めて高い | 十分なデータと計算力がある場合 |
| PEFT(LoRAなど) | 元の重みは固定 | 低ランク行列等を追加 | 低い | LLMの効率的なチューニング |
② 転移・適応における代表的リスクの比較
| リスク名(現象) | 発生する原因 | 対策・影響 |
|---|---|---|
| 負の転移 | ソースとターゲットのタスク関連性が低すぎる | 無関係な事前学習モデルを使わない |
| 破滅的忘却 | 特定タスクへ過度にファインチューニングする | 元の学習データを混ぜる、重みの変更量を制限 |
4. G検定の「ひっかけ問題パターン」を総チェック!
実際の試験で問われやすい「言葉の置き換え」や「仕組みの誤り」のパターンです。
Q1. 転移学習とファインチューニングに関する記述
- ✕(誤り): ファインチューニングとは、事前学習モデルのすべてのパラメータを厳密に固定し、新しく追加した最終出力層のみを学習させる手法のことである。
- 〇(正しい): パラメータを完全に固定して最終層だけを学習させるのは「特徴抽出(Feature Extraction)」です!ファインチューニングは「事前学習モデルの重み自体も微調整(更新)する」手法です。
Q2. LoRA(Low-Rank Adaptation)に関する記述
- ✕(誤り): LoRAは、大規模言語モデルのすべての重み行列を低解像度の画像に変換することで、モデル全体のパラメータ数を直接削減する圧縮技術である。
- 〇(正しい): LoRAはパラメータを削減してモデルを小さくする圧縮技術ではなく、「元の重みをフリーズしたまま、低ランク(Low-Rank)の分解行列を追加してその一部のみを学習するパラメータ効率的ファインチューニング(PEFT)手法」です。
Q3. 破滅的忘却(Catastrophic Forgetting)に関する記述
- ✕(誤り): 破滅的忘却とは、事前学習を行う段階でデータセットのサイズが大きすぎるために、初期に学習したデータをモデルが記憶できなくなる現象を指す。
- 〇(正しい): 破滅的忘却は事前学習時の問題ではなく、「新しいタスクに合わせてファインチューニングを行った結果、過去に学んだ知識や他のタスクを実行する能力を失ってしまう現象」です。
Q4. 負の転移(Negative Transfer)に関する記述
- ✕(誤り): 事前学習モデルとターゲットタスクのデータ領域が全く無関係である場合であっても、転移学習を行えば必ずスクラッチ学習より高い精度が得られる。
- 〇(正しい): 無関係なタスク間で転移学習を行うと、かえって精度が低下する「負の転移」が発生するリスクがあります。
🔥 まとめ:知識の「再利用」と「効率化」の流れを掴もう!
転移学習・ファインチューニングの攻略のカギは、以下の2点をしっかり整理することです。
- 基本の役割分担: 重みを固定して特徴だけ使うのか(特徴抽出)、重み自体を更新するのか(ファインチューニング)。
- LLM時代の最新効率化(PEFT): 元の重みをフリーズして小さな低ランク行列だけを学ぶ「LoRA」などの仕組み。
この構造と各用語(破滅的忘却や負の転移などのリスク)を結びつけておけば、G検定の問題はバッチリ攻略できます!
自信を持って次のステップへ進みましょう。応援しています!
【大人気💡】過去問風ミニテスト&関連テキスト
「転移学習・ファインチューニング」はバッチリ理解できましたか?
知識を確実に定着させて一発合格を引き寄せるために、今のあなたに最適なステップを選んで進んでみましょう!
合格率をグッと上げる!「過去問風ミニテスト」に挑戦
解説を読んだら、さっそく問題に挑戦して実力を確かめてみましょう!
ボタンをクリックするとミニテストのページが開きます。
🚀 最短ルートで合格を目指す!「厳選参考書」参考書をチョイス
G検定合格へのロードマップは、この一冊を机に置くことから始まります。まずは目次だけでもチェックしてみてください。
知識を『覚えたつもり』で終わらせない。この1冊を解き終える頃には、合格ライン突破に確実に近づきます。
