【G検定過去問風テスト】BERTとELMoの違いとは？双方向モデルの特徴を徹底解説

2026年8月3日 2026年8月3日 atsushi_kitazawa

※本記事では、アフィリエイトプログラムより教材を紹介しています。

📝 問題

自然言語処理における先進的なモデルに関する説明として、最も適切な選択肢を1つ選べ。

A）ELMoは、TransformerのEncoder部分を利用し、大量のテキストから自己注意機構を用いて双方向の事前学習を行う画期的なモデルである。
B）BERTは、文章を左から右へと一方向のみに読み込んで学習するため、文脈の後ろから前の単語への影響を考慮することができない。
C）BERTは、TransformerのEncoder構造をベースに、左右の双方向から同時に文脈を考慮した事前学習を行うことで、様々なNLPタスクで高い精度を達成した。
D）Seq2Seqは、1つのRNNのみで構成されており、入力文と出力文の長さが常に同じであるタスクにのみ適用できるモデルである。

🔍 ここをクリックして正解を見る

正解: C）BERTは、TransformerのEncoder構造をベースに、左右の双方向から同時に文脈を考慮した事前学習を行うことで、様々なNLPタスクで高い精度を達成した。

💡 合格に近づく！徹底解説

重要度: ★★★

■ 1分で分かる！この問題の要点

BERTは「TransformerのEncoder」を使い、「左右の双方向」から文脈を同時に読み込んで学習するモデル。
同音異義語など「前後の文脈によって意味が変わる言葉」を正確に理解できるのが大きな強み。

■ 初学者向け解説（例え話や背景）

「はしでご飯を食べる」と「はしを渡って対岸へ行く」のように、同じ「はし」という言葉でも前後の文脈によって意味がまったく変わる現象がありますよね。従来のAIは、文章を左から右へ一方通行でしか読めなかったため、「後ろの言葉を見てから前の言葉の意味を決める」ということが苦手でした。

これを劇的に変えたのが、BERTです！
イメージとしては、「文章のなかに空欄（マスク）を作って、前と後ろの両方のヒントを見ながら、その空欄に入る言葉を推理する名探偵」のようなものです。
BERTはTransformerの仕組みをベースにしており、文章全体のつながりを「双方向」から理解できるため、G検定でも頻出の超重要キーワードとなっています。

■ 選択肢の解説

A）（×）: TransformerのEncoder部分を利用して双方向の事前学習を行うのは「BERT」の説明です（ELMoは双方向LSTMをベースにしています）。モデル名が入れ替わっているため誤りです。
B）（×）: BERTは「左右の双方向から文脈を考慮」して学習するため、後ろの単語から前の単語への影響も考慮できます。一方向のみと記載されているため誤りです。
C）（○）: BERTに関する正しい説明です。TransformerのEncoder構造を活かし、双方向の文脈を捉えた事前学習によって高い精度を実現しました。本問の正解です。
D）（×）: Seq2Seqは「Encoder（入力）」と「Decoder（出力）」の2つのRNNで構成されており、機械翻訳などのように「入力と出力の長さが異なるタスク」を可能にするモデルです。

リンク