【G検定過去問風テスト】Transformerのコア！「Self-Attention」の仕組みと役割

2026年7月28日 2026年7月28日 atsushi_kitazawa

※本記事では、アフィリエイトプログラムより教材を紹介しています。

📝 問題

Transformerモデルの中核を成す仕組みであり、入力された1つの文章の中で、それぞれの単語が他の単語とどのような関連性を持っているのかを計算する機能として、最も適切な選択肢を1つ選べ。

A）Multi-Head Attention
B）Source-Target Attention（Encoder-Decoder Attention）
C）Self-Attention（自己注意機構）
D）Seq2Seq

🔍 ここをクリックして正解を見る

正解: ○）C）Self-Attention（自己注意機構）

💡 合格に近づく！徹底解説

重要度: ★★★

■ 1分で分かる！この問題の要点

「1つの文章の中」で単語同士の結びつきを計算するのが「Self-Attention（自己注意機構）」。
代名詞が何を指しているかなど、文章内の文脈を理解するのに不可欠な技術。
RNNを使わないTransformerにおいて、このSelf-Attentionがモデルの心臓部として機能している。

■ 初学者向け解説（例え話や背景）

「彼は犬を飼っていて、それをとても可愛がっている」という文があったとき、私たち人間は「それ」が「犬」を指していることを自然に理解できますよね。しかし、コンピュータにとっては、「それ」という単語単体では何を指しているのか分かりません。
ここで活躍するのが Self-Attention（自己注意機構） です。これは、「自分自身の文章の中で、どの言葉とどの言葉が深く結びついているのか」を自分で自分に問いかけて結びつける仕組みです。例えるなら、登場人物全員が相関図を自分で作り上げるようなものです。「それ」という言葉が、文章内の「犬」という言葉に強く結びついている（スポットライトが当たっている）と計算することで、コンピュータは文脈を正しく理解できるようになります。

■ 選択肢の解説

A) Multi-Head Attention（×）: Self-Attentionなどの計算を、複数の独立した視点（ヘッド）で同時に並列して行う仕組みです。
B) Source-Target Attention（Encoder-Decoder Attention）（×）: 翻訳などにおいて、「入力側の文章（Source）」と「出力側の文章（Target）」の間で計算されるAttentionのことです。
C) Self-Attention（自己注意機構）（○）: 1つの文章の中で単語同士の関連性を計算する仕組みであり、正解です。
D) Seq2Seq（×）: 入力された時系列データを別の時系列データに変換するモデル（エンコーダ・デコーダ構造）の総称です。

リンク