【G検定過去問風テスト】「Seq2Seq」の構造と弱点を完全マスター!
※本記事では、アフィリエイトプログラムより教材を紹介しています。
📝 問題
ある時系列データ(文章など)を入力として受け取り、別の時系列データを出力するモデルであり、内部が入力文を圧縮するエンコーダと、そこから新しい文を生成するデコーダの2つで構成されるモデルとして、最も適切な選択肢を1つ選べ。
- A)Multi-Head Attention
- B)Transformer
- C)Self-Attention
- D)Seq2Seq(シーケンス・ツー・シーケンス)
🔍 ここをクリックして正解を見る
- 正解: ○)C)Seq2Seq(シーケンス・ツー・シーケンス)
💡 合格に近づく!徹底解説
- 重要度: ★★★
■ 1分で分かる!この問題の要点
- 入力を別の系列(翻訳文など)に変換するモデルの総称が「Seq2Seq」。
- 内部は「エンコーダ(符号化器)」と「デコーダ(復号化器)」の2つのブロックで構成される。
- 長い文章を扱うと、情報を1つのベクトルにギュッと圧縮する際に最初の方の情報を忘れてしまうという弱点があり、これがAttention開発のきっかけとなった。
■ 初学者向け解説(例え話や背景)
外国語の本を翻訳するときを想像してみてください。まず人間は、外国語の本を読んで「要するにこういうことだな」と頭の中で一度内容を要約(圧縮)し、その要約を頼りに日本語の文章として書き起こしますよね。
Seq2Seq(Seq-to-Seq)は、まさにこれと同じことを行う仕組みです。全体の入り口であるエンコーダ(Encoder)が入力文を読んで一つの固定長ベクトル(要約)に押し込み、出口であるデコーダ(Decoder)がその要約から新しい文章を組み立てます。機械翻訳などで大活躍しましたが、「長文になると最初の方の記憶が抜け落ちてしまう」という致命的なボトルネックがあったため、これを克服するために後継として「Attention」が誕生しました。この歴史的背景と構造のセットは試験で非常によく狙われます!
■ 選択肢の解説
- A) Self-Attention(×): 1つの文章の中で単語同士の関連性を計算する仕組みのことです。
- B) Transformer(×): RNNを一切使わず、Attentionのみで構成されて並列処理を実現した革新的なニューラルネットワークモデルです。
- C) Seq2Seq(シーケンス・ツー・シーケンス)(○): 入力を別の時系列データに変換し、エンコーダとデコーダで構成されるモデルであり、正解です。
- D) Multi-Head Attention(×): Attentionの計算を複数のヘッドで同時に並列して行う仕組みのことです。
👉 次の問題&解説テキスト
お疲れ様です!
この調子で次の問題に挑戦しますか?
それとも、立ち止まって詳しい解説を確認しますか?
