Seq2Seq (G検定)

1. 定義と概要

Seq2Seq（Sequence to Sequence、直訳すると「系列から系列へ」）とは、可変長の入力系列を受け取り、それとは長さが異なってもよい出力系列を生成するニューラルネットワークの枠組みです。提案は2014年、Sutskever・Vinyals・Le（Google）による論文「Sequence to Sequence Learning with Neural Networks」（NeurIPS 2014）です。

具体例として、英語の文を日本語の文に置き換える機械翻訳、長い文章を短い要約文に変換する自動要約、質問文から応答文を生成する対話システム（人と自然な言葉でやり取りするシステム）などが挙げられます。いずれも、入った系列と出ていく系列の長さが揃わないタスクです。

従来のニューラルネットワークの多くは固定長の入力から固定長の出力を作る設計が中心で、文の長さがまちまちな翻訳や要約のようなタスクを扱いにくいという課題がありました。Sutskeverらは、こうしたタスクを系列を系列に変換する課題として捉え直します。そこで示されたのがSeq2Seqの枠組みです。

当時の実装では、エンコーダ（入力系列を読み取って内部表現に変換する側の部分）とデコーダ（内部表現をもとに出力系列を生成する側の部分）を組み合わせる構成でした。エンコーダとデコーダには、過去の情報を保持しながら系列データを順に処理するRNN（リカレントニューラルネットワーク）の一種であるLSTM（長期の情報も保持できるように工夫されたRNNの一種）が採用されました。

英語からフランス語への翻訳タスクでは、BLEU（機械翻訳の訳文の質を自動で採点するための評価指標）のスコアで34.8を記録しました。これは当時主流だった統計的機械翻訳（大量の対訳データの統計的な規則性をもとに翻訳する、ニューラルネットワーク以前からある手法）のベースライン33.3に匹敵する結果です。この成果によって、翻訳や要約をはじめとする言語処理のタスクを「系列変換」として統一的に扱う発想が広がりました。

2. 試験対策ポイント

Seq2Seqの中心的な特徴は、入力系列と出力系列の長さが一致しなくてよい点にあります。系列ラベリング（品詞タグ付けなど、系列の各要素に対応するラベルを1つずつ出力するタスク）は入力と出力の長さが揃うのに対し、Seq2Seqは文の長さや語順が入力と出力で異なるタスクにも対応できる設計です。この違いは、両者を混同しないための出発点になります。

提案は2014年、Sutskever・Vinyals・LeがGoogleから発表した「Sequence to Sequence Learning with Neural Networks」です。当初の実装がLSTMによるエンコーダ・デコーダ構成だったため、「Seq2Seq」と「RNNエンコーダ-デコーダ」はほぼ同じ意味で使われる場面があります。

ただし、Seq2Seqは系列変換という課題の捉え方・枠組みを指す言葉であり、RNNエンコーダ-デコーダはそれをRNNで実装した具体的な構造を指す言葉です。構造の内部設計は、別のテーマとして扱われます。

応用タスクの束としては、機械翻訳・自動要約・対話（チャットボット）・音声認識など、「系列を系列に変換する」形に当てはまるタスク全般に広がりを持つ点も見ておきたいところです。何が入力で何が出力になるのかを並べると、共通の形が見えてきます。

タスク	入力系列	出力系列
機械翻訳	英語などの原文	日本語などの訳文
自動要約	長い文章	短い要約文
対話システム	質問文	応答文
音声認識	音声データ	文字起こしテキスト

どの行も、入った系列とは長さも形も違う系列が出てくるという点で共通しています。この形に当てはめられるタスクであれば、分野が変わっても同じ枠組みで捉えられるわけです。

実装方式の面では、初期はRNN（LSTMやGRUなど、長期の情報を扱いやすくした派生形を含む）ベースのエンコーダ・デコーダが中心でした。後に登場したAttention（注意機構）とは、出力の各時点で入力のどこに注目するかを重みとして学習する仕組みです。

この考え方を中心に組み立てられた構造がTransformer（注意機構を軸にした、並列処理に向くニューラルネットワークの構造）です。この方式を使う実装は、大規模言語モデル（膨大な量のテキストデータから学習した、汎用的な言語処理モデル）の基礎にもつながっています。各手法の計算の詳細には、ここでは立ち入りません。

3. 関連概念との比較・相違点

系列ラベリングとの最大の違いは、入力と出力の系列の長さが一致するか、異なってよいかという点にあります。系列ラベリングは入力の各要素に1つずつラベルを対応させる設計であるのに対し、Seq2Seqは文の長さや構成そのものが入力と出力で変わってよい設計です。

たとえば品詞タグ付けは単語の数だけタグを出力しますが、翻訳では原文と訳文の単語数が一致するとは限りません。両者を軸ごとに並べると、違いは次のように整理できます。

観点	系列ラベリング	Seq2Seq
入力と出力の長さ	各要素に1つずつラベルを付けるため一致する	異なってよい
代表的なタスク	品詞タグ付け	機械翻訳・自動要約・対話
出力の決まり方	入力の要素数によって決まる	入力の長さに縛られない

この違いを取り違えると、出力の長さが入力と同じになる設計を選んでしまい、翻訳のように出力の長さそのものが変わるタスクにうまく対応できなくなります。

もうひとつ整理しておきたいのが、RNNベースの実装とTransformerベースの実装の違いです。どちらも同じSeq2Seqという枠組みを実装したものですが、RNN（LSTM・GRU）は時系列に沿って一語ずつ処理する構造に向き、Transformerは注意機構を用いて系列全体を並列に処理する構造に向いています。

実装方式そのものの内部構造は、本記事では位置づけの整理にとどめます。実務でどちらを選ぶかはあくまで実装上の判断であり、Seq2Seqという枠組みの捉え方自体が変わるわけではありません。

4. ビジネス・実務での活用シナリオ

カスタマーサポートの現場では、問い合わせ文（入力系列）から応答文（出力系列）を生成するチャットボットや自動応答システムに、Seq2Seqの考え方が使われています。文の長さがまちまちな自然な文章のやりとりに対応できる点は、定型的なシナリオ型の応答システムにはない利点です。

問い合わせの言い回しは一人ひとり異なり、あらかじめ用意した固定パターンだけでは対応しきれない場面も少なくありません。可変長の入出力を前提にしたSeq2Seqの考え方は、そうした言葉のばらつきを扱ううえで欠かせない土台といえるでしょう。

コンテンツ制作の分野では、長文の記事やレポート（入力系列）を短い要約文（出力系列）に変換する自動要約への応用が進んでいます。要点を絞り込む一次的な下ごしらえとして、人手での要約作業を補う位置づけにあります。大量の文書を人手だけで要約しようとすると時間と手間がかかるため、まず機械にたたき台を作らせてから人が仕上げる進め方が実務では現実的です。

音声・字幕の分野では、音声データ（入力系列）から文字起こしテキスト（出力系列）を生成する音声認識や、動画の自動字幕生成にも系列変換の考え方が使われています。話す速度や間の取り方は人によって異なるため、入力の長さに応じて出力の長さも柔軟に変わる設計が欠かせません。個別の仕組みの詳細は、別のテーマとして扱われます。

5. 要点まとめ

• Seq2Seqは、入力系列と出力系列の長さが異なってよい系列変換の枠組みで、2014年にSutskever・Vinyals・Leが提案しました。
• 機械翻訳・要約・対話・音声認識など、「系列を系列に変換する」タスク全般に応用が広がっています。
• 実装方式はRNN（LSTM・GRU）ベースからAttention・Transformerベースへと広がっており、RNNエンコーダ-デコーダはその代表的な実装のひとつです。

6. 確認問題