Transformer（トランスフォーマー） (G検定)

1. 定義と概要

Transformer（トランスフォーマー）とは、2017年に Google の研究者らが論文「Attention Is All You Need」で発表した深層学習のネットワーク構造です。RNN（単語などのデータを1つずつ順番に読み込みながら処理するネットワーク構造）や CNN（画像などから局所的な特徴を取り出すことを得意とするネットワーク構造）を一切使わず、Attention だけで系列データを処理する点が最大の特徴です。Attention とは、文中の要素どうしでどこに注目すべきかを重み付けして判断する仕組みを指します。

この構造は、その後の自然言語処理（人間の言葉をコンピュータに扱わせる技術分野）全体の発展に大きな影響を与えました。入力を処理するエンコーダ（入力データを内部表現に変換する処理のかたまり）と、出力を生成するデコーダ（エンコーダの出力をもとに出力系列を1つずつ生成する処理のかたまり）を、それぞれ複数層積み重ねた構造を持ちます。もともとは、機械翻訳（ある言語の文章を別の言語の文章に自動で変換する処理）のタスク向けに提案されました。

従来の RNN（LSTM を含む）は単語を1つずつ順番に処理する構造のため並列計算（複数の計算を同時に処理すること）ができず、学習に時間がかかる課題を抱えていました。文が長くなるほど離れた単語同士の関係を捉えにくく、CNN も一度に扱える範囲が局所的な領域に限られる制約があります。

Transformer はこれらの課題を踏まえ、Attention だけで文中の全単語間の関係を一度に計算する設計を採用しました。この設計により並列計算が可能になり、大量のデータと大規模なモデルでの学習が現実的になりました。並列計算のしやすさが、以降のモデルの大規模化を支える土台になっています。この並列計算のしやすさは、RNN との違いを理解するうえでの出発点です。

2. 試験対策ポイント

Transformer の全体構造は、入力系列を内部表現に変換するエンコーダと、その内部表現をもとに出力系列を生成するデコーダを、それぞれ複数層積み重ねた構成です。機械翻訳を念頭に設計された構造という理解が前提になります。

各層の内部に置かれるのは、Self-Attention（同じ系列の中の要素どうしの関係を計算する仕組み）です。一方の位置エンコーディング（文中の単語が何番目に並んでいたかという順序の情報を補う仕組み）は、層の中ではなく、エンコーダとデコーダそれぞれの入力の段階で単語の内部表現に足し合わされます。

あわせて、デコーダの層には、エンコーダの出力を参照する Encoder-Decoder Attention（デコーダがエンコーダ側の出力に注目する仕組み）も配置され、エンコーダで処理した情報をデコーダの生成へつなぐ仕組みです。個々の仕組みの計算方法よりも、全体のどこに何が配置されているかという構図がここでの要点になります。この構成は、機械翻訳のように入力文と出力文が対になるタスクとの相性のよさを反映した設計です。

この構造では RNN・CNN を排し、Attention 機構だけで層を構成しています。並列計算が可能になったことで学習時間を短縮しやすくなり、大規模なデータやパラメータ（モデルが学習によって調整する内部の数値）でモデルを訓練しやすくなりました。この特性が、後続の大規模なモデルの発展を支えています。モデルの規模を大きくしやすいという点は、Transformer が広く使われる背景の一つです。

後続モデルとの関係も、押さえておきたい柱の一つです。代表的な3つが Transformer のどの部分を受け継いだのかを並べると、次のように整理できます。

モデル	Transformer との関係
BERT（文脈理解に強い自然言語処理モデル）	エンコーダ部分を積み重ねた構造
GPT（文章生成に強いモデル系列）	デコーダ部分を積み重ねた構造
ViT（Vision Transformer）	エンコーダ構造を画像認識に応用したモデル

エンコーダ由来かデコーダ由来かという対比が、後続モデルを整理するときの軸です。ViT（Vision Transformer）は、その構造を画像認識の分野へ広げた例にあたります。個々のモデル固有の仕組みは別記事に譲り、ここでは Transformer との構造的な位置づけの違いに触れるにとどめます。

3. 関連概念との比較・相違点

RNN との最大の違いは、並列計算ができるかどうかという点です。RNN は単語を順番に処理するため並列計算ができない一方、Transformer は Attention により全単語を同時に処理できるため並列計算が可能です。長い系列の扱いや学習の速さも含めて並べると、次のように整理できます。

比較軸	RNN	Transformer
並列計算	単語を順番に処理するためできない	全単語を同時に処理できる
長い系列の扱い	遠く離れた単語同士の関係が薄れやすい	距離に関わらず単語間の関係を直接計算する
学習の速さ	時間がかかりやすい	並列化により短縮しやすい

RNN は文が長くなるほど精度が落ちやすくなる一方、Transformer はこの弱点を持ちません。これらの違いは、RNN と Transformer を比較するときの基本的な切り口になります。

従来のニューラル機械翻訳で使われてきた RNN エンコーダ-デコーダとの比較も、構造の違いを整理する軸です。RNN エンコーダ-デコーダは RNN の層を積み重ねてエンコーダとデコーダを構成するのに対し、Transformer は RNN を使わず Attention の層を積み重ねてエンコーダとデコーダを構成します。「エンコーダで入力を処理し、デコーダで出力を生成する」という大枠の役割分担は共通していますが、内部の演算方式が異なる関係にあります。この構造上の違いは、後述するビジネス活用における性能差の背景です。

4. ビジネス・実務での活用シナリオ

自動翻訳サービスの分野では、文章全体の文脈を踏まえた翻訳に Transformer 構造のモデルが使われるようになりました。従来の RNN エンコーダ-デコーダに比べて、長い文章でも文脈のつながりを保ちやすい点が実務上の強みです。

対話 AI や文章生成サービスの分野では、Transformer のデコーダ部分を土台にした GPT 系のモデルが、企業のカスタマーサポートや文章生成サービスの基盤になっています。GPT 自体の仕組みは別記事に譲りますが、デコーダ由来の構造という位置づけがここでの要点です。

文書検索・要約の分野では、Transformer のエンコーダ部分を土台にした BERT 系のモデルが、検索エンジンの文脈理解や文書要約の基盤技術として組み込まれています。膨大な文書から文脈に合った情報を素早く見つけ出す処理は、エンコーダ側の構造が強みを発揮する領域です。こうした実務活用の広がりは、Transformer が理論にとどまらない技術であることを示しています。

5. 要点まとめ

• Transformer は2017年の論文「Attention Is All You Need」で提案された、RNN・CNN を使わず Attention だけで系列データを処理する構造で、エンコーダとデコーダの積み重ねが全体像です。
• Attention のみの設計により並列計算が可能になり、学習の高速化と大規模化を後押しした点が RNN との大きな違いになります。
• BERT（エンコーダ由来）・GPT（デコーダ由来）・ViT（画像への応用）など、後続の主要モデルの土台になっている構造という位置づけがあります。

6. 確認問題