積層オートエンコーダ (G検定)

1. 定義と概要

積層オートエンコーダ（スタックドオートエンコーダとも呼ばれます）とは、入力データを圧縮してから元の形に復元するオートエンコーダ（データの特徴を自動的に学習させる仕組み）を複数層重ねた構造を持つニューラルネットワークです。下位層の学習で得られた潜在表現（データの本質的な特徴を少ない数値で表したもの）を次の層の入力として使い、入力側から順番に学習を進めていきます。

この層ごとに進める学習が事前学習（本番前にあらかじめおおまかに学習しておく準備段階の学習）にあたります。全層の事前学習が完了したあとは、各層のデコーダ（圧縮された特徴から元のデータに近いものを復元する部分）を取り除いて分類用の出力層を追加します。そのうえでネットワーク全体を微調整するファインチューニング（学習済みの内容を目的のタスクに合わせて仕上げに調整すること）を経て利用されます。

用途としては、手書き数字の画像のような高次元データから特徴を段階的に抽出する場面が代表例です。隠れ層を増やすほど学習が難しくなるという課題を、層ごとに区切って段階的に学習を進めることで乗り越えようとした手法にあたります。

2. 試験対策ポイント

積層オートエンコーダの学習は、大きく2段階に分かれます。まず押さえておきたいのはこの順序です。

段階	学習の進め方
事前学習	入力側から一層ずつ、個別のオートエンコーダとして順番に学習する
ファインチューニング	各層のデコーダを外して出力層を追加し、ネットワーク全体を微調整する

当時は事前学習を挟むことで、はじめて深いネットワークの学習が現実的になりました。その背景には、層を深くすると学習そのものが立ち行かなくなるという事情があります。

隠れ層を増やすほど、誤差逆伝播法（出力側の誤差から重みを順に調整していく学習アルゴリズム）の過程で、誤差の信号が伝わるにつれて小さくなる現象が起こります。これが勾配消失問題（層を深くするほど、誤差の信号が伝わる過程で小さくなり、学習が進まなくなる現象）で、重みの初期値の問題とあわせて、深いネットワークの学習を難しくしていました。

2006年、ジェフリー・ヒントンらが提案した深層信念ネットワーク（DBN）は、制限付きボルツマンマシンを層ごとに積み重ねて事前学習する手法です。制限付きボルツマンマシン（RBM）とは、確率的な仕組みでデータのパターンを学習する、層と層の間だけを結んだ単純なネットワークです。これを1層ずつ積み重ねることで、多層ネットワークの学習が現実的な計算量で行えるようになりました。

この層ごとに事前学習してから微調整する考え方は、2007年にヨシュア・ベンジオらの研究でオートエンコーダにも応用され、積層オートエンコーダとして整理されました。DBNとの違いは、積み重ねる要素がRBMかオートエンコーダかという点です。

単体のオートエンコーダは入力層・隠れ層・出力層による1段階の圧縮・復元にとどまります。これに対して積層オートエンコーダは複数層を重ねることで、下位層ほど局所的な特徴を、上位層ほど抽象度の高い特徴を段階的に学習する点が異なります。

現在は活性化関数（ニューロンの出力を変換する関数で、工夫によって勾配消失問題を緩和できる。例えばReLU）の工夫や計算資源の向上により、事前学習を挟まず一括で学習するのが一般的です。積層オートエンコーダは、深層学習の学習が難しかった時代を支えた手法として位置づけられます。

3. 関連概念との比較・相違点

単体のオートエンコーダとの最大の違いは、構造の厚みです。単体は入力層・隠れ層・出力層による1段構造で、次元削減（高次元のデータを、情報をできるだけ保ちながらより少ない次元数に圧縮すること）や特徴抽出を1段階だけ行います。

これに対し積層オートエンコーダは、複数のオートエンコーダを層状に重ねることで、単純な特徴から複雑な特徴へと段階的に抽象度を高めながら表現を獲得できます。単体で足りる用途と、積層構造が必要になる用途を見極めることが分かれ目です。

もう一つの比較対象が深層信念ネットワーク（DBN）で、こちらとの違いは層を積み重ねる際の構成要素にあります。関係する3つを、積み重ねる要素と学習の進め方で並べると次のように整理できます。

手法	積み重ねる要素	構造と学習の特徴
オートエンコーダ（単体）	重ねない	1段構造で、次元削減や特徴抽出を1段階だけ行う
積層オートエンコーダ	オートエンコーダ	層ごとに事前学習し、抽象度を段階的に高める
深層信念ネットワーク（DBN）	制限付きボルツマンマシン（RBM）	層ごとに事前学習してから全体を微調整する

どちらも層ごとの事前学習という考え方を共有しており、対になる考え方として理解できます。積み重ねる要素を制限付きボルツマンマシンかオートエンコーダかで取り違えやすい点です。

4. ビジネス・実務での活用シナリオ

製造業の外観検査では、正常な製品の画像だけを使って積層オートエンコーダに特徴表現を学習させ、その表現にうまく当てはまらないデータを異常として検知する考え方です。不良品の画像を大量に集めなくても正常品のデータだけで学習を進められるため、不良の種類が多様で網羅的に集めにくい現場でも異常検知の仕組みを構築できる点に意義があります。

データ分析や推薦システムの前処理では、購買履歴やテキストのような高次元データを積層オートエンコーダで低次元の潜在表現に圧縮し、類似度計算やレコメンドの入力として使う次元削減の用途があります。情報を保ったまま次元を落とすことで、計算量を抑えながら類似したユーザーや商品を見つけやすくなる効果的な前処理です。

層ごとに教師なしで事前学習してから全体を微調整するという積層オートエンコーダの考え方は、大規模言語モデル（膨大な文章データを学習し、文章の生成や理解を行う大規模なAIモデル）にも通じます。現在の大規模言語モデルにおける事前学習も、名称と発想の面で重なる部分があります。ただし手法そのものが直接つながっているわけではありません。

手法そのものは主流でなくなっても、大規模なデータでまず土台を作ってから目的に合わせて仕上げるという発想は、AI開発の系譜として今も受け継がれているものです。

5. 要点まとめ

• 積層オートエンコーダは、オートエンコーダを複数層重ねて入力側から順番に学習する手法で、事前学習とファインチューニングの2段階で構成されます。
• 層ごとの事前学習という考え方は2006年のジェフリー・ヒントンらによる深層信念ネットワーク（DBN）に由来し、積層オートエンコーダはそれをオートエンコーダに応用したものです。
• 単体のオートエンコーダとの構造の厚みの違いや、DBNとの構成要素（制限付きボルツマンマシンかオートエンコーダか）の違いをあわせて整理しておきたいところです。

6. 確認問題