深層信念ネットワーク (G検定)

1. 定義と概要

深層信念ネットワーク（Deep Belief Network、DBN）とは、制限付きボルツマンマシン（RBM）を複数層に積み重ねた確率的な生成モデル（学習したデータの特徴をもとに、それらしい新しいデータを生み出せるモデル）です。制限付きボルツマンマシン（RBM）とは、可視層（入力データをそのまま受け取る層）と隠れ層（入力の特徴を内部で表現する層）の二層だけでできた、確率的にパターンを学ぶ小さなネットワークです。

ジェフリー・ヒントンらが2006年に提案しました。各層はこの二層構造を持つRBMで構成され、下位層から順に一層ずつ学習してから積み重ねます。

具体例として、手書き数字の画像を集めたデータセットであるMNIST（機械学習の練習でよく使われる、手書き数字画像を集めたデータセット）からの特徴抽出に用いられました。音声認識の分野でも、音響モデル（音声の特徴と発音の対応関係を確率的に表すモデル）の事前学習に使われた例があります。

2006年より前は、誤差逆伝播法（出力の誤差を逆向きに伝えて、各層の重みを少しずつ修正していく学習アルゴリズム）だけでネットワークを深くすると、入力層に近い層の重みが更新されにくくなる現象が起こりました。これは勾配消失問題（層を深くするほど修正の信号が小さくなりすぎて、手前の層がうまく学習できなくなる問題）と呼ばれ、学習が思うように進まないという壁になっていました。

ヒントンが2006年に示した層ごとの事前学習は、深いネットワークに適切な重みの初期値を与える解決策として登場した経緯があります。深層信念ネットワークはこの事前学習の考え方を体現したモデルであり、現在のディープラーニングにつながる基礎的な一歩にあたります。

2. 試験対策ポイント

まず整理したいのは、深層信念ネットワークを構成する制限付きボルツマンマシン（RBM）の構造です。RBMは可視層と隠れ層の二層からなり、同じ層内のノード同士は接続を持たず、層をまたぐ接続のみを持ちます。

学習の流れとしては、下位のRBMから一層ずつ順に学習し、その隠れ層の出力を次のRBMの入力として積み上げていくグリーディ層別事前学習（ネットワーク全体を一度に学習せず、下の層から一段ずつ順番に学習していく方法）の手順が柱です。事前学習のあとには、誤差逆伝播法によって全体を微調整するファインチューニング（事前学習で得た重みをもとに、誤差逆伝播法で全体を微調整する仕上げの学習）が行われます。

事前学習が対応した課題として、層を深くするほど勾配が消失し重みが更新されにくくなる勾配消失問題があります。深層信念ネットワークの事前学習は、この問題への初期の解決アプローチのひとつという位置づけです。

あわせて押さえておきたい関連用語は、次の5つです。

用語	深層信念ネットワークから見た位置づけ
制限付きボルツマンマシン（RBM）	可視層と隠れ層の二層からなる基本ユニット
積層オートエンコーダ（入力を一度圧縮してから元に戻す仕組みを何層も積み重ねたネットワーク）	層ごとの事前学習を採る別系統のモデル
勾配消失問題	層ごとの事前学習が対応しようとした学習上の課題
ファインチューニング	事前学習のあとに全体を微調整する仕上げの工程
生成モデル	それらしい新しいデータを生み出せるという性格づけ

この5語は互いに結びついているため、一語ずつ切り離すよりも、深層信念ネットワークを軸にした関係としてまとめて押さえておきたいところです。

3. 関連概念との比較・相違点

制限付きボルツマンマシン（RBM）との関係は、部分と全体にあたります。RBMは可視層と隠れ層の二層構造を持つ単体のモデルで、深層信念ネットワークはそのRBMを複数積み重ねた多層モデルです。RBM自体の学習アルゴリズムや構造の詳しい仕組みは、別のテーマとして扱われます。

積層オートエンコーダとの最大の違いは、積み重ねる基本ユニットです。両者とも層ごとの事前学習という考え方を採る点は共通していますが、現在は層を同時に学習する手法が主流になり、積層オートエンコーダ自体はほとんど使われていません。

三者の関係を、積み重ねる基本ユニットと層の構成という観点で並べると次のようになります。

用語	積み重ねる基本ユニット	層の構成
制限付きボルツマンマシン（RBM）	積み重ねない単体のモデル	可視層と隠れ層の二層
深層信念ネットワーク（DBN）	制限付きボルツマンマシン（RBM）	RBMを複数積み重ねた多層
積層オートエンコーダ	オートエンコーダ	オートエンコーダを複数積み重ねた多層

この層ごとの事前学習という考え方は、2006年にヒントンらが深層信念ネットワークで示し、2007年にヨシュア・ベンジオらの研究によってオートエンコーダにも応用されたという経緯があります。二つのモデルが同じ考え方を共有しているのは、この流れによります。

4. ビジネス・実務での活用シナリオ

画像認識の分野では、手書き数字画像であるMNISTなどから特徴を抽出する事前学習に用いられ、その後の分類タスクの精度向上につながりました。層を深くしたネットワークを誤差逆伝播法だけで学習させると、勾配消失問題の影響を受けやすい状況でした。層ごとの事前学習であらかじめ適切な初期値を与えたことで、少ない学習回数でも安定した精度向上を実現しやすくなりました。

音声認識の分野では、音響モデルの事前学習に用いられ、発音やアクセントの違いを含む音声の特徴を捉える学習に貢献しました。音声データも、ゼロから学習を始めると収束までに時間がかかりやすい対象でした。あらかじめ層ごとに特徴を捉えておくことで、後段のファインチューニングにかかる負荷を抑えられる利点があります。

レコメンデーションの分野では、動画配信サービスの推薦精度を競うコンペティション「Netflix Prize」で、協調フィルタリング（多くの利用者の評価データから、好みが似た人の傾向を使っておすすめを予測する手法）にRBMが活用されました。優勝チームは、RBMを含む複数手法を組み合わせたアンサンブルモデル（複数の予測モデルの結果を組み合わせて、精度を高める手法）を用い、ユーザーの評価予測精度を高めました。

5. 要点まとめ

• 深層信念ネットワーク（DBN）は、制限付きボルツマンマシン（RBM）を複数積み重ねた確率的生成モデルで、ジェフリー・ヒントンが2006年に提案しました。
• 学習は下位層から一層ずつRBMとして学習するグリーディ層別事前学習で進み、そのあと誤差逆伝播法によるファインチューニングで全体を調整します。この事前学習は勾配消失問題への初期の解決アプローチのひとつにあたります。
• 基本ユニットが異なる積層オートエンコーダとの違い、部分と全体の関係にあるRBMとの違いをあわせて整理しておきたいところです。

6. 確認問題