可視層 (G検定)

可視層

1. 定義と概要

可視層とは、ボルツマンマシンや制限付きボルツマンマシン(RBM)などのモデルにおいて、データセットからの入力である観測データ(実際に測定・記録された、目に見える生のデータ)を直接受け取る層のことです。制限付きボルツマンマシン(RBM)とは、可視層と隠れ層の2層のみで構成され、データの確率分布を学習するモデルのことです。

可視層は複数の可視ユニット(ノード)で構成され、たとえばグレースケール画像を学習する場合、各可視ユニットは1枚の画像における各画素の画素値を受け取ります。RBMは可視層と隠れ層(可視層から受け取ったデータの特徴を抽出する層)の2層構造をとります。

従来のニューラルネットワークの多くは、入力層・隠れ層・出力層を持つ順伝播型(情報が入力層から出力層へ一方向に伝わるネットワークの構造)のモデルが中心でした。学習の方式としては、教師あり学習(正解ラベル付きのデータをもとに入出力の関係を学ぶ方式)が使われます。

一方、ボルツマンマシンは統計力学のエネルギーモデルに着想を得た確率的な生成モデル(データがどのように生成されたかの仕組みを学習し、新しいデータを作り出せるモデル)として提案され、データそのものの確率分布を学習する仕組みを持ちます。

ただし全結合のボルツマンマシンは学習に膨大な計算量を要するという課題があり、同一層内の接続をなくして可視層・隠れ層間のみに接続を制限したRBMが考案されました。この構造上の制約により学習が効率化されました。複数のRBMを積み重ねる深層信念ネットワーク(DBN。複数のRBMを積み重ねて作る、層ごとに事前学習する深いネットワーク)は、深層生成モデルの代表例としてディープラーニングの発展につながる技術に位置づけられています。

2. 試験対策ポイント

可視層について整理する際にまず押さえておきたいのは、可視層と隠れ層に対応する変数の違いと、RBM特有の構造です。可視層の各可視ユニットは、画像の画素値のように実際に観測できる値、つまり観測変数です。これに対し隠れ層は、直接は観測できない、データの背後にある特徴を表す潜在変数(外から数値として測れない、内部的な特徴を表す変数)を表現します。

加えてRBMは、可視層と隠れ層のみの2層構成をとります。同一層内のユニット間には接続を持たず、層をまたぐ接続だけを持つ対称二部グラフ(二つのグループに分かれ、グループ内では接続せずグループ間だけがつながるネットワーク構造)として定義される点も特徴です。入力層・隠れ層・出力層という3層構成の一般的な順伝播型ニューラルネットワークとは層の数も接続のルールも異なり、取り違えやすい組み合わせです。

学習の仕組みについては、コントラスティブダイバージェンス法(可視層と隠れ層の間で状態のサンプリングを繰り返しながら重みを更新する学習アルゴリズム)が用いられます。可視層のユニットと隠れ層のユニットの状態を交互にサンプリングするギブスサンプリング(確率分布から効率よくサンプルを取り出す統計的な手法)を繰り返しながら、両層をつなぐ重みを更新していく仕組みです。

複数のRBMを積み重ねて構成する深層信念ネットワーク(DBN)は、深いニューラルネットワークの学習を可能にした手法として知られます。層ごとに可視層・隠れ層のペアを事前学習(プレトレーニング。本番の学習の前に、あらかじめ大まかな重みなどの値を調整しておく準備段階の学習)することで実現される仕組みです。ジェフリー・ヒントンらが2006年に提案した手法で、あわせて押さえておきたい関連知識にあたります。

3. 関連概念との比較・相違点

隠れ層との最大の違いは、担う役割の違いです。可視層は観測データを直接受け取る側、隠れ層はそのデータから特徴を抽出する側という関係にあり、ユニットの状態が対応する変数の種類も異なります。

可視層に入る値がそのまま観測できる数値であるのに対し、隠れ層が持つ値は学習によって獲得された内部的な表現である点も、両者を区別する手がかりになります。両層の対応関係を並べると次のとおりです。

層 受け取る・表す内容 対応する変数
可視層 画像の画素値など、実際に観測できるデータ 観測変数
隠れ層 学習で獲得した、データの背後にある特徴 潜在変数

この一対の役割分担が、可視層を理解するうえでの土台になります。

教師あり学習の順伝播型ネットワークとの最大の違いは、層の数と役割の分担という点です。順伝播型ネットワークは入力層と出力層が別々の層として分離されているのに対し、RBMは生成モデルであるため、可視層が入力の受け取りと出力にあたる再構成(学習した確率分布をもとにデータを作り直す処理)の両方を担います。

構造の面から両者を並べると、違いがはっきりします。

観点 順伝播型ニューラルネットワーク RBM
層の構成 入力層・隠れ層・出力層の3層 可視層・隠れ層の2層
入力と出力 入力層と出力層が別の層に分かれる 可視層が入力の受け取りと再構成を兼ねる
学習の性格 教師あり学習が中心 確率分布を学習する生成モデル

層の呼び名が似ているため、RBMの可視層を一般的なネットワークの入力層と同一視してしまう混同も生まれやすいところです。

4. ビジネス・実務での活用シナリオ

推薦システムの分野では、ECサイトや動画配信サービスにおいて、ユーザーの評価履歴を可視層への入力として与える取り組みが見られます。隠れ層で潜在的な嗜好パターンを学習する協調フィルタリング(大勢のユーザーの好みのデータをもとに、似た好みの人が評価した商品を推薦する手法)に応用されています。

2006年から2009年にかけて開催された「Netflix Prize」というコンペティションの期間中、RBMを用いたモデルの精度の高さが注目されました。従来のSVD(特異値分解。データの行列を分解して少数の要因に圧縮する手法)ベースの手法を上回るという研究成果が2007年に発表されています。

ディープラーニングの事前学習においても、可視層に画素値や音声データの特徴を表す数値などを入力し、隠れ層で高次の特徴表現を学習させる用途で使われます。この積み重ねが深層信念ネットワーク(DBN)を構築する際の基礎ブロックとなり、層ごとに扱いやすい単位で学習を進められる点が特徴です。

次元削減やデータの可視化の分野でも活用の場があります。可視層で受け取った高次元データを隠れ層の低次元表現に変換することで、大量データが持つ特徴を圧縮し、人が把握しやすい形へと変換できる点も応用の一つです。

5. 要点まとめ

  • 可視層はRBM(制限付きボルツマンマシン)を構成する2層のうちの1つで、観測データを直接受け取る層です。もう一方の隠れ層はそのデータから特徴を抽出する役割を担います。
  • RBMは可視層と隠れ層のみの2層構造で、同一層内のユニット間には接続がなく層をまたぐ接続のみを持つ対称二部グラフです。入力層・隠れ層・出力層の3層構成と混同しやすい点です。
  • 可視層と隠れ層を交互にサンプリングするコントラスティブダイバージェンス法で学習し、複数のRBMを積み重ねる深層信念ネットワーク(DBN)の事前学習や、協調フィルタリングによる推薦システムなどに応用されます。

6. 確認問題

問1RBM(制限付きボルツマンマシン)の可視層は、データセットからの観測データを直接受け取る層である。

解答・解説をみる

○ 正しい

可視層は入力データ、たとえば画像の画素値を直接受け取る層で、隠れ層はそこから特徴を抽出する役割を担います。両者の対応関係は、可視層と隠れ層を区別するうえでの基本になります。

問2RBMは入力層・隠れ層・出力層の3層から構成される、一般的な順伝播型ニューラルネットワークと同じ構造を持つ。

解答・解説をみる

× 誤り

正しくは、RBMは可視層と隠れ層の2層構造で、同一層内のユニット間には接続を持たない対称二部グラフです。3層構成という記述は取り違えやすい誤りにあたります。

問3複数のRBMを積み重ねた深層信念ネットワーク(DBN)は、層ごとの事前学習によって深いニューラルネットワークの学習を可能にした手法として知られる。

解答・解説をみる

○ 正しい

ジェフリー・ヒントンらが2006年に提案した手法で、可視層・隠れ層のペアを層ごとに学習し積み重ねる事前学習が、ディープラーニングの発展に寄与したとされます。