順伝播型ニューラルネットワーク (G検定)

順伝播型ニューラルネットワーク

1. 定義と概要

順伝播型ニューラルネットワーク(フィードフォワードネットワーク、feedforward neural network)とは、入力層・中間層(隠れ層。入力層と出力層の間にあり、データの特徴を段階的に処理する層)・出力層で構成され、信号が入力層から出力層へ一方向にのみ流れるニューラルネットワークの総称です。

ある層のユニット(層を構成する計算の最小単位で、ニューロンとも呼ばれる)は前の層のすべてのユニットの出力を受け取って演算した後、次の層のすべてのユニットへ渡す全結合層(Fully Connected Layer。ある層のすべてのユニットが次の層のすべてのユニットとつながっている層)の結合を持ちます。一方で、同一層内のユニット同士の結合や、後の層から前の層へ戻る経路は持ちません。全結合層を複数重ねた多層パーセプトロン(MLP。全結合層を複数重ねた、最も基本的な順伝播型ネットワークの構造)は、順伝播型ネットワークの代表例にあたります。

ニューラルネットワークは入力層・中間層・出力層という基本構造を持ち、その中で信号の流れ方によって順伝播型と、ループ構造を持つ再帰型に大別されます。順伝播型は最も基本的な構造で、回帰・分類タスクの土台として扱われます。ただし各時刻・各サンプルのデータを独立に処理する構造のため、文章や音声のように時間的な前後関係や文脈を保持する必要があるタスクの扱いには向きません。

過去の情報を保持しながら処理できるループ構造を持つ再帰型ニューラルネットワーク(RNN。中間層の出力が自分自身や前の時刻の状態に戻るループ構造を持つネットワーク)は、こうした限界を補う構造として整理されます。

2. 試験対策ポイント

G検定では、「順伝播(フォワードプロパゲーション)」と「誤差逆伝播法(バックプロパゲーション。出力の誤差を逆方向にたどってネットワークの重みを少しずつ修正する学習方法)」の違いが重要な論点です。順伝播は信号がネットワーク内をどう流れるかという構造上の性質を指す概念であり、誤差逆伝播法は学習時に重みを更新するアルゴリズムを指す概念で、両者は指している対象が異なります。

二つの用語がそれぞれ何を指しているのかを対応づけると、次のようになります。

用語 指している対象 位置づけ
順伝播(フォワードプロパゲーション) ネットワーク内をデータが流れる方向 アーキテクチャ(構造)の特徴
誤差逆伝播法(バックプロパゲーション) 出力側の誤差を逆方向にたどって重みを修正する処理 学習アルゴリズム

名前が似ているために同じものを指していると読み違えやすいものの、片方は構造の説明、もう片方は学習の手続きの説明にあたります。

順伝播型ネットワークは、同一層内のユニット同士の結合を持たず、後の層から前の層へ戻る経路も持たないという構造上の特徴があります。この特徴は、再帰型ニューラルネットワーク(RNN)との対比の軸として整理しておきたい点です。

多層パーセプトロン(MLP)は全結合層を複数重ねた順伝播型ネットワークの代表例として扱われ、回帰・分類タスクに用いられます。

順伝播型ネットワークは各時刻のデータを独立に処理するため時系列データの扱いには適しません。過去の情報を保持しながら処理できるRNNとの使い分けが、試験対策のポイントに含まれます。この使い分けは、次に見る比較の軸ともつながっています。

3. 関連概念との比較・相違点

再帰型ニューラルネットワーク(RNN)との最大の違いは、ループ(再帰接続)の有無にあります。順伝播型ネットワークは信号が入力層から出力層へ一方向にのみ流れ、ループを持ちません。一方でRNNは、中間層の出力が自分自身や前の時刻の状態に戻る再帰的な結合を持ち、過去の情報を保持しながら時系列データや文章を処理できます。

両者の違いを軸ごとに並べると、次のようになります。

比較の軸 順伝播型ニューラルネットワーク 再帰型ニューラルネットワーク(RNN)
ループ(再帰接続) 持たない 中間層の出力が自分自身や前の時刻の状態に戻る
過去の情報 各時刻のデータを独立に処理する 保持しながら処理する
向いているデータ 時系列の文脈を必要としない回帰・分類 時系列データや文章

株価や気温の推移のように前の時点の値が次の時点の値に影響を与えるデータを扱うタスクでは、この再帰的な結合の有無が構造選択の分かれ目になります。

誤差逆伝播法(バックプロパゲーション)との違いは、指している対象そのものが異なる点にあります。順伝播はネットワークのデータの流れ方向を表す構造上の性質であるのに対し、誤差逆伝播法は出力側の誤差を逆方向にたどって重みを更新する学習時のアルゴリズムです。

誤差逆伝播法は順伝播型・再帰型のどちらの構造でも学習に用いられる仕組みであり、順伝播という構造の特徴と誤差逆伝播という学習の手続きは、別の軸に位置する概念として区別されます。この二つを同じ意味の言葉として捉えるのは、取り違えやすい組み合わせです。

4. ビジネス・実務での活用シナリオ

金融分野では、顧客の属性データや取引履歴といった数値・カテゴリ変数を入力に、多層パーセプトロン(MLP)で与信スコアリング(顧客の信用度を数値で評価すること)や与信可否の分類を行う事例があります。時系列の文脈を必要としない構造化データの回帰・分類タスクには、順伝播型ネットワークのシンプルな構造が適しています。

製造業では、CNN(畳み込みニューラルネットワーク。画像の特徴を抽出するのに適したネットワーク構造)で抽出した画像特徴量(画像から取り出した特徴を数値として表したもの)を、最終的に全結合層に渡して良品・不良品を分類する構成が使われます。畳み込み層で特徴を抽出し、末尾の順伝播型の層で最終判定を行うという役割分担にあたります。

小売・需要予測の分野では、販売実績や気温などの数値データを入力に、順伝播型ネットワークで翌週の需要量を回帰予測する用途があります。基本構造がシンプルなため、学習と推論(学習済みのモデルを使って答えを出す処理)にかかるコストを抑えやすいという特徴があります。

5. 要点まとめ

  • 順伝播型ニューラルネットワークは、入力層から出力層へ信号が一方向にのみ流れ、同一層内の結合やループを持たない構造です。多層パーセプトロン(MLP)が代表例にあたります。
  • 再帰型ニューラルネットワーク(RNN)との違いはループ(再帰接続)の有無にあり、RNNは過去の情報を保持しながら時系列データを扱えるのに対し、順伝播型は各時刻のデータを独立に処理します。
  • 「順伝播」はネットワークのデータの流れ方向を表す構造上の性質であり、学習時に重みを更新する「誤差逆伝播法」とは指している対象が異なる別の概念として区別されます。

6. 確認問題

問1順伝播型ニューラルネットワークは、信号が入力層から出力層へ一方向にのみ流れ、同一層内のユニット同士の結合や後戻りする経路を持たない構造である。

解答・解説をみる

○ 正しい

順伝播型ネットワークの構造上の定義そのものです。層をまたいで前から後ろへのみ結合し、同一層内の結合や逆方向のループは持ちません。

問2再帰型ニューラルネットワーク(RNN)は、中間層の出力が自分自身や前の時刻の状態に戻る再帰的な結合を持つ点で、順伝播型ネットワークと構造上異なる。

解答・解説をみる

○ 正しい

RNNは過去の情報を保持しながら処理するためのループ構造を持ち、これが信号を一方向にのみ流す順伝播型ネットワークとの構造上の違いにあたります。時系列データや文章など順序を持つデータの処理に適しています。

問3誤差逆伝播法(バックプロパゲーション)は、信号が入力層から出力層へ流れる向きを表す用語であり、順伝播型ネットワークの構造上の特徴と同じ意味を持つ。

解答・解説をみる

× 誤り

正しくは、誤差逆伝播法は学習時に出力側の誤差を逆方向にたどって重みを更新するアルゴリズムを指す用語です。順伝播はデータの流れ方向を表す構造上の性質であり、両者は指している対象が異なる別の概念として区別されます。