誤差逆伝播法 (G検定)

1. 定義と概要

誤差逆伝播法（バックプロパゲーション、Backpropagation）とは、ニューラルネットワークの学習において、出力層で計算した誤差を入力側へ向かって逆向きに伝えながら、各層の重みを更新していくアルゴリズムです。ここでいう誤差とは、予測値と正解のずれの大きさを損失関数（予測値と正解の誤差の大きさを数値で表す関数）で表した値を指します。

この逆向きの伝播には連鎖律（複数の関数を合成した式を、掛け算に分解して微分できるという数学の法則）が使われ、各層の重みに対する勾配（重みを少し変化させたときに誤差がどれだけ変化するかを示す量）を効率よく求められます。求めた勾配をもとに、誤差が小さくなる方向へ重みを少しずつ更新していく手法が勾配降下法です。

入力層から出力層へ向けて予測値を計算する順伝播とセットで、順伝播、誤差計算、逆伝播、重み更新という流れが1回の学習ステップを構成します。この4つを何度も繰り返すことで、重みが少しずつ望ましい値に近づいていきます。

多層のニューラルネットワークは、層を重ねるほど複雑な表現を学習できる一方で、信用割当問題（出力の誤差に対して、どの層のどの重みがどれだけ影響したかを割り振る問題）の解決が長年の課題でした。理論的な起源は1970年代の自動微分（合成関数の微分を機械的な計算手順で自動的に求める技術）の研究などに遡ります。

1986年には、デビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズが論文『Learning representations by back-propagating errors』をNature誌に発表しました。この発表によって誤差逆伝播法は広く普及し、多層ネットワークの学習が実用的な計算量で可能になりました。この普及は、停滞していたニューラルネットワーク研究が再び活発になる一因になったとされています。

2. 試験対策ポイント

G検定のシラバスでは、誤差逆伝播法とあわせて、適用時に生じる代表的な問題が3つ挙げられています。それぞれ何が起きる現象なのかを対応づけると、次のように整理できます。

問題	何が起きるか
勾配消失問題	層を遡るほど勾配が小さくなり、重みがほとんど更新されなくなる
勾配爆発問題	層を遡るほど勾配が大きくなりすぎて学習が不安定になる
信用割当問題	出力の誤差に対して、どの層のどの重みがどれだけ影響したかを割り振る

このうち勾配爆発問題は、勾配消失問題とは逆に、値が大きくなりすぎる側の現象にあたります。3つとも、層をまたいで誤差を伝える構造そのものから生じる問題です。

数学的な基盤になっているのは連鎖律です。出力層の誤差を各層の重みで偏微分する計算は、層をまたいで微分を掛け合わせる形に分解でき、これが誤差逆伝播法の効率性を支える根拠になっています。損失関数から出力層、中間層、入力層へと勾配を伝える計算がすべて連鎖律の応用である点は、あわせて整理しておきたい基礎知識です。

歴史的な経緯としては、起源が1970年代の先行研究に遡る一方、1986年にデビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズが論文で発表し普及させたという対応関係が試験のポイントです。この年号と3名の名前の組み合わせは、混同しやすい点です。

勾配消失問題は、活性化関数（ニューロンの出力を変換して次の層に渡す関数）にシグモイド関数を使った場合に典型的に生じます。シグモイド関数の微分の最大値は0.25と小さく、連鎖律で層をまたいで勾配を掛け合わせるたびに値がどんどん小さくなっていきます。そのため、入力層に近い層ほど勾配がほぼ0になり、重みがほとんど更新されなくなります。

また、誤差逆伝播法は各層の重みに対する勾配を計算する手法であり、その勾配を使って実際に重みの値を更新するのは勾配降下法という役割分担があります。この二つの手法の役割の違いは、試験でも取り違えやすい点です。

3. 関連概念との比較・相違点

順伝播（フォワードプロパゲーション）との最大の違いは、計算が進む向きと目的にあります。順伝播は入力層から出力層へ向けて計算を進め、与えられた入力に対する予測値を出す処理です。これに対して誤差逆伝播法は、出力層で求めた誤差を入力層側へ向けて逆向きに伝えながら、各層の勾配を計算する処理を指します。

1回の学習ステップは、次の順番で進みます。

順番	処理	何をするか
1	順伝播	入力層から出力層へ計算を進めて予測値を出す
2	誤差の計算	予測値と正解のずれを損失関数で数値にする
3	誤差逆伝播法	出力層から入力層へ誤差を伝えて各層の勾配を求める
4	勾配降下法による更新	求めた勾配をもとに重みを動かす

勾配降下法との最大の違いは、担う役割にあります。誤差逆伝播法は連鎖律を使って各層の勾配を効率的に計算する手法です。一方の勾配降下法は、計算された勾配をもとにパラメータ（重みなど、モデルが学習によって調整する数値）を更新する最適化アルゴリズムを指します。

誤差逆伝播法が勾配を求める段階、勾配降下法がその勾配を使って重みを動かす段階という関係にあり、両者はセットで使われます。実務では確率的勾配降下法のように勾配降下法にもいくつかの種類がありますが、勾配を計算する側の役割は誤差逆伝播法が一貫して担います。

4. ビジネス・実務での活用シナリオ

画像認識や自然言語処理（人間が日常的に使う言葉をコンピュータに処理させる技術）のモデル開発では、誤差逆伝播法による勾配計算とGPUによる並列処理を組み合わせることで、多数の重みを繰り返し更新する学習を現実的な時間で実行しています。学習が思うように進まない場合には、勾配消失や勾配爆発が原因の一つとして疑われます。

需要予測モデルや不正検知モデルを新しいデータで定期的に再学習する運用では、誤差逆伝播法によって重みが更新される仕組みを踏まえることで、精度が伸び悩む要因を学習率や勾配消失など複数の観点から切り分けられます。同じ精度低下でも、学習データの偏りが原因なのか、勾配が伝わりにくくなっているのかで、見るべき箇所は変わってきます。

非エンジニアの意思決定者がAI開発の投資判断をする場面では、誤差逆伝播法（膨大な重みを少しずつ繰り返し調整するプロセス）の存在が、学習に大量のデータと計算時間が必要な理由を開発チームと共有する土台になります。重みの調整を1回で終わらせず繰り返し行う点への理解は、開発期間や計算コストの見積もりにも関わってきます。

5. 要点まとめ

• 誤差逆伝播法は、出力層の誤差を入力層側へ逆向きに伝えながら連鎖律で各層の勾配を計算し、勾配降下法で重みを更新するアルゴリズムです。
• 1986年にデビッド・ラメルハート、ジェフリー・ヒントン、ロナルド・ウィリアムズがNature誌の論文で発表・普及させ、多層ニューラルネットワークの学習を現実的なものにしました。
• 層を遡るほど勾配が小さくなる勾配消失問題、大きくなりすぎる勾配爆発問題、誤差の責任をどの重みに割り振るかという信用割当問題が、誤差逆伝播法とあわせてG検定シラバスに挙げられています。

6. 確認問題