ターゲットネットワーク (G検定)

1. 定義と概要

ターゲットネットワークとは、DQNが持つ2つの同一構造のニューラルネットワークのうち、Q値（ある状態である行動を取ったときに、その先どれくらい報酬を得られそうかを表す数値）の目標値の計算だけを担当するネットワークです。メインネットワークとは分離されています。

使い方の特徴は、更新の頻度にあります。一定のステップ数のあいだパラメータ（ネットワークが学習によって調整する内部の数値）を固定したまま使い、その間隔が経過するとメインネットワークの重みをコピーして同期します。

Q学習とは、状態と行動の組み合わせごとにQ値を表で管理・更新する、強化学習（試行錯誤の結果に応じて報酬を与え、行動の選び方を学習させる手法）の基本的な手法です。このQ学習をニューラルネットワークで近似しようとすると、パラメータを更新するたびに目標値そのものも変わってしまい、学習中のネットワークが自分自身の出す目標値を追いかけるような不安定な状態に陥りやすいという課題がありました。

この課題への回答として登場したのが、2015年にDeepMind社がNature誌で発表したDQNです。経験再生とターゲットネットワークという2つの工夫でこの不安定さを抑えました。Atari 2600のゲームで人間に匹敵するスコアを達成したことで、深層強化学習の実用性を大きく示しました。

2. 試験対策ポイント

理解するうえで中心になるのは、ターゲットネットワークが担う役割そのものです。Q学習における目標値、つまり報酬に割引率（将来もらえる報酬を今の価値としてどれくらい割り引いて評価するかを表す0〜1の係数）をかけた次の状態での最大Q値の計算を専任し、メインネットワークとの誤差（TD誤差。時間的差分誤差とも呼ばれ、予測したQ値と報酬などから計算した目標値との差を指します）を求めるための基準を提供します。

安定化の仕組みとして整理しておきたいのが、ターゲットネットワークを数千〜1万ステップ程度の一定間隔でしか同期しない点です。この間はターゲットネットワークのパラメータが固定されるため、目標値も短期間は変化しません。

学習対象であるメインネットワークと教師信号を計算するネットワークが同じであれば、自分の出す答えを自分で追いかけるような自己参照的な不安定さが生じます。両者を分離して同期の頻度を落とすことで、この不安定さを避けられる関係にあります。

ターゲットネットワークは経験再生と対になる仕組みです。両者は別の課題を解決する関係にあり、ターゲットネットワークが教師信号の安定を担うのに対し、経験再生は学習に使うサンプル間の時間的な相関を取り除く役割を担います。過去の状態・行動・報酬・次状態の組をバッファに蓄積し、ランダムに取り出して学習に使う仕組みが経験再生であり、この2つがDQNの学習安定化を支える柱です。

ダブルDQNとの関係も試験対策の要点です。通常のDQNでは行動の選択と評価の両方をターゲットネットワークが担うため、Q値を高く見積もる過大評価（overestimation bias。Q値を実際より高く見積もってしまう偏り）が生じやすくなります。ダブルDQNは、メインネットワークが行動を選び、その行動の評価だけをターゲットネットワークが担うよう役割を分離する点で通常のDQNと異なります。

3. 関連概念との比較・相違点

混同しやすい3つの概念との違いを、先に一覧で整理します。

比較対象	その仕組みが担うこと	ターゲットネットワークとの違い
経験再生	過去の経験をバッファにためて、ランダムに取り出して学習に使う	解決する課題がサンプル間の相関であり、目標値の安定化とは別
ダブルDQN	行動の選択をメインネットワーク、評価をターゲットネットワークが担う	通常のDQNではターゲットネットワークが選択と評価を兼ねる
テーブル型のQ学習	Q値を表のまま直接管理・更新する	近似を使わないため、目標値を固定する工夫そのものを必要としない

経験再生との最大の違いは、どちらの課題を解決するかという点にあります。ターゲットネットワークが教師信号、つまり目標値の安定化を担うのに対し、経験再生は学習に使うサンプル間の時間的な相関を断ち切り、データの独立性を確保する役割を担います。両者はDQNの学習安定化を支える2本柱として、並行して扱われる関係にあります。

ダブルDQNとの最大の違いは、ターゲットネットワークが担う役割の分担にあります。通常のDQNのターゲットネットワークは行動の選択と評価を1つのネットワークで兼ねるのに対し、ダブルDQNはメインネットワークで行動を選択し、ターゲットネットワークで評価するよう役割を分離し、Q値の過大評価を抑えます。

テーブル型のQ学習との最大の違いは、Q値の管理方法にあります。状態と行動の組み合わせが少ない場合は、Q値を表で直接更新するテーブル型のQ学習で十分です。

しかし状態数が膨大でニューラルネットワークによる近似が必要になるDQNでは、近似ゆえに生じる不安定さを補うため、ターゲットネットワークのような追加の工夫が必要になります。

4. ビジネス・実務での活用シナリオ

ゲームAIやシミュレーション開発の現場では、Atariゲームの攻略や対戦シミュレーションのように試行錯誤の回数が多い環境で、ターゲットネットワークの考え方が生きます。目標値のブレを抑える設計により、学習が発散せず収束しやすくなるためです。

ロボティクスや自動運転の開発プロセスでも、実機を使わずシミュレーション上でまず安定した方策（エージェントが状態に応じてどの行動を取るかを決めるルール）を学習してから実環境へ移す開発フローが取られます。教師信号を固定して学習を安定させる発想は、こうした段階的な開発の土台になっています。

在庫最適化や配送計画などの意思決定モデルでも、発注量やルートの選択を強化学習で決める場合、学習の振動や発散を避けるために目標値を一時的に固定するという考え方が応用されています。

5. 要点まとめ

• ターゲットネットワークは、DQNにおいてQ値の目標値（教師信号）の計算だけを担当する、メインネットワークとは別のコピーのネットワークです。
• 一定間隔でしか重みを同期しないことで目標値を固定し、学習対象と教師信号が同時に動く不安定さを避けます。経験再生とセットでDQNの学習安定化の2本柱を成します。
• ダブルDQNは、行動の選択をメインネットワーク、評価をターゲットネットワークが担うよう役割をさらに分離し、通常のDQNで生じやすいQ値の過大評価を抑えます。

6. 確認問題