DQN (G検定)

2026年8月12日2026年9月2日

G検定

1. 定義と概要

DQN（Deep Q-Network）とは、DeepMind社が2013年に基礎的な着想を示し、2015年にNature誌で発表した、Q学習の行動価値関数（Q値。ある状態で特定の行動を取ったときに将来もらえる報酬の見込みを表す数値）を、畳み込みニューラルネットワーク（CNN）で近似する深層強化学習の手法です。

ゲーム画面のピクセルを入力として直接受け取り、Atari 2600（1970〜80年代の家庭用ゲーム機。DQNの性能評価に使われた49種類のゲームが動く環境）の49種類のゲームで、ゲームごとに設定を変更せずに専門のゲームテスターに匹敵する成績を達成しました。具体例としては、Atari 2600のブロック崩しやインベーダーゲームなどが挙げられます。この成果は、深層強化学習という研究領域を大きく前進させる契機になりました。

従来のQ学習は、状態と行動の組み合わせごとにQ値を表（テーブル）で管理していました。しかし、ゲーム画面のピクセルを状態として扱う場合、状態の組み合わせは膨大になり、テーブルによる管理は事実上不可能になります。

そこでCNNを使って画面から直接Q値を推定する関数近似（状態や行動の組み合わせが多すぎて表にまとめきれない場合に、数式やニューラルネットワークでQ値を表す方法）を導入したのがDQNです。画像認識的な特徴抽出と強化学習を結び付けた点が、従来の枠組みからの転換点となりました。

2. 試験対策ポイント

まず整理しておきたいのは、DeepMind社が2015年にNature誌で発表したDQNの到達点です。49種のAtari 2600ゲームでゲームごとにハイパーパラメータ（学習率やネットワーク構成など、学習を始める前にあらかじめ決めておく設定値）を変えずに、人間の熟練プレイヤーに匹敵する成績を収めました。

ゲームという複雑な環境でも実用的な性能を発揮できることを、この成果は示しました。同じネットワーク構成のまま多様なゲームに対応できた点も、DQNが高く評価される理由です。

経験再生は、システムが実際に行動した際の「状態・行動・報酬・次の状態」の組を蓄積しておき、学習時にランダムに抽出して使う仕組みです。時系列で連続するデータ間の相関を断ち切り、学習を安定させる工夫として説明されます。

一方のターゲットネットワークは、Q値の目標値を計算する専用のネットワークをメインのネットワークから分離し、一定期間パラメータを固定して使う仕組みです。目標値が学習中に絶えず変動する不安定さを抑える工夫にあたります。学習の目標そのものが動き続けると、追いかける側の推定も落ち着かなくなるためです。

試験では、Q学習・CNN・経験再生・ターゲットネットワークという4つの構成要素と、それぞれの役割の対応関係を整理して理解できているかが試験の分かれ目になります。対応関係を並べると、次のように整理できます。

構成要素	果たす役割
Q学習	試行錯誤しながらQ値を更新し、価値の見積もりを学ぶ土台になる
畳み込みニューラルネットワーク（CNN）	ゲーム画面のピクセルから特徴を読み取り、Q値を近似する
経験再生	蓄積した経験をランダムに取り出し、データ間の相関を断ち切る
ターゲットネットワーク	目標値を計算する専用のネットワークを一定期間固定し、目標のブレを抑える

それぞれが何のために導入された工夫なのかという観点で結び付けておくと、選択肢の見分けがつきやすくなります。学習を安定させる2つの工夫が、それぞれ別の不安定さに手当てをしている点が押さえどころです。

3. 関連概念との比較・相違点

テーブル型のQ学習との最大の違いは、Q値の管理方法にあります。管理の仕方の違いは、そのまま扱える問題の広さの違いにつながります。

比較の軸	テーブル型Q学習	DQN
Q値の管理方法	状態と行動の組み合わせを表で管理する	ニューラルネットワークでQ値を関数として近似する
扱いやすい状態	組み合わせが限られた状態	画像のように連続的で高次元な状態

この違いが、状態の組み合わせが膨大なゲーム画面のような問題を扱えるかどうかを分ける境界線になっています。特に状態空間が画像のように連続的で高次元な場合、この違いは決定的な意味を持ちます。

DQNは行動の選択とQ値の評価に同じネットワークを使うため、Q値を実際より高く見積もる過大評価バイアス（Q値を実際の価値より高く見積もってしまう問題）を抱えるという課題があります。この課題を緩和する発展形として位置づけられるのが、ダブルDQN（DDQN）です。

行動選択と価値評価の役割を分けることで、過大評価バイアスの影響を抑える設計になっています。仕組みの詳細は別記事で扱う発展的な内容ですが、DQNとダブルDQNは同じ系統に属する手法でありながら、過大評価バイアスへの対処の有無で使い分けられます。

4. ビジネス・実務での活用シナリオ

ゲームAI開発の分野では、Atari 2600のゲーム攻略という研究成果が、深層強化学習の有用性を示す代表事例となりました。この実績は、後続のゲームAI研究における設計思想の土台となっています。ゲームという明確なルールと報酬が定義された環境であるからこそ、性能を客観的に比較できた点も重要です。

ロボット制御の分野では、カメラ画像などの生データから直接に行動を決定する仕組みが、状態を逐次認識しながら行動を選ぶロボットの動作制御タスクへの応用文脈で言及されます。画像から価値を直接推定するという発想そのものが、現場のセンサー情報を扱うロボティクスと相性の良い考え方です。特に、逐次的な判断が要求される場面ほど、この仕組みの利点が際立ちます。

推薦・意思決定システムの分野では、ユーザーの行動履歴を状態とみなし、次に取るべき行動を報酬最大化の観点で選ぶ、強化学習ベースの意思決定システムの基礎的な考え方としてDQNが引用されます。表形式では扱いきれない多様な状態を関数で近似するという発想が、こうした応用の土台になっています。過去の行動データが蓄積されるほど、精度の向上が期待されます。

5. 要点まとめ

DQNはQ学習にCNNを組み合わせ、ゲーム画面のピクセルから直接Q値を推定する深層強化学習の手法で、DeepMind社が2015年にNature誌で発表しました。
経験再生とターゲットネットワークという2つの工夫が、データ間の相関除去と目標値のブレ抑制という異なる役割で学習を安定させます。
テーブル型Q学習からニューラルネットワークによる関数近似への移行が、状態空間が膨大な問題を扱うための転換点になっています。