A3C (G検定)

1. 定義と概要

A3C（Asynchronous Advantage Actor-Critic）とは、複数のワーカー（環境のコピーを使って並列に経験を集める学習主体）が非同期に経験を集めながら学習を進めるアルゴリズムです。日本語では非同期優位アクタークリティックとも呼ばれ、深層強化学習（強化学習に深層学習を組み合わせた学習アプローチ）の一種にあたります。

学習の内部では、2つのネットワークを更新します。方策に従って行動を選ぶActor（今の状況でどの行動を取るかを決める役割を担うネットワーク）と、状態の価値を見積もるCritic（選んだ行動や今の状況がどれくらい良いかを点数付けする役割を担うネットワーク）です。更新の基準になるのがAdvantage関数（平均的な良さと比べて、その行動がどれだけ得だったかを表す指標）です。DeepMindのVolodymyr Mnih氏らが2016年の論文『Asynchronous Methods for Deep Reinforcement Learning』（ICML 2016）で発表しました。

Actor-Critic法自体は、方策を扱うActor役と価値を扱うCritic役を組み合わせて学習を進める枠組みとして知られています（基本的な役割分担は姉妹記事で扱います）。A3Cはこの枠組みを、複数のワーカーがそれぞれ別の環境インスタンス上で非同期に経験を集め、各ワーカーの勾配を共有のグローバルネットワーク（各ワーカーの学習結果を集めて共有する中心のネットワーク）へ非同期に反映する構成へ拡張したものです。

単一エージェントで学習するDQN（Deep Q-Network。Q学習に深層学習を組み合わせた代表的な強化学習アルゴリズム）のような手法では、時系列で連続するデータ間の相関が学習を不安定にする課題がありました。従来はこの課題を経験再生（過去の経験をためておき、あとからランダムに取り出して学習に使う仕組み）で緩和していました。

A3Cは複数ワーカーが同時に異なる状況を経験すること自体でデータ間の相関を薄め、経験再生を用いない設計になっています（DQNとの対比は3節で扱います）。並列に走らせること自体が、相関を断ち切る仕掛けを兼ねているわけです。

2. 試験対策ポイント

理解するうえで中心になるのは、名称の分解とその対応関係です。A3Cという名前を構成する4つの要素は、それぞれ次の内容に対応します。

名称の要素	対応する内容
Asynchronous	複数エージェントによる非同期並列学習。複数の学習主体がタイミングをそろえずバラバラに動作・更新する
Advantage	状態価値をベースラインとして差し引いた指標
Actor	方策に従って行動を選択する役割
Critic	状態価値関数を見積もり、方策を評価・修正する役割

ベースラインとは、比較の基準として差し引く平均的な価値の見積もりを指します。この4要素の対応関係が、名称を理解するうえでの分かれ目です。

並列分散学習のメリットとしては、複数の演算コアを持つマルチコアCPUを使って複数のワーカーが同時に経験を集めることによる学習の高速化と、データ間の相関が薄まることによる学習の安定化の2点がセットで扱われます。単一のエージェントが順番に経験を積む方式に比べ、複数の視点から同時に環境を経験できる分だけ学習が効率化するという関係にあります。

Advantage関数は、行動価値関数（ある状態でその行動を取った場合に得られる価値の見積もり）から状態価値関数というベースラインを差し引く指標です。この仕組みにより、方策勾配法（方策が持つ重みなどの数値を、報酬が増える方向へ少しずつ更新していく学習の考え方）における勾配の分散（推定値のばらつきの大きさ）を抑える役割を持ちます。行動価値をそのまま使う場合よりも学習が安定する仕組みにあたります。

さらに発展形のA2C（A3Cの非同期更新を同期方式に置き換えた発展形）は、非同期であることの性能上の優位性に明確な根拠が乏しいとする検証結果を背景に、実装や再現性が容易な同期方式として広く使われており、A3Cと対で扱われる論点です。

3. 関連概念との比較・相違点

基本形のActor-Critic法との最大の違いは、並列・非同期学習の有無にあります。基本のActor-Critic法は単一エージェントが1つの環境で学習するのに対し、A3Cは複数エージェントが複数の環境インスタンス上で非同期並列に学習を進める発展形です（Actor-Critic法の基本的な役割分担は姉妹記事で扱います）。両者は土台となる枠組みを共有しつつ、学習主体が単数か複数かという構成の点で分かれています。

DQNとの最大の違いは、データ間の相関への対処方法にあります。DQNは経験再生で時系列データの相関を断ち切るのに対し、A3Cは複数ワーカーによる並列化そのものでデータ間の相関を薄め、経験再生を用いない設計になっています（DQNの仕組みの詳細は姉妹記事で扱います）。

同じ課題への解決策が、蓄積したデータの再利用か並列化による同時経験かという異なるアプローチに分かれている点は、混同しやすい組み合わせです。どちらもデータ間の相関という同じ弱点を見ているという前提を押さえておくと、対比が捉えやすくなります。

4. ビジネス・実務での活用シナリオ

ゲームAI研究の分野では、Atariの多様なゲームタイトルなど複数のタスクで、複数ワーカーが並列に経験を収集して方策を高速に学習させる基盤として、発表当初から性能検証に用いられています。多様な環境を同時にこなせる構成であるため、単一環境だけでは見えにくい方策の汎用性を検証しやすくなります。

ロボティクス・シミュレーションの分野では、実機を使わず複数のシミュレーション環境を並列実行し、方策の候補を同時並行で試すことで学習にかかる時間を短縮する用途に活用されています。仮想空間で試行錯誤を重ねられる分、実機を壊す心配なく方策の検証を進められる点に意義があります。

クラウド・分散コンピューティング基盤の分野では、GPUを使わず1台のマシンのマルチコアCPUで並列学習できるため、GPUリソースが限られる環境でも計算コストを抑えて強化学習モデルを訓練できます。GPUの調達コストが課題となる場面で、A3Cの並列構成が計算資源の制約を補う選択肢になっています。

5. 要点まとめ

• A3Cは複数のエージェントが環境のコピーを使って非同期・並列に学習を進めるActor-Critic法の発展形で、DeepMindが2016年に発表しました。
• Advantage関数は行動価値から状態価値（ベースライン）を差し引く指標で、方策勾配の分散を抑えて学習を安定させる役割を持ちます。
• 並列化のメリットは学習の高速化と安定化の2点で、DQNのような経験再生に頼らずデータ間の相関を減らす設計になっています。

6. 確認問題