残差強化学習 (G検定)

1. 定義と概要

残差強化学習（Residual Reinforcement Learning）とは、人間が設計した初期方策（ベースラインコントローラ）を土台とする手法です。最適な方策との差分である残差を強化学習によって学習し、初期方策に加算することで全体の性能を高めます。

ここでいう方策とは、エージェントがある状況でどう行動するかを決めるルールを指し、強化学習とは、エージェントが試行錯誤を通じて報酬を最大化する行動を学ぶ機械学習の方法を指します。初期方策（ベースラインコントローラ）とは、人間があらかじめ用意しておく基本の制御ルールです。

代表例として、部品同士を接触させながら組み合わせるペグ挿入やブロック挿入のような組立作業が挙げられます。位置決めを担う初期方策に、接触時の微妙な力加減を補正する残差を強化学習で学習させる事例が知られています。おおまかな動きは人間の設計に任せ、機械が苦手とする細かな調整だけを学習に委ねる形です。

従来の強化学習は、ゼロから試行錯誤を重ねて方策を獲得する方式が基本でした。しかし実機のロボットに直接適用すると、学習初期のランダムな挙動が機械の破損や事故につながりかねません。

シミュレータ上で事前学習してから現実の機体へ移す「sim2real（シミュレーション環境で学習した内容を現実のロボットなどに移す取り組み）」というアプローチを取っても、シミュレーションと現実の違いが性能低下を招くことがあります。既存の安定した制御則を土台に不足分だけを強化学習で補う残差強化学習は、安全性と学習効率を両立させる手法として位置づけられています。

2. 試験対策ポイント

まず押さえておきたいのは、残差強化学習の基本構造です。最終的な方策は「初期方策（人間が設計したベースラインコントローラ）＋残差（強化学習で学習した補正項）」という加算の関係にあり、この構造の理解が残差強化学習を捉えるうえでの柱になります。

初期方策の質が学習の成否を左右する関係も、試験対策で重要なテーマです。初期方策が最適方策に近いほど学習すべき残差は小さくなり、学習は容易になります。逆に初期方策が最適方策から大きく外れていると残差が大きくなり、ゼロから探索する通常の強化学習に近い難しい問題に戻ってしまいます。

もう一つ押さえておきたいのが、周辺キーワードの分類です。G検定対策資料では、それぞれ次のように整理されることがあります。

キーワード	対策資料での分類
残差強化学習	深層強化学習の「補助・拡張技術」
報酬成形（ゴール到達時だけでなく途中の行動にも段階的にご褒美を与える工夫）	同じく「補助・拡張技術」
「sim2real」	「学習設定と環境構築」
ドメインランダマイゼーション（シミュレーションの条件をわざとバラつかせて現実との違いに強くする工夫）	同じく「学習設定と環境構築」
模倣学習（人や既存のお手本の動きをまねて方策を学ぶ方法）	同じ深層強化学習の範囲内で学ぶ関連キーワード

同じ深層強化学習の周辺キーワードでも、方策そのものに手を入れる側と、学習の場をどう用意するかという側とで分類が分かれています。残差強化学習と報酬成形が並ぶ理由も、この軸で捉えると理解しやすくなります。

3. 関連概念との比較・相違点

まぎらわしい三つの手法は、何に主眼を置くかで整理できます。

手法	主眼を置く対象
残差強化学習	既存の初期方策に対する補正項の学習
「sim2real」	シミュレータでの事前学習と現実への移転
模倣学習	人やエキスパートの実演データからの方策の獲得

残差強化学習と「sim2real」の最大の違いは、何によって現実世界での安全性・効率を確保するかという観点にあります。両者は組み合わせて使われることも多く、「sim2real」で得た方策を初期方策として残差強化学習でさらに現実に適応させる使い方が知られています。

残差強化学習と模倣学習の違いは、初期方策をどう用意するかという観点にあります。模倣学習は人間やエキスパートの実演データから方策そのものを模倣して獲得する手法であるのに対し、残差強化学習はルールベースの制御則など既存の初期方策を土台とし、その上に強化学習で補正分を追加で学習する関係にあります。土台をまねて作るのか、土台の上に足すのかという違いです。

4. ビジネス・実務での活用シナリオ

製造業の産業用ロボットでは、部品同士を接触させながら組み合わせるペグ挿入やブロック挿入のような精密な組立作業に残差強化学習が使われます。位置決め用の初期方策をベースラインとして、接触時の力加減や部品公差のばらつきへの対応分を残差として追加学習することで、開発期間と実機での試行回数を抑えられます。

ゼロから方策を学習する場合に比べて実機を壊すリスクを抑えながら、精密作業への適応を進められる点が、この分野での採用理由になっています。

物流・移動ロボットの分野では、倉庫内搬送ロボットの走行制御に応用されます。既存のルールベースの経路制御をベースラインとしたうえで、床面の摩擦や荷物の重量変化など現実特有のばらつきへの追従分だけを残差として学習します。既存の制御則を土台にすることで、ゼロから方策を学習する場合よりも安全に実機投入できます。

5. 要点まとめ

• 残差強化学習は、人間が設計した初期方策（ベースラインコントローラ）に強化学習で学習した残差（補正項）を加算し、全体の性能を高める手法です。
• 初期方策の質が学習の難易度を左右し、最適方策に近いほど残差は小さく学習が容易になる関係は、試験の要点です。
• G検定対策資料では深層強化学習の「補助・拡張技術」に整理されることがあり、報酬成形と同じ分類で扱われます。「sim2real」・ドメインランダマイゼーションは別分類に位置づけられ、模倣学習は関連キーワードとして扱われます。

6. 確認問題