モデルベース (G検定)

1. 定義と概要

モデルベース（モデルベース強化学習）とは、エージェントが環境モデル（ある状態で行動を取ったときに次にどう状態が変わり、どんな報酬がもらえるかを予測する仕組み）を明示的に推定・学習する強化学習の手法分類です。推定したモデルを使った計画、いわゆるプランニング（学習したモデルを使って頭の中で未来をシミュレーションし、行動を決めること）や仮想的な試行によって、価値関数（ある状態や行動がどれだけ良いかを表す数値）や方策を改善します。

代表例として、モデルベースの学習とモデルフリーの学習を組み合わせるDyna（モデルベースとモデルフリーの学習を組み合わせた強化学習の枠組み）が挙げられます。また、世界モデル（World Models）とは、環境の様子を圧縮した表現としてモデル化し、その中でシミュレーションしながら学習する手法を指します。

強化学習は従来、エージェントが環境と直接試行錯誤を繰り返しながら価値関数や方策を学ぶモデルフリー（環境の仕組みを推定せず、試行錯誤の経験だけから価値関数や方策を学ぶ手法）のアプローチが主流でした。この手法はシンプルですが、実環境での試行にはロボットの摩耗や事故のリスクといったコストが伴い、試行回数を抑える必要がある場面では課題となります。

そこで、環境の仕組みそのものをモデル化し、そのモデル上のシミュレーションで学習を進めるモデルベースのアプローチが、サンプル効率（少ない試行回数でどれだけ学習が進むかを示す度合い）を高める手段として注目されています。実環境で何度も試す代わりに、推定したモデルの中で試行を繰り返せる点が、このアプローチの土台になっています。

2. 試験対策ポイント

モデルベースとモデルフリーを分ける基準は、環境モデルを推定し利用するかどうかにあります。環境モデルは、状態遷移確率（ある状態で行動を取ったとき、次にどの状態に移るかの確率）と報酬関数（行動の結果としてどれだけの報酬がもらえるかを決める仕組み）から成り立ちます。

モデルベースはこの環境モデルを介して間接的に方策を改善する手法で、モデルフリーはQ学習やSARSAのように、環境との直接的な試行錯誤のみから価値関数や方策を学習する手法です。この分類基準そのものが、モデルベースとモデルフリーを理解するうえでの中心的な論点になっています。

モデルベースは環境モデル上でシミュレーションできるため、実環境での試行回数を抑えやすいという利点を持ちます。一方で、モデルの推定には誤差がつきものです。この誤差が積み重なり、実際の環境とのズレが大きくなってしまう現象はモデルバイアスと呼ばれ、性能が低下するリスクにつながります。

現在実用化されているDQNやPPO、A3Cなどの深層強化学習アルゴリズムの大部分は、モデルフリー型が占めています。環境モデルの正確な推定が難しい場面が多いことが背景にあり、理論上サンプル効率で有利なはずのモデルベースが、実用面ではまだ主流になっていない現状も、G検定の試験対策として重要なテーマです。

関連用語としては、モデルベースとモデルフリーの学習を組み合わせる「Dyna」の枠組みや、環境を潜在空間で表現しシミュレーション上で学習する世界モデルを、あわせて押さえておきたいところです。潜在空間とは、データの本質的な特徴だけを取り出して表現する、圧縮された数値空間を指します。

加えて、シミュレーションで学習した方策を実機へ移す際のギャップ問題であるSim2Real（シミュレーション環境で学習した方策を、実際のロボットなど現実の環境に移す際のギャップを埋める取り組み）にも、あわせて触れておきます。モデル上で完結しない以上、実環境とのズレをどう埋めるかまでが、モデルベースの話題の射程に入ります。

3. 関連概念との比較・相違点

対をなす2つの手法分類は、環境モデルの扱いを起点に、いくつかの観点を並べると輪郭がはっきりします。

観点	モデルベース	モデルフリー
環境モデル	状態遷移確率と報酬関数を推定して利用する	推定せず、環境の仕組みを持たない
方策の改善の仕方	モデル上のシミュレーションを介して間接的に改善する	環境との直接的な試行錯誤から学習する
代表的な手法	Dyna、世界モデル	Q学習、SARSA、DQN、PPO、A3C
主な課題	推定誤差が積み重なるモデルバイアス	実環境での試行に伴うコストやリスク

モデルフリーとの最大の違いは、環境モデルを推定し利用するかどうかにあります。モデルベースは環境モデルを介して間接的に方策を改善するのに対し、モデルフリーはQ学習やSARSAのように、環境との直接的な試行錯誤のみから価値関数や方策を学習します。

初心者はこの二つを「片方が優れていてもう片方が劣っている」という優劣の関係で捉えがちですが、実際には環境モデルを推定できるかどうかという条件によって、どちらのアプローチが有効かが変わってきます。

環境モデルとの関係も、混同されやすい点です。モデルベースは手法の分類名であり、環境モデルはその手法が使う対象そのもの、つまり状態遷移確率と報酬関数を表す仕組みを指します。両者を同一視してしまう例が見られますが、モデルベースは環境モデルを推定・活用する「アプローチ」を意味し、環境モデルはそのアプローチが扱う対象という関係にあります。

4. ビジネス・実務での活用シナリオ

ロボティクスの分野では、実機での試行回数を抑えるため、環境モデル上でシミュレーションしながら制御方策を学習する取り組みが進んでいます。実際のロボットを動かして学習させると、動作を教え込むための時間やコスト、そして部品の摩耗といった負担が発生します。モデル上での学習であれば、こうした負担を抑えながら制御方策を磨くことができます。

自動運転の分野では、交通環境をシミュレーションしたモデルを用いて、事故リスクの高い状況を仮想的に再現しながら走行方策を学習する取り組みが行われています。実際の道路で危険な状況を再現するわけにはいかないため、シミュレーション上での学習が欠かせません。ただし、シミュレーションで学んだ方策をそのまま実車に適用すると挙動にズレが生じることがあり、このギャップを埋める「Sim2Real」の取り組みとセットで進められています。

生産設備の制御では、稼働データがまだ少ない立ち上げ期であっても、プロセスをモデル化したシミュレーション上で計画的に制御方策を最適化する動きが見られます。実機のデータが十分にそろうまで待っていては生産の立ち上げが遅れてしまうため、モデルベースのアプローチによって早い段階から最適化を進められる点が実務上の意義になっています。

5. 要点まとめ

• モデルベース強化学習は、環境モデル（状態遷移確率・報酬関数）を推定し、そのモデル上のシミュレーションで方策や価値関数を改善する手法分類で、環境と直接試行錯誤するモデルフリーと対をなします。
• サンプル効率の高さが利点である一方、モデルの推定誤差が積み重なるモデルバイアスのリスクを抱え、現状の深層強化学習の実用例の大半はモデルフリーが占めています。
• モデルベースとモデルフリーを組み合わせる「Dyna」や、環境を潜在空間で表現する世界モデルなど、モデルベースには複数の実装形態があります。

6. 確認問題