ドメインランダマイゼーション (G検定)

1. 定義と概要

ドメインランダマイゼーションとは、シミュレーション環境（現実の物理法則やタスクをコンピュータ上で再現した仮想の環境）で強化学習（試行錯誤を通じて報酬を最大化する行動の仕方を学習する機械学習の一種）を行う手法です。学習の際には、物体の質感や色、照明条件、摩擦係数（物体同士が擦れ合う際の滑りにくさを表す数値）といったパラメータを意図的にランダムに変化させながら、多数の環境で学習を繰り返します。

狙いは、現実世界特有の変動に対してロバスト（頑健）なモデルを育てることにあります。代表例として知られるのが、OpenAI社がロボットハンド（人間の手の動きを模した多関節のロボット装置）を用いた学習システム「Dactyl」です。ランダム化する範囲自体を学習の進行に応じて自動で広げていく自動ドメインランダマイゼーション（ADR）を用い、シミュレーション上の学習のみでルービックキューブを片手で解く実世界タスクに成功しました。

従来、強化学習を現実のロボットで直接行うと試行回数が膨大になり、コストや時間、破損のリスクが大きな制約になっていました。そこで登場したのが、シミュレータ上で方策を学習し、それを実世界のロボットへ転移させる「sim2real」というアプローチです。

ところが、シミュレータと現実の間には質感や物理特性の再現度に差があり、シミュレータ上で高い性能を示したモデルが実世界では性能を落とす「リアリティギャップ」という課題が生じます。ドメインランダマイゼーションは、この課題に対応する手法の一つという位置づけにあります。

2. 試験対策ポイント

G検定公式テキストでは、ロボット制御の文脈で「sim2real」のリアリティギャップ問題への対応策としてドメインランダマイゼーションが扱われます。シミュレータ上で得た方策をそのまま現実のロボットに適用すると性能が落ちてしまう現象に対して、環境パラメータを多様化することで汎化性能（学習に使っていない未知のデータや状況にも対応できる力）を高めるという理屈が、ここでの重要な論点です。

選択肢比較の形式では、性質の異なる別の用語と並べて理解したいテーマです。並ぶ相手は、学習済みモデルを別タスク向けに再調整するファインチューニングや、複数の弱い学習器を順に組み合わせるブースティング、データの周囲を余白で埋める前処理であるパディングといった用語です。用語同士が似た響きを持つわけではないものの、意味を取り違えやすい点です。

「sim2real」におけるリアリティギャップへの対策には、シミュレータ側の環境パラメータを多様化するドメインランダマイゼーションのほかに、異なるアプローチも存在します。シミュレータで得た方策に、現実世界との差にあたる残差（実測値と理想値の差）を追加で学習させる残差強化学習です。

あわせて、自動ドメインランダマイゼーション（ADR）は、ランダム化するパラメータの範囲自体を学習の進行に応じて自動的に広げていく発展形として位置づけられ、この2つの手法は対になる関係にあります。

3. 関連概念との比較・相違点

「sim2real」との最大の違いは、全体像を指すか個別の施策を指すかという点にあります。「sim2real」は、シミュレータで学習した方策を現実世界へ転移させる枠組み全体を指す言葉であり、ドメインランダマイゼーションは、そのリアリティギャップを埋めるための具体的な対策の一つという関係にあります。両者は上位概念と下位の手法という位置づけです。

残差強化学習との違いは、リアリティギャップへのアプローチそのものにあります。ドメインランダマイゼーションは、シミュレータ側の環境パラメータを多様化して汎化性能を高める方向で対処するのに対し、残差強化学習は、シミュレータの方策に現実世界での誤差を補正する項を追加で学習させる方向で対処します。

同じ課題に向き合う2つの手法なので、どこに手を入れるかという軸で並べると違いがはっきりします。

比較の軸	ドメインランダマイゼーション	残差強化学習
手を入れる場所	シミュレータ側の環境パラメータ	シミュレータで得た方策の側
具体的な操作	パラメータを多様化して汎化性能を高める	現実世界での誤差を補正する項を追加で学習させる
ギャップの埋め方	シミュレータの多様性を広げる	現実世界とのずれそのものを学習で埋める

前者はシミュレータの多様性を広げ、後者は現実世界とのずれそのものを学習で埋めるという違いです。どちらか一方が正解というより、リアリティギャップという同じ課題への異なる答えとして押さえておきたいところです。

4. ビジネス・実務での活用シナリオ

ロボティクスの分野では、OpenAI社が自動ドメインランダマイゼーション（ADR）を用いてロボットハンド「Dactyl」を学習させ、シミュレーションのみの学習から実世界でルービックキューブを片手で解く動作に成功した事例が知られています。現実でのロボットの試行回数を抑えながら、頑健な制御方策を獲得した好例です。

自動運転の分野では、路面の摩擦係数や天候、照明条件をシミュレータ上で幅広く変化させながら走行方策を学習する取り組みが進んでいます。実際の道路環境には個体差や季節差があり、こうした変動への対応力をあらかじめ学習に組み込んでおく点に意味があります。

製造業では、産業用ロボットアームの把持（掴む）動作に活用されています。部品の色や形状、照明のばらつきをシミュレータ上で再現して学習することで、実工場に置かれた個々の部品差にロバストな制御を実現します。

5. 要点まとめ

• ドメインランダマイゼーションは、シミュレータのパラメータ（質感・照明・摩擦係数など）を意図的にランダム化して多様な環境で学習する手法で、「sim2real」におけるリアリティギャップ対策の一つに位置づけられます。
• G検定公式テキストではロボット制御の文脈で扱われ、ファインチューニングやブースティング、パディングといった別用語と混同しやすい組み合わせです。
• 「sim2real」という大枠の課題に対し、ドメインランダマイゼーションと残差強化学習は異なるアプローチで対応する具体的な手法という関係にあります。

6. 確認問題