CutMix (G検定)

1. 定義と概要

CutMixとは、2019年にICCV（コンピュータビジョン分野の国際会議）で提案されたデータ拡張の手法で、一方の画像から矩形の領域を切り取り、別の画像の対応する部分で置き換えて1枚の合成画像を作る手法です。正解ラベルは、2枚の画像のうち置き換えられた領域の面積比率に応じて混合します。

具体例で見ると、仕組みがつかみやすくなります。例えば、犬の画像の一部を猫の画像の対応部分で置き換え、置き換えた面積が画像全体の30%であれば、混合ラベルは「犬70%・猫30%」です。画像を合成した割合が、そのままラベルの割合になるという関係です。

画像分類のデータ拡張には、1枚の画像を単独で加工する手法と、複数の画像を組み合わせる手法があります。CutoutやRandom Erasing（画像の一部をランダムな値で塗りつぶす手法）は、特定の部分だけに頼った判断を防ぐ効果を持つ一方、塗りつぶした領域の情報がそのまま失われる課題を抱えていました。

CutMixは、この課題への答えとして提案されました。失われる領域を別の画像の情報で埋めることで情報の損失を抑えつつ、複数の画像を組み合わせて学習するMixupの発想もあわせ持つ手法です。

2. 試験対策ポイント

CutMixについてまず整理しておきたいのは、矩形の領域を切り取って別の画像の該当部分を貼り付けるという、CutMix固有の手続きです。切り取った跡を単色で塗りつぶすのではなく、別の画像の情報で埋める点で、Cutoutのような塗りつぶし系の手法と一線を画します。

ラベルの混合比率も、置き換えた領域の面積比率によって決まるという点が、CutMixの仕組みを理解するうえでの中心的な論点です。画像の合成とラベルの混合が、面積という一つの尺度で結びついています。

CutMixは、CutoutやRandom Erasingで塗りつぶした領域の情報がそのまま失われるという課題を解決するために考案されました。塗りつぶす代わりに別の画像の情報で埋めるため、画像全体の情報量を保ちながら学習できます。手続きの外形は似ていても、情報を捨てるか埋めるかという発想の違いは取り違えやすく、あわせて整理しておきたいところです。

データ拡張のうち画像を加工・合成する手法は、CutoutやRandom Erasingのように1枚の画像を加工するグループと、MixupやCutMixのように2枚の画像を組み合わせるグループに大別できます。CutMixは後者に属し、画像分類だけでなく物体検出（画像の中から特定の物体の位置と種類を検出するタスク）でも精度向上が報告されている手法です。この分類を押さえておくことは、CutMixの位置づけを把握する土台になります。

3. 関連概念との比較・相違点

Cutoutとの最大の違いは、切り取った跡の扱い方です。両者とも画像から矩形の領域を切り取る手続きは共通しますが、Cutoutは切り取った跡を固定値で塗りつぶして情報を捨てるのに対し、CutMixは別の画像の対応部分で埋め合わせて情報を捨てません。この違いにより、CutMixは画像全体の情報量を保ったまま学習データを増やせる手法です。

Mixupとの間で特に異なるのは、画像の合成方法です。Mixupは2枚の画像を透過的に重ね合わせて指定した比率で混合するため、合成後の画像はぼやけて見えます。一方CutMixは矩形領域を切り貼りするため、画像はくっきりしたままです。ラベルの混合比率も異なり、Mixupは指定した重みで決まるのに対し、CutMixは置き換えた面積比率で決まります。

Random Erasingは、Cutoutと同じく1枚の画像内で矩形領域を無効化する手法ですが、塗りつぶす値が固定値か乱数かで違いがあります。CutMixのように別の画像を組み合わせることはしません。

四つの手法を、使う画像の枚数と加工の内容で並べると、CutMixの位置づけがはっきりします。

手法	使う画像	加工の内容
CutMix	2枚	矩形領域を切り取り、別の画像の対応部分で埋める
Cutout	1枚	矩形領域を固定値で塗りつぶす
Random Erasing	1枚	矩形領域をランダムな値で塗りつぶす
Mixup	2枚	2枚を透過的に重ね合わせて指定した比率で混合する

CutMixは、2枚の画像を組み合わせるグループに属しながら、矩形領域を切り取るという手続きの面ではCutoutやRandom Erasingとも共通点を持ちます。どの軸で見ているのかを意識すると、それぞれの手法を区別しやすくなります。

4. ビジネス・実務での活用シナリオ

自動運転の分野では、車載カメラの画像に他の車両や標識の一部を組み合わせたCutMix画像を学習データに加えることで、他の物体と一部が重なった歩行者や標識でも見落としにくい、頑健な物体検出モデルの構築につながります。実際の道路では対象物が別の物体に隠れて写ることも多く、境界があいまいな状況を学習データの段階で再現できる点が意義です。

医療画像診断の分野では、症例数の少ない病変領域の画像を正常画像の一部と組み合わせたCutMix画像で水増しすることで、限られた症例数からでも病変を見落としにくい診断支援モデルの精度向上を図る取り組みが可能になります。まれな疾患ほど学習データを集めにくいため、少ない症例を有効に活用できる工夫として位置づけられます。

製造業の外観検査（製品にキズや汚れなどの不良がないか確認する検査）でも、傷や汚れのある領域の画像を良品画像に組み合わせたCutMix画像を学習データに加える取り組みが実務の一例です。少ない不良サンプルからでも、さまざまな位置や大きさの傷を検出できるモデルの構築につながります。

5. 要点まとめ

• CutMixは、一方の画像の矩形領域を別の画像の対応部分で置き換えて1枚の合成画像を作り、ラベルは置き換えた面積比率で混合するデータ拡張の手法です。
• Cutoutが塗りつぶして情報を捨てるのに対しCutMixは別の画像で埋めて情報を保つ点、Mixupが透過的な重ね合わせであるのに対しCutMixは切り貼りである点が、それぞれとの違いとして整理できます。
• データ拡張手法は、Cutout・Random Erasingのように1枚を加工するグループと、Mixup・CutMixのように2枚を組み合わせるグループに大別され、CutMixは後者に属します。

6. 確認問題