ハードマージン (G検定)

ハードマージン

1. 定義と概要

ハードマージン(SVM)とは、2つのクラスのデータを分ける分離超平面(データを2つのクラスに分ける境界線や境界面のこと。決定境界とも呼ばれます)について、誤分類を一切認めず、マージンを最大化する、最も基本的なSVMの定式化です。マージンの内側にデータが入り込むことも許さないという制約のもとで、この超平面を求めます。決定境界に最も近い位置にあるデータ点はサポートベクトルと呼ばれます。

数式ではこの制約を、重みベクトル(決定境界の向きを決める値の集まり)wのノルムの2乗の1/2を最小化しつつ、すべての学習データについて『y_i(w^Tx_i + b)≥ 1』という条件を満たす形で表します。このときのマージンの幅は『2/||w||』という式で表されます。つまり、wのノルムを小さくすることがマージンを広げることに対応しています。

SVMは、2つのクラスのデータをきれいに分ける境界線を引く分類手法として考案され、最初に定式化されたのがこのハードマージンです。マージンを最大化すれば、汎化性能(学習に使っていない新しいデータに対しても正しく予測できる能力)の高い決定境界が得られるという発想に基づいています。

しかし現実のデータは、線形分離可能(1本の直線や1枚の平面で2つのグループをきれいに分けられる状態のこと)とは限らず、ノイズや外れ値(他のデータから大きく外れた例外的な値)を含むことが多くあります。ハードマージンでは、たった1つの外れ値が決定境界を大きく歪めたり、そもそも分離超平面自体が存在しない事態が生じます。

この限界を克服する形で、誤分類やマージンへの侵入を一定程度許すソフトマージンSVMが考案されたという流れがあります。

2. 試験対策ポイント

理解するうえで中心になるのは、ハードマージンの制約が「誤分類を許さない」「マージン内へのデータ侵入も許さない」という2点セットで成り立っている点です。この2つの制約があるために、ハードマージンは線形分離可能なデータにしか適用できないという前提条件があります。

もう一つの重要な論点が、ハードマージンの弱点です。外れ値やノイズが1点混じるだけで決定境界が大きく歪んだり、分離不可能なデータでは解自体が存在しなくなったりします。

この弱点を補う形で、誤分類の程度をスラック変数(誤分類やマージン侵入がどれくらい起きているかを数値で表すために導入する変数)で表し、一定程度許容するソフトマージンSVMが考案されました。ハードマージンの限界を起点にソフトマージンという発想が生まれたという流れは、押さえておきたいポイントです。サポートベクトルとマージンそれぞれの定義も、あわせて整理しておきたいところです。

なお、ソフトマージンの詳しい仕組みやスラック変数の計算方法、SVMそのものの理論的な背景は、この記事では扱わず別の記事に譲ります。

3. 関連概念との比較・相違点

ソフトマージンSVMとの最大の違いは、誤分類やマージン侵入を許すか許さないかという点にあります。ハードマージンは完全な分離を必須とするのに対し、ソフトマージンはスラック変数を導入し、一定程度の誤分類を許容します。

この違いにより、ハードマージンは理論上の理想形、ソフトマージンは実データへの適用を意識した現実的な形という位置づけの差が生まれます。誤りをまったく許さない設計であるがゆえに、ハードマージンでは境界線の引き方がほぼ一通りに定まるという特徴もあります。

もう一つの違いは、線形分離可能性という前提の有無です。ハードマージンは学習データが線形分離可能な場合にしか解が存在しません。一方でソフトマージンは、分離不可能なデータにも適用でき、外れ値やノイズを含む現実のデータセットにも対応できます。

ここまでの違いを軸ごとに並べると、次のようになります。

比較の軸 ハードマージン ソフトマージン
誤分類・マージン侵入 一切許さない スラック変数を導入して一定程度許容する
前提となるデータ 線形分離可能な場合にしか解が存在しない 分離不可能なデータにも適用できる
外れ値・ノイズ 1点混じるだけで決定境界が大きく歪む 外れ値やノイズを含むデータにも対応できる
位置づけ 理論上の理想形 実データへの適用を意識した現実的な形

この前提条件の違いが、両者の使い分けを分ける境目になっています。整理すると、理想化されたデータにはハードマージン、現実のばらつきを含むデータにはソフトマージンという住み分けの関係にあります。

4. ビジネス・実務での活用シナリオ

製造業の外観検査では、良品・不良品を分けるセンサーの特徴量(分類や判定の手がかりとして使う、数値化されたデータの特徴のこと)にわずかな外れ値が混じるだけで、ハードマージンでは分離超平面自体が求まらないことがあります。この制約が、実務でノイズを許容する手法が採用される背景の一つになっています。

金融の与信審査や不正検知の現場でも、同様の課題が生じます。実際の顧客データには例外的なケースが必ず含まれるため、完全な分離を要求するハードマージンをそのまま適用することは難しく、この制約がソフトマージンの普及を後押ししています。

一方、研究や教育の場面では、理論上完全に分離可能な人工データセットを使う限り、ハードマージンはそのまま機能します。そのため、SVMの原理を学ぶ最初の教材として提示されることが多くあります。

5. 要点まとめ

  • ハードマージンSVMは誤分類・マージン侵入を一切許さずマージンを最大化する最も基本的なSVMの定式化で、数式では||w||の2乗の1/2の最小化と制約条件『y_i(w^Tx_i+b)≥1』で表されます。
  • 線形分離可能なデータにしか適用できず、外れ値やノイズに弱いという限界があります。
  • この限界を克服するために、誤りを一定程度許容するソフトマージンSVMが考案されたという開発の流れが試験で確認しておきたい関係です。

6. 確認問題

問1ハードマージンSVMは、誤分類だけでなく、データ点がマージンの内側に入り込むことも許さない制約のもとでマージンを最大化する。

解答・解説をみる

○ 正しい

ハードマージンの制約は「誤分類を許さない」「マージン内侵入も許さない」の2点セットであり、この命題はその定義のとおりです。

問2ハードマージンSVMは、学習データが線形分離できるかどうかに関わらず、常に分離超平面を求めることができる。

解答・解説をみる

× 誤り

正しくは、ハードマージンは線形分離可能なデータにしか解が存在しません。分離不可能な場合に対応できるのはソフトマージンであり、逆向きの記述は取り違えやすい点です。

問3ハードマージンSVMは外れ値の影響を受けやすく、この弱点を補うためにソフトマージンSVMが考案された。

解答・解説をみる

○ 正しい

ハードマージンは1つの外れ値で境界が大きく歪んだり、解が存在しなくなったりする弱点があります。この弱点を補う形で、スラック変数を導入したソフトマージンが考案されました。