線形分類 (G検定)

1. 定義と概要

線形分類とは、入力データの特徴空間において、異なるクラスに属するデータ点を、直線（2次元の場合）や平面（3次元の場合）、それらを一般化した超平面（n次元空間をn-1次元で仕切る境界）で分ける分類手法の総称です。この境界を線形な決定境界（クラスを分ける境界線）と呼びます。1本の境界線で2つのクラスをきれいに分けられる状態を、線形分離可能といいます。

たとえばANDゲート（2つの入力がともに1のときだけ出力が1になる論理演算）の入力を2次元平面上に置いてみます。（0,0）（1,0）（0,1）（1,1）の4点のうち、出力が1になる点は（1,1）だけです。この点とそれ以外の3点は1本の直線で分けられるため、ANDゲートは線形分離可能な問題にあたります。

初期のニューラルネットワークモデルである単純パーセプトロン（入力に重みをかけて足し合わせ、しきい値で判定する仕組み）は、1957年にローゼンブラットが提案した学習モデルで、線形分離可能な問題であれば学習できました。

しかし1969年、ミンスキーとパパートが著書『パーセプトロン』の中で、線形分離不可能なXOR問題（排他的論理和。入力が異なるときのみ出力が1になる論理演算）を単純パーセプトロンでは解けないと数学的に証明しました。この指摘は、第1次AIブーム（人工知能への期待が大きく高まった時期を指す用語）の終焉、いわゆる「AIの冬」の一因になりました。

1986年には、複数の層を重ねる多層パーセプトロン（複数の層を重ねたニューラルネットワークで、直線では分けられない複雑なパターンも学習できるモデル）と誤差逆伝播法（バックプロパゲーション。予測と正解の誤差をネットワークの層に逆向きに伝えて重みを調整していく学習手法）の組み合わせによってXOR問題が解決され、非線形な決定境界を学習できるニューラルネットワークへと発展しました。

2. 試験対策ポイント

まず整理したいのは、超平面で2つのクラスを分離できるかどうかという線形分離可能性の定義と、その代表例です。ANDゲートやORゲート（2つの入力のいずれかが1のときに出力が1になる論理演算）は線形分離可能な問題である一方、XORゲートは線形分離不可能な問題の代表例です。

特徴空間が2次元であれば境界は直線に、3次元であれば平面に、4次元以上であれば超平面になるという対応関係もあわせて整理しておくと理解しやすくなります。呼び名は変わっても、いずれもまっすぐな仕切りである点は共通しています。

単純パーセプトロンは線形分離可能な問題のみを学習でき、線形分離不可能なXOR問題は学習できません。1969年にミンスキーとパパートがこの限界を指摘し、第1次AIブームの終焉につながった歴史的な経緯にも触れておきます。

XOR問題は1986年、複数の層を重ねる多層パーセプトロンと誤差逆伝播法の組み合わせによって解決されました。線形分類にあたる単純パーセプトロンと、非線形分類にあたる多層パーセプトロンの対応関係も、混同しやすい組み合わせです。

代表的な線形分類器としては、次の3つが挙げられます。用語と中身の対応をまとめておくと、選択肢の見分けがつきやすくなります。

手法	どのような手法か
ロジスティック回帰	データがあるクラスに属する確率を計算し、その確率をもとにクラスを判定する手法
線形カーネルのサポートベクターマシン（SVM）	クラスの境界線をデータからできるだけ離して引く分類アルゴリズム
線形判別分析	各クラスのデータの分布特性をもとに、クラスを最もよく分ける境界線を求める統計的な分類手法

これらはいずれも直線・平面・超平面という線形な決定境界を求めるアルゴリズムで、決定境界・超平面という用語もあわせて理解しておきたいところです。

3. 関連概念との比較・相違点

非線形分類との最大の違いは、決定境界の形状にあります。線形分類は直線・平面・超平面のような線形な境界でクラスを分けるのに対し、非線形分類は曲線状の複雑な境界でクラスを分けます。

この違いは、論理演算を題材にすると輪郭がはっきりします。代表的な3つのゲートを並べると、次のような対応になります。

論理演算	線形分離可能か	対応できる手法
ANDゲート	可能	単純パーセプトロンなどの線形分類
ORゲート	可能	単純パーセプトロンなどの線形分類
XORゲート	不可能	多層パーセプトロンなどの非線形分類

単純パーセプトロンが学習できるのは、この表の上2行のような線形分離可能な問題までです。XORゲートのような線形分離不可能な問題には、多層パーセプトロンのような非線形分類の手法が使われます。

単純パーセプトロンとの関係は、比較というより包含に近いものです。線形分類は決定境界の形状に着目した分類手法の分類軸そのものであるのに対し、単純パーセプトロンは線形分類を実現する具体的なアルゴリズムの一つという位置づけになります。

ロジスティック回帰や線形カーネルのサポートベクターマシン、線形判別分析も同じく線形分類の枠組みに含まれるアルゴリズムで、単純パーセプトロンはそのうちの一つにすぎません。線形分類という大きな枠組みの中に、単純パーセプトロンをはじめとする複数の手法が含まれる関係にあります。

4. ビジネス・実務での活用シナリオ

金融業界の与信審査では、顧客の年収や借入額といった特徴量（分類の判断材料として使う入力データの数値項目）を用いたスコアリングに、線形分類器の一種であるロジスティック回帰が使われています。返済遅延の有無を判定する境界線を線形に引くこの手法は計算量が少なく、判定の根拠を説明しやすいという特徴があります。融資の可否について顧客に理由の説明が求められる与信業務では、この説明のしやすさが大きな価値を持ちます。

マーケティング分野のスパムメール判定でも、線形分類は実務で活用されています。メール文中の単語の出現頻度を特徴量にすると、次元数の多い空間では線形分離可能になりやすく、線形SVMやロジスティック回帰による軽量なスパムフィルタが広く使われています。計算量が少ないアルゴリズムを使えるため、大量のメールを低コストでリアルタイムに判定できるという利点があります。

製造業の外観検査では、特徴量が単純な初期の検査工程であれば線形分類器で良品と不良品を判定できます。しかし複雑な画像パターンを扱う工程では線形分離が成立しにくくなり、非線形な決定境界を学習できるディープラーニングへの移行が必要になります。検査対象や条件が複雑になるほど、線形分類だけでは対応しきれなくなるという流れは、複数の業界に共通する傾向です。

5. 要点まとめ

• 線形分類は特徴空間上のクラスを直線・平面・超平面という線形な決定境界で分ける分類手法で、境界1本でクラスを分けられる状態を線形分離可能といいます。
• 単純パーセプトロンは線形分離可能な問題のみを学習でき、線形分離不可能なXOR問題は解けません。1969年にこの限界が指摘され、1986年に多層パーセプトロンと誤差逆伝播法によって解決されました。
• 代表的な線形分類器はロジスティック回帰・線形SVM・線形判別分析で、線形分離できない問題には多層パーセプトロンなど非線形分類の手法が使われます。

6. 確認問題