スパース化 (G検定)

1. 定義と概要

スパース化とは、モデルが学習によって獲得する重みの多くを、ちょうど0にすることです。「スパース」は英語で「疎」「まばら」を意味する語で、値のほとんどが0で占められている状態をスパースと呼びます。

たとえば、数百項目ある顧客データのうち予測に効く数項目だけ重みが残り、残りの重みがすべて0になったモデルは、スパースな状態にあると表現されます。重みがすべて残ったまま学習が進む状態と比べると、スパースな状態のモデルは扱う情報量そのものが少なく、構造がシンプルになっている点が特徴です。

従来のモデルは、すべての特徴量（データの中で予測に使う個々の性質や項目）に何らかの重みを割り当てたまま学習するのが基本でした。しかし特徴量の数が多くなるほど、予測にほとんど寄与しない特徴量までモデルに影響を与え、過学習（学習データに適合しすぎて未知データへの精度が落ちる状態）や解釈のしにくさを招きやすくなります。

そこで、不要な特徴量の重みを自動的に0へ押しやり、実質的に使う特徴量を絞り込むスパース化という考え方が、モデルを軽くし解釈しやすくする手段として位置づけられるようになりました。とくに、扱う特徴量の種類が数千・数万に及ぶような大規模なデータを扱う場面では、この絞り込みの効果が大きな意味を持ちます。

2. 試験対策ポイント

G検定では、スパース化がもたらす効果として3点が扱われます。不要な特徴量が自動的に切り捨てられることによる解釈のしやすさ（モデルがなぜその予測をしたのかを人が理解しやすいこと）の向上、モデルが軽くなることによる計算量の削減、そして過学習の抑制です。これらは互いに独立した効果ではなく、不要な特徴量を削ることが軽量化と過学習の抑制の双方につながるという一続きの関係にあります。

重みを0に近づけるだけでなく厳密に0にする代表的な手法が、正則化（モデルが複雑になりすぎないよう、重みの大きさにペナルティを課して抑える工夫）の一種であるL1正則化です。線形回帰にL1正則化を適用した手法はラッソ回帰と呼ばれ、この対応関係は押さえておきたいポイントです。

L1正則化がスパース化をもたらす理由は、重みの絶対値の合計にペナルティを課す制約の形が角を持つ図形になり、最適な重みの組み合わせがその角、つまり一部の重みがちょうど0になる点に定まりやすいためと説明されます。数式の仕組みよりも、L1正則化が重みを厳密に0にする性質を持つという結論が、ここでの要点です。

重みが0になった特徴量は事実上モデルの予測に使われなくなるため、スパース化は特徴量選択（予測に役立つ特徴量だけをそのまま選び出す作業）としても機能します。この特徴量選択という側面と、既存の特徴量を組み合わせて新しい少数の特徴量を作り出す次元削減との違いも、取り違えやすい論点として整理されます。この関係は単独の用語知識としてだけでなく、他の用語と合わせて見ておきたい関係です。

3. 関連概念との比較・相違点

L1正則化とL2正則化は、名前が似ているうえに効果が対照的なため、対応関係を並べて確認しておくと混同しにくくなります。

比較の軸	L1正則化	L2正則化
ペナルティの対象	重みの絶対値の合計	重みの二乗の合計
重みへの効果	一部の重みがちょうど0になる	重み全体が小さく縮小される
スパース化	起きる	起きにくい
線形回帰での呼び名	ラッソ回帰	リッジ回帰

L2正則化（リッジ回帰で使われる）との最大の違いは、重みを厳密に0にするかどうかという点にあります。L1正則化は重みの絶対値の合計にペナルティを課し、一部の重みをちょうど0にしてスパース化を引き起こします。これに対しL2正則化は、重みの二乗の合計にペナルティを課して重み全体を小さく縮小する働きを持ちますが、厳密に0にはなりにくく、スパース化は起きにくいという違いがあります。L1正則化を使うラッソ回帰と、L2正則化を使うリッジ回帰の対比として、セットで整理される関係です。

スパース化は、重みが0になった特徴量を実質的に使わなくすることで、結果的に特徴量選択と同じ効果を持ちます。しかし、これは既存の特徴量をそのまま使うか捨てるかという扱いにとどまります。

一方、次元削減は既存の特徴量を組み合わせて新しい少数の特徴量を作り出す処理であり、特徴量を変換・合成する点でスパース化とは異なるアプローチです。特徴量を選ぶスパース化と、特徴量を作り替える次元削減という区別が、両者を比較するときの軸になります。

4. ビジネス・実務での活用シナリオ

医療・ゲノム解析の分野では、数万種類にのぼる遺伝子データの中から、特定の疾患に関係する重要な遺伝子だけをスパース化によって絞り込みます。モデルが扱う変数が減ることで、どの遺伝子が結果に効いているかを研究者が解釈しやすくなります。膨大な候補の中から意味のある少数の遺伝子だけが残る過程は、スパース化の効果が最も分かりやすく表れる場面のひとつです。

マーケティング・需要予測の分野では、売上予測に使う説明変数（価格・天候・広告出稿量など多数の候補）のうち、実際に効くものだけが重みとして残ります。モデルがシンプルになるため、施策の効果を説明しやすくなります。価格や広告出稿量といった個々の変数が結果にどれだけ影響しているかを追いやすくなる点も、スパース化ならではの利点です。

エッジデバイス・組み込み機器向けAIの分野では、重みの大部分が0になったスパースなモデルは、扱うパラメータの実質的な数が減ります。そのため、限られたメモリや計算資源で動かすモデルの軽量化に役立ちます。モデルが持つパラメータ（重みなど、学習によって値が決まる数値の総称）の実質的な数が絞り込まれることが、軽量化につながる仕組みです。なお、量子化や枝刈り、蒸留といったモデル軽量化の個別手法は、別のテーマとして扱われます。

5. 要点まとめ

• スパース化とは、モデルが持つ重みの多くをちょうど0にすることで、疎（すかすか）な状態のモデルを作ることです。
• L1正則化（ラッソ回帰で使われる）はスパース化を引き起こす代表的な手法であり、重みを全体的に小さくするものの厳密には0になりにくいL2正則化（リッジ回帰）とは効果が異なります。
• 重みが0になった特徴量は実質的に予測に使われなくなるため、スパース化は特徴量選択として機能する一方、特徴量を合成・変換する次元削減とは扱いが異なります。

6. 確認問題