Elastic Net（エラスティックネット） (G検定)

1. 定義と概要

Elastic Net（エラスティックネット）とは、正則化（モデルが訓練データに合わせすぎないよう、重みの大きさにペナルティを課して抑える工夫）の一種に位置づけられる手法です。線形回帰は説明変数（予測に使う入力データの項目）ごとに重み（モデルがその説明変数をどれくらい重視するかを表す数値）を持ちますが、Elastic Netはこの重みの大きさに対して、L1正則化とL2正則化を組み合わせて適用します。

L1正則化は、重みの絶対値の合計をペナルティとして加え、不要な重みをゼロにしてしまう仕組みです。L2正則化は、重みの二乗の合計をペナルティとして加え、重み全体を一様に小さくする仕組みを指します。

Elastic Netは、2005年に研究者のゾウ（Zou）とヘイスティ（Hastie）によって提案されました。具体例として、相関の高い多数の遺伝子データを扱うゲノム科学の分野や、相関し合う経済指標を多数含む金融分野の予測モデルで用いられています。

従来、線形回帰の過学習（訓練データに合わせすぎて、新しいデータへの予測精度が落ちてしまう状態）対策としては、2つの手法が用いられてきました。1つはL2正則化のみを使うリッジ回帰（L2正則化だけを使う回帰手法で、重みを縮小してモデルを安定させます）です。もう1つはL1正則化のみを使うラッソ回帰（L1正則化だけを使う回帰手法で、不要な特徴量の重みを自動でゼロにします）です。

しかし、それぞれ単独では弱点を抱えています。特徴量（モデルの予測に使う入力データの項目）どうしの相関が高いデータセット、つまり多重共線性（説明変数どうしの相関が強すぎて、予測式が不安定になる現象）が生じやすいデータがあります。こうしたデータでは、ラッソ回帰は相関の高い特徴量群から1つだけを選び、他の重みをゼロにしてしまう不安定さを持ちます。

一方でリッジ回帰は、重みを縮小するものの完全にはゼロにならず、スパース化（不要な要素の値をゼロにして、少数の重要な要素だけを残すこと）した解が得られません。この両者の弱点を補う目的で、Elastic Netが考案されました。

2. 試験対策ポイント

Elastic Netは、正則化の一手法として押さえておきたい存在で、損失関数（モデルの予測のズレ、つまり誤差を数値化したもの）にL1正則化項とL2正則化項を組み合わせて加える点が特徴です。

あわせて、両者の配合比率を調整するL1比率（L1正則化とL2正則化をどれくらいの割合で混ぜるかを決める調整値）というパラメータ（モデルの挙動を調整するために設定する値）を持つ点も、ラッソ回帰・リッジ回帰と合わせて理解しておきたい要素です。このパラメータの設定次第で、ラッソ回帰の性質に近づけたり、リッジ回帰の性質に近づけたりできる関係にあります。

ラッソ回帰の弱点は、相関の高い特徴量群から1つしか選ばれず、他の重みがゼロになってしまう不安定さにあります。一方でリッジ回帰の弱点は、重みが完全にゼロにならずスパース化しない点にあります。Elastic Netは、この両方の弱点を補う存在にあたります。

また、L2正則化項を加えることで損失関数の形が単純な谷型になり、最小値が一意に定まりやすくなる性質、すなわち強凸性（損失関数の形が単純な谷型になり、最小値がただ一つに定まりやすい性質）を持つ点も特徴です。多重共線性が生じやすいデータへの対処法として、正則化手法全体の中でのElastic Netの位置づけは、まず整理しておきたいところです。

3. 関連概念との比較・相違点

ラッソ回帰（L1正則化のみを使う回帰手法）との最大の違いは、相関の高い特徴量への対応にあります。ラッソ回帰は不要な特徴量の重みをゼロにできる一方、相関の高い特徴量群からは1つしか選ばれず、他の重みがすべてゼロになりやすい不安定さを抱えています。Elastic Netは、これにL2正則化を加えることで、この不安定さを緩和する関係にあります。

リッジ回帰（L2正則化のみを使う回帰手法）との最大の違いは、重みの扱い方にあります。リッジ回帰は重みを一様に縮小してモデルを安定させますが、重みが完全にはゼロにならず、スパースな解、つまり不要な特徴量の重みがゼロになった解は得られません。

Elastic Netは、これにL1正則化を加えることで、不要な特徴量の重みをゼロにする機能を補う関係にあります。3つの手法を、使う正則化と重みの扱いという軸で並べると、次のように整理できます。

手法	使う正則化	重みの扱い
ラッソ回帰	L1正則化のみ	不要な重みをゼロにできるが、相関の高い特徴量群からは1つしか残りにくい
リッジ回帰	L2正則化のみ	一様に縮小して安定させるが、完全にはゼロにならない
Elastic Net	L1正則化とL2正則化	ゼロにする働きを保ちながら、相関の高い特徴量群への不安定さを緩和する

ラッソ回帰とリッジ回帰それぞれの強みを併せ持つ性質を利用し、特徴量選択と安定性を両立できる点が、Elastic Netをラッソ回帰・リッジ回帰と区別する軸になります。

4. ビジネス・実務での活用シナリオ

ゲノム科学の分野では、相関の高い多数の遺伝子データから、予測に関わる遺伝子群を絞り込む場面でElastic Netが使われています。ラッソ回帰単独では、相関し合う遺伝子群から1つだけが選ばれ、他が除外されてしまう不安定さがありますが、Elastic Netを使えば関連する遺伝子群をまとめて残しやすくなり、ラッソ回帰単独よりも安定した変数選択が可能になります。

金融の分野では、株価や信用スコアの予測において、相関し合う多数の経済指標を説明変数として使う場面があります。景気指標や金利といった経済指標どうしは互いに連動しやすく、多重共線性の影響を受けやすいという事情があります。Elastic Netは、こうした多重共線性の影響を抑えつつ、予測に重要な指標を絞り込む役割を果たします。

マーケティング分析の分野では、顧客属性や行動ログなど、相関の強い特徴量が多いデータセットを扱う場面があります。需要予測モデルの説明変数を整理する際に、Elastic Netを使うことで、似た性質を持つ特徴量群をまとめて評価しながら、モデルの安定性を確保できます。

5. 要点まとめ

• Elastic NetはL1正則化とL2正則化を組み合わせた正則化手法で、両者の配合比率を調整するL1比率というパラメータを持ちます。
• ラッソ回帰単独の弱点、つまり相関の高い特徴量群から1つしか選べない不安定さと、リッジ回帰単独の弱点、つまりスパース化しない点を、両方の性質を併せ持つことで補います。
• 多重共線性が生じやすいデータセットに対して、特徴量選択と安定性を両立する手法として位置づけられます。

6. 確認問題