アンサンブル学習 (G検定)

1. 定義と概要

アンサンブル学習（Ensemble Learning）とは、複数の学習器の予測結果を組み合わせることで、単独のモデルよりも高い予測性能を得る機械学習の手法です。個々のモデルが持つ誤りや偏りが互いに打ち消し合うことで、全体としての精度や安定性が向上します。代表的な手法はバギング・ブースティング・スタッキングの3つに大別されます。

単一のモデルだけで予測を行う場合、学習に使ったデータの取り方やモデルの立て方に予測結果が左右されやすく、性能に限界が生じるという課題があります。この課題に対し、複数の学習器の予測を組み合わせれば、あるモデルの誤りを他のモデルの予測が補い、全体としてより安定した高い精度が得られるという発想からアンサンブル学習が広く使われるようになりました。

2. 試験対策ポイント

G検定では、アンサンブル学習がバギング・ブースティング・スタッキングの3手法に大別されるという分類そのものが重要な論点になります。学習の進め方が並列か逐次かという違いと、個々の予測をどのように統合するかという対応関係が分かれ目です。

バギングは、複数の弱学習器（単体では性能があまり高くない、比較的シンプルな予測モデル）を並列に独立して学習させる手法です。分類問題では各モデルの予測を多数決（複数のモデルが出した予測のうち、最も多かった答えを採用する集約方法）でまとめ、回帰問題では各モデルの予測の平均を取り、最終的な予測とします。

この統合方法により、予測のばらつき（バリアンス。予測結果がどれくらいばらつくかを示す指標）を抑える効果があります。個々の弱学習器の癖が互いに打ち消し合う分、単独の学習器よりも安定した予測になりやすい傾向があります。

ブースティングは弱学習器を1つずつ順番に学習させる手法です。前の学習器が誤ったデータに大きな重みを付けて次の学習器に学習させることを繰り返すため、予測の偏り（バイアス。予測が本来の値からどれくらいずれて偏っているかを示す指標）を抑える効果があります。並列に学習させるバギングとの対比で取り違えやすい点です。

スタッキングは、種類の異なる複数のモデルの予測結果を、さらに別のモデル（メタモデル）に学習させて最終的な予測を出す手法です。バギング・ブースティングとは異なる第3の系統として区別されます。この土台には、弱学習器を組み合わせて高い予測性能を持つ強学習器（複数の弱学習器を組み合わせて作った、高い予測性能を持つモデル）を構築するという考え方があります。

3つの手法を、学習の進め方と予測の統合方法という軸で並べると、違いがはっきりします。

手法	学習の進め方	予測の統合方法
バギング	複数の弱学習器を並列に独立して学習	多数決（分類）や平均（回帰）でまとめる
ブースティング	弱学習器を1つずつ順番に学習	前の学習器が誤ったデータに重みを付けて次へ引き継ぐ
スタッキング	種類の異なる複数のモデルを用意	別のモデル（メタモデル）に学習させて最終予測を出す

具体例としては、バギング系のランダムフォレスト（決定木〈データを条件分岐で枝分かれさせながら分類や予測を行うモデル〉を弱学習器としたバギングの代表的な手法）が挙げられます。ブースティング系では、AdaBoost（誤分類データの重みを増やしながら弱学習器を順に学習させる手法）や勾配ブースティング（前の木の予測誤差を次の木が学習していく手法）が代表例として知られています。これらの具体例は、それぞれの系統と並べて理解したい関連知識です。

3. 関連概念との比較・相違点

バギングとブースティングの最大の違いは、学習の進め方と抑える誤差の種類にあります。バギングは複数の弱学習器を並列に独立して学習させ、多数決や平均によって予測のばらつき（バリアンス）を抑えます。

これに対しブースティングは弱学習器を順番に学習させ、前の学習器の誤りを次の学習器が補正することで予測の偏り（バイアス）を抑えます。並列か逐次かという進め方の違いが、バリアンスとバイアスのどちらを主に抑えるかという効果の違いに対応しています。

単一のモデルだけで予測すると、学習データに適合しすぎて未知のデータへの予測精度が落ちる過学習（学習データに適合しすぎて、新しいデータへの予測精度が落ちてしまう状態）を起こしやすくなります。

アンサンブル学習、とくにバギング系の手法は、複数のモデルの予測を多数決や平均でまとめることで個々のモデルの誤りを打ち消し合わせ、予測のばらつきを抑えます。この仕組みにより、単独のモデルよりも安定した汎化性能（未知のデータに対してもどれだけ正確に予測できるかという能力）を得やすいという関係にあります。

4. ビジネス・実務での活用シナリオ

金融業界では、与信スコアリングや不正取引の検知において、性質の異なる複数のモデルの予測を組み合わせる取り組みが行われています。単独モデルでは見逃しやすいパターンを複数モデルの予測が補い合うことで、判定の安定性を高めることにつながります。

データ分析コンペティションの分野でも、複数モデルの予測をスタッキングで統合する手法が上位手法として広く用いられています。異なる種類のモデルの予測結果をさらに別のモデルに学習させることで、単独モデルよりも汎化性能の高い最終予測を作る取り組みが定着しています。

医療診断支援の分野では、検査データの分類において複数のモデルの予測を多数決で統合する仕組みが使われています。単一モデルの誤判定に予測全体が引きずられるリスクを抑えられるため、診断の信頼性を高める役割を果たします。

5. 要点まとめ

• アンサンブル学習は複数の学習器を組み合わせて、単独のモデルより高い予測性能を得る手法で、バギング・ブースティング・スタッキングの3手法に大別されます。
• バギングは弱学習器を並列に学習させ多数決や平均で統合しばらつき（バリアンス）を抑え、ブースティングは逐次学習で前の誤りを補正し偏り（バイアス）を抑えるという対比があります。
• スタッキングは異なる種類のモデルの予測結果を別のモデルに学習させて統合する手法で、バギング・ブースティングとは異なる第3の系統に位置づけられます。

6. 確認問題