次元の呪い (G検定)

2026年8月12日2026年9月2日

G検定

1. 定義と概要

次元の呪い（Curse of Dimensionality）とは、データの特徴量（次元）の数が増えるほど、その組み合わせの空間が指数関数的に広がり、限られたデータ量ではモデルが十分な学習結果を得られなくなる現象です。この概念を提唱したのはリチャード・ベルマンです。

身長と体重という2つの特徴量だけであれば、全体の傾向をつかみやすくなります。しかし、そこに年齢・住所・職業などの特徴量を加えて次元を増やすと、データが疎（スパース。高次元空間の中でデータ点がまばらに散らばり、類似度や距離の計算が意味を持ちにくくなる状態）になります。意味のあるパターンを見つけるために必要なデータ量も、急激に増えていきます。

従来、機械学習では特徴量を増やすほどモデルの表現力が高まり、精度も向上すると考えられがちでした。特徴量を増やせば増やすほど、モデルが着目できる手がかりが増えるという発想は、直感的には理にかなって見えます。

しかし特徴量を増やしすぎるとデータ空間がすかすかになり、同じデータ量ではかえってモデルが学習データに過剰に適合してしまいます。オーバーフィッティング（過学習）とは、学習データに適合しすぎて、未知のデータへの予測精度が落ちてしまう状態を指します。

この状態に陥ると汎化性能が下がるという問題が明らかになり、この矛盾が次元の呪いと呼ばれるようになりました。機械学習の前処理設計では、必ず考慮すべき論点として定着しています。特徴量を安易に増やせば精度が上がるという単純な発想は、次元の呪いを前にすると必ずしも成り立ちません。

2. 試験対策ポイント

次元の呪いの核心は、特徴量の数が増えるほど必要なデータ量が指数関数的に増加し、限られたデータ量では汎化性能が低下するという因果関係（原因と結果の対応関係）にあります。この関係を裏返すと、特徴量を絞り込むほど、同じデータ量でも汎化性能を保ちやすくなるということでもあります。この因果関係とあわせて、具体的な対処法も押さえておきたいポイントです。

対処法は3系統に整理されます。それぞれが何をする方法なのかを並べると、次のようになります。

対処法	何をするか
データ量の確保	特徴量の増加に見合うだけのデータ量を集める
特徴選択	予測に寄与する特徴量だけを残す
次元削減	主成分分析などで少数の新しい特徴量に要約する

1つ目のデータ量を確保する方法は、原理的にはもっとも直接的な対処です。ただし次元が増えるほど必要なデータ量も指数関数的に膨らむため、現実の対処では2つ目・3つ目に頼る場面が多くなります。

2つ目の特徴選択（既存の特徴量の中から予測に役立つものだけを選び出す方法）が既存の特徴量からの取捨選択であるのに対し、3つ目の次元削減は主成分分析（多数の特徴量が持つ情報をできるだけ保ったまま、少数の新しい特徴量に要約する手法。英字の略称でPCAとも呼ばれます）のように新しい特徴量を作り出す点で異なります。この3系統の使い分けは、混同しやすい組み合わせです。

次元の呪いが起きた状態ではデータが疎になり、オーバーフィッティングを招きやすいという関係にあります。特徴量が多いほど各データ点の周囲がまばらになり、限られた学習データにモデルが過剰に反応してしまうためです。

また、正則化（モデルの重みが大きくなりすぎないよう抑え、複雑になりすぎないよう調整する手法）も、次元の呪いへの対処の一つにあたります。特徴選択や次元削減が特徴量そのものを絞り込む対処であるのに対し、正則化はモデルの複雑さを直接抑える対処という違いがあります。疎な状態・オーバーフィッティング・正則化という3つの用語は、次元の呪いを軸にした一連の関係としてまとめられます。

3. 関連概念との比較・相違点

次元削減の代表的な手法である主成分分析との最大の違いは、次元の呪いが「起きる現象」であるのに対し、主成分分析は対処に使う「具体的な手法」であるという、現象と対策の関係にあります。主成分分析は既存の特徴量の情報を使って新しい特徴量を作り出す点に特徴があり、既存の特徴量の中からそのまま選ぶ特徴選択とは異なります。

特徴選択と次元削減はどちらも特徴量の数を絞り込む結果になりますが、絞り込み方の仕組みが異なる点は取り違えやすいところです。次元の呪いという言葉自体はあくまで現象を指すため、どの対処法を選ぶかは目的に応じて変わるという理解が基本になります。

オーバーフィッティング（過学習）との違いは、原因と結果の関係で整理できます。次元の呪いは高次元化という原因であり、オーバーフィッティングはそこから起こりうる結果の一つです。次元の呪いという言葉自体は汎化性能の低下そのものを指すのではなく、その低下を引き起こす背景条件を指します。この違いは、順序が逆になりやすい点です。

4. ビジネス・実務での活用シナリオ

EC・レコメンド分野では、利用者と商品の購買履歴を並べた行列が典型的な次元の呪いの舞台となります。商品数が多いほど次元が膨大になり、大半の利用者が購入していない商品はゼロのまま埋まる疎な行列になります。次元削減や協調フィルタリング（似た好みを持つ利用者同士の行動データを使っておすすめを決める手法）でこの偏りを緩和することで、精度の高いレコメンドが実現します。

商品数が増え続けるEC事業者ほど、疎な行列を放置すると精度の高いレコメンドが成立しにくくなるため、次元削減や協調フィルタリングへの対応が事業の継続的な成長を支える基盤になります。

マーケティング・顧客分析の現場では、年齢・購買履歴・行動履歴など数十から数百に及ぶ顧客属性データを扱います。これらの属性をそのままクラスタリング（性質の似ているデータ同士をグループに分ける手法）にかけると、次元の呪いによって意味のあるグループが見つかりにくくなります。そこで主成分分析によって属性を要約したうえでクラスタリングを行い、顧客セグメントを抽出する流れが取られています。属性を要約せずに次元の呪いを放置すると、似た顧客層を見分けられずマーケティング施策の精度が落ちてしまいます。

製造業の異常検知では、センサーの種類が多い設備ほど特徴量が増える一方、正常データに比べて異常データは数が少なく、次元の呪いが起きやすい条件がそろいます。特徴選択によって異常検知に効くセンサー値だけに絞り込むことで、限られたデータでも精度が保たれます。特徴量を絞り込まずに次元の呪いを放置すると、限られた異常データでは正常と異常の境界を学習しきれず、見逃しや誤検知が増えてしまいます。