1. 定義と概要
特異値分解(SVD)とは、m×n型の任意の行列Aを、A=UΣV^Tという3つの行列の積に分解する線形代数の手法です。分解して得られる3つの行列には、それぞれ決まった性質と役割があります。
Uの列を左特異ベクトル、Vの列を右特異ベクトルと呼び、それぞれ元データが持つ特徴的な方向を表しています。3つの行列が何を担っているかを整理すると、次のようになります。
| 行列 | 種類 | 中身と意味 |
|---|---|---|
| U | 直交行列(掛け合わせてもベクトルの長さや角度の関係が保たれる特別な行列) | 列が左特異ベクトル。元データが持つ特徴的な方向を表す |
| Σ | 対角行列(対角線上以外の成分がすべて0になっている行列) | 対角成分が特異値(行列がどれだけ元データの情報を持っているかを表す非負の数値) |
| V | 直交行列 | 列が右特異ベクトル。元データが持つ特徴的な方向を表す |
つまりUとVがデータの持つ方向を受け持ち、Σがその方向ごとの重みを受け持つという分業になっています。分解の対象が正方行列に限定されないという点が、正方行列にしか使えない固有値分解(正方行列を固有値・固有ベクトルへ分解する手法)と異なります。
具体例として、画像データを行列とみなし、値の大きい特異値だけを残せば、見た目の情報を大きく保ちながらデータ量を削減できます(低ランク近似)。特異値の大きさは、その方向が元データの持つ情報にどれだけ寄与しているかを表す指標です。情報量の少ない成分を切り捨てても見た目の劣化が小さいのは、上位の特異値だけで元データの大部分の情報を再現できるためです。
行列の分解は従来、固有値分解が中心的な手法でした。しかし固有値分解は正方行列にしか適用できないという制約を持ちます。機械学習で扱うデータ、たとえば利用者×商品の評価行列や文書×単語の出現頻度行列は、正方行列とは限りません。
従来型の固有値分解ではこうしたデータをそのまま扱うことができず、次元削減や特徴抽出の手法として限界がありました。そこで、正方行列に限らず任意の形の行列を分解できるSVDが、次元削減や潜在的な特徴抽出を行う基盤技術として様々な分野で使われるようになったという流れがあります。
2. 試験対策ポイント
G検定の論点になるのは、SVDがA=UΣV^Tという形で任意の行列を3つの行列に分解するという構成です。Uは左特異行列、Vは右特異行列と呼ばれる直交行列であり、Σは特異値を対角成分に持つ対角行列であるという役割分担がここでの要点です。それぞれの行列がどの位置に対応するかという構成そのものが、選択肢の正誤を分ける基本知識になります。
固有値分解が正方行列にしか適用できないのに対し、SVDは正方行列に限らず任意の形(m×n)の行列に適用できる点も対比として押さえておきたい点です。特異値は、行列Aの転置とAの積(A^TA)が持つ固有値(行列に内在する、伸縮の度合いを表す固有の数値)の平方根に相当するという関係も論点です。この数値的な関係は、特異値と固有値を区別する根拠になります。
特異値は非負の値をとり大きい順に並び、値が大きいほどその方向の情報が元データにおいて重要であることを示します。上位k個の特異値・特異ベクトルだけを使って元の行列を近似する低ランク近似(情報量の少ない成分を捨てて元データに近い簡略版を作ること)が、次元削減の手法として扱われます。
データ行列を中心化(データの各項目から平均値を引いて、平均が0になるよう調整する前処理)してSVDを適用すると、主成分分析(PCA)と同等の結果が得られるという関係が、SVDとPCAを結び付ける論点になります。
次元削減、主成分分析(PCA)、協調フィルタリング(他の利用者の評価パターンをもとに、まだ評価していない商品への好みを予測するレコメンド手法)といった関連用語は、SVDとセットで扱われる知識としてまとめて整理されています。これらの用語のつながりは、SVD単体ではなく次元削減分野全体を理解するうえでの土台になります。
3. 関連概念との比較・相違点
主成分分析(PCA)との最大の違いは、目的が統計的か数学的かという点にあります。PCAはデータの分散を最大化する方向を求める統計的な次元削減の手法で、中心化したデータの共分散行列(データの各項目同士がどれくらい一緒に変動するかを表す行列)を固有値分解する処理に相当します。一方でSVDは任意の行列に直接適用できる線形代数の一般的な分解手法です。
混同しやすい3つの手法を、位置づけ・適用できる行列・得られるものという観点で並べると、違いがはっきりします。
| 観点 | 主成分分析(PCA) | 固有値分解 | 特異値分解(SVD) |
|---|---|---|---|
| 位置づけ | 分散を最大化する方向を求める統計的な次元削減の手法 | 行列の特徴を取り出す線形代数の手法 | 任意の行列に直接適用できる線形代数の一般的な分解手法 |
| 適用できる行列 | 中心化したデータの共分散行列 | 正方行列のみ | 正方行列に限らず任意のm×n型 |
| 得られるもの | 主成分の方向 | 固有値と固有ベクトル | 特異値と左右の特異ベクトル |
中心化したデータ行列にそのままSVDを適用すると、右特異ベクトルが主成分の方向と一致し、PCAと同等の結果が得られる関係にあります。共分散行列を経由しない分、数値計算上は安定するとされています。PCAという統計的な目的をSVDという数学的な道具で実行しているという役割分担になります。
固有値分解との最大の違いは、適用できる行列の形にあります。前述のとおり固有値分解は正方行列だけに使える手法で、行列の特徴を固有値・固有ベクトル(行列を掛けても向きが変わらない特別なベクトル)へ分解します。これに対し、SVDは正方行列に限らず任意の形の行列に適用できます。
SVDの特異値は、元の行列とその転置の積(A^TA)の固有値の平方根に相当するという数値的な関係で結び付いています。PCAとの関係、固有値分解との関係のいずれも、SVDが単なる計算テクニックではなく、他の手法とつながりを持つ数学的な基盤であることを示しています。
4. ビジネス・実務での活用シナリオ
ECサイトや動画配信サービスでは、利用者×商品(コンテンツ)の評価行列にSVDを適用します。少数の特異値で近似する低ランク近似によって利用者・商品それぞれの潜在的な特徴を抽出し、まだ評価していない商品のスコアを予測できます。これは前述の協調フィルタリングを用いたレコメンドの基盤技術です。行列の次元を圧縮しながら本質的な好みの傾向を残せる点が、実務でSVDが選ばれる理由になっています。
画像処理の分野では、画像データを行列とみなし、値の大きい上位の特異値だけを残すことで、見た目の情報を大きく保ちながらデータ量を削減します。この性質は画像圧縮やノイズ除去に活用されています。圧縮後もデータの持つ本質的な特徴が保たれるため、保存や転送のコストを抑えながら画質を維持するといった効果が得られます。
自然言語処理(人間が使う言葉をコンピュータで処理する技術)の分野では、文書×単語の出現頻度を表す行列にSVDを適用します。単語の共起関係の背後にある潜在的なトピックや概念をベクトル空間上で捉える手法で、潜在意味解析(LSA、文書と単語の関係から、その背後に隠れた意味やトピックを取り出す手法)として知られる応用です。単語の表記が異なっていても、意味的に近い文書や単語をまとめて捉えられる点が実務上の強みです。
5. 要点まとめ
- 特異値分解(SVD)は任意の行列をA=UΣV^Tという3つの行列の積に分解する手法で、正方行列に限らず適用できる点が固有値分解と異なります。
- 特異値は大きい順に並び、値が大きいほど元データにおける情報の重要度が高く、上位のみを残す低ランク近似が次元削減の基盤になります。
- 中心化したデータにSVDを適用すると主成分分析(PCA)と同等の結果が得られ、推薦システムや自然言語処理の潜在的特徴抽出にも応用されます。
6. 確認問題
問1特異値分解(SVD)は、正方行列に限らず任意の形(m×n)の行列に適用することができる。
解答・解説をみる
○ 正しい
SVDの定義そのものです。正方行列にしか適用できない固有値分解との対比が分かれ目です。
問2SVDにおける特異値は小さい順に並べられ、値が小さいほど元データの情報を多く保持していることを示す。
解答・解説をみる
× 誤り
正しくは、特異値は大きい順(降順)に並び、値が大きいほど元データにおける情報の重要度が高いことを示します。大小関係を逆にする記述は、取り違えやすい典型です。
問3データ行列を中心化してSVDを適用すると、主成分分析(PCA)と同等の結果が得られる関係にある。
解答・解説をみる
○ 正しい
中心化したデータにSVDを適用すると、右特異ベクトルが主成分の方向と一致し、PCAと同じ結果が得られます。PCAという統計的な目的をSVDという数学的な道具で実行しているという関係にあります。

