最小二乗法 (G検定)

2026年8月12日2026年9月2日

G検定

1. 定義と概要

最小二乗法とは、観測されたデータと回帰式が予測する値との差、すなわち残差をすべて2乗してから合計した値（残差平方和）が最も小さくなるように、回帰直線（データの分布に最もよく当てはまるように引いた直線）の傾きや切片を決定する手法です。この傾きに当たるのが回帰係数で、回帰式のなかで説明変数（結果を予測するために使う入力側の変数）に掛かる係数を指します。

たとえば気温とアイスクリームの売上のようにばらついたデータに1本の直線を当てはめる場面を考えると、各データ点から直線までの縦方向の距離を1つずつ2乗し、その合計が最も小さくなるように直線の位置を決めるという考え方になります。直線の引き方は無数にありますが、そのなかで残差平方和という1つの基準に沿って最も当てはまりの良い直線を選び出す作業が、最小二乗法の中心的な役割です。

データに直線を当てはめる方法は理論上いくつも考えられ、実際に誤差の絶対値の合計を最小にする方法なども考案されてきました。それでも最小二乗法が長く使われてきた背景には、大きく二つの理由があります。ひとつは、誤差をそのまま合計すると正負の符号が打ち消し合ってしまうため、2乗することで符号をそろえ、単純な合計として扱えるようになることです。もうひとつは、2乗した式であれば微分による最適化の計算がしやすく、係数を数式的に一度で求められることです。

線形回帰分析や単回帰分析、複数の説明変数を扱う重回帰分析（説明変数が2つ以上ある回帰分析）では、いずれもこの最小二乗法によって回帰係数を学習（推定）します。回帰分析の種類が単回帰であっても重回帰であっても、係数を決める土台の考え方は共通しています。

2. 試験対策ポイント

まず整理しておきたいのは、残差と残差平方和の定義、そして誤差をわざわざ2乗して扱う理由です。誤差をそのまま合計すると正負の符号が打ち消し合ってしまい、実際の誤差の大きさを正しく表せません。2乗すればすべての値が正になって単純に合計でき、さらに微分によって最適な係数を求める計算もしやすくなります。この符号の相殺と微分のしやすさという2点が、最小二乗法が広く使われている理由です。

最小二乗法は、説明変数が1つの単回帰分析にも、説明変数が複数の重回帰分析にも共通して使われる学習方法です。回帰係数と切片は、残差平方和をそれぞれの係数で偏微分し、その値を0とおいた式である正規方程式（残差平方和を最小にする係数を求めるために解く連立方程式）を解くことで、解析的に一つの値として求まります。

数式を使わずに言えば、残差平方和のグラフの最も低い点の位置を、数式を解くことで一度に言い当てる作業に近いイメージです。この正規方程式を解けば係数が一意に定まるという性質は、試行錯誤で係数を探す必要がない最小二乗法ならではの特徴です。

最小二乗法で求めた回帰式の当てはまりの良さは、決定係数（回帰式がデータにどれだけ当てはまっているかを0から1の値で表す指標）と合わせて見ておきたいところです。

一方で、残差を2乗して扱う仕組みには制約もあります。極端に外れた値である外れ値（ほかの多くのデータから大きく離れた観測値）があると、その差が2乗されて評価に大きく効いてしまうため、最小二乗法は外れ値の影響を受けやすいという弱点を持ちます。

3. 関連概念との比較・相違点

最尤推定法とは、データが観測される確率、すなわち尤度が最も高くなるように、係数や切片などのパラメータ（回帰式を特徴づける値）を決める方法です。この最尤推定法と最小二乗法との最大の違いは、何を基準に最適化するかという点にあります。最小二乗法は残差平方和の最小化によって係数を求めるのに対し、最尤推定法はデータが観測される確率を最大化することでパラメータを求めます。

着目する量がまったく異なる2つのアプローチですが、誤差が正規分布（データのばらつきが平均を中心に左右対称に広がる確率分布）に従うと仮定した場合には、この二つの方法で求まる結果は一致するという関係にあります。

決定係数との違いは、比較というより役割の違いとして整理できます。最小二乗法は回帰係数を求めるための「手段」であり、決定係数は最小二乗法で求めた回帰式がデータにどれだけ当てはまっているかを表す「評価指標」です。

混同しやすい3つの用語について、何に着目して、どの役割を担うのかを並べると違いがつかみやすくなります。

用語	着目する量	役割
最小二乗法	残差平方和（最小化する）	回帰係数を求める手段
最尤推定法	尤度＝データが観測される確率（最大化する）	パラメータを求める手段
決定係数	回帰式がデータにどれだけ当てはまっているか	求めた回帰式を評価する指標

とくに最小二乗法と決定係数は、手段と評価指標という役割の違いがあり、混同しやすい組み合わせです。最小二乗法によって係数が決まったあとに、その結果をどう評価するかという段階で決定係数が登場するという順序になっています。

4. ビジネス・実務での活用シナリオ

マーケティングの分野では、広告費と売上のデータに回帰直線を当てはめ、回帰係数から広告費の増加が売上にどれだけ影響するかを推定します。感覚や経験則だけで判断するのではなく、過去のデータから求めた回帰係数という数値を根拠にすることで、限られた予算をどの媒体に配分するかという判断に客観的な基準を持ち込めます。

製造業では、気温や稼働時間と製品需要のような関係を回帰直線でモデル化する場面があります。天候や稼働状況から需要をあらかじめ見積もることは、生産計画の精度を高めることにつながります。需要を過大にも過小にも見積もらずに済めば、在庫や人員の配置を無駄なく調整できます。

不動産の分野でも最小二乗法は活用されています。床面積や築年数、最寄り駅からの距離など複数の説明変数から価格を予測する回帰モデル（回帰式を使って値を予測する仕組み）を作る際、それぞれの係数を推定する土台となるのが最小二乗法です。物件ごとに条件が異なる不動産価格を、複数の要素を組み合わせた1つの式で説明できるようにする点に、重回帰分析と最小二乗法を組み合わせる意義があります。