回帰係数 (G検定)

回帰係数

1. 定義と概要

回帰係数とは、回帰分析で求める回帰式において説明変数にかかる係数のことで、説明変数(結果を予測するために使う入力側の変数)が1単位変化したときに、目的変数(予測したい結果側の変数)がどれだけ変化するかを表す値です。回帰式をグラフに描くと1本の直線になり、回帰係数はその直線の傾きに相当します。

説明変数が1つだけの単回帰分析(説明変数が1つの回帰分析)では、この係数を単に回帰係数と呼びます。一方、説明変数が複数ある重回帰分析(説明変数が複数の回帰分析)では、他の説明変数の影響を除いた値という意味を込めて偏回帰係数(重回帰分析で使う回帰係数の呼び方。他の説明変数を固定した状態での影響の大きさ)と呼び分けます。

たとえば、広告費を説明変数、売上高を目的変数とする単回帰分析で回帰係数が2.5だったとすると、広告費が1万円増えると売上高は平均2.5万円増える関係を示します。傾きの値がそのまま「1単位あたりいくら動くか」を表すため、係数の大きさを見れば影響の程度をそのまま読み取れます。

回帰分析は、説明変数と目的変数の関係を1本の直線の式で近似するモデルで、説明変数の数によって単回帰分析と重回帰分析に分かれます。回帰係数はこの式のうち説明変数にかかる係数を指し、切片(説明変数が0のときの目的変数の予測値。グラフでy軸と交わる点)とあわせて求めます。

求め方には、実測値と予測値のズレの二乗和を最小にする最小二乗法(実測値と予測値のズレである残差の二乗の合計が最小になるように直線を決める方法)を使います。説明変数が1つの単回帰分析では単に回帰係数と呼ぶ一方、説明変数が複数になる重回帰分析では偏回帰係数と呼び分ける点は、混同しやすい基本の整理です。

2. 試験対策ポイント

まず整理したいのは、単回帰分析における回帰係数と切片の役割の違いです。回帰係数は回帰直線の傾きを表し、切片は説明変数が0のときの目的変数の予測値を表します。

回帰係数と切片は、いずれも実測値と予測値のズレである残差(実際の値と回帰式で予測した値の差)の二乗和を最小にする最小二乗法によって求める点も、あわせて押さえておきたいところです。

重回帰分析における回帰係数は偏回帰係数と呼ばれ、他の説明変数の値を固定した状態で、一つの説明変数が1単位変化したときに目的変数がどれだけ変化するかを表します。単回帰分析の回帰係数との呼び分けは、取り違えやすい点です。

説明変数の単位がそろっていない重回帰モデル(説明変数が複数ある回帰分析によって作られる予測式)では、各変数を標準化(平均を0、ばらつきを1にそろえてデータの単位をなくす処理)してから回帰します。この標準化回帰係数(標準偏回帰係数)を使うと、単位の違いに左右されずに説明変数間の影響度の大小を比較できます。単回帰分析で標準化すると、回帰係数の値は相関係数(2つの変数の関係の強さと向きを-1から1で表す指標)と一致する関係にあります。

ここまでに出てきた呼び分けを、分析の種類ごとに対応づけると次のようになります。

分析の種類 説明変数の数 係数の呼び方 表す内容
単回帰分析 1つ 回帰係数 説明変数が1単位変化したときの目的変数の変化量
重回帰分析 複数 偏回帰係数 他の説明変数を固定した状態での影響の大きさ
重回帰分析(標準化したうえで実施) 複数 標準化回帰係数(標準偏回帰係数) 単位の違いをなくした状態での影響度の大小

呼び方は変わっても、いずれも「説明変数が変化したときに目的変数がどれだけ動くか」を表す点は共通しています。

説明変数どうしの相関が強いと偏回帰係数の符号や大きさが不安定になる多重共線性(説明変数どうしが強く相関し合い、係数の推定が不安定になる現象)という現象が生じます。想定と逆符号の偏回帰係数が出た場合に、まず疑いたい原因です。

加えて、回帰係数が0かどうかを調べる有意性検定があります。これは、モデル全体の当てはまりを0から1で示す決定係数(回帰モデルがデータにどれだけ当てはまっているかを0から1で示す指標)とともに、回帰分析の結果を評価する指標として回帰係数とセットで扱われます。

3. 関連概念との比較・相違点

相関係数との最大の違いは、値が何に依存するかという点です。相関係数は2変数の関係の強さと向きを-1から1の無単位で表す指標である一方、回帰係数は回帰式の傾きにあたる数値で、説明変数の単位に依存します。説明変数の単位を円から万円に変えるだけで回帰係数の値は変わりますが、相関係数の値は変わりません。ただし、単回帰分析で説明変数と目的変数をどちらも標準化すると、回帰係数の値は相関係数と一致する関係にあります。

決定係数との最大の違いは、評価する対象の範囲です。決定係数は回帰モデル(回帰分析によって作られる予測式)全体の当てはまりの良さを0から1で示す指標であるのに対し、回帰係数は説明変数ごとの影響の大きさと向きを示す個別の数値です。

モデル全体の精度を確認したいときは決定係数を、どの説明変数がどれだけ目的変数に影響しているかを確認したいときは回帰係数を見るという役割分担になります。3つの指標を並べると、次のように整理できます。

指標 何を表すか 値の性質
回帰係数 説明変数ごとの影響の大きさと向き 説明変数の単位に依存して変わる
相関係数 2変数の関係の強さと向き 無単位で-1から1の範囲をとる
決定係数 回帰モデル全体の当てはまりの良さ 0から1の範囲をとる

同じ回帰分析の出力でも、個別の説明変数を見る数値なのかモデル全体を見る数値なのかで役割が分かれる点が、三者を区別する軸になります。

4. ビジネス・実務での活用シナリオ

マーケティング・広告の分野では、広告費と売上高の重回帰分析を使い、テレビ・Web・SNSといった各チャネルの偏回帰係数を比較する場面があります。チャネルごとの偏回帰係数を並べると、他のチャネルの影響を除いたうえでどのチャネルが売上に強く効いているかを切り分けられるため、影響度の大きいチャネルへ予算を重点配分する判断につながります。

不動産の分野では、家賃や物件価格を予測するモデルで、床面積・駅からの距離・築年数それぞれの回帰係数を確認する場面があります。各回帰係数の大きさと符号から、床面積が広いほど価格が上がる、駅から遠いほど価格が下がるといった要因ごとの影響の向きを解釈でき、価格査定の根拠として使われます。

人事・組織開発の分野では、従業員満足度調査の結果を重回帰分析にかけ、給与・上司との関係・裁量権などの標準化回帰係数を比較する場面があります。単位の異なる項目でも標準化回帰係数であれば大小をそのまま比較できるため、満足度への影響が最も大きい要因を特定し、施策の優先順位を決める根拠になります。

5. 要点まとめ

  • 回帰係数は回帰式の傾きを表し、単回帰分析では回帰係数、重回帰分析では偏回帰係数(他の説明変数の影響を除いた個別の効果)と呼び分けます。
  • 回帰係数と切片は最小二乗法で求め、単位のそろわない説明変数間で影響度を比較する場合は標準化回帰係数を用います。
  • 決定係数がモデル全体の当てはまりを示すのに対し、回帰係数は説明変数ごとの影響の大きさと向きを示す指標です。

6. 確認問題

問1単回帰分析における回帰係数は回帰直線の傾きを表し、説明変数が1単位増加したときに目的変数がどれだけ変化するかを示す。

解答・解説をみる

○ 正しい

回帰係数は回帰式において説明変数にかかる係数であり、説明変数の1単位あたりの目的変数の変化量を表します。幾何学的には回帰直線の傾きに相当します。

問2重回帰分析における偏回帰係数は、他の説明変数の影響を除外せず、単純に2変数間の関係だけを表す値である。

解答・解説をみる

× 誤り

正しくは、他の説明変数の値を固定した状態で、一つの説明変数が1単位変化したときの目的変数の変化量を表します。他の説明変数の影響を除外しない値だとする点が誤りです。

問3説明変数の単位が異なる重回帰モデルで各説明変数の影響度の大きさを比較する場合、標準化回帰係数(標準偏回帰係数)を用いると単位の違いを気にせず比較できる。

解答・解説をみる

○ 正しい

説明変数と目的変数を平均0・標準偏差1に標準化してから回帰することで単位がそろい、係数の大小をそのまま影響度の比較に使えます。