AUC (G検定)

AUC

1. 定義と概要

AUC(Area Under the Curve)とは、ROC曲線の下側の面積を1つの数値で表した指標です。値は0から1の範囲を取り、0.5に近いほどランダムな予測と同程度、1.0に近いほど完全な分類性能に近いという目安になります。例えば、2つの分類モデルを比較したとき、AUCが0.9のモデルはAUCが0.6のモデルよりも陽性と陰性を分ける力が高いと判断できます。

面積のもとになるROC曲線は、真陽性率(TPR)を縦軸に、偽陽性率(FPR)を横軸にとったグラフです。判定の境界となる閾値を変えるたびに、この2つの割合の組み合わせも変わります。ここで出てくる3つの用語の意味は、次のように整理できます。

用語 意味
真陽性率(TPR) 実際に陽性であるデータのうち、モデルが正しく陽性と判定できた割合。ROC曲線の縦軸
偽陽性率(FPR) 実際は陰性であるデータのうち、モデルが誤って陽性と判定してしまった割合。ROC曲線の横軸
閾値 予測確率をもとに「正」と判定するかどうかを分ける境界線

閾値を動かすたびに真陽性率と偽陽性率の組み合わせが変わり、その点をつないだものがROC曲線になります。そして、その曲線の下側にできる面積を1つの数値として取り出したものがAUCです。

従来、分類モデルの性能は、正解率のように特定の閾値(多くは0.5)における当たり外れで語られることが多くありました。しかし、閾値の取り方によって評価結果が変わってしまう問題や、正例と負例の件数が偏った不均衡データ(正例と負例の件数に大きな偏りがあるデータ)では正解率が実態以上に高く見えてしまう問題が浮き彫りになっています。

そこで、閾値を1つに固定せず、モデルの判別力そのものを1つの数値に要約するAUCが、モデル比較の指標として広く使われるようになりました。閾値をどこに置くかという運用上の判断と切り離して、モデルそのものの実力を測れることが、指標として選ばれる理由になっています。

2. 試験対策ポイント

分類モデルの予測が完全にランダムな場合、真陽性率と偽陽性率はほぼ同じ比率で並んで動きます。そのためROC曲線は左下から右上への対角線に近い形になり、このときのAUCは0ではなく0.5に近づきます。値が小さいほど性能が低いという直感から0に近づくと考えてしまう取り違えが起こりやすい点です。

AUCがROC曲線の下側の面積として計算されるという対応関係が、この理由を理解する土台になります。対角線より下にできる面積が全体のちょうど半分にあたるため0.5になる、という形で図と数値をつないでおくと取り違えにくくなります。

AUCの値は0から1で表され、0.5がランダムな予測と同程度、1.0が完全な分類という目安になりますが、正解率とは見ている粒度が異なる点です。正解率は既定の1つの閾値における当たり外れしか評価しませんが、AUCはすべての閾値を動かした上でのモデルの判別力を1つの数値にまとめます。そのため、正例と負例の件数に偏りがある不均衡データでも複数モデルを比較しやすいという違いが柱になります。

発展的な注意点として、極端に不均衡なデータでは、ROC曲線が実態より楽観的な形状になりやすい点に注意が必要です。この場合は、陽性と予測したものの中で実際に陽性だった割合を示す適合率と、実際に陽性だったものの中で正しく陽性と予測できた割合を示す再現率の関係を、閾値を動かしながら描いたPR曲線(適合率-再現率曲線)とあわせて確認する考え方もあります。

3. 関連概念との比較・相違点

AUCは、正解率やROC曲線と並べて置くと位置づけがはっきりします。3つを、示すものと評価する閾値の範囲という軸で並べると次のとおりです。

指標 示すもの 評価する閾値の範囲
正解率 特定の1つの閾値で当たった割合 既定では0.5という1点のみ
ROC曲線 真陽性率と偽陽性率の関係を描いたグラフ すべての閾値を曲線の形で表示
AUC ROC曲線の下側の面積という1つの数値 すべての閾値を数値1つに集約

正解率との最大の違いは、この表のとおり評価する対象の粒度にあります。正解率が1点の閾値での当たった割合にとどまるのに対し、AUCはすべての閾値を動かした上での判別力をまとめたものです。この違いは、正例と負例の件数に偏りがある不均衡データで正解率が見かけ上高く出てしまう弱点を補う視点として整理できます。

閾値を変えるたびに正解率を測り直す手間もなく、モデル自体の優劣をひとつの物差しで比較できる点も、正解率にはない強みです。

ROC曲線そのものとの最大の違いは、示すものが曲線という形か数値かという点にあります。曲線がモデルの挙動を目で確認する役割を担うのに対し、AUCは複数モデルの優劣を単一の数値で比較する用途に向いています。複数の候補モデルのROC曲線を並べて眺めるよりも、AUCの数値を並べたほうが優劣を判断しやすいという特徴です。

4. ビジネス・実務での活用シナリオ

金融の与信スコアリング(融資の可否を判断するために、返済能力などを点数化する仕組み)では、複数のモデル候補を比較する場面でAUCが使われています。融資可否を分ける具体的な閾値は事業判断や審査方針によって後から決まるため、閾値を固定する前段階では、AUCのようにモデルそのものの判別力を測れる指標でなければ、候補間の公平な比較になりません。

医療の検査診断では、検査キットや診断モデルが陽性と陰性をどれだけ正確に分けられるかを、AUCを使って評価します。異常を見逃さないことを優先するか誤診を減らすことを優先するかで閾値の取り方は変わるため、閾値の影響を受けにくいAUCで複数の手法を横並びに比較する意義がある点です。

金融機関やネット通販の不正検知では、不正利用が少数派となる不均衡データを扱うことが多く、正解率だけでは改善の効果が見えにくいという難点があります。閾値を固定せずに判別力を測れるAUCを使うことで、モデルの改善が不正な取引と正常な取引を分ける力をどれだけ高めたかを確認できる点です。

5. 要点まとめ

  • AUCはROC曲線の下側の面積を1つの数値に集約した指標で、0.5はランダムな予測と同程度、1.0は完全な分類という目安になります。
  • 正解率が特定の閾値でしか判定できないのに対し、AUCはすべての閾値での判別力を1つの数値にまとめるため、不均衡データでも複数モデルを比較しやすくなる点です。
  • ROC曲線が曲線という形を示すのに対し、AUCはその面積という数値に要約したものという関係にあります。

6. 確認問題

問1AUCはROC曲線の下側の面積を表す指標であり、値が1.0に近いほど分類モデルの判別性能が高いことを示す。

解答・解説をみる

○ 正しい

AUCはROC曲線の下側の面積として定義されるため、値が1.0に近づくほど正例と負例を分ける力が高いモデルであることを示します。0.5はランダムな予測と同程度という目安になります。

問2分類モデルの予測がランダムである場合、AUCの値は0に近づく。

解答・解説をみる

× 誤り

予測がランダムな場合は真陽性率と偽陽性率がほぼ同じ比率で動くため、ROC曲線は対角線に近い形になります。正しくは、この場合のAUCは0ではなく0.5に近づくという内容です。

問3正解率が特定の閾値における予測結果の当たり外れを評価するのに対し、AUCはすべての閾値におけるモデルの判別力を1つの数値に要約した指標である。

解答・解説をみる

○ 正しい

正解率は既定の1つの閾値における当たり外れしか評価しませんが、AUCはすべての閾値を動かした上でのモデルの判別力を1つの数値にまとめます。この粒度の違いが、両者を使い分ける理由になります。