ロジスティック層 (G検定)

ロジスティック層

1. 定義と概要

ロジスティック層とは、分類問題を解くニューラルネットワークの出力層(ネットワークの最後に置かれ、最終的な予測結果を出す層)のうち、入力を確率として出力する層です。その仕組みはロジスティック回帰(複数の入力からある事象が起こる確率を計算する統計的な手法)の考え方にもとづいています。

2つのクラスのどちらかを判定する問題ではシグモイド関数(入力をなめらかに0〜1の範囲の値に変換する関数)を出力層に置きます。3つ以上のクラスに振り分ける問題ではソフトマックス関数(複数の選択肢それぞれの確率を計算し、合計がちょうど1になるように変換する関数)を置くのが基本の使い分けです。

積層オートエンコーダ(情報を圧縮して復元する仕組みを何層も重ねたネットワーク)や深層信念ネットワーク(DBN)の最終層に追加され、教師ありデータ(正解ラベルが付いたデータ)での仕上げの学習に使われる代表例にあたります。深層信念ネットワーク(DBN)は、教師なし学習(正解ラベルのないデータから特徴やパターンを学ぶ学習方法)を土台にして構成されるネットワークです。

従来のニューラルネットワークは、層を深く重ねるほど勾配消失(誤差の情報が層をさかのぼるうちに小さくなり、重みをうまく更新できなくなる現象)が起こりやすく、学習そのものが難しくなる課題を抱えていました。そこで積層オートエンコーダやDBNでは、各層を正解ラベルのないデータで1層ずつ事前学習(あらかじめネットワークの重みをおおまかに整えておく学習)し、特徴表現を整えます。

そのうえで最後にロジスティック層を追加し、正解ラベル付きのデータでネットワーク全体を仕上げるファインチューニング(事前学習した重みをもとに、ネットワーク全体を仕上げに調整する学習)を行う、という2段階の学習手法が広く用いられてきました。現在は全層を同時に学習する手法が主流になっていますが、事前学習とファインチューニングという考え方の土台として整理しておきたい構成です。

2. 試験対策ポイント

ロジスティック層はシグモイド関数とソフトマックス関数のどちらを使うかで役割が変わる、という使い分けが柱になります。

分類するクラス数 出力層に置く関数
2クラス分類(出力を1つの確率値として扱う) シグモイド関数
多クラス分類(各クラスの確率の合計が1になる) ソフトマックス関数

この対応関係を取り違えると、出力の解釈そのものがずれてしまいます。

積層オートエンコーダの学習は、各層を教師なしデータで逐次学習して特徴表現を獲得する事前学習と、教師ありデータでネットワーク全体を微調整するファインチューニングという2段階の流れをとります。ロジスティック層は、この2段階の境目にあたる位置で出力層として追加されます。

深層信念ネットワーク(DBN)も制限付きボルツマンマシン(RBM)を積み重ねたうえで、ソフトマックス関数などを使った出力層を加える構成をとり、積層オートエンコーダと並べて事前学習型の代表例として理解したいところです。制限付きボルツマンマシン(RBM)は、確率的にデータの特徴を学習する、DBNを構成するシンプルなネットワークです。

現在は層ごとの事前学習を経ずに全層を同時に学習する手法が主流になっており、積層オートエンコーダ自体は歴史的な位置づけとして扱われる点も混同しやすいところです。一方で、教師なし学習の上に、教師あり学習(正解ラベルが付いたデータを使って学習する方法)のための出力層を重ねるという構成そのものは、ロジスティック層の役割を理解するうえでの基礎になっています。

3. 関連概念との比較・相違点

線形回帰層(入力をそのまま連続的な数値として出力する層)との最大の違いは、回帰か分類かという解く問題の種類にあります。線形回帰層は住宅価格や気温のような連続的な数値をそのまま出力するのに対し、ロジスティック層はシグモイド関数やソフトマックス関数を通して0〜1の確率に変換してから出力します。

両者はどちらも出力層の一種ですが、扱うタスクの性質によって使い分けられる、対になる存在です。線形回帰層そのものの仕組みは別のテーマとして扱われるので、ここでは分類・確率を出す側としての違いに絞って整理します。

深層信念ネットワーク(DBN)の出力層との違いは、事前学習に使う構成要素にあります。積層オートエンコーダは情報を圧縮して復元する仕組みであるオートエンコーダを積み重ねるのに対し、DBNは制限付きボルツマンマシン(RBM)を積み重ねます。

どちらも教師なしの事前学習を終えたあとに、教師あり学習用の出力層としてロジスティック層を追加する構成をとる点は共通しており、事前学習とファインチューニングという学習の枠組みが同じ形で受け継がれている関係にあります。

4. ビジネス・実務での活用シナリオ

医療画像診断の現場では、腫瘍画像を良性・悪性の2クラスに分類するモデルの出力層に、シグモイド関数を用いたロジスティック層を配置する例があります。判定結果を0か1かの二択で終わらせず、悪性である確率を数値として提示できるため、医師が確信の度合いを踏まえて次の検査や治療方針を検討する材料です。

金融機関の与信審査でも、融資審査のスコアリングモデルの出力層にロジスティック層が使われています。返済不能になる確率を算出することで、承認・否決の二択だけでなくリスクの度合いに応じた金利設定や融資額の調整といった、きめ細かな判断の参考値になるためです。

自然言語処理(人間が日常的に使う言葉をコンピュータに処理させる技術分野)の分野では、問い合わせメールを複数のカテゴリに振り分けるモデルの出力層にも、ソフトマックス関数を用いたロジスティック層が置かれます。各カテゴリに属する確率が一度に得られるため、最も確率の高いカテゴリへ自動的に振り分けたり、確率が僅差のケースだけ担当者の確認に回したりといった運用が可能になります。

5. 要点まとめ

  • ロジスティック層は分類問題の出力層で、ロジスティック回帰の考え方にもとづきシグモイド関数(2値)やソフトマックス関数(多値)で確率を出力します。
  • 積層オートエンコーダやDBNでは、教師なしの事前学習で得た特徴表現の上にロジスティック層を追加し、教師ありデータでファインチューニングする2段階の流れをとります。
  • 線形回帰層が連続値をそのまま出力するのに対し、ロジスティック層は0〜1の確率に変換して出力するという違いがあります。

6. 確認問題

問1ロジスティック層は、分類問題においてシグモイド関数やソフトマックス関数を用いて入力を確率として出力する層である。

解答・解説をみる

○ 正しい

ロジスティック層はロジスティック回帰の考え方にもとづき、2クラス分類ではシグモイド関数、多クラス分類ではソフトマックス関数を用いて0〜1の確率を出力します。どちらの関数を使うかは分類するクラス数によって決まります。

問2積層オートエンコーダでは、各層を教師なしデータで事前学習したあとにロジスティック層を追加し、教師ありデータでネットワーク全体を微調整(ファインチューニング)する。

解答・解説をみる

○ 正しい

積層オートエンコーダは事前学習で特徴表現を整えたのち、最終層にロジスティック層を加えて教師ありデータでファインチューニングを行う2段階の構成をとります。DBNも同じ枠組みで理解できます。

問3ロジスティック層は連続的な数値をそのまま出力するため、住宅価格の予測のような回帰問題の出力層として用いられる。

解答・解説をみる

× 誤り

正しくはロジスティック層は分類問題の出力層で、0〜1の確率を出力します。連続値をそのまま出力する回帰問題の出力層は線形回帰層にあたり、回帰と分類を取り違えた記述です。