局所結合 (G検定)

局所結合

1. 定義と概要

局所結合とは、前の層の一部だけとつながる結合のしかたを指す言葉で、正式には局所結合構造(local connectivity)と呼びます。ある層の各ニューロンが、前の層のすべてのユニットではなく、空間的に近接した一部の領域のニューロンとだけ結合する結合方式のことです。

画像認識などに使われるCNN(畳み込みニューラルネットワーク。局所結合を基本原理とするニューラルネットワークの一種)では、この考え方にもとづいて畳み込み層(局所結合の原理を土台に、フィルタを使って特徴を抽出する層)が設計されています。畳み込み層で使われるフィルタ(カーネル。局所結合した領域に対応する重みの小さな組み合わせ)は、この一部領域に対応する重みの集まりとして機能します。

従来型の全結合型ニューラルネットワークでは、前後の層のあいだをすべて結ぶ全結合層(前の層のすべてのユニットと次の層のすべてのユニットをつなぐ層)を重ねる構成をとります。画像のような高次元の入力を扱うと、この構成ではパラメータ数(モデルが学習して覚える重みやバイアスの総数)が膨大になり、学習コストがふくらみます。あわせて、過学習(訓練データに適合しすぎて、未知のデータへの精度が落ちる現象)のリスクが増すという課題もありました。

CNNは、画像の中で近い画素どうしほど関連が強く、離れた画素どうしの関連は薄いという性質に着目しています。各ニューロンを入力の一部領域だけに結合させる局所結合を採用することで、この課題に対処する設計です。局所結合によって1つのニューロンが結合する入力側の空間的な範囲を、受容野(1つのニューロンが結合する入力側の範囲)と呼びます。

2. 試験対策ポイント

まず整理したいのは、局所結合がCNNの畳み込み層を成り立たせる基本設計原理の一つであるという位置づけです。各ニューロンが入力全体ではなく一部の領域(受容野)だけを見る仕組みで、全結合層との対比がここでの中心的な論点になります。

局所結合を採用する動機は、パラメータ数の削減にあります。全結合層ではニューロンの数に比例して結合数が膨大になりますが、局所結合では各ニューロンが結合する範囲をフィルタサイズという一定の大きさに限定するため、結合数を抑えられます。あわせてモデルの軽量化と過学習の抑制にもつながる関係にあります。

局所結合と重み共有は、別々の工夫として整理しておきたい組み合わせです。局所結合は「どの範囲とつながるか」という結合の範囲を絞る工夫で、重み共有(同じ重みを画像のどの場所にも使い回すこと)は「絞った範囲の重みを画像全体で使い回すか」という、重みの運用にあたる工夫です。この2つを組み合わせることで、畳み込み層のパラメータ数はさらに小さくなります。

受容野という用語も、あわせて見ておきたい語です。局所結合によって1つのニューロンが結合する入力側の範囲を指し、フィルタサイズと同義で扱われます。受容野が広いほど、1つのニューロンが捉える入力の範囲は広くなります。

3. 関連概念との比較・相違点

全結合層との最大の違いは、結合範囲とパラメータ数にあります。観点ごとに並べると、次のように整理できます。

観点 全結合層 局所結合
結合の範囲 前層のすべてのユニットと結合する 前層の一部の領域とだけ結合する
結合数 ユニット数に比例して増えていく フィルタサイズの範囲に抑えられる
入力が大きくなったとき 解像度が上がるほど結合数が増える フィルタサイズを変えない限り1つのニューロンあたりの結合数は一定
過学習 しやすい傾向がある 抑えやすい

結合数が少ないほど学習すべき重みの数も減ります。そのため局所結合を採用した畳み込み層は、同じ規模の全結合層より効率よく学習を進められるという特徴があります。

重み共有との違いは、工夫の対象にあります。局所結合は結合の範囲を絞る工夫であるのに対し、重み共有は絞った範囲の重みを画像全体の各位置で使い回す工夫です。畳み込み層は、この2つを組み合わせて初めて成り立つ仕組みといえます。局所結合だけでは領域ごとに異なる重みを持つことも可能なので、混同しないよう切り分けておきたい組み合わせです。

4. ビジネス・実務での活用シナリオ

製造業の外観検査では、計算資源が限られるカメラ内蔵デバイスで動かす検査モデルに、局所結合を土台にしたCNNが採用されています。全結合型のモデルに比べて少ないパラメータ数で、傷や異物といった局所的な特徴を検出できるため、デバイス単体でリアルタイムに近い検査を成り立たせる土台になっています。

医療画像診断の分野では、学習データの数が限られる状況が少なくありません。局所結合によってパラメータ数を抑えたCNNを使うことで、過学習を避けながら病変らしき局所パターンを検出する取り組みが進められています。データが乏しい領域ほど、パラメータ数を抑える設計の恩恵が大きくなる関係にあります。

モバイルアプリの画像認識でも、局所結合を採用した軽量なCNNモデルが組み込まれています。スマートフォンのメモリと計算資源には限りがあるため、結合数を抑えた設計でなければ、端末上での推論(学習済みモデルを使って答えを出す処理)を現実的な速度で動かすことは難しくなります。

5. 要点まとめ

  • 局所結合とは、前の層の一部(近傍)のニューロンとだけ結合する結合のしかたで、CNNの畳み込み層を成り立たせる基本設計原理にあたります。
  • 全結合層と比べて結合数(パラメータ数)を大幅に抑えられ、過学習のリスクを低減しやすいという特徴があります。
  • 局所結合(結合範囲を絞る工夫)と重み共有(絞った範囲の重みを使い回す工夫)は別々の工夫で、両方を組み合わせることで畳み込み層のパラメータ数はさらに小さくなります。

6. 確認問題

問1局所結合とは、ある層の各ニューロンが前の層の一部の(近傍の)ニューロンとだけ結合する結合のしかたを指す。

解答・解説をみる

○ 正しい

局所結合の基本的な定義そのものであり、前層のすべてのユニットと結合する全結合層とは対になる考え方にあたります。CNNの畳み込み層は、この局所結合の原理にもとづいて設計されています。

問2局所結合は、全結合層と比較して結合数(パラメータ数)を抑えられるため、過学習を抑えやすいという特徴がある。

解答・解説をみる

○ 正しい

局所結合はニューロンが結合する範囲を一部領域に限定するため、全結合層に比べて結合数が少なくなります。その結果、過学習のリスクを低減しやすくなります。

問3局所結合と重み共有は同じ工夫を指す用語であり、局所結合を採用すれば自動的に画像全体で同じ重みが使い回される。

解答・解説をみる

× 誤り

正しくは、局所結合は結合の範囲を絞る工夫、重み共有は絞った範囲の重みを画像全体で使い回す工夫であり、別々の仕組みです。局所結合だけでは領域ごとに別々の重みを持ち得て、重み共有を組み合わせて初めて画像全体で重みが使い回されます。