UCB方策 (G検定)

2026年8月12日2026年9月2日

G検定

1. 定義と概要

UCB方策とは、多腕バンディット問題において各行動の平均報酬（期待報酬）に、その行動の不確実性の大きさを表す探索ボーナスを加えた評価値を計算し、評価値が最大となる行動を毎回選択する方策です。多腕バンディット問題とは、複数のスロットマシン（腕）の中から限られた試行回数でもっとも報酬の高い腕を見つけ出す意思決定の問題を指します（総論の詳しい定義は別記事）。

探索ボーナスは選択回数が少ない行動ほど大きく計算され、選択を重ねるほど小さくなっていきます。まだ数回しか試していない選択肢は平均報酬が振るわなくても評価値が押し上げられて選ばれやすくなり、試行回数が十分に増えた選択肢は探索ボーナスがほぼ消えて平均報酬の高さだけで評価されるようになります。

この問題では、すでに報酬が高いとわかっている行動を選び続ける活用と、まだ十分に試していない行動を試す探索とをどう両立させるかが課題になります。探索に偏りすぎると既知の高報酬の行動を取りこぼし、活用に偏りすぎると未知のより良い行動を見逃してしまいます。

この探索と活用のジレンマ（まだ試していない選択肢を試すか、すでに良いとわかっている選択肢を使い続けるかという二者択一の悩ましさ）に対し、UCB方策は不確実性を評価値そのものに組み込みます。ランダムな試行に頼らずに両者のバランスを自動的に調整する方策として整理されています。

2. 試験対策ポイント

UCB方策の評価値は「平均報酬＋探索ボーナス（不確実性）」の合計で決まります。探索ボーナス（不確実性）とは、試した回数が少ない選択肢に対して評価値に上乗せされる下駄のような加点であり、試行回数が少ない行動ほどこの加点が大きくなります。ここでの要点は、この評価値がもっとも大きい行動を選ぶという計算の考え方です。

試験対策として中心的な論点になるのが、ε-greedy方策との対比です。ε-greedy方策とは、一定の確率εでランダムに選択肢を試し、残りの確率でその時点で一番良い選択肢を選ぶ方策です（詳しい仕組みは姉妹記事）。これに対しUCB方策はランダム性を使わず、不確実性を評価値に組み込んで決定論的に行動を選ぶ点が異なります。探索の程度を確率で制御するか、計算式で制御するかという違いにあたります。

誤解しやすい点として、UCB方策は試行回数がもっとも少ない行動を機械的に選ぶわけではありません。平均報酬が低い行動は探索ボーナスが加わっても評価値が低くとどまることがあり、平均報酬と不確実性の両方を合わせて評価する仕組みになっています。

また、選択を重ねるにつれて各行動の探索ボーナスは縮小し、平均報酬の高い行動へ評価値が自然に収束していきます。試行が進むほど活用寄りに移行するというこの振る舞いも、あわせて整理しておきたいところです。

なお、モンテカルロ木探索（ランダムな試行を繰り返して有望な手を絞り込んでいく探索手法。詳しい仕組みは別記事）の選択段階では、UCT（UCB1の考え方を探索木の各分岐点に適用した指標。木探索での使い方は別記事）が使われます。木探索での詳しい適用方法までは別記事に譲るとしても、探索木の各ノードでもUCB方策と同じ発想で評価値が計算される点は、UCB方策の応用範囲として覚えておく価値があります。

3. 関連概念との比較・相違点

ε-greedy方策との最大の違いは、探索の仕組みを確率に頼るか計算式に組み込むかという点にあります。ε-greedy方策は一定の確率でランダムに探索するのに対し、UCB方策は不確実性を評価値に組み込み決定論的に行動を選びます。

ε-greedy方策では運悪く探索が続けて発生したり逆に長く発生しなかったりする振れ幅がありますが、UCB方策では各行動の評価値が試行のたびに更新されるため、探索のタイミングは常に評価値の計算結果として一意に決まります。探索の程度を確率で制御するか計算式で制御するかという違いは、混同しやすい組み合わせです。

貪欲方策（greedy方策。常にその時点で一番良いとわかっている選択肢だけを選び続け、探索を行わない方策）との違いも整理しておく必要があります。貪欲方策は常にその時点で平均報酬がもっとも高い行動だけを選び続け、探索を行いません。これに対しUCB方策は探索ボーナスを通じて試行回数の少ない行動にも評価値を押し上げる機会を与える点で、探索の仕組みを持ちます。

貪欲方策は序盤にたまたま高い報酬を得た行動に固定されてしまう危険がありますが、UCB方策はこの固定化を探索ボーナスによって防ぐ設計になっています。三者を探索の仕組みという軸で並べると、位置づけの違いが見えてきます。

方策	探索の仕組み	行動の選び方
貪欲方策	探索を行わない	その時点で平均報酬がもっとも高い行動だけを選び続ける
ε-greedy方策	確率による探索	一定の確率でランダムに試し、残りの確率で一番良い選択肢を選ぶ
UCB方策	評価値による探索	平均報酬に探索ボーナスを加えた評価値が最大の行動を選ぶ

探索をまったく行わないのか、確率にゆだねるのか、計算式に織り込むのかという並びで押さえておくと、三つの方策を取り違えずに整理できます。

4. ビジネス・実務での活用シナリオ

Web広告配信の現場では、複数の広告クリエイティブを腕に見立て、クリック率の高い広告への配信を集中させながら、まだ十分に配信していない新しい広告にも一定の表示機会を残す運用にUCB方策が使われます。クリック率が高い広告だけに配信を絞ると新しい広告の可能性を検証できなくなりますが、UCB方策であれば機会損失を抑えつつ収益を最大化する配信バランスが取れます。

ECサイトやコンテンツのレコメンドでも、商品やコンテンツの推薦パターンをバンディットの腕として扱う設計が見られます。反応の良いパターンを優先しつつ新しいパターンの効果も検証し続けることで、配信比率を固定するA/Bテストより早く最適な推薦に近づけます。配信比率を事前に固定してしまうA/Bテストと違い、UCB方策は試行の途中で配信比率そのものが評価値に応じて変化していく点に強みがあります。

臨床試験・治験の割り付けにおいても、複数の治療法を腕とみなす考え方が応用されます。効果が高いとわかってきた治療法への割り付けを増やしながら他の治療法の検証も続けることで、被験者への不利益を抑えつつ効果を検証する設計になります。すべての治療法へ均等に割り付ける方法では効果の低い治療法を受け続ける被験者が一定数出てしまうため、探索と活用を両立するUCB方策の考え方が意義を持ちます。