マルコフ性 (G検定)

1. 定義と概要

マルコフ性とは、ある確率過程（時間とともにランダムに変化していく現象の動きを数式で表したもの）において、状態遷移確率（ある状態から別の状態へ移る確率のこと）が現在の状態のみに依存し、それ以前の過去の履歴には依存しないという性質です。無記憶性（過去を覚えていなくても、今の状態さえ分かれば先の予測に困らない性質）とも呼ばれます。

たとえば、すごろくで次に止まるマスは、今いるマスとサイコロの目だけで決まり、これまで通ってきたマスの経路には左右されません。天気の遷移を単純化して扱う場合も、明日の天気を今日の天気だけから推定するモデルは、この性質を仮定しています。状態そのものにそれまでの経緯が反映されていれば、過去を遡らなくても先の展開を確率的に見積もれるという考え方です。

従来、次に何が起こるかを厳密に予測するには、それまでの全履歴を保持したうえで条件付き確率（ある条件がそろっているという前提のもとで、ある出来事が起こる確率のこと）を計算する必要がありました。履歴が長くなるほど、扱う情報量が膨大になるという課題もありました。

マルコフ性を仮定すると、現在の状態さえ適切に定義できていれば、過去の長い経路を持ち歩かなくても次の状態を予測できるとみなせるため、確率モデルの定式化が大きく単純化されます。この単純化の恩恵が、時系列モデルや強化学習の枠組みが広く使われている背景にあります。数式の上でも、状態の数だけを扱えばよくなるため、計算量や必要なデータ量を抑えられるという利点につながっています。

2. 試験対策ポイント

マルコフ性の定義そのもの、つまり次の状態への遷移確率が現在の状態のみに依存し、過去の履歴には依存しないという内容は、まず整理しておきたいところです。

この性質を満たす確率過程はマルコフ過程（マルコフ性を満たす、確率的に変化していく仕組み全般を指す言葉）と呼ばれ、そのうち状態が離散的な場合は、特にマルコフ連鎖（状態が飛び飛びの区切りで進む、マルコフ過程の一種）と呼ばれます。マルコフ過程が上位概念で、マルコフ連鎖がその一種にあたるという用語の階層関係は、混同しやすい組み合わせです。

強化学習の定式化であるマルコフ決定過程（MDP）とは、このマルコフ性を前提として、状態遷移に行動と報酬の要素を加えた数理モデルのことです。マルコフ性が確率過程そのものの前提となる性質であり、MDPはその上に行動と報酬を組み込んだモデルであるという関係にあります。MDP自体の状態遷移確率や報酬の定式化といった詳しい内容は、別の関連テーマとして扱われます。

現実のデータは厳密にはマルコフ性を満たさないことが多く、状態の定義の仕方（直近の情報を状態に含めるなど）によって近似的にマルコフ性が成り立つとみなす場合があります。この前提の限界も、試験では論点になります。実務でモデルを設計する際にも、どこまでの情報を状態に持たせるかという判断が、予測の精度を左右する要素になります。

3. 関連概念との比較・相違点

マルコフ決定過程（MDP）との最大の違いは、マルコフ性が確率過程そのものが持つ「性質」であるのに対し、MDPはその性質を前提として行動と報酬の概念を組み込んだ「数理モデル」である点にあります。マルコフ性は現在の状態だけで次の状態が決まるという条件そのものを指す言葉で、MDPはその条件の上に、どの行動を選ぶとどれだけの報酬が得られるかという要素を積み重ねた枠組みです。

状態遷移確率や報酬の設計といったMDPの具体的な定式化は別の関連テーマとして扱われますが、マルコフ性が土台となる性質であり、MDPはその性質の上に築かれたモデルであるという関係は、両者の位置づけを整理するうえでの軸になります。性質と数理モデルという抽象度の違いを取り違えると、選択肢の判断を誤りやすくなります。

隠れマルコフモデル（HMM）とは、本当の状態は直接見えず、観測できるデータだけからその状態を推測する仕組みのことです。マルコフ性との違いは、状態そのものを直接観測できるかどうかという点にあります。

マルコフ性は状態遷移そのものが持つ性質を指すのに対し、HMMは背後にある状態を直接観測できず、観測データからのみ状態を推定する仕組みである点が異なります。マルコフ性を前提とする点はMDPと共通していますが、状態が見えているか見えていないかという観測条件の違いによって、扱う数理モデルの種類が分かれます。

3つの用語が性質と数理モデルのどちらにあたるのかを並べると、位置づけの違いがはっきりします。

用語	性質か数理モデルか	押さえどころ
マルコフ性	確率過程そのものが持つ性質	現在の状態だけで次の状態が決まるという条件そのもの
マルコフ決定過程（MDP）	数理モデル	マルコフ性を前提に行動と報酬の要素を積み重ねた枠組み
隠れマルコフモデル（HMM）	数理モデル	状態を直接観測できず、観測データから状態を推定する仕組み

抽象度の異なる用語が名称のうえでは並んで見えるため、性質を問われているのか、モデルを問われているのかを見分ける視点が役に立ちます。

4. ビジネス・実務での活用シナリオ

自然言語処理（人間の言葉をコンピュータに処理させる技術分野）の領域では、スマートフォンの予測変換や、n-gram（直前のいくつかの単語だけから次の単語を予測する、昔ながらの言語モデルの手法）と呼ばれる古典的な言語モデルが使われています。これらでは、直前の1語や数語だけから次の単語の出現確率を推定する設計にマルコフ性の考え方が使われています。長い文脈をすべて保持しなくても、直近の情報だけを手がかりに次の単語を絞り込める設計です。

天気予報や需要予測の分野では、今日の状態だけから明日の状態を確率的に推定する単純化されたモデルが使われています。この設計では、長期の履歴データをすべて持たなくても運用できるという利点があり、扱うデータの規模を抑えながら予測の仕組みを組み立てられます。

ロボット制御やゲームAIの分野では、現在のセンサー情報や盤面の状態だけを見て次の行動を決定する設計が採用されています。この設計は、マルコフ決定過程を前提にした強化学習の枠組みで実装されており、状況が刻々と変わる環境でも、そのつど現在の状態だけをもとに次の一手を決められるという特徴があります。

5. 要点まとめ

• マルコフ性は、次の状態への遷移確率が現在の状態のみに依存し、過去の履歴に依存しない性質で、無記憶性とも呼ばれます。
• この性質を満たす確率過程はマルコフ過程と呼ばれ、状態が離散的な場合はマルコフ連鎖と呼ばれます。これは用語の階層関係として整理されます。
• 強化学習のマルコフ決定過程（MDP）はマルコフ性を前提に行動・報酬を加えたモデルであり、隠れマルコフモデル（HMM）は状態が観測できない点で異なります。

6. 確認問題