マルコフ過程

はマルコフ性をもつ確率過程である。すなわち、未来の状態が過去の状態履歴に影響されない確率過程であるp.74 より引用。。

概要 右|200x200ピクセル|thumb|2状態のマルコフ過程 マルコフ過程はマルコフ性をもつ確率過程、すなわち、未来の状態が過去の履歴に影響されない確率過程である（⇒ #定義）。

例えば「旅人の移動」でマルコフ過程は説明できる。気分屋の旅人が現在東京駅 におり、 の確率で横浜駅 、 の確率で鎌倉駅 へ移動する。この確率が旅行履歴に影響されない場合、これはマルコフ過程である。旅人が「鎌倉 には昔行った、次は他に行きたい」と感じ に変化する場合、これはマルコフ過程でない。すなわち であり、未来が過去に影響されている。なお、現在には影響されてもなおマルコフ過程である。つまり「今鎌倉駅なので留まるより他に行きたい」と感じ でも問題無い。

マルコフ過程は、例えば、確率的にしか記述できない物理現象の時間発展の様子に見られる。なぜなら、粒子の将来の挙動は現在の挙動によってのみ決定されるが、この性質は系の粒子数が多くなり確率論的な解析を必要とする状態にも引き継がれるからである。

マルコフ過程は様々な側面から分類できる（⇒ #分類）。

定義

口語的定義 確率過程がマルコフ性を持つとき、その確率過程はマルコフ過程である。

確率論的定義 を状態空間、 を添字集合、 を に値をとる確率過程とする。 が次の条件、

は全順序集合である

を満たすとき、 はマルコフ過程である。

性質

推移確率

通常現れるマルコフ過程の分布は推移確率によって決定できる。マルコフ過程 Xt の推移確率とは時刻 s に状態空間の点 x を出発して、時刻 t > s に状態空間の(可測)部分集合 Y に入る確率 P(s, t; x, Y) のことであり、

で定義される。離散時間マルコフ過程の場合は t = s + 1 の場合の推移確率のみで十分であり、他の期間の推移確率はチャップマン＝コルモゴロフ方程式により計算できる。時間的に一様な場合は、s = 0 の場合だけで十分であり、他の時刻の推移確率は P(s, t; x, Y) = P(0, t - s; x, Y) で計算できる。

さらに離散マルコフ過程の場合は Y のかわりに状態空間の一点 y を用いれば十分であり、その場合は推移確率は行列となる。

歴史

マルコフ過程には長い歴史がある。

マルコフ過程はロシア人数学者のアンドレイ・マルコフにちなんで命名されている。

応用

マルコフ過程は様々な分野で応用されている。

分類 マルコフ過程は以下のような分類がある。

ただ 1 つの状態から次に起こる事象が決定されるマルコフ過程。単にマルコフ過程という場合は、単純マルコフ過程を指す場合が多い。 N 階マルコフ過程 連続する N 個の状態系列から次に起こる事象が決定されるマルコフ過程。どんな N 階マルコフ過程も、N 個の状態組を新たな状態空間とすることによって、単純マルコフ過程（1 階マルコフ過程）として表現することができる。N 重マルコフ過程ともいう。 上とは逆に T = [0, ∞) 等を時刻の集合とするマルコフ過程。マルコフ性をもつ連続時間確率過程とも定義できる。 離散マルコフ過程 / マルコフ連鎖 マルコフ過程の状態空間が離散集合であるマルコフ過程。ここで、状態空間とはマルコフ過程が値を取る空間のことである。 連続マルコフ過程 連続時間マルコフ過程の軌跡が時間に関して連続であるときにいう。 時間的に一様なマルコフ過程 推移確率が現在時刻によらずに一定であるようなマルコフ過程。

離散時間マルコフ過程 は添字集合が高々可算集合なマルコフ過程である。マルコフ性をもつ離散時間確率過程ともいえる。

マルコフ過程 は全順序集合 で添字付けられている（⇒ #定義）。この集合 が高々可算であるとき、 は離散時間マルコフ過程である。離散時間マルコフ過程では項の数が自然数 以下であるため、 のように、確率変数のあいだが飛び飛び・離散的になる。

確率変数のあいだが離散的であるため、離散時間マルコフ過程では状態遷移が段階的/ステップ状になる。 が最小の遷移であり「1-段階」「単一段階」「1-ステップ」といった表現をされる。

離散時間とマルコフ性より、状態 から へ 1 ステップで遷移する確率は と時刻 にのみ依存し、 で表現される。

脚注

注釈

出典

参考文献

関連項目 確率過程 マルコフ過程 マルコフ連鎖 マルコフ再生過程 マルコフ性 チャップマン＝コルモゴロフ方程式 隠れマルコフモデル マルコフ決定過程 マルコフ連鎖モンテカルロ法