马尔可夫过程

一类随机过程
收藏
0有用+1
0
同义词马尔科夫过程(马尔科夫过程)一般指马尔可夫过程
马尔可夫过程(Markov process)是一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年提出。
马尔可夫过程是研究离散事件动态系统状态空间的重要方法,它的数学基础是随机过程理论 [1]
中文名
马尔可夫过程
外文名
Markov process
实    质
随机过程
提出时间
1907年
数学基础
随机过程理论
学    科
数学

概念

播报
编辑
1.马尔可夫性:设
为一随机过程,E为其状态空间,若对任意的
,任意的
,随机变量X(t)在已知变量
之下的条件分布函数只与
有格笑担关柜旬判,而与
无关,即条件分布函数满足等式
此性质称为马尔可夫性,亦称无后嘱尝效性或无记忆性。 [2]
X(t整设棵)船射钻婚为离散型随机变量,则马尔可夫性亦满足等式
2炼套婆.马尔可夫过程的数学定脚兵炼义
若随机过程
满足马尔可夫性,则称为谜柜马尔可夫过程。 [3]

简述

播报
编辑
在马尔可夫性的定义中,"现在"是指固定的时刻,但实际问题中常需把马尔可夫性中的“现在”这个时刻概念推广为停时(见随机过程)。例如考察从圆心出发的平面上的布朗运动,如果要研究首次到达圆周的时刻 τ以前的事件和以后的事件的条件独立性,这里τ为停时,并且认为τ是“现在”。如果把“现在”推广为停时情形的“现在”,在已知“现在”的条件下,“将来”与“过去”无关,这种特性就叫强马尔可夫性。具有这种性质的马尔可夫过程叫强马尔可夫过程。在相当一段时间内,不少人认为马尔可夫过程必然是强马尔可夫过程。首次提出对强马尔可夫性需要严格证明的是J.L.杜布。直到1956年,才有人找到马尔可夫过程不是强马尔可夫过程的例子。马尔可夫过程理论的进一步发展表明,强马尔可夫过程才是马尔可夫过程真正研究的对象。

历史

播报
编辑
1951年前后,伊藤清建立的随机微分方程的理论,为马尔可夫过程的研究开辟了新的道路。1954年前后,W.费勒将半群方法引入马尔可夫过程的研究。流形上的马尔可夫过程、马尔可夫向量场等都是正待深入研究的领域。
一类重要的随机过程,它的原始模型马尔可夫链,由俄国数学家Α.Α.马尔可夫于1907年提出。人们在实际中常遇到具有下述特性的随机过程:在已知它所处的状态的条件下,它未来的演变不依赖于它以往的演变。这种已知“现在”的条件下,“将来”与“过去”独立的特性称为马尔可夫性,具有这种性质的随机过程叫做马尔可夫过程。荷花池中一只青蛙的跳跃是马尔可夫过程的一个形象化的例子。青蛙依照它瞬间或起的念头从一片荷叶上跳到另一片荷叶上,因为青蛙是没有记忆的,当所处的位置已知时,它下一步跳往何处和它以往走过的路径无关。如果将荷叶编号并用X0,X1,X2,…分别表示青蛙最初处的荷叶号码及第一次、第二次、……跳跃后所处的荷叶号码,那么{Xn,n≥0} 就是马尔可夫过程。液体中微粒所作的布朗运动,传染病受感染的人数,原子核中一自由电子在电子层中的跳跃,人口增长过程等等都可视为马尔可夫过程。还有些过程(例如某些遗传过程)在一定条件下可以用马尔可夫过程来近似。
关于马尔可夫过程的理论研究,1931年Α.Η.柯尔莫哥洛夫发表了《概率论的解析方法》,首先将微分方程等分析方法用于这类过程,奠定了它的理论基础。1951年前后,伊藤清在P.莱维和C.H.伯恩斯坦等人工作的基础上,建立了随机微分方程的理论,为研究马尔可夫过程开辟了新的道路。1954年前后,W.弗勒将泛函分析中的半群方法引入马尔可夫过程的研究中,Ε.Б.登金(又译邓肯)等并赋予它概率意义(如特征算子等)。50年代初,角谷静夫和J.L.杜布等发现了布朗运动偏微分方程论狄利克雷问题的关系,后来G.A.亨特研究了相当一般的马尔可夫过程(亨特过程)与位势的关系。流形上的马尔可夫过程、马尔可夫场等都是正待深入研究的领域。

常见马尔可夫过程

播报
编辑
(1)独立随机过程为马尔可夫过程。
(2)独立增量过程为马尔可夫过程:设{X(t),t∈[0,+∞)}为一独立增量过程,且有P(X(0)=x0)=1,x0为常数,则X(t)为马尔可夫过程。
(3)泊松过程为马尔可夫过程。
(4)维纳过程为马尔可夫过程。
(5)质点随机游动过程为马尔可夫过程。 [3]