马氏链简介

（ Markov Chain ）

马氏链（ Markov Chain ）是随机过程的一个特例，专门研究无后效条件下时间和状态均为离散的随机转移问题，但在建模过程中采用线性代数的方法，因此，也在线性代数模型中来学习。

马氏链简介

（一 ） 商品的经营问题

某商店每月考察一次经营情况，其结果用销路好或销路坏这两种状况之一表示。已知如果本月销路好，下月仍保持这种状况的概率为 0.

5 ；如果本月销路坏，下月转变为销路好的概率为 0.4 。试分析假若开始时商店处于销路好的状况，那么经过若干月后能保持销路好的概率有多大？若开始时商店处于销路坏的状况呢？

一 正则链（ Regular Chain ）

0 1 2 3 4

1 0.5 0.45 0.445 0.4445 ？

0 0.5 0.55 0.555 0.5555 ？

n

1 分析

1 2

5 5 5( )

10 10 10na n )(

101

1

101

1

10

5 1

n

9

5

9

42 )(na

0 1 2 3 4

0 0.4 0.44 0.444 0.4444 ？

1 0.6 0.56 0.556 0.5556 ？

n

nna

10

4

10

4

10

421 )( )(

101

1

101

1

10

4 1

n

9

4

9

52 )(na

2

1

n

n

X

X 表示销路好；表示销路坏；

210 ,,n

2 符号说明

商店的经营状况是随机的，每月转变一次。建模目标是经过一段时间（若干月）后，经营状况如何，即经营好或经营坏的概率分别为多少？

nX用随机变量 表示第 n 个月的经营状况

nX 称为这个经营系统的状态。

用 nai 表示第 n月处于状态 i 的概率， ,,21i

即 iXPna ni nai 称为状态概率。

ijp 表示已知这月处于状态 i，下月处于状态 j

的概率， ,,, 21ji 即

iXjXPp nnij |1

ijp 称为状态转移概率。状态及转移情况见图。

0.5

0.4

0.5 0.61 2

3 建模

2121111 1 pnapnana

2221212 1 pnapnana

2221

ijpPnanana ,,令

2221

12112121 11

pp

ppnananana ,,

Pnana 1 P 概率转移矩阵

Pnana 1 21 Pna 10 nPa

nPana 04 求解

P 特征值为 1 ， 1/10

1010

01

/D

11

1 45

Q

94

94

95

94

1Q

94

94

95

94

101

45

1

0

01

11

1

n

QQDP nn

6040

5050

..

..P

当 n

95

94

95

94

nP

95

94

95

94

2121 00 )()()()( aanana

)()()( 0100 21 aa )()()(9

5

9

421 nana

)()()( 1000 21 aa )()()(9

5

9

421 nana

5 结论

不论初始状态如何，经过相当长的时间后

经营状态趋于稳定的概率。

注意到

经营系统在每个时期所处的状态是随机的，但从这个时期到下个时期的状态按照一定的概率进行转移，并且下个时期的状态只取决于这个时期的状态和转移概率，与以前各个时期的状态无关。

这种性质称为无后效性，或马尔可夫（ Markov ）性，即已知现在，将来与历史无关。

具有无后效性的，时间、状态均为离散的随机转移过程，通常用马氏链（ Markov Chain ）模型描述。

马氏链模型在经济、社会、生态、遗传等许多领域有广泛应用，不仅可以解决随机转移过程，还可以处理一些确定性系统的状态转移问题。

P ，当它的所有分量是非负，一般地，一个行向量

且行和为 1 ，称此向量为概率向量。

每行都为概率向量的矩阵，称为概率转移矩阵。

可证明

若 A,B 为概率转移矩阵，则 AB 也为概率转移矩阵。若 P 为概率转移矩阵，则 Pn 也为概率转移矩阵。

6040

5050

..

..P

证明 若 A,B 为概率转移矩阵，

),,,,,, nibbaa ij

n

jijij

n

jij 21( 0 1 0 1

11

而 AB=C 的第 i 行，第 j 列元素为

),,,,, njibababac njinjijiij 21( 2211

显然， 0ijc

),,,),( nibababac n

jnjinjiji

n

jij 21(

12211

1

),,,),( nibababac n

jnjinjiji

n

jij 21(

12211

1

n

j

n

jnjin

n

jjiji bababa

1 112211

111 21 inii aaa 1

定义 1 一个有

k 个状态的马氏链如果存在正整数 N

使从任意状态 i经过 N 次转移都以大于零的概率到达状态 kjij ,,,, 21 ，则称为正则链正则链。

定理 1 若马氏链的转移矩阵为 P，则它是正则链的充要条件是，存在正整数 N使 0NP （指 NP 的每一元素大于零）。

特点：从任意状态出发经过有限次转移都能到达另外的任意状态。

（用这个定理检验一个马氏链是否为正则链。）

定理 2

w由

k

iiwwwP

1

1 ,

n

nP

lim 存在，记作 P

P 的每一行都是稳态概率 w

如果记 }{ ijpP 那么，有 iij wp

,,,, kwwww 21

使得当 n 时状态概率 wwna ,概率 0a 无关。

正则链存在唯一的极限状态概率

与初始状态

nPana 0由

又称为稳态概率。 Pnana 1

上例中 ),(9

5

9

4w

9

5

9

49

5

9

4

P

从状态 i 出发经 n次转移，第一次到达状态 j 的概率称为 i 到 j 的首达概率，记作 nfij ，于是

1n

ijij nnf

为由状态 i 第一次到达状态 j 的平均转移次数。

特别地， ij 是状态 i 首次返回的平均转移次数。wij 与稳态概率 有密切关系，即

定理 3 对于正则链 iij w/1

（二 ） 信息传播问题

一条消息在 ,,,, naaa 21 等人中传播，传播

的方式是 1a 传给 ,2a 2a 传给 ,3a

如此继续下去，每次传播都是由 ia 传给 ,1ia

每次传播消息的失真率为 ,, 10 pp

即 ia 将消息传给 ,1ia 时，传错的概率为 p

这样经过长时间传播第 n 个人得知消息时，消息

的真实程度如何？

第 n 个人知道消息可能是真，也可能是假，有两种状态，记为

2

1

n

n

X

X 表示消息假；表示消息真；

210 ,,n

用 nai 表示第 n个人处于状态 i 的概率， ,,21i

),()( nanana 21即状态概率为

由题意，状态转移概率矩阵为

pp

ppP

1

1

bb

aaP

1

1

,10 p由

P 为正则矩阵。

nPana 0 求 w=?

令

pp

ppP

1

1

设 ),( 21 www

k

iiwwPw

1

1

bb

aawwwPw

1

121 ),(

))(,)(( 2121 11 wbawbwwa

1

1

1

21

212

211

ww

wbaww

bwwaw

)(

)(

得 ),(ba

a

ba

bw

),(

2

1

2

1w

2121

2121

//

//nP )/,/( 2121na

结论

长时间传播消息的真实性趋于稳定，且消

息的真假概率各半。

例 1 中

52152

21211

//

//P

)/()/(

/

5221

521

ba

bw

9

4

9

52 w