第十一章马尔可夫链

关键词：马尔可夫性时齐马尔可夫链 n 步转移概率 C-K 方程马氏链的有限维分布律常返暂留正常返零常返

互达周期不可约平稳分布

第十一章马尔可夫链

1 马尔可夫链的定义§

8 1 3 4

8 4

.( )

, 1

1 1 .

0

{ 4 | 1, 1, 2}

{ 4 | 2},

n

p

q p

S n

P S S S S

P S S

例1

甲乙两人游戏每一局甲赢元的概率为，输元的概率为假设一开始甲带了元钱。令表示局后甲所拥有的钱数。

计算

和它们是

随机游动

否相等？

浙江大学随机过程 3

8 1 3 4

8 4 1 3 4

{ 4 | 1, 1, 2}

{ 2 | 1, 1, 2}

P S S S S

P S S S S S

解：

8 4{ 2}P S S 34p q

8 4

8 4 4

{ 4 | 2}

{ 2 | 2}

P S S

P S S S

34p q8 4{ 2}P S S

8 1 3 4 8 4{ 4 | 1, 1, 2} { 4 | 2}P S S S S P S S


1 0 1

1

0

0 1 1,

1

0 1 1

{ | ,..., , }

{

1, ...

, ,.

}

.

|

. , ,

k k k

k k

n n n k n

k

n

k

n

k n n n

P S j S i S i S i

P S

i i i i

j i

j

S

更一般地：

状态

Markov性


5

:Markov性的直观含义

1{ }............

knC S j

将来

{ }.............kn

B S i 现在0 10 1{ ,..., .}.......

kn n kA S i S i 令过去

( |

Markov :

) ( | )P C AB P C B性

,已知到现在为止的所有信息来预测将来则只与现在状态有关,与过去状态无关.


:Markov性的直观含义

( | ) ( | ) ( | )P AC B P A B P C B

在已知现在状态的条件下,

过去与将来相互独立.


;

0 1 0 1

{ 0,1,2,...} ,

Markov 1,

... ,..., , ,

n

k k

X n

k

n n m n i i i j

如果是状态离散的随机过程

并且具有性，即对任何任何状态

定义：

，有

0 10 -1{ | ,..., , }

{ | }kn n n k m

n m

P X j X i X i X i

P X j X i

{ 0 1...} Markov chainnX n 马尔则称；，，是可夫链（）


: ( , ) 0, ( , ) 1ij ijj I

p m n p m n

性质

( | )

m i n

j

( , )im jn p mP X j X i n

记为＝＝

在时处于状态的条件下,到时转移到状态的转移概率


( ( , )( , )

n

) ij I Ip m mP m m nn 记

为对应的步转移矩阵

: 1各元素非负性，每行之和为质


1, , ( |

, Markov{ }n n

n

i j P X j X i

n X 如果对任何状态）不

依赖于则称是时齐的

定义：

链

1( |nij nP X j X ip

i j

：）

称为从到的一步转移概率

ij I IpP （）称为一步转移矩阵


… …n21X0 X1 X2 XnXn-1

0

0

1 .

n 1n

p q p X

X n

只传输和1的串联系统中，设每一级的传真率为 ,误码率为以表示第一级

的输入，表示第级的输出( ）.

0 12. 传例（输系统）


1

| , 0,1

ij n n

p j ip P X j X i i j

q j i

… …n21X0 X1 X2 XnXn-1

p qP

q p

一步转移矩阵，状态转移图：

{ } Markov {0,1}nX I 则是一时齐链，状态空间，

pp

q

q0 1


1 3 4 52. 随例3（机游动）

{1 2 3 4 5}

5),

I

i i

设一醉汉在，，，，作随机游动：如果现在位于点（1 则下一时刻各以1/ 3

概率向左或向右移动一格，或以概率1/ 3呆在原处；如果现在位于点1（或点5），则下一时刻以概率1移到点2（或点4）。

1 5和两点称为反射壁，这种游动称为带两个反射壁的随机游动。


1 3 4 52. 随例3（机游动）

nX n用表示时刻醉汉所在的位置。

{ } MarkovnX则是一时齐链，1/ 3 1/ 3

1 2 3 4 51

11/ 3 1/ 3 1/ 3

1/ 31/ 3

1/ 3


1 1 13 3 3

1 1 13 3 3

1 1 13 3 3

1 2 3 4 5

1 1 0 0 0 0

2 0 0

3 0 0

4 0 0

5 0 0 0 1 0

P

1 1 13 3 3

1 1 13 3 3

1 1 13 3 3

1 2 3 4 5

1 0 1 0 0 0

2 0 0

3 0 0

4 0 0

5 0 0 0 1 0

P

1 3 4 52

如果把 1 这点改为吸收壁，即 Q 一旦到达 1 这一点，则永远留在点 1 时，此时的转移概率矩阵为：


例 4 ：排队模型设服务系统由一个服务员和只可以容纳两个人的等候室组成。服务规则为：先到先服务，后来者需在等候室依次排队，假设一个需要服务的顾客到达系统时发现系统内已有3 个顾客，则该顾客立即离去。设时间间隔⊿ t 内有一个顾客进入系统的概率为 q ，有一接受服务的顾客离开系统( 即服务完毕 ) 的概率为 p, 又设当⊿ t 充分小时，在这时间间隔内多于一个顾客进入或离开系统实际上是不可能的，再设有无顾客来到与服务是否完毕是相互独立的。

等候室服务台

系统

随机到达者离去者


现用马氏链来描述这个服务系统：设 Xn=X(n⊿t) 表示时刻 n⊿t 时系统内的顾客数，即系统的状态。 {Xn,n=0,1,2…} 是一随机过程，状态空间 I={0,1,2,3}, 且如前例 1 、例 2 的分析可知，它是一个时齐马氏链，它的一步转移概率矩阵为：

0 1 2 3

0 1 0 0

1 (1 ) (1 )(1 ) (1 ) 0

2 0 (1 ) (1 )(1 ) (1 )

3 0 0 (1 ) (1 )

q q

p q pq p q q pP

p q pq p q q p

p q pq p

等候室服务台

系统

随机到达者离去者


例 5 ：设甲、乙两袋共装 5 个球，每次任取一袋 , 并从袋中取出一球放入另一袋 ( 若袋中无球则不取 )。 Xn 表示第 n 次抽取后甲袋的球数， n=1,2,….{Xn,n=1,2,…}

是一随机过程，状态空间 I={0,1,2,3,4,5},当 Xn=i

时， Xn+1=j 的概率只与 i 有关，与 n 时刻之前如何取到 i 值是无关的，这是时齐马氏链，一步转移矩阵为：

1 12 2

1 12 2

1 12 2

1 12 2

1 12 2

1 12 2

0 1 2 3 4 5

0 0 0 00

0 0 0 01

0 0 0 02

0 0 0 03

0 0 0 04

0 0 0 05

P

甲

乙


例 6 ：卜里耶（ Polya) 罐子模型。设一罐子装有 r 个红球， t 个黑球，现随机从罐中取出一球，记录其颜色，然后将球放回，并加入 a 个同色球。持续进行这一过程， Xn 表示第 n 次试验结束时罐中的红球数， n=0， 1,2,…. {Xn,n=0， 1,2,…} 是一随机过程，状态空间 I={r,r+a,r+2a,…},当 Xn=i 时， Xn+1=j 的概率只与 i 有关，与 n 时刻之前如何取到 i 值是无关的，这是一马氏链，但不是时齐的 , 一步转移概率为：

1( )1

0

n n

ij i a

r t naiP X j X i

j ir t na

其它


1 2,

2 0 1 2 1

0.

1 ( 12 | 2, 7), ( 12 | 7)

(2) { }

n

n n n

n

X n

Y X X n

P Y Y Y P Y Y

Y Markov

例7：独立重复地掷骰子，用表示第次

掷出的点数，令

（）计算

判断是否是链？


2 0 1

3 4 1 2 3

1 ( 12 | 2, 7)

( 6 | 1, 1, 6) 1/ 6

P Y Y Y

P X X X X X

（）

1 22 1

1

312 3 4 6

62 3 36

( 7, 12)( 12 | 7)

( 7)

( )( 1, 6) 1

( 7) 36

P Y YP Y Y

P Y

P X X X

P X X

链。不是MarkovY

YYPYYYP

n}{

)7|12()7,2|12()2( 12102


1 1

a m a

n

例8

甲乙两人玩抛硬币游戏，一开始甲带有元钱，乙带有元钱，独立重复抛一枚均匀硬币，若第次出现正面，则甲赢元，否则甲输元。游戏一直到某人输光结束。计算最后

.赌徒输光

甲输光

问题：

的概率。


00 , 1 , 1

{ } Markov

{0,1,..., },

1, 0.5,0 .

n

n

mm i i i i

S n

S

m

p p p p i m

解：以表示抛次硬币后甲所拥有的钱数。

则是一时齐链，状态空间是

一步转移概率为：


0 0

1 0 1 0

10 1 12

( | ), 1, 0,

( | ) ( | , )

( | ) ( ),0 .

i m

ij

ij i ij

h P S i h h

h P S j S i P S j S i

p P S j h h i m

令输光则

输光

输光

1 1,0 .

.

i i i i

mm

i

ii

h h h h i m

{h }

h

即

所以是等差数列，

所以i元钱

1i 元钱

1i 元钱

输光1/ 2

1/ 21ih

1ih


Markov

Markov性当链有两个吸收态时，我们可以利用和全概率公式建立方程，计算被某一个特定吸收态吸收的概率。

m上例中有两个吸收态0和，我们需要计算的是最终被状态0吸收的概率.


3,7)

i

n i i

例9

如下图，假设猫不动，老鼠从2号房间出发在迷宫中作随机游动：如果时老鼠呆在（号房间，则下一时刻老鼠等可能地移到相邻的房间（即有门与号房间相连的房间);一旦老鼠到达7号房间，就被猫吃掉；一旦到达3号房间，老鼠就吃掉奶酪。计算老鼠在吃掉奶酪前被

.迷宫中的老鼠：

猫吃掉的概率？

987

654

321

猫

奶酪


n { }

Markov {1,2,...,9},3 7

n

n

X

X

解：一旦老鼠跑到3号或7号房间，我们就认为老鼠将永远呆在那个房间。用表示

时老鼠所在的位置。则是一时齐

链，状态空间是和是两个吸收态。所求的就是从2出发最终被7吸收的概率。


0

7 3

( 7 | ),

1, 0.ih P X i

h h

令最终被吸收则

1 5 9

1.

2h h h 利用对称性，

2 1 5 3

Markov

1 1 1 1.

3 3 3 3h h h h

利用性和全概率公式：


有限维分布§2

, , , ij ik kjk

p s s u v p s s u p s u s u v

C K

方程

k

s u s u v ts

ij

0

, , ,P s s u v P s s u P s u s u v

C K

方程可以写成矩阵形：式


C K 方程的证明：

| | ,s u s s u v s s uk

P X k X i P X j X i X k 全概率公式

＝＝＝

| |s u s s u v s uk

P X k X i P X j X k 马氏性

＝＝＝

, , ik kjk

p s s u p s u s u v

, |ij s u v sp s u v P X j X i

证毕！


{ } Markov nX 时齐以后均假设是的链

)

C-K ( , )

( , ), m

, ), i j m

m

ij

m

mij

P n n m P n

P n n mP

p n n mp

（

（）

由方程：不依赖于，

记称为步转移矩阵

记（从到的步转移概率

)m mP P（则


12 1

1 1 1 2 1

0

1 2

( )( )1 1

1 1

2 ... ,

( ,... ) ( ) ... k k

k k k

nn ij

i

k

n nn nn n k n i i i i

n P X j P X i p

n n n

P X i X i P X i p p

（）（）对任何，（）（）

（）对任何

命题：


有限维分布完全由初始分布和一步转移概率所确定

0 0) )

n

, nn n P

（（（）（）

把初始分布和步分布分别写成行向量

和则


0 0

0

1

( | )n ni

nij

i

P X j P X i P X j X i

P X i p

（）

（）由全概率公式

（）（）

）

明

（

证：

1

1 2 1 1 1

12 1

1 1 2 1

1

1 2 1 1 1

( )( )1

2

( ,... )

( ) ( | )... ( | ,... )

( ) ...

k

k k

k k

k k

n n k

n n n n k n n k

n nn nn i i i i

P X i X i

P X i P X i X i P X i X i X i

P X i p p

（）由乘法公式


3 14 4

1 1 14 2 4

3 14 4

0 1 2

0 0

1

2 0

P

0

0 2 4

2 4 5 0

2 4 5

1 , 0 0,1,2

Markov

1 0,1,23

1 0, 1, 1 ;

2 1, 1, 0 | 0

3 1, 1, 0

nX n

P X i i

P X X X

P X X X X

P X X X

例：设是具有三个状态的时

齐链，一步转移矩阵为：

初始分布，

试求：


解：5 5 18 16 16

2 2 5 3116 2 16

3 9 116 16 4

P P

（）

0 2 4

(2) (2)0 01 11

(1) 0, 1, 1

5 51 103 16 2 96

P X X X

P X p p

（）

2 4 5 0

(2) (2)01 11 10

2 1, 1, 0 | 0

5 51 116 2 4 128

P X X X X

p p p


2

(2) (2) (2)0 01 0 11 0 21

3 ( 1)

( 0) ( 1) ( 2)

5 91 1 11( )3 16 2 16 24

P X

P X p P X p P X p

(2)2 4 5 2 11 10 1, 1, 0 1

11 1 1 1124 2 4 192

P X X X P X p p


0 0

0 1 3

3 1 0

3

0 3

, 0 0,1,2

Markov

10 12

1 0, 1, 1 ;

2 1, 1| 0

3 1

3 0 | 1

nX n

P X P X

P X X X

P X X X

P X

P X X

例2：设是具有三个状态的

时齐链，一步转移矩阵为：

试求：

0 1 2

0 1 001 11 02 2

2 3 104 4

P


解： 71 1 12 2 8 8

2 37 7 3 1518 8 16 32 32

3 3 7 3 45 138 16 16 32 64 64

0 0

0P P

0 1 3

(2)0 01 11

(1) 0, 1, 1

71 10 12 8 16

P X X X

P X p p

（）

(2)3 1 0 01 11

72 1, 1| 08

P X X X p p


解：

(3) (3)3 0 01 0 11(3) 1 ( 0) ( 1)

7 3 311 12 8 2 32 64

P X P X p P X p

3 0 00 3

3

(3)1012

3164

1| 0 ( 0)(4) 0 | 1

( 1)

2831

P X X P XP X X

P X

p


2 3, C KP P 也可不计算，根据状态转移图和方程：

(2)11 10 01 12 21

78

p p p p p (3) (2)01 01 11

78

p p p

(3)11 12 22 21

332

p p p p

0 1 21

12

12 3

4

14


常返和暂留§3

1.从一个状态出发是不是一定能够在有限时间内返

问题：

回该状态？

2.如果能够返回，那么平均返回时间（）一定平均回转时有限吗？

（常返，暂留）

正常返，（零常返）


3.如果能够返回，那么平均返回时间的精确值是多少？（平稳分布）


min{

mi

:

n )

1 }i nn X i i

定义：的首中时

（约定

0

0

( | ) 1

( | ) 1i

i

P X ii

P X i

常返：

暂留: 状态

1i i i

i i i

常返：从出发以概率在有限时间内能返回暂留：从出发以正概率不再返回状态


0( | )i iE X

i

i i

若常返，定义的平均回转时

i

i

i

正常返：

零常 : 返常返


1

1

i i

i

i i

i

正常返：从出发不但以概率在有限时间内返回状态，而且平均回转时有限零常返：从出发虽然以概率在有限时间内返回状态，但平均回转时无限

正常返态返回速度快于零常返态


0| )i iP X i （和的计算：( )

1 1 0( , ,..., | )nij n nf P X j X j X j X i 令

i n j 从出发第步首次击中的概率

0( |

i j

)ij jf P X i

从出发能击中的概率

( )

1

nij ij

n

f f

则


1iii f 常返

( )i

1

nii

n

nfi

若常返，则


{ } Markov {0,1,2,3}

0 0.5 0 0.5

0 0 1 0

0 0 0 1

0.5 0 0 0.5

nX I

P

例1. 设是时齐链，，

其一步转移矩阵，

讨论状态0和3的常返性。

0 1 21

31

12

12 1

2

12


0 1 21

31

12

12 1

2

12

：先考虑解状态0,(1)

00 0,f (2)

00 03 30 1/ 4,f p p (3)

00 03 33 30 1/ 8,f p p p

n 当 4时，( ) 2 4

00 03 33 30 01 12 23 33 30n n nf p p p p p p p p

21 12 2n n

( )00 00 2

1 2 4

1 11

2 2n

n nn n n

f f

0 是一个常返态

0 22 4

1 14

2 2n nn n

n n

进一步地：

0 是正常返态


0 1 21

31

12

12 1

2

12

：再考虑解状态3, (1)33 1/ 2,f

(2)33 30 03 1/ 4,f p p

(3)33 0,f

n 5当时， ( )33 0nf

( )33 33

1

1n

n

f f

3 是一个常返态

1 1 13 2 4 41 2 4 2 进一步地：

3 也是正常返态(4)

33 30 01 12 23 1/ 4,f p p p p

1 2：状态和状态的常返性又问题是如何呢？( ) ( )

11 22n nf f（计算和很复杂，需引入新的方法）


, 1 ,0

{ } Markov

{0,1,2,...} , 1 ,0 1, 0.

0

n

i i i i i i

X

I p p p q p p i 爬例2.（）设是时齐链，

，

讨

梯子

论状态的

模型

常返性。

0 1 21p

2p0

p1n

p n

p... ...n

0q

1q

2q

nq


0 1 21p

2p0

p1n

p n

p... ...n

0q

1q

2q

nq

( )00

1n

n

f

对，解：

01 12 2, 1 1,0 0 1 2 1... ... (1 )n n n n np p p p p p p p

0 0 1 11, ... , 1.n nu u p p p n 令( )

00 1n

n nf u u 则

0 lim 0.nnu

是常返态当且仅当

0 0

1 1 2 2 3 1

( | 0)

(1 ) ( ) ( ) ... ( ) ...n n

P X

u u u u u u u

1 lim .nnu


0 1 21p

2p0

p1n

p n

p... ...n

0q

1q

2q

nq

1 1 2 2 3

3 4

(1 ) (2 2 ) (3 3 )

(4 4 ) ...

u u u u u

u u

0

.0 nn

u

是正常返态当且仅当

：如何判断其它状态的问题

常返性？

（很难，但利用的关系就容

互达易判断）

( )0 00

1

0

n

n

nf

当是常返态时，

1 2 30

1 ... nn

u u u u


2

1

( 1) ,iip e

例如，如果

1,

1nu n

那么

22 21

11 1(1 )

2 0i innu e e

那么，

0是暂留态

1

2i

ip

i

如果，

0是零常返态0

lim 0 ,n nnn

u u

，


2

2

( 1),

( 2)i

ip

i

如果 2

1,

( 1)nu n

那么

0是正常返态0

lim 0 ,n nnn

u u

，


常返和暂留的等价描述

( )

0

1. i

i 1 i

nii

n

p

常返

从出发以概率返回状态无穷多次

( )

0

2. i

i i

nii

n

p

暂留

从出发以概率0返回状态无穷多次


....

1

i i i i

i

以概率1返回以概率1返回

1.若常返，则

以概率无限次返回

0( | ) 1iP N X i


0( | ) 1,ii ii f P X i 2.若暂留，则

0 i以概率无限次返回

ii

i

i

i不再返回

iif i不再返回

i不再返回

....iif

iif

1 iif

1 iif

1 iif

0( | ) 0iP N X i


10( | ) (1 ) 1,2,...n

i ii

i

iiP N n X

i i

f f n

N

i

从出发访问的次数（包括0时刻）服从

几何分

，

布：

0

1( | )

1iii

E N n X if


( )0

0

( | ) 11

nii i

nii

ip E N X i

if

若常返

若暂留

1

0n

nn

X iY

X i

若证明：令

若

( )0 0

0 0

( | ) ( | ) ni n ii

n n

E N X i E Y X i p

0i n

n

N Y

则


可达和互达：

( )i : 0j

i j

0ij

ni j n p

设，是两个状态，

(1) ，记为若存在 ,使可达

i,j : ,i j i j j i 互达(2) ，记为若且

i j j i

(3) i j j k i k

性质：互达是一个(1)自反性：i i

(2)对称性:若，则传递性：若，

系

，则

等价关


状态空间可分成不交的互达等价类的并

Markov { }nX 不可约：

称链

如果任意两个状态互达


周期：( )i { 1:) 0}( niid pi n 定义状态的为集合

的最大公约数（若该集合为空集，则定义d(i )=0),

即可返回步数的最

周期

大公约数。

i ( ) 1d i 称：若非周期


ii称：若非遍历周期正常返

{ }nX称：

若所有状态常

常返（暂留，正

返（暂留，正常

常返，零常

返，零常返

返，

，

非周期）

非周期）

{ } { }n nX X称：若不可约非周遍历期正常返


{ } Markov {0,1,2,3 4 5}

1 0 0 0 0 0

0 0 1 0 0 0

0 0.5 0.5 0 0 0

0 0 0 0 1 0

0 0 0 1 0 0

0.1 0.1 0.1 0.1 0.1 0.5

nX I

P

例3. 设是时齐链，，，，

其一步转移矩阵

，

求出所有互达等价类，各状态的周期和常返性。


0 1 2 3 4 5

1111

0.5

0.5 0.1 0.50.1

0.1

0.10.1

{0},{1,2},{3,4},{5}解：共四个互达等价类：(1)

0 11.0 (0 11 1 0d f 是吸收态，），，（），

(2) (3)11 12 21 11 12 22 212 0.5 0, 0.25 0, (1) 1p p p p p p p d （）

( ) 2 111 12 22 21 11 12, 0.5 , 1, 3n n nn f p p p f

22 0 (2) 1.p d ，（3） (1) (2)22 22 22 20.5 , 1, 1.5f f f 又

所以0，1，2都是非周期正常返态


0 1 2 3 4 5

1111

0.5

0.5 0.1 0.50.1

0.1

0.10.1

( )33 0 n (3) 2.np d 因为当且仅当是偶数，（4）

233 33 31 1 2.f f （）且 44 4(4) 2, 1 2.d f 同理且

3 4 2 和都是周期为的正常返态。

55 0 (5) 1.p d 因，（5）为1

55 55 550.5 0, 2 0.5 1nf f n f （）（），

5 是非周期的暂留态。


互达等价类的同一性质：

1 ( )

3

i j

d i d j

i j

i j

如果，则（）（） ,

(2) 常返当且仅当常返（）正常返当且仅当正常返

互达等价类中各状态具有相同的周期和常返性。

判断一个状态的性质时，可以从它的等价类中找出一个容易判断的状态来判断。

物以类聚，人以群分


讨论例1例2中各状态的周期和例3. 常返性.

0 1 21

31

12

12 1

2

12

例1

中已算得状态0正常返

各状态互达，所有状态非周期正常返。33 0, (3) 1.p d

Markov这是一个遍历的链。


例2

各状态互达，所有状态非周期，并且与0具有相同的常返性。

00 0, (0) 1.p d

0 1 21p

2p0

p1n

p n

p... ...n

0q

1q

2q

nq

1 lim 0nn

u

（）当时，各状态暂留；

0

lim 0n nn

n

u u

（2）当但时，各状态零常返；

0n

n

u

（3）当时，各状态正常返。


平稳分布§4在什么样的情况下，初始分布与一步

之后的问题：

分布相同？

{ }j j I 设初始分布为；，则

0 1.j jj

，

一步之后的分布为：

1 0( ) ,ik i iki i

P X k P X i p p k （）

所以初始分布与一步之后的分布相同当且仅当：

,k i iki

p k

（平稳分布）


0 1.1 j jj

，（）

,2 k i iki

p k （）

平稳分布

{ ; } { }j nj I X 称为是的平稳分布，如果


Markov求上1节例1中链的平例1. 稳分布。{0,1,2,3}

0 0.5 0 0.5

0 0 1 0

0 0 0 1

0.5 0 0 0.5

I

P

解：，

，

0 1 2 3 设平稳分布（，，，）则 0 1 2 3

10 32

11 02

2 1

1

1 1 1 1

4 8 8 2 解得（，，，）

0 1 21

31

12

12 1

2

12

0 34 2 已算得，

0 30 3

1 1

，恰好

1 21 2

1 1

，是否？

^_^完全正确


Markov求上1节例2中链的平例2. 稳分布。

解：设平稳分布，则

0 1 21p

2p0

p1n

p n

p... ...n

0q

1q

2q

nq

1 1... ...n n np 0 1 1 0 0...n n np p p u 得

0n

n

u

平稳分布存在当且仅当

{ }nX即当且仅当正常返

1 0 0 2 1 1, ,p p

0

1nn

又


Markov求上1节例2中链的平例2. 稳分布。

00

,nn

u

已算得0

0

1

恰好， 1i

i

i

实，际上

0 1 21p

2p0

p1n

p n

p... ...n

0q

1q

2q

nq

0

, 0,

}

1,...

{

ii

n

n

n

ui

u

X

当正常返时，有唯一的平

稳分布


1 { }

1n

ii

X

（）存在平稳分布当且仅当正常返，

此时平稳分布唯一且

)2 { } lim nn ij jn

X i j p

（（）若遍历，则对任何，，

Markov不可约链的性质{ }nX设不可约，则

{ }nI X（3）若状态空间有限，则一定正常返。

(极限与出发点无关）

ii

ii

如果越小，即访问状态i的平均时间间隔越小，则访

问越频繁，从而访问的极限概率也越大，所以越大


0ij

I C

i C j C p 状态空间的子集称为是：

若对于任意状态和任意状态，闭集

C C C即是的，从中出发将永远不闭会跑出封外

0 1

( 1

{ } Markovn

n

C P X C

P X C n

X C

若是闭集，（） ,则，），

此时可以看成是状态空

性质：

间上的链


(1) ii如果的互达不闭等价类，暂留则

性质：

i i (如果常返，则的互达等价类是闭的)ii(2)如果的互达等价类是，则有限闭集正常返

( )i lim 0nij

nj p

(3)如果暂留或零常返，则对所有，


Markov有限链的状态分解：

1 2 ... kI T C C C

1 2 ..., kC C C T这里，，是所有闭的互达等价类，是余下的状态

1 21 ..., kC C C T则（），，中各状态正常返，中各状态暂留

0 Markov

{ } Markovi i

n i

X C C

X C

(2)如果在某个中，则此链永不离开。

可以把限制在上得到一个不可约正常返的链

0 Markov iX T C(3)如果，则此链最终会进入某个并将不再离开


{ } {1,2,3,4}nX I .设状态空间，一步转

移矩阵讨论各状态的周期和常返性，计算正常态的平均

例3

回转时。

3

12 4

0 0 1 0

1 0 0 0

0.3 0.7 0 0

0.6 0.2 0.2 0

P


1 {1,2,3} {4}C 有两个等价类和， 1 {4}C其中是闭的，不闭

1 1{ } MarkovnX C C把限制在上得到一个遍历链，状态空间为

1 2 3 4 0d ，，，非周期，（）

12

30.31

1

0.7

0 0 1

1 0 0

0.3 0.7 0

转移矩阵为

1 2 3

10 7 10, , ) ( , , )

27 27 27 平稳分布(

1 2 3

27 27 27, , ) ( , , )

10 7 10 (

1 2 3故，，正常返，4暂留


.讨论上节例3各状态性质，计算正常态的平均例4 回转时。

1 2 3{0}, {1,2} {3,4} {5}C C C 有四个等价类，和解：

{5} 0 1 2 3 4只有不闭。，，，，正常返，5暂留，

0 1 2 5 3 4，，，非周期，，周期为2

00 1 是吸收态，

0 1 2 3 4 5

1111

0.5

0.5 0.1 0.50.1

0.1

0.10.1


3

3

{ }

Markov .nX C

C

把限制在上得到一个不可约正常返

周期为2的链，状态空间为

3 41

1 3 4

1 1, ) ( , )

2 2 平稳分布(

3 4, ) (2, 2) (

1 21

0.5

0.52

2

{ } MarkovnX C

C

把限制在上得到一个遍历链，

状态空间为

1 2

1 2, ) ( , )

3 3 平稳分布( 1 2

3, ) (3, )

2 (


( ), 0,1 lim nij

ni j p

.在0-1传输问题中，对 , 存在吗？

如存在

例5

，计算之。( )00 00 | 0n

np P X X ：（方法一）

pp

q

q0 1

k n k

k

nq p

k

偶数

＝( n )P= 前次传输中误码偶数次

1 [ ( ) ]2

k n k k n k

k k

n nq p q p

k k

1 1[( ) ( ) ] [1 (2 1) ]2 2

n n np q q p p


( ) 11 0 1, lim2

nijn

p p i j

（）若则，，

（极限与出发点无关）

( )3 0, lim nijn

p i j p

（）若则，，不存在

( ) ( ) ( ) ( )00 11 10 012 1, lim lim 1 lim lim 0n n n n

n n n np p p p p

（）若则，

（极限与出发点有关）


方法二：

pp

q

q0 1

(0) 1, { }nd X 又遍历1 0 1 {0 1} { }np X （）若，则，是闭的等价类，所以正常返

3 0,p （）若

2 1,p （）若

0 1

1 1, ) ( , )

2 2 平稳分布(

( ) 1lim2

nijnp i j

，，

11

0 1

1

10 1

( ) ( )00 11

( ) ( )10 01

lim lim 1

lim lim 0

n n

n n

n n

n n

p p

p p

则，

( )lim nijn

i j p

则，，不存在


例 6 ：设有 6 个球 (2 个红球 ,4 个白球 ) 随机平分放入甲 ,乙两个盒中 . 今每次从两盒中各任取一球并进行交换 . 表示开始时甲盒中的红球数 , 表示经 n 次交换后甲盒中的红球数 .(1) 求此马氏链的初始分布 ;(2) 求一步转移矩阵 ;(3) 计算

0 2 4 2( 1, 1, 0), ( 2)P X X X P X

0X用 nX

4 lim 2

5

nn

P X

（）（）存在吗？如存在，计算之。

（）求甲盒中红球数变没的平均时间间隔


0 1 3 2 3 0

(2) 1 2 9 5 9 2 9 ,

2 0 2 3 1 3

P

2

0 7 27 16 27 4 27

(3) 1 16 81 49 81 16 81 ,

2 4 27 16 27 7 27

P

（）

3 3 1 2 30 4 6 0 2 4 6

2 1 30 2 4 6

( 0) 1 5, ( 1) 3 5,

( 2) 1 5,

P X C C P X C C C

P X C C C

解: (1)

0

0 1 2~

1 5 3 5 1 5X

即:

0 2 4( 1, 1, 0)P X X X

(2) (2) (2)2 0 02 0 12 0 22( 2) ( 0) ( 1) ( 2)P X P X p P X p P X p

3 5 49 81 16 81 2352 32805 0.072

(2) (2)0 11 10( 1)P X p p

1 5 4 27 3 5 16 81 1 5 7 27 1 5 0.2


(4) (0 1d ），不可约，遍历

1 23 9

52 23 9 3

2 19 3

1

0 0 1

1 0 1 2

2 1 2

0 1 2

方程组

, , 0 1 2设平稳分布 = ，

153515

0

1

2

0 1 2

13

29

23

13

59

29

23

2

1

5lim 2nn

P X

（）= 00

1(5) 5 所求为


平稳分布的意义

1

1 2,

2 1 1 1

{ , ...},

2, ( , , )

,

2

,

1

k

n

n n

k k

X

k X X

n n n n n

设初始分布为平稳分布＝则

所有的分布均为，

对的分布仅与时间差

有关，与时间起点

（）

（）

无关。

当初始分布为时，Markov链严平平稳为分布稳过程。


1 2

3 2 -12 1

1 1, 2 2, 3 -1,

3 2 -12 1

1 1, 2 2, 3 -1,

1 1

1

1 2

1

( )

.

2 ( , , )

( ) ...

...

k

k k

i i i i i ik k

k k

i i i i i ik k

n n nn

n n

n n n k

n n n nn nn

n n n nn ni

X P P P P

X X

P X i X i X i

P X i p p p

p p p

（）（）（）

（）（）（）

（1）的分布为

与的分布相同，所以所有

证

均为

（）

：

的分布


Markov链的应用— PageRank

PageRank, 就是网页排名，又称网页级别，是一种由搜索引擎根据网页之间相互的超链接计算的网页排名技术， Google 用它来体现网页的重要性。是 Google 的创始人拉里 ·佩奇和谢尔盖 · 布林在斯坦福大学发明了这项技术 , 并最终以拉里 ·佩奇（ Larry Page）之姓来命名。


Markov链的应用 --PageRank

PageRank

PageRank 3

1.

2.

3. (

是基于「从许多优质的网页链接过来的网页，必定还是优质网页」的回归关系，来判定所有网页的重要性。

提高的要点，大致有个:

反向链接数单纯的意义上的受欢迎度指标

反向链接是否来自推荐度高的页面有根据的受欢迎指标

反向链接源页面的链接数被选中的几率指标)


链接源 I D 链接目标 1 1 2,3,4,5, 7

• 2 1 • 3 1,2• 4 2,3,5 • 5 1,3,4,6 • 6 1,5• 7 5


,

,

{ } Markov ,

0 1/ 5 1/ 5 1/ 5 1/ 5 0 1/ 5

1 0 0 0 0 0 0

1/ 2 1/ 2 0 0 0 0 0

0 1/ 3 1/ 3 0 1/ 3 0 0

1/ 4 0 1/ 4 1/ 4 0 1/ 4 0

1/ 2 0 0 0 1/ 2 0 0

0 0 0 0 1 0 0

n

n

X

X

访问网络可看成是在这些网络上的随机游动每次都等可能地访问所在网页的友情连接若用表示第n次

访问的网页,则是链转移矩阵P=


1

5

2

3

4

7

PageRank : (1) 0, 1

(2)

(0.3035, 0.1661, 0.1406, 0.1054, 0.1789, 0.0447, 0.0607)

PageRank :

(1) 0.3035

(2) 0.1789

(3) 0.1661

(4) 0.1406

(5) 0.1054

(6) 6

,

0.0

j i j

j

i

j

p j

其满足

恰好为平稳分布. 解得:

所以网络的评价排名为

6

07

(7) 0.0447

第十一章马尔可夫链

Documents

Transcript of 第十一章马尔可夫链

第十一章 马尔可夫链

Documents

Transcript of 第十一章 马尔可夫链

第十一章马尔可夫链

Transcript of 第十一章马尔可夫链