随机过程课件第四章

随机过程课件第四章

第四章：连续时间的马尔可夫链连续时间马尔可夫链定义无穷小转移概率矩阵 Kolmogorov向前方程与向后方程连续时间马尔可夫链的应用

随机过程课件第四章

定义5.1:设随机过程{X(t),t≥0},状态空间I={in, n≥0},若对任意0≤t1<t2<…<tn+1及i1,i2,…,in+1∈I,有

P{ X (t n+1 )= in+1| X (t1 )= i1, X (t 2 )= i2,L, X (t n )= in}= P{X (t n+1 )= in+1| X (t n )= in}则称{X(t),t≥0}为连续时间马尔可夫链。上式中条件概率的一般表现形式为 P{ X ( s+ t )= j| X ( s )= i}= p ij ( s, t )定义：若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链具有平稳的或齐次的转移概率，此时转移概率简记为 pij ( s, t )= pij (t )其转移概率矩阵简记为 P(t )= ( pij (t ))

随机过程课件第四章

在0时刻马尔可夫链进入状态i,而且在接下来的s个单位时间中过程未离开状态i,问在随后的t个单位时间中过程仍不离开状态i的概率是多少？状态i持续时间τi状态i持续时间τi状态i

0

t

s

s+t

时间轴

P{τ i> s+ t|τ i> s}= P{τ i> t}

随机过程课件第四章

一个连续时间的马尔可夫链，每当它进入状态i,具有如下性质： 1.在转移到另一状态之前处于状态i的时间服从参数为vi的指数分布； 2.当过程离开状态i时，接着以状态pij进入状态j,

∑pj≠i

ij

=1

当vi=∞时，称状态i为瞬时状态，过程一旦进入此状态立即就离开；当vi=0时，称状态i为吸收状态，过程一旦进入此状态就永远不再离开。

一个连续时间马尔可夫链是这样的一个随机过程，它按照一个离散时间的马尔可夫链从一个状态转移到另一个状态，但在转移到下一个状态之前，它在各个状态停留的时间服从指数分布，此外在状态i过程停留的时间与下一个到达的状态必须是相互独立的随机变量。

随机过程课件第四章

定理：齐次马尔可夫过程的转移概率具有下列性质： 1. 2. 3.

pij (t )≥ 0

∑

p ij ( t )= 1

j∈ I

p ij (t+ s )=

∑pk∈I

连续时间齐次马尔可夫链的C-K方程ik

(t ) p kj ( s )

正则性条件

1, lim p ij ( t )= t→ 0 0,

i= j i≠ j

随机过程课件第四章

定义5.3对于任一t≥0,记 p j ( t )= P{ X ( t )= j},

p

j

= p j ( 0 )= P{ X ( 0 )= j},

j∈ I

分别称{pj(t),j∈I}和{pj,j∈I}为齐次马尔可夫过程的绝对概率分布和初始概率分布。定理5.2齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 1. 2. 3. 4. 5.p j (t )≥ 0

∑p

p j (t )= 1

j∈ I

p j (t )=j

∑

p i p ij ( t )

i∈ I

(t+τ )=

∑

p i ( t ) p ij (τ )

i∈ I

P{ X ( t1 )= i1, L, X ( t n )= i n}=

∑pi∈ I

i

p ii1 ( t1 ) p i1i 2 ( t 2 t1 ) L p i n 1i n ( t n t n 1 )

随机过程课件第四章

例题5.1:证明泊松过程{X(t)}为连续时间齐次马尔可夫链证明

随机过程课件第四章

无穷小转移概率矩阵引理5.1设齐次马尔可夫过程满足正则性条件，则对于任意固定

的I,j∈I, pij(t)是t的一致连续函数。

定理5.3设pij(t)是齐次马尔可夫过程的转移概率，则下列极限存在： 1. 2.

1 p ii (Δ t )= v i= q ii≤∞Δt→ 0Δt limΔt→ 0

lim

p ij (Δ t )Δt

= q ij<∞, i≠ j

随机过程课件第四章

若连续时间齐次马尔可夫链是具有有限状态空间I={1,2,…,n},则其转移速率可构成以下形式的矩阵 q00 q Q= 10 M qn0 q01 L q0 n q11 L q1n M M q n1 L q nn

Q矩阵的每一行元素之和为0,对角线元素为负或0,其余qij≥0

利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方程组，从而可以求解转移概率。

随机过程课件第四章

根据定理5.1中的连续时间齐次马尔可夫链的C-K方程有下式成立，

p ij ( t+ h )=

∑pk∈I

ik

( h ) p kj ( t )

定理5.4( Kolmogorov向后方程)假设

∑qk≠i

ik

= qii,则对一切i,j及t≥0,有′ p ij ( t )=

∑

q ik p kj ( t ) q ii p ij ( t )

k≠i

定理5.4之所以称为Kolmogorov向后方程，是因为在计算时刻t+h的状态的概率分布时我们对退后到时刻h的状态取条件， p ij (t+ h )= P{ X ( t+ h )= j| X ( 0 )= i, X ( h )= k}

∑k∈I

P{ X ( h )= k| X ( 0 )= i}=

∑pk∈I

kj

(t ) p ik ( h )

随机过程课件第四章

定理5.5( Kolmogorov向前方程)在适当的正则条件下，则对一切i,j及t≥0,有

′ pij (t )=

∑pk≠ j

ik (t )qkj

pij (t )q jj

利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t) p pii ij

(0 )= 1 (0 )= 0

随机过程课件第四章

Kolmogorov向后和向前方程所求得的解pij(t)是相同的

在实际应用中，当固定最后所处状态j,研究pij(t)时(i=0,1,…),采用向后方程较方便；当固定状态i,研究pij(t)时(j=0,1,…),采用向后前程较方便； Kolmogorov向后和向前方程的矩阵表达形式为 P′ ( t )= QP (t) P′( t )= P ( t ) Q连续时间马尔可夫链的转移概率的求解问题就是矩阵微分方程的求解问题，其转移概率由其转移速率矩阵Q决定。若Q是一个有限维矩阵，则上述矩阵方程的解为P (t )= eQt

=

∑

∞

j=0

( Qt ) j!

j

随机过程课件第四章

定理5.6齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t)满足下列方程

p′j (t )= p j (t )q jj+

∑ p (t )qk k≠ j

kj

定义5.4设pij(t)为连续时间马尔可夫链的转移概率，若存在时刻t1和t2,使得

pij (t1 )> 0, p ji (t )> 0则称状态i和j是互通的。若所有状态都是互通的，则称此马尔可夫链为不可约的。

随机过程课件第四章

转移概率pij(t)在t→∞时的性质及其平稳分布关系

定理5.7设连续时间的马尔可夫链是不可约的，则有下列性质： 1.若它是正常返的，则极限 tlimpij (t)存在且等于πj>0,j∈I。这里πj是→∞方程组π j q jj= k≠ π j= 1 j∈ I

∑

π

k

q

kj

j

∑

的唯一非负解，此时称{πj,j∈I}是该过程的平稳分布，并且有t→∞

lim p j ( t

)=π

j

2.若它是零常返的或非常返的，则t→∞

lim p ij (t )= lim p j (t )= 0,t→∞

i, j∈ I

随机过程课件第四章

例题5.2考虑两个状态的连续时间马尔可夫链，在转移到状态1之前在状态0停留的时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是参数为μ的指数分布，求该马尔可夫链的平稳分布和在时刻t的绝对分布。

随机过程课件第四章

例题5.3:机器维修问题设例题5.2中状态0代表某机器正常工作，状态1代表机器出故障。状态转移概率与例题5.2相同，即在h时间内，及其从正常工作变为出故障的概率为 p01(h)=λh+o(h);在h时 …… 此处隐藏：1941字，全部文档内容请下载后查看。喜欢就下载吧 ……