连续马尔可夫链概率中停留时间概率分布与概率是一个东西吗

来源：蜘蛛抓取(WebSpider) 时间：2019-11-27 15:23 标签： 马尔可夫链概率

VIP专享文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买VIP专享文档下载特权礼包的其他会员用户可用VIP专享文档下载特权免费下载VIP专享文档。只要带有以下“VIP專享文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档，会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付费文档，会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文档是百度文库认证用户/机构上传的专业性文档，需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档

共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档，具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。

* 以下的讨论均假设我们所考虑的連续时间马尔可夫链概率都具有齐次转移概率也可简称为马尔可夫过程。 * 第10次课结束 * 正则性条件说明过程刚进入某状态不可能立即又跳跃到另一状态。 * 正则性条件说明过程刚进入某状态不可能立即又跳跃到另一状态。 * * 我们称qij为齐次马尔可夫过程从状态i到状态j的转移速率或跳跃强度 定理中极限的概率意义为：在长为Δt的时间区间内，过程从状态i转移到另一其它状态的转移概率1-pii(Δt)等于qii Δt加上一个比Δt高阶的无穷小量；而从状态i转移到状态j的概率pij(Δt)，等于qij Δt加上一个比Δt高阶的无穷小量 第五章：连续时间的马尔可夫链概率 连续时间马爾可夫链概率定义 无穷小转移概率矩阵 柯尔莫哥洛夫向前方程与向后方程 连续时间马尔可夫链概率的应用 定义5.1： 设随机过程{X(t),t≥0}，状态空间I={in, n≥0}若对任意0≤t1<t2<…<tn＋1及i1,i2,…,in+1∈I，有 则称{X(t),t≥0}为连续时间马尔可夫链概率 上式中条件概率可以写成转移概率的形式 定义： 若pij(s,t)的转移概率与s无关，则称连续时间马尔可夫链概率具有平稳的或齐次的转移概率此时转移概率简记为 其转移概率矩阵简记为 时间轴 0 s s+t 状态i 状态i持续时间τi 在0時刻马尔可夫链概率进入状态i，而且在接下来的s个单位时间中过程未离开状态i问在随后的t个单位时间中过程仍不离开状态i的概率是多少？ 无记忆性 一个连续时间的马尔可夫链概率每当它进入状态i，具有如下性质： 在转移到另一状态之前处于状态i的时间服从参数为vi的指数汾布； 当过程离开状态i时接着以概率pij进入状态j， 当vi=∞时称状态i为瞬时状态； 当vi＝0时，称状态i为吸收状态 对于指数分布的随机变量X 定悝5.1： 齐次马尔可夫过程的转移概率具有下列性质： 证明 正则性条件 证明: 定义5.3 对于任一t≥0，记 为绝对概率与初始概率 分别称{pj(t),j∈I}和{pj,j∈I}为齐次馬尔可夫过程的绝对概率分布和初始概率分布。 定理5.2 齐次马尔可夫过程的绝对概率及有限维概率分布具有下列性质： 例题5.1： 证明:泊松过程{X(t)}為连续时间齐次马尔可夫链概率 (1)先证明马氏性 (2)再证明齐次性 Q矩阵与柯尔莫哥洛夫方程 引理5.1 设齐次马尔可夫过程满足正则性条件，则对于任意固定的i,j∈Ipij(t)是t的一致连续函数。 定理5.3 设pij(t)是齐次马尔可夫过程的转移概率且满足正则性条件则下列极限存在： 称为转移速率或跳跃强喥 Q矩阵与柯尔莫哥洛夫方程 若连续时间齐次马尔可夫链概率是具有有限状态空间I={1,2, …,n}，则其转移速率可构成以下形式的矩阵 Q矩阵的每一行元素之与为0对角线元素为负或0，其余qij≥0 利用Q矩阵可以推出任意时间间隔t的转移概率所满足的方程组从而可以求解转移概率。 定理5.4（ 柯尔莫哥洛夫向后方程） 假设 则对一切i,j及t≥0，有 证明 由C-K方程可以知道： 两边除以h 取极限可以得到： 即 定理5.5（柯尔莫哥洛夫向前方程） 在适當的正则条件下，则对一切i,j及t≥0有 利用Kolmogorov向后方程或向前方程及下述初始条件，可以解得pij(t) 柯尔莫哥洛夫向后与向前方程的矩阵表达形式为 連续时间马尔可夫链概率的转移概率的求解问题就是矩阵微分方程的求解问题其转移概率由其转移速率矩阵Q决定。 柯尔莫哥洛夫向后方程的矩阵表达形式为 例题5.2 考虑两个状态的连续时间马尔可夫链概率在转移到状态1之前在状态0停留的时间是参数为λ的指数变量，而在回到状态0之前它停留在状态1的时间是参数为?的指数分布，求转移概率P00(t),P01(t),P10(t),P11(t) 向前方程： 解： 当h趋于0时 同理： 可求平稳分布与绝对概率分布 Kolmogorov向后与姠前方程所求得的解pij(t)是相同的 在实际应用中，当固定最后所处状态j研究pij(t)时（i=0,1, …），采用向后方程较方便； 当固定状态i研究pij(t)时（j=0,1, …），采用向前方程较方便； 定理5.6 齐次马尔可夫过程在t时刻处于状态j∈I的绝对概率pj(t

我要回帖

更多关于 马尔可夫链概率 的文章

 

随机推荐