马尔科夫学习笔记整理资料下载.pdf

马尔科夫学习笔记整理资料下载.pdf

《马尔科夫学习笔记整理资料下载.pdf》由会员分享，可在线阅读，更多相关《马尔科夫学习笔记整理资料下载.pdf（15页珍藏版）》请在冰点文库上搜索。

马尔科夫，不可约，遍历，渐进稳定状态，极限分布=Background=1.马氏性P=|1=1,2=2,0=0=|1=1当前状态仅决定遇上一个时间点的状态2.齐次性即平稳性P=|1=1=1=1|0=0两个时间点间的状态变化规律不随时间的改变而改变3.转移概率=|1=表示从状态出发，步到达状态的概率=1时，一般简略不写规定0=0,0=1对于一个状态空间为=1,2,3,的齐次马尔可夫链，其步转移概率矩阵为（）=,=1111由的定义可知其具有性质：

0;

=14.Chapman-Kolmogorov方程+=（+）=（）（）转移概率为各路径概率之和5.初始概率（分布）&

绝对概率（分布）初始概率=0=绝对概率（）=

（1）初始分布（0）=1绝对分布（）=1（）（）=1（）=1

（1）

（1）初始概率（分布）为起始状态绝对概率（分布）为经过步转移过后的概率（分布）P=,1=1,1=1=11=StateCategory=1.周期性=gcd|0，若1则状态有周期且周期=（periodicwithperiodd），若=1则状态无周期（aperiodic,returntostate-icanoccuratiregulartimes）一个状态有周期意味着一定存在1，使得当n1时0，而+=0,1,1那么返回自身状态的概率永远不可能稳定（一直重复1个0&

一个大于0的概率的循环）而对于一个无周期的状态而言，若|0非空，一定存在2，使得当n1时0，也就意味着该状态常返？

不一定，环上可能有能到闭集或吸收态的“岔路”任意两个互质的数1,2,10为空，则该状态一定非常返通常情况下用的更多的是将无周期作为判定遍历性条件之一，有周期的时候周期有什么用呢？

另外，实际在各种推论定理中，感觉无周期更像是有周期的一个周期等于一的特例-周期的等价定义=gcd|0|0表示所有使得从出发的状态可以回到状态的步数，|0表示所有使得从出发的状态首次回到状态的步数，转移步数一定是首达步数的线性组合，即|0中的任何一个元素均可以用|0中元素的线性组合表示，所以这两个集合的最大公约数一定相等2.常返性首中（达）概率表示从状态出发步首次到达状态的概率，规定0=0=1各步数首次返回的概率之和求法猜想首中概率（）表示从状态出发，第步首次到达状态的概率任选一条符合要求的路径，前1步均不经过状态对转移概率矩阵做相应的修改，令=1111110001猜测（）=

（1）（）理解：

令转移概率矩阵的第列为0即是使任何一个状态不能转移到状态因此，1保证了前1步均不经过状态只验证过在k=2时三维转移概率阵和四维转移概率阵推广一下，如果要求路径中不可以有从状态到状态的步骤，那就可以把转移概率阵中的改为0，再进行之后的计算首达概率与转移概率的关系=1例：

已知一个马尔科夫链的状态图如下，求11易知当为奇数时，11=0；

当=2为偶数时112=11112=1=1121122=1=121122=1112+12112

（1）=121122=1+12+1112

（1）21=1=12112

（1）+121122=2+12+11122（+1）1=1=12112

（1）+121122=2+121122=+1=2=12112

（1）+1211122=2=12112

（1）+12112

（1）21=1=1=12112

（1）+12112

（1）21=1112=121122=1=12112

（1）21=1=1211221=1=1211=012是奇数是偶数-吸收态absrobstate：

=1到达这个状态过后就永远停留在这个状态，到不了其他状态闭集closedset：

对于闭集C=1,2,3,=0,h,进入闭集后就永远在闭集里打转，出不去-常返recurrent：

=1非常返transient：

1，回不来的概率是1对于一个状态，每有一个出去的方向，顺着这个方向走下去能找到一个闭集或者一个吸收态，则该状态一定非常返（经过无限步后，要么进入了某个闭集，要么到达了某个吸收态）正常返positiverecurrent：

=1，平均返回步数有限零常返nullrecurrent：

=，回的来但回的太慢了，几乎等于回不来零常返一定是有无限多个状态若状态个数有限且为，则=1=10，则状态可达状态，记作互通：

且j，记作可达和互通具有传递性，,，则；

，则若两个周期互通，则他们的常返状态相同，周期也相同-可约/不可约一个闭集中的状态如果全部互通，则该闭集不可约不过存在与某些状态与其他状态不互通，那么这个闭集一定可以“约”成一个仅含非常返状态的集合加上至少一个更小的不可约闭集4.遍历性正常返+非周期的状态为遍历状态，一定可以达到稳定状态=lim是一个每行都为的矩阵，因为阵中的每一行的和为一可以看成是一个初始分布，而遍历态的绝对分布是，所以最终每行都会变为绝对分布，绝对分布的值详见定理2.2，2.3-定理1.1任意一个马尔科夫链的状态空间，可以唯一的分解成一个包含所有非常返状体的集合，以及可列个不可约常返闭集。

在考虑状态最后的稳定情况时，非常返状态的集合中的全为零，然后分别讨论各不可约闭集的稳定状态（进入其中一个闭集的话，其他闭集最终定为0），具体求法参照定理2.1，2.2定理1.2周期为的马尔科夫链可以唯一的分解成个互不相交的集合0,1,2,1;

=|+0，定理2.1状态常返的充要条件为=0=，若状态非常返，则=1=1

（1）理解：

令=|0，那么=1=表示的是各条首次返回状态的路径的概率和，而从路径上考虑和的区别仅在于：

不允许路径经过状态而不管经过/返回几次都允许。

那么，想用来表示=1时，需要解决的就是这个“经过次数”的问题。

考虑（）的含义，它其实应该是所有1次经过并最终返回状态的路径的概率和，那么（）=1=1证明：

=1=0,0令（）=0,（）=0Since=1,=0;

（）=（）（）=0（）=0=1+（=0）=0=1+（）（）（）=11（）

（1）=11

（1）=0=11定理2.2若状态常返且有周期，则lim1=1=理解：

周期=1的情况：

lim1=1=11的实际含义应是从状态出发无限步中状态出现的频率（当步数无穷多时，可理解为每隔平均步数步都会回一次状态，所以状态i出现的频率为1）尝试构造试验将其与等式左边联系起来考虑试验：

从状态出发步中状态出现的频率，令为状态出现的频数，每走一步查看状态是否为状态，若是，则=+1，走完步后，记录频率为试验N次，每次的频率记做，那么lim=1应该就是真实的频率我们知道是很多个1的和，这些1来自于各个步数，如果将=1重新按来自的步数归成集合的和，则每个集合其实是N次试验（从状态出发步回到状态）的频数结果，当N趋向于无穷大时即是N（1+2+），那么lim=1=limN（1+2+）/=lim（1+2+）/=1=1所以当n趋向于无穷大时，lim1=1=1（可将理解过程画图方便思考）周期1的情况：

令=为新的一步转移概率阵，原马尔科夫链可以根据kd+r,r=0,1,1步可到达的状态分为d个完全互不干涉的马尔科夫链（之间没有概率往来，不单单是闭集的概念，不仅没有概率出，进的概率也没有），因为d=gcd|0，现在以kd步为新的一步时，新的周期=gcd|=0=1（就是上面集合中的，这个集合中的k就是上面集合中的n除以它们的最大公约数，所以这个集合中的k一定全部互质），新的马尔科夫链是无周期的，可应用上面周期=1的情况，即lim1=1=1，即lim1=1=总结：

可以看的出周期=1实际上是1的一个特例，所以整体可以直接写成lim1=1=。

定理2.3设状态常返且有周期，则lim=理解:

由定理2.2知lim1=1=，考虑等式的左边lim1=1，因为趋向于无穷大，其值表示的是无穷多个lim加上一堆定值的和的均值，大小应该主要取决于lim，即lim1=1=lim=而当状态非常返的时候，我们知道=，lim=是一个不稳定的值（无穷大增大减小一点也是无穷大，相当于他是一个变化的范围非常广的一个值），极限为零，即lim=0（注意极限等于0并不意味着它的值等于0，它的值是一个变动的大于零的无穷小，不稳定），而当状态正常返时，是个小于无穷大的定值，即lim=0可以取到稳定的值定理2.4如果是正常返状态，周期为（注意：

此处是正常返但不一定是正常返，它可以是非常返的！

）lim+=（）,（）=+=0理解：

由C-K公式+=+=0（），趋向于无穷大时，由定理2.3得lim（）=如果状态和处在同一个正常返不可约的闭集内若1,2，=abs（12），则状态一定可以到达状态，（）=1，lim+=只有当状态可达非常返状态或者状态自身非常返时，（）0，但是转移概率矩阵的性质要求每一行上的和为一，那么当状态无限多的时候，为了保证和为一成立，应该有至少一个甚至多=0，这和正常返+无周期=遍历（n趋向于无穷大时，转移概率阵中每个元素都大于0）的性质矛盾我认为都大于0只不过无限趋近于0，但不是0，而只要它步数足够多时稳定不变，不管他实际上多小，都符合了遍历的性质但这样无法解释为什么零常返+无周期不是遍历态，这种情况一样可以让每个元素都大于0每个元素都大于0，并不一定能到达稳定态？

零常返+无周期时虽然每个元素大于零，但由于平均返回步长是无穷大，是个无穷小（一个不稳定的变化的值），和正常返的区别就在于正常返的值虽然也可能很小，但是是个稳定的定值