随机过程习题第2章.docx
《随机过程习题第2章.docx》由会员分享，可在线阅读，更多相关《随机过程习题第2章.docx（23页珍藏版）》请在冰点文库上搜索。
随机过程习题第2章
2.1设（t）是一马尔可夫过程，又设t1t2
tntn1
tnk。
试证明:
tn/tn1（xn/xn1）
tn/tn1，,tnk（xn/xn1,,xnk）
即一个马尔可夫过程的反向也具有马尔可夫性。
证明：
首先，由条件概率的定义式得
ftn/tn1,,tnk（Xn/Xn1,
tnk（xn,xn1,,xnk）
tnk（xn1,,xnk）
根据马尔可夫性将上式中的分子和分母展开，并化简得
tn/tn1,,tnk（xn/xn1,,xnk）
tnk/tnk1（xnk/xnk1）
ftnk/tnk1（xnk/xnk1）
tn2/tn1（xn2/xn1）ftn1（xn1）
tn1/tn（xn1/xn）ftn（xn）
tn1（xn1）
于是,
tn,tn1（xn，xn1）ftn1（xn1）
2.2试证明对于任何一个马尔可夫过程,
如“现在”的（t）值为已知，则该过程的“过
去”和“将来”是相互统计独立的，即如果有t1t2t3，其中t2代表“现在”，W代
表“过去”，t3代表“将来”，若（t2）X2为已知值。
试证明:
t1,t3/t2（Xi，X3/X2）ft1/t2（Xi/X2）ft3/t2（X3/X2）
证明：
首先，由条件概率的定义式得
MX?
）如呼牛
ft2（X2）
然后，根据马尔可夫性将上式中的分子展开，并化简得
r“,、ft3/t2（X3/x2）ft2/t1（x2/x1）ft1（x1）
ft2（X2）
t3/t2（X3/X2）
ft2（X2）
ft1,t3/t2（x1,X3/x2）
2.3若（t）是一马尔可夫过程，t1t2tmtm1tm2。
试证明：
ftm1,tm2/t1,t2,,tm（xm1,xm2/x1,x2,,xm）ftm1,tm2/tm（xm1,xm2/xm）
证明：
首先，利用性质：
P{AB|C}P{A|BC}P{B|C}得
ftm1,tm2/t1,t2,,tm（xm1,xm2/x1,x2,,xm）
ftm2/t1,t2,tm,tm1（xm2/x1,x2,,xm,xm1）ftm1/t1,t2,,tm（xm1/x1,x2,,xm）
于是，由马尔可夫性得
ftm1,tm2/t1,t2,,tm（xm1,xm2/x1,x2,,xm）
ftm2/tm1,tm（xm2/xm1,xm）ftm1/tm（xm1/xm）
再利用性质P{A|BC}P{B|C}P{AB|C}得
ftm1,tm2/t1,t2,,tm（xm1,xm2/x1,x2,,xm）=ftm1,tm2/tm（xm1,xm2/xm）
2.4若有随机变量序列1,
2,,n,
，且,,,,
12n
之间相互统计独立，n的
概率密度函数为fn（xn）
fn（xn），
E[n]0（n1,2,
）。
定义另一随机变量序列
{n}如下：
1
2
1
12
3
123
n
12n
试证明：
（1）序列1,2
n,具有马尔可夫性；
2）E[n/1
y1,2y2,
n1
yn1]E[n/n1yn1]yn1
（1）证明：
由于1,2
相互统计独立，其n维联合概率密度函数为
12n（y1，y2，，yn）f1（y1）f2（y2）fn（yn）
于是,
.（为也，，Xn）f1（x1）f2（x2x1）fn（xnxn1）
n/n1,,2,1（xn/Xn1,X2,X1）
f1（x1）f2（X2x1）fn（xn1xn2）fn（xnxn1）
fn（Xn1fn（xnxn1）
由于
n1n（xn1，xn）
dXn2
2n（X1,X2,,Xn）dX1dX2
fn（Xn
xn1）
f1（X1）f2（X2X1）
fn（Xn1
xn2）dx1dx2dxn2
n1（xn
1）
dXn2
2）dx1dx2dxn2
n1（X1，X2，,Xn1）dX1dX2
f1（x1）f2（x2x1）fn（xn1xn
所以,
（xn/xn1）fn（xn
xn1）
因此
n/n1，，2，1
（Xn/Xn1X2，X1）
n/n1（Xn/Xn1）
所以，序列
具有马尔可夫性。
（2）证明：
根据条件均值的定义得
E[n/1
y1,2
y2,
n1
yn1]
ynf
n/n1,2,
1（y
n/yn1
y2,yJdyn
ynf
n/n1（yn/
yn
1阳
E[n/
n1yn1]
于是,
由给定的关系
n1
2
n
和E[
n]0
E[n/1
y1，2
y2,,n
1
yn1]
E[nyn1]yn1
2.5设有随机过程（n）（n=1,2,3,…），它的状态空间I:
{x:
0（1）为（0,1）间均匀分布的随机变
的参数T为离散的，T=n（n=1，2,3,…）。
设
量，即
（1）的概率密度为
（1）,
（2）,…,（m）的联合概率密度为
f1,2,,m（x1,x2,,xm）f
（1）,
（2）,,（m）（x1,x2,,xm）
1
（0xmxm1X11）
x1x2xm1
f1,2,,m（X1,X2,,Xm）0,其它Xj值
（1）求⑵的边际概率密度f2（x2）；
（2）试问该过程是否为马尔可夫过程；
（3）求转移概率密度f2|1（x2|X1）,,fm|m1（xm|Xm1）。
31
⑷求P{
（1）—,（3）-}o
43
（1）解：
由给出的
（1）,
（2）,…,（m）的联合概率密度函数可知
（0x2x11）
x1
其分布区域如右图加黑部分所示
因此,
（2）的边际概率密度函数为
f2（X2）
1丄dX1
X2X1
Inx2
（0
X21）
其它Xi值
（2）证明：
因为
xm）
m|1,2.
m1（xmIx1,x2
xm1）
f1,2,,m（x1,X2,
1,2,,m1（x1,X2,,Xm1）Xm1
（0显然，fm|1,2,m1只与Xm1有关，所以该过程是马尔可夫过程。
（3）解：
由
（2）得
其中，0（4）解：
由给出的
（1）,⑵，…，（m）的联合概率密度函数可知
1
（0X3X2X11）
f1,2,3（X1,X2,X3）X1X2
0,其它值
于是，
X1
f1,3（X1,X3）xf（X1,X2,X3）dX2
X3
X1-^dx2
X3X1X2
X1
X3
1
—Inx2
X1
1X1
In1,（0X3X11）
X1X3
0,其它值
所以,
31
P{
（1）-，⑶3}
1/33/41Xl
In—dX1dX3
0X3X1X3
2.6设有一参数离散、状态连续的随机过程（n）,n1,2,，它的状态空间为
I:
x;x0，又
（1）的概率密度函数为
eX1x10
J（X1）^（勺）
0其它知值
（1）,
（2）,,（m）的m维联合概率密度为
f1,2,,m（X1,X2,,Xm）X1X2Xm1exp[（XmXm1Xm1Xm2X2X1X1）]
（X10,x20,,xm0）
f1,2,,m（x1,x2,,xm）0其它xi值
（1）求边际概率密度f1,2,,m1（x1,X2,,xm1）
（2）求
（2）的概率密度；
（3）说明该过程是马尔可夫过程，并求其转移概率密度ftm/tm1（xm/xm1）
（1）解：
由m维联合概率密度可得m-1维联合概率密度
X2X1X1）]dXm
f1,2,,m1（x1,x2,,心1）
0X1X2Xm1exp[（XmXm1XmMm2
⑵解：
同
（1）理可求得:
所以,
x20
0,其它X2值
（3）解：
由条件概率的定义可得
fm/1,2,,m1（Xm/X1,X2,,Xm1）必巴Xm1eXp（XmXm1）
f1,2,,m1（x1,X2,,Xm1）
由此可见，当m-1时刻的状态确定时，m时刻的状态与以前时刻的状态无关。
所以,该过程为马尔可夫过程。
其转移概率密度为
2.7有三个黑球和三个白球。
把六个球任意等分给甲乙两个袋中，并把甲袋中的白球数定义为该过程的状态，则有四种状态：
0,1，2,3。
现每次从甲、乙两袋中各取
一球，然后互相交换，即把从甲袋取出的球放入乙袋，把从乙袋取出的球放入甲袋，经过n次交换，过程的状态为（n）（n=1，2，3，4，…）。
（1）试问此过程是否为马尔可夫链；
（2）计算它的一步转移概率矩阵。
（1）证明：
显然，该过程由当前状态转移到另一个状态的转移概率只与当前状态和转
移到的状态有关，与其它时刻的状态无关。
因此，该过程是为马尔可夫链。
（2）解：
以甲袋中的白球数i作为该过程的状态。
当i0和3时，过程状态由i转移到j概率为
2
3
「（ji
1）
■勺■
P{（n1）j|（n）i}23T
（j
i）
.2
1
i
—J
（ji
1）
3
0，
其它j值
当i=0时，poi1,poj
步转移概率矩阵为：
0
1
0
0
1
4
4
0
9
9
9
P
0
4
4
-
9
9
9
0
0
1
0
2.8设{（n）}是一马尔可夫链，它的状态转移空间为
阵为
（1）计算概率P{（0）0,
（1）1,
（2）1}；
⑵计算p0?
o
（1）解：
由马尔可夫性可得
P{（0）0,
（1）1,
（2）1}P{
（2）1|
（1）1}P{
（1）1|（0）0}P{（0）0}
其中,
13
1
1
0,
⑴
1,
⑵
1}
—一
—
16
34
4
3
0
1
3
0
5
7
1
—
—
—
—
—
—
4
4
4
16
16
4
1
1
1
1
1
7
16
13
3
3
3
3
3
36
36
36
1
3
0
1
3
1
13
31
4
4
4
4
12
48
48
P{
（2）1|
（1）1}PT1
（1）3
P{
（1）1|（0）0}P01-
4
于是
P{（0）
（2）解：
二步转移概率矩阵为
1
4
护）1
3
0
所以，
另一种解法是根据切普曼
010
P1p0p
010
（1）试求口2），并证明P
（2）旳；
（2）求口n）,n1。
（1）证明：
P
（2）和P（4）分别为
0
1
0
0
1
0
1
p
0
p
p
（2）
1p
0
p
1p
0
p
0
1
0
0
1
0
0
1
0
1
p
0
p
p（4）
口2）护）0
10010010
1p
0p1p0p1p0p
所以，
p
（2）口4）
⑵解：
实际上，
一步转移概率矩阵
P可以经过行列变换为
1p0p1p0p
1p0p
0
0
i
1
0
0
1
1p
p
0
由此可见，这是一个周期为2的马尔可夫链。
所以，当n为奇数时
010
P（n）1p0p
010
n为偶数时
1p0p
P（n）010
1p0p
p1p
P（0p1）
1pp
试用数学归纳法证明
证明：
当n=1时，显然是成立的。
假设
nk
1成立，即
1
1
k1
1
1
k1
—
（2p
1）
—
（2p
1）
p（k1）2
2
2
2
1
1
1）k1
1
1
1）k1
2
（2p
2
2
（2p
2
p（k）p（k1）p
则当nk时
所以结论成立。
2.11设有马尔可夫链，它的状态空间为
I:
{0,1}，它的一步转移概率矩阵为
P的两个特征值和对应的特
Q
Q1ab
a
b
1
1
1b
ab
a
b
与矩阵P存在如下关系
10
1
0
Q1PQ
Q1Q
01ab
0
1
ab
1a
b
a
并且
（Q1PQ）nQ1PQQ1PQQ1PQQ1PnQ
于是得
1
P（n）Q
01
0n
Q1
ab
a（1
a
b）nb
aa（1
a
b）n
b
a
b（1
b
n
ab）
a
ab（1
b
a
b）n
a
b
a
b
［方法二］:
利用矩阵的特征值、特征矢量：
首先，由下面的等价关系
PXXPPXPX2XP（n）XnX
可知n是P（n）的特征值，P的特征向量是P（n）的特征向量。
因此，可由P的所有特
解得P1,P2,P3,P4的值与方法一的结果相同
［方法三］:
利用母函数：
首先，转移概率矩阵对应的母函数为
p（n）sn（I
Ps）
1（1a）s
as
G（s）
n1
bs1
（1b）s
1
1（1b）s
as
（1
2
ab）s2（2
ab）s
1bs1
（1a）s
将矩阵G（s）的第一行第一列元素展开成s的级数为
ab
abab
其中，sn项的系数就是P（n）的第一行第一列元素，即
P1
同理可得p2,p3,p4
2.12天气预报问题。
其模型是：
今日是否下雨依赖于前三天是否有雨（即一连三天有
雨；前面两天有雨，第三天是晴天；…），问能否把这个问题归结为马尔可夫链。
如
果可以，问该过程的状态有几个？
如果过去一连三天有雨，今天有雨的概率为0.8;
过去三天连续为晴天，而今天有雨的概率为0.2;在其它天气情况时，今日的天气与昨日相同的概率为0.6。
求这个马尔可夫链的转移矩阵。
解：
此问题本来不是马尔可夫链，但是通过将连续三天的天气情况定义为一个状态，
则可以认为是一个马尔可夫链。
每天的天气状况分为有雨（用“1”表示）和无雨（用“0”表示）两种情况，所以该马尔可夫链有23=8中状态。
将连续四天的天气情况
用丫和N表示。
例如，前三天有雨，第四天无雨，则表示为YYYN。
根据题意可知，如果过去一连三天有雨，今天有雨的概率为0.8;过去三天连续
为晴天，而今天有雨的概率为0.2;即
P{1111}=0.8，P{0001}=0.2，
在其它天气情况时，今日的天气与昨日相同的概率为0.6，即
P{0011}=P{0111}=P{1011}=0.6
P{1100}=P{0000}=P{0100}=P{1000}=0.6
于是可得其它的概率值为
P{0000}=1-P{0001}=0.8,
P{0010}=1-P{0000}=0.2,P{0101}=1-P{0100}=0.4
因此，概率转移矩阵为
0.8
0.2
0
0
0
0
0
0
0
0
0.4
0.6
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0
0.4
0.6
0
0.4
0.6
0
0
0
0
0
0.4
0.6
1
00000000
⑵⑴
（1）111
oop01p10236
另一种方法是利用母函数
由下面的关系
可得
⑴
oo
试求f0（01），
解：
p1q1
0
P（n）0p2
q2
q30
p3
f
（2），
f00，
f（3），f
（1），f
（2），f（3）。
f00，f01，f01，f01。
f0（10）p0（10）
p1
f0（11）p0（11）
q1
f0（02）p0（11）p1（10）p0（12）p2（10）
q100q30
f0（12）p0（10）p0（11）p0（12）p2（11）
p1q100
p1q1
f（3）f00
p0（11）p1（11）p1（10）p0（11）p1（12）p2（10）
（1）
（1）
（1）p02p21p10
p0（12）p2（12）p2（10）
q1p20q1q2q3000
0p3q3
q1q2q3
f（3）
01
p0（10）p0（10）p0（11）p0（10）p0（12）p2（11）
（1）
（1）
（1）p02p20p01
p0（12）p2（12）p2（11）
p1p1q1p1000q3
q10p3
2
0p12q1
1aa
P（0a1,0b1）
b1b
试求P（n）（利用矩阵的特征值、特征矢量方法计算）解：
解算此题有以下三种方法:
［方法一］:
禾I」用矩阵的相似变换：
首先，容易解得矩阵
征向量分别为
升级会员 