概率论习题.docx

概率论习题.docx

《概率论习题.docx》由会员分享，可在线阅读，更多相关《概率论习题.docx（29页珍藏版）》请在冰点文库上搜索。

概率论习题

六、计算（每题10分）（20道）

1、设有一个信源，它产生0，1序列的信息。

它在任意时刻且不论以前发生过什么符号，均按P（0）=0.4，P

（1）=0.6的概率发出符号。

试计算：

（1）H（X2）

（2）H（X3/X1X2）（3）

解：

根据题意，此信源在任何时刻发出的符号概率都是相同的，即概率分布与时间平移无关，且信源发出的序列之间也是彼此无依赖的，所以这个信源是平稳信源，且是离散无记忆信源。

（1）Ｈ（Ｘ）＝-0.4LOG20.4-0.6LOG20.6≈0.971　　比特／符号

Ｈ（Ｘ2）＝2Ｈ（Ｘ）≈1.942　　　　　　　　比特／二符号

（2）Ｈ（Ｘ3|Ｘ1Ｘ2）＝Ｈ（Ｘ3）＝Ｈ（Ｘ）≈0.971　　比特／符号　

（3）　

=lim1/N×H（X1X2…XＮ）＝lim1/N×NＨ（Ｘ）

＝Ｈ（Ｘ）≈0.971　　比特／符号

２、已知信源X和条件概率P（Y/X）如下：

试计算：

H（X）、H（Y）、H（XY）、H（X/Y）、H（Y/X）、Ｉ（X；Y）

解：

根据题意，

（1）由p（xiyj）=p（xi）p（yj/xi），求出各联合概率：

　　　　　　p（x１y１）=p（x１）p（y１|x１）＝1/2×3/4＝0.375

　　　　　　p（x１y２）=p（x１）p（y２|x１）＝1/2×1/4＝0.125

　　　　　　p（x２y１）=p（x２）p（y１|x２）＝1/2×1/4＝0.125

　　　　　　p（x２y２）=p（x２）p（y２|x２）＝1/2×3/4＝0.375

（2）由p（yj）=∑i=1np（xiyj），得到Ｙ集合消息概率：

　　　　　p（y１）=∑i=1２p（xiy１）＝p（x１y１）+p（x２y１）=0.375+0.125=0.5

　　　　　p（y２）=∑i=1２p（xiy２）＝1-p（y１）=1-0.5=0.5

（3）由p（xi|yj）=p（xiyj）/p（yi），求出X的各后验概率：

　　　　　p（x１|y１）=p（x１y１）/p（y１）＝0.375/0.5=0.75

　　　　　p（x2|y１）=p（x2y１）/p（y１）＝0.125/0.5=0.25

　　　　　p（x１|y2）=p（x１y2）/p（y2）＝0.125/0.5=0.25

　　　　　p（x2|y2）=p（x2y2）/p（y2）＝0.375/0.5=0.75

（4）Ｈ（Ｘ）＝∑i=1２p（xi）ＬＯＧ２P（xi）＝-0.5LOG20.5-0.5LOG20.5=1比特/符号

Ｈ（Y）＝∑i=1２p（yi）ＬＯＧ２P（yi）＝-0.5LOG20.5-0.5LOG20.5=1比特/符号

Ｈ（ＸY）＝∑i=1２∑j=1２p（xiyj）ＬＯＧ２P（xiyj）

＝-2×0.375LOG20.375-2×0.125LOG20.125=1比特/符号

（5）平均互信息：

　　I（X;Y）=H（X）+H（Y）-H（XY）=1+1-1=1比特/符号

（6）疑义度：

H（X|Y）=∑i=1２∑j=1２p（xiyj）ＬＯＧ２P（xi|yj）

＝-2×0.375LOG20.75-2×0.125LOG20.25

=2-3/4log3=2-0.93875=1.0615比特/符号

（7）噪声熵：

H（Y|X）=∑i=1２∑j=1２p（xiyj）ＬＯＧ２P（yj|xi）

＝-2×0.375LOG20.75-2×0.125LOG20.25

=2-3/4log3=2-0.93875=1.0615比特/符号

3、同时扔两个正常的骰子，也就是各面呈现的概率都是1/6，求：

（1）“３和５同时出现”这事件的自信息量；

（2）“两个１同时出现”这事件的自信息量；

（3）两个点数的各种组合（无序对）的熵或平均自信息量；

（4）两个点数之和（即２、３、…１２构成的子集）的熵；

（5）两个点数中至少有一个是１的自信息。

（LOG23≈1.585LOG25≈2.3236LOG211≈3.46）

解：

根据题意，同时扔两个正常的骰子，可能呈现的状态数有３６种，因为两骰子是独立的，又各面呈现的概率都是1/6，所以３６种中的任一状态出现的概率相等，为１/３６。

（1）设“３和５同时出现”这事件为Ａ。

在这３６种状态中，３和５同时出现有两种情况即３、５和５、３。

所以

得　　　　　I（A）＝－LOGP（A）=LOG218≈4.17比特

（2）设“两个１同时出现”这事件为Ｂ。

在这３６种状态中，两个１同时出现只有一种情况。

所以

得　　　　　I（Ｂ）＝－LOGP（Ｂ）=LOG236≈5.17比特

（3）设两个点数的各种组合（无序对）构成信源Ｘ，这信源Ｘ的符号集Ａ（样本集）就是这36种状态，所以Ａ＝{x1,x2,…x36},并且其为等概率分布。

得

　　所以　　H（X）=LOG236≈5.17比特/符号（比特/状态）

（4）设两个点数之和构成信源Ｚ，它是由两个骰子的点数之和组合，

即Ｚ＝Ｘ+Ｙ（一般加法）而

所以得

　满足　　　　

　这是因为z=2是由x=1加y=1一种状态得到；z=3是由x=1加y=2和x=２加y=１两种状态得到；z=４是由x=1加y=３、x=２加y=２、x=３加y=１三种状态得到；其它类似。

　由于Ｘ与Ｙ统计独立，可得

　　　　　　　Ｐz（z）=

P（x）P（y）=

P（x）P（y）z=x+y

所以得

　　　　　　　H（Z）=-

P（z）LOGP（z）

=log236-[4/36log22+6/36log23+8/36log24

+10/36log25+6/36log26]

=log236-[26/36+12/36log23+10/36log25]

≈5.17-1.896=3.274　　比特

（5）在这36种状态中两个点数中至少有一个数是１的状态共有１１种，每种状态是独立出现的，每种状态出现的概率是１/３６。

现设两个点数中至少有一个数是１的事件为Ｃ事件，则得

　　　　　Ｐ（C）=11/36

所以得　　Ｉ（C）=－LOGP（C）=－LOG211/36≈1.71　　比特

４、某校入学考试中有１/4考生被录取，3/4考生未被录取。

被录取的考生中有50%来自本市，而落榜考生中有10%来自本市。

所有本市的考生都学过英语。

而外地落榜考生以及被录取的外地考生中都有40%学过英语。

（1）当已知考生来自本市时，给出多少关于考生是否被录取的信息；

（2）当已知考生学过英语时，给出多少有关考生是否被录取的信息；

（3）以x表示是否落榜，y表示是否为本市学生，z表示是否学过英语，试求H（X）、H（Y/X）、H（Z/XY）。

解：

设X表示是否落榜，其值为{a1=被录取，a2＝落榜}；Ｙ表示是否为本市学生，其值为{b1=本市，b2＝外地}；Ｚ表示是否学过英语，其值为{c1=学过，c2＝没学过}。

根据题意，P（a1）=1/4,P（a2）=3/4

P（b1/a1）=0.5,P（b1/a2）=0.1

P（b2/a1）=0.5,P（b2/a2）=0.9

P（c1/b1）=1,P（c1/a2b2）=0.4,P（c1/a1b2）=0.4

P（c2/b1）=0,P（c2/a2b2）=0.6,P（c2/a1b2）=0.6

可计算得

　　　　　P（b1）=

　　　P（b2）=

P（a1/b2）=

P（a2/b2）=

P（c1/b2）=

P（c2/b2）=

P（c1）=

P（c2）=

（1）当考生来自本市，已被录取的概率为

　P（a1/b１）=

当考生来自本市，未被录取的概率为

P（a２/b１）=

（＝１－P（a1/b１））

当已知考生来自本市，给出关于考生是否被录取的信息为

　　　H（X/b１）=

=－5/8log25/8－3/8log23/8≈0.954　　比特

（2）当已知考生学过英语，被录取的概率为

P（a1/c１）=

其中　　P（c1/a1）=

因为本市的考生都学过英语，所以

P（c1/a１b１）=1,P（c1/a２b１）=1

　P（c2/a１b１）=0,P（c2/a２b１）=0

得　　　　　　　　　　　P（c1/a１）

P（a1/c１）

同理　　　　　　　　　P（c1/a2）

P（a2/c１）

则当已知考生学过英语，给出关于考生是否被录取的信息为

H（X/c１）=

=－35/104log235/104－69/104log269/104≈0.921　　比特

（3）H（X）=

=0.811比特/符号

H（Y/X）=

=

≈0.602　　比特/符号

H（Z/XY）=

=

=

≈0.777　　比特/符号

5、A　ensembleXhasthenon-negativeintegersasitssamplespace.FindtheprobabilityassignmentPX（n）,n=0,1,2,…,thatmaximizesH（X）subjecttotheconstraintthatthemeanvalueofX.（n=0,∞）

isafixedvalueA.EvaluatetheresultingH（X）.

解：

根据题意，我们要求最大化H（X），它要满足的条件是

　　　　　　　　　　　　　　⑴

　　　　　　　　　　　　　⑵

０≤PX（n）≤１⑶

先不考虑条件⑶，采用拉格郎日法来求极大（因为离散信源熵的极大存在）。

　得　　　　

　令

其满足　　　　

即　　　

　　　即　　　

根据

和

，则有

　得　　　　　　　　　　

　，　　　　

　因此使H（X）达到极大时的概率分布为

ＰＸ（n）=

n=0,1,…

因为Ａ≥0，ＰＸ（n）显然满足（３），即　０≤PX（n）≤１。

这时

H（X）=－

=－

=

=

=

=（1+A）log（1+A）-AlogA

6、设有一单符号离散信源

（1）对该信源编二进制费诺（Fano）码；

（2）计算其信息熵、平均码长、信息率、编码效率。

解：

（1）费诺（Fano）码编码过程如下表所示。

信息符号

概率

编码

码字

码长

x1

0.25

0

0

00

2

X2

0.25

1

01

２

X3

0.125

1

0

0

100

３

X4

0.125

1

101

３

X5

0.0625

1

0

0

1100

4

X6

0.0625

1

1101

4

X7

0.0625

1

0

1110

4

X8

0.0625

1

1111

4

（2）信息熵　H（X）=

=2.75

平均码长　

=0.25×2×2+0.125×2×3+0.0625×4×4=2.75

信息率　　由于是对单符号信源编二进制码，所以符号个数Ｌ＝１,进制m＝２因此信息率　　　R=

编码效率　

7、已知一个信源包含八个符号消息,它们的概率分布如下表,

A

B

C

D

E

F

G

H

0.1

0.18

0.4

0.05

0.06

0.1

0.07

0.04

1该信源每秒钟内发出一个符号,求该信源的熵及信息传输速率。

2对八个符号作二进制码元的霍夫曼编码,写出各代码组,并求出编码效率。

3对八个符号作三进制码元的霍夫曼编码,写出各代码组,并求出编码效率。

解：

（1）H（X）=－∑p（x）logp（x）=2.552bits/符号。

由于每秒中只有一个符号，所以传输速率R=H=2.552bits/S

（2）各符号对应的码组如下：

A―100；B―110；C―0；D―11101；E－1010；F－1111；G－1011；H－11100。

1

0.6（AGE、BDHF）1

C0.4000

0.37（B、DHF）1

0.23（A、GE）0

0.19（DH、F）1

B0.180110

0.13（GE）1

A0.10100

F0.111111

0.09（DH）0

G0.0711011

E0.0601010

D0.05111101

H0.04011100

平均码长N＝∑PiNi＝0.4*1+0.28*3+0.23*4+0.09*5=2.61

编码效率η＝H（X）/R=H（X）/（（N/L）*log2）

=H（X）/N

=2.55/2.61=97.79%

（3）各符号对应的码组如下：

A―11；B―12；C―2；D―022；E－00；F－10；G－01；H－021。

1

C0.4022

0.38（BAF）1

0.22（DH、GE）0

B0.18212

A0.1111

F0.1010

0.09（DH）2

G0.07101

E0.06000

D0.052022

H0.041021

平均码长N＝∑PiNi＝1*0.4+2*0.51+3*0.09=1.69

编码效率η＝H（X）/R

=H（X）/（（N/L）log3）=2.55/（（1.69/1）*1.585）

=2.55/2.68

=95.28%

8、设具有归并性能的无噪信道的

信道矩阵P=

，求其信道容量及达到信道容量时信源的概率分布p（xi）。

解：

根据题意，x1、　x2对应y1，x３、　x４对应y２，x５对应y３，也就是某一个xi，对应的yj完全确定；但已经收到某一个yj，对应的xi不完全确定。

所以信道的噪声熵H（Y/X）=0，但信道的疑义度H（X/Y）≠0。

相应的信道信量为

　　　　　Ｃ＝

　　　　　　　C=log23=1.585（比特/信道符号）

由信道矩阵有

　　　　　　P（y1）=P（x1）×1+P（x2）×1

P（y2）=P（x3）×1+P（x4）×1

（1）

　　　　　P（y3）=P（x5）×1

只要P（y1）=P（y2）=P（y3）=1/3，H（Y）达到最大，即达到信道信量C。

此时{P（xi），i=1,2,3,4,5}存在，但不唯一。

如

（1）、P（x1）=P（x2）=P（x3）＝P（x4）=1/6P（x5）=1/3。

（2）、P（x1）=P（x3）=1/12P（x2）＝P（x4）=1/4P（x5）=1/3。

均满足

（1）式，且P（y1）=P（y2）=P（y3）=1/3。

9、设二进制对称无记忆信道（BSC），信道矩阵为[P]=

，其中：

0

<1，p+

=1。

试计算：

（1）[P]代表的信道的信道容量C；

（2）[P3]代表的信道的信道容量C3。

解：

（1）C=1+

log2

+plog2p=1-H（p）（记H（p）=-（

log2

+plog2p））

（2）C3=3C

10、信道矩阵[P]=

，计算[P]代表的信道的信道容量。

提示：

利用如下公式

（1）

k=1，2，···，s

（2）

解：

根据题意，将信道矩阵[Ｐ]分成可排列的子矩阵

　　　　　　　　　[Ｐ]１＝

　　和　　[Ｐ]２＝

C=0.0612比特/信道符号

11、彩色电视显象管的屏幕上有5×105个象元，设每个象元有64种彩色度，每种彩度又有16种不同的亮度层次，如果所有的彩色品种和亮度层次的组合均以等概率出现并且各个组合之间相互独立。

（1）计算每秒传送25帧图象所需要的信道容量；

（2）如果在加性高斯白噪声信道上信号与噪声平均功率的比值为63，为实时传送彩色电视的图象，信道的带宽应为多大？

解：

（1）每种彩色度和亮度层次组合的概率P=1/（64×16）。

每个彩色像元的自信息量I1=log21/P=10bits/每像元。

每帧彩色图像的信息量I2=10×5×105=5×106bit/帧。

因为每秒有25帧图像，所以，所需的信道容量至少为

C＝5×106×25=1.25×108bits

（2）因为，S/N=63C=Wlog2（1+S/N）=6W

所以，W＝C/6＝1.25×108/6Hz=20.9×106Hz=20.9MHz

12、证明最小错误概率译码与最大似然译码在先验等概的条件下等价。

设M＝2且两个消息等概，令

，

。

通过信道转移概率p<1/2的信道传输。

若将译码区间分为

，

，

。

试给出译码错误概率和有错而不能判决的概率。

（24个4位0、1序列分为Y1、Y2、Y3）

解：

令信道输入为xm时输出y的转移概率为PN（y|xm），则最小错误概率译码实际上为最大后验概率译码

其中

对于给定的y和所有的m，其w（y）必然相同，所以

就可化为：

，则当先验等概时Q（m）=Q（m’）上式进一步化为

，此即最大似然译码。

所以，当先验等概时，最小错误概率译码与最大似然译码是等价的。

因为M＝2且输入等概，所以由题可知，当收到Y2区间中任一序列判为X1时应为错，同理，收到Y1区间中任一序列，判为X2也为错。

这样：

当收到的序列属于Y3时无法判定为X1或X2，但此时必然有错误发生。

所以，有错而不能判决的概率为：

13、设二元（7,4）线性分组码的生成矩阵为

，给出该码的一致校验矩阵并写出所有的伴随式和与之相对应的陪集首。

若接收矢量

，试计算出其对应的伴随式s并按照最小距离译码准则试着对其译码。

解：

对于二元（n,k），n=7，k=4线性分组码，G＝（Ik，P），H＝（PT，In-k）该码的一致校验矩阵为

H＝

因为二元（7，4）码的纠错范围是7个7位码中一位错，所以各陪集首和与之相对应的S如下：

（s=e•HT）

e=0000001――s=001e=0000010――s=101

e=0000100――s=100e=0001000――s=101

e=0010000――s=111e=0100000――s=011

e=1000000――s=110

当

时，s＝v•HT＝100，对照最小距离译码准则与s和e之间的关系表，可知，e＝0000100。

所以v译码C＝e＋V＝1011100

14、有一组码将二位信息位编成五位长的码字，其规则如下：

0000000

0101101

1010111

1111010

（1）证明此码是系统一致校验码；

（2）找出其生成矩阵和一致校验矩阵；

（3）对于无记忆二元对称信道（p<<

），列出其最大似然译码的译码表；

（4）计算正确译码概率。

解：

（1）设码字C＝（c4c3c2c1c0），信息位为c4c3。

根据码字可得

可见，码字的后三位都是由前二位线性组合得到，而前二位又是与信息位一致。

因此，此码是（5，2）一致校验码。

（2）由码字（c2=c4+c3=[11]

等）可得生成矩阵、一致辞校验矩阵

（由此也可知此码是系统一致校验码）。

（3）列出下列最大似然译码表（S=e•HT）

伴随式S错误图样e

00000000

11110000

10101000

10000100

01000010

00100001

01110100（或00011）

11010001（或00110）

因为码的最小距离dmin=3，所以能纠正一位码元的错误。

（3）根据译码表及无记忆二元信道，所以正确译码概率

（错误图样e中1的个数向量α=（α0α1α2…α5）=（1,5,2,0,0））

＝（1-p）5+5p（1-p）4+2p2（1-p）3

15、设一分组码具有一致校验矩阵

H＝

（1）求这分组码n=？

k=？

，共有多少个码字？

（2）求此分组码的生成矩阵；

（3）矢量101010是否是码字？

（4）设发送码字c=（001111），但接收到的序列为r=（000010），其伴随式s是什么？

这伴随式指出已发生的错误在什么地方？

为什么与实际错误不同？

解：

（1）设码字c＝（c5c4c3c2c1c0），有

c•HT＝0

故得

（1）

所以n=6，r=3，k=3，为（6，3）分组码。

码字共有2k＝8个。

（2）由Gs=[Ik,Qk*r]Hs=[（Qk*r）,Ir]得

Gs＝

（3）这分组码的所有许用码字是（c=m•Gs）

000000101011011100111001

001111110110100101010011

可见101010不是码字

（4）因为s＝r•HT

s＝

＝

伴随式s正好是H矩阵中第5列。

根据伴随式s就判断码字中发生了错误，则E’＝（000010）。

但实际错误图样E为

c+e＝r

e＝r+c

e=（000010）+（001111）=（001101）

是码字传送中发生了三位码元错误。

因为此（6，3）码dmin=2De+1=3，得De=1，所以（6，3）码伴随式所判断的错误只能纠正一位码元发生错误的错误图样。

若此（6，3）码用于检测错误，也只能检测出二位码元发生错误。

因此，当传输过程中码字发生了三位以上码元的错误也就无法检测出来了。

16、Considertwoparitycheckcodes.CodeIisgeneratedbytherule

x1=u1x4=u1⊕u2

x2=u2x5=u1⊕u3

x3=u3x6=u2⊕u3

x7=u1⊕u2⊕u3

CodeIIisthesameexceptthatx6=u2.

（1）WritedownthegeneratormatrixandparitycheckmatrixforcodeI.

（2）WriteoutadecodingtableforcodeI,assumingaBSCwithcrossoverprobabilityε<

.

（3）GiveanexactexpressionfortheprobabilityofdecodingerrorforcodeIandforcodeII.Whichislarger?

（4）FinddminforcodeIandforcodeII.

（5）Giveacounterexampletotheconjecturethatifone（N,k）parityche