信息论与编码第二版习题答案陈运主编最新范文.docx
《信息论与编码第二版习题答案陈运主编最新范文.docx》由会员分享，可在线阅读，更多相关《信息论与编码第二版习题答案陈运主编最新范文.docx（9页珍藏版）》请在冰点文库上搜索。
信息论与编码第二版习题答案陈运主编最新范文
信息论与编码（第二版）习题答案,陈运,主编
篇一：
信息论与编码复习资料重点陈运第二版
2.3居住某地区的女孩子有25%是大学生,在女大学生中有75%是身高160厘米以上的,而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160厘米以上的某女孩是大学生”的消息,问获得多少信息量？
解：
设随机变量X代表女孩子学历
XP（X）
x1（是大学生）
0.25
x2（不是大学生）
0.75
设随机变量Y代表女孩子身高
YP（Y）
y1（身高>160cm）
0.5
y2（身高160cm）
P（Y）0.5y2（身高log6不满足信源熵的极值性。
解：
·2·
H（X）=?
∑p（x）logp（x）ii
i6
=?
（0.2log0.2+0.19log0.19+0.18log0.18+0.17log0.17+0.16log0.16+0.17log0.17）
=2.657bit/symbol
H（X）>log26=2.585
不满足极值性的原因是∑6p（xi）=1.07>1。
i
2.7证明：
H（X3/X1X2）≤H（X3/X1）,并说明当X1,X2,X3是马氏链时等式成立。
证明：
H（X3/X1X2）?
H（X3/X1）
=?
∑∑∑p（xi1xi2xi3）logp（xi3/xi1xi2）+∑∑p（xi1xi3）logp（xi3/xi1）
i1i2i3i1i3
=?
∑∑∑p（xi1xi2xi3）logp（xi3/xi1xi2）+∑∑∑p（xi1xi2xi3）logp（xi3/xi1）
i1i2i3i1i2i3
=p（xxx）p（xi3/xi1）
∑∑i1i2i3
∑i1i2i3p（xi3/xi1xi2）
≤∑∑p（x?
p（x
i1xi3/xi1）?
i2xi3）?
?
1?
log2e
∑
i1i2i3?
?
p（xi3/xi1xi2）?
?
?
?
∑∑∑1i2i3p（x?
=?
i1xi2）p（xi3/xi1）?
∑∑∑p（xi1xi2xi3）?
log2e
ii1i2i3?
=?
?
?
∑∑p（x?
?
?
i1xi2）
i1i2?
∑p（xi3/xi1）?
?
?
?
1?
log2e
i3?
=0
∴H（X
3/X1X2）≤H（X3/X1）
当p（xi3/xi1）
p（x?
1=0时等式等等
i3/xi1xi2）
?
p（xi3/xi1）=p（xi3/xi1xi2）
?
p（xi1xi2）p（xi3/xi1）=p（xi3/xi1xi2）p（xi1xi2）
?
p（xi1）p（xi2/xi1）p（xi3/xi1）=p（xi1xi2xi3）
?
p（xi2/xi1）p（xi3/xi1）=p（xi2xi3/xi1）
∴等式等等的等等是X1,X2,X3是马_氏链
2.8证明：
H（X1X2。
。
。
Xn）≤H（X1）+H（X2）+…+H（Xn）。
证明：
H（X1X2...Xn）=H（X1）+H（X2/X1）+H（X3/X1X2）+...+H（Xn/X1X2...Xn?
1）
I（X2;X1）≥0I（X3;X1X2）≥0
...
·3·
?
H（X2）≥H（X2/
X1）
?
H（X3）≥H（X3/
X1X2）
·4·
I（XN;X1X2...Xn?
1）≥0?
H（XN）≥H（XN/X1X2...Xn?
1）
∴H（X1X2...Xn）≤H（X1）+H（X2）+H（X3）+...+H（Xn）
2.9设有一个信源,它产生0,1序列的信息。
它在任意时间而且不论以前发生过什么符号,均按P（0）=0.4,P
（1）=0.6的概率发出符号。
（1）试问这个信源是否是平稳的？
（2）试计算H（X2））,并写出H（X3/X12XX）及∞
（3）试计算H（XH;44信源中可能有的所有符号。
解：
（1）
这个信源是平稳无记忆信源。
因为有这些词语：
“它在任．意．时．间．而且不．论．以．前．发．生．过．什．么．符．号．……”
（2）
H（X2）=2H（X）=?
2×（0.4log0.4+0.6log0.6）=1.942bit/symbol
H（X3/X1X2）=H（X3）=?
∑p（xi）logp（xi）=?
（0.4log0.4+0.6log0.6）=0.971bit/symbol
i
H∞=Nlim?
>∞H（XN/X1X2...XN?
1）=H（XN）=0.971bit/symbol
（3）
H（X4）=4H（X）=?
4×（0.4log0.4+0.6log0.6）=3.884bit/symbol
X4的所有符号：
0000000100100011
0100010101100111
1000100110101011
11001101111011112.10一阶马尔可夫信源的状态图如下图所示。
信源X的符号集为{0,1,2}。
（1）求平稳后信源的概率分布;
（2）求信源的熵H∞。
解：
（1）
5··
篇三：
信息论与编码课后习题答案
1．有一个马尔可夫信源,已知p（x1|x1）=2/3,p（x2|x1）=1/3,p（x1|x2）=1,p（x2|x2）=0,试画出该信源的香农线图,并求出信源熵。
解：
该信源的香农线图为：
○
2/3（x1）1（x2）
在计算信源熵之前,先用转移概率求稳定状态下二个状态x1和x2的概率p（x1）和p（x2）立方程：
p（x1）?
p（x1x1）p（x1）+p（x1x2）p（x2）
=2p（x1）?
p（x2）
p（x2）?
p（x2x1）p（x1）+p（x2x2）p（x2）=3p（x1）?
0p（x2）p（x1）?
p（x2）=1得p（x1）?
马尔可夫信源熵H=?
3
4
p（x2）?
14
?
p（x）?
p（x
i
I
J
j
xi）logp（xjxi）得H=0.689bit/符号
3
2．设有一个无记忆信源发出符号A和B,已知p（A）?
1。
求：
4.p（B）?
4
①计算该信源熵;
②设该信源改为发出二重符号序列消息的信源,采用费诺编码方法,求其平均信息传输速率;③又设该信源改为发三重序列消息的信源,采用霍夫曼编码方法,求其平均信息传输速率。
解：
①H（X）?
?
?
p（x）logp（x）=0.812bit/符号
i
i
X
②发出二重符号序列消息的信源,发出四种消息的概率分别为
33p（AB）?
p（AA）?
4?
4?
164?
4?
16
339p（BB）?
3p（BA）?
34?
4?
164?
4?
16
用费诺编码方法代码组bi
BB01BA102AB1103AA1113
2
无记忆信源H（X）?
2H（X）?
1.624bit/双符号平均代码组长度2=1.687bit/双符号
H（X2）R2?
=0.963bit/码元时间
③三重符号序列消息有8个,它们的概率分别为
1
p（AAB）?
64p（BAA）?
64p（ABA）?
p（AAA）?
64p（BAB）?
64p（ABB）?
64p（BBB）?
p（BBA）?
646464
用霍夫曼编码方法代码组biBBBBBABABABBAABBAAABA
AAA
2799964643364
001（1911103）
1（64）1101364）
001003
61（）1111115
01111105
41（）0111015
0111005
H（X3）?
3H（X）=2.436bit/三重符号序列
3=2.469码元/三重符号序列
H（X3）
=0.987bit/码元时间R3=
3．已知符号集合{x1,x2,x3?
}为无限离散消息集合,它们的出现概率分别为p（x1）?
2
p（x2）?
1p（xi）?
···p（x3）?
11
···求：
i2
①用香农编码方法写出各个符号消息的码字（代码组）;②计算码字的平均信息传输速率;③计算信源编码效率。
解:
①
2
②H（X）?
?
?
p（x）logp（x）=2bit/符号
i
i
I
?
?
Pibi?
?
=2码元/符号
I
R?
H（x）
?
1bit/码元时间R
=100%C
③二进制信道C=1bit/码元时间信源编码的编码效率?
=
①对这八个符号作二进制码元的霍夫曼编码,写出各个码字,并求出编码效率。
解:
①H（X）?
?
?
p（x）logp（x）=2552bit/符号,时间熵H
X
t
?
2.552bit/s
Rt=Ht?
2.552bit/s②霍夫曼编码
符号pi代码组biC0.4001B0.1801103A0.10（1,0）100301
F0.1011（0.6）11114G0.071101141
E0.060（0.13）110104D0.051（0.19）1110150
H0.040（0.09）111005
平均码长=2.61码元/符号
H（x）
?
0.9779bit/码元时间R
信源编码的编码效率?
==97.79%
C
R?
3
《》
升级会员 