信息论与编码习题解答.docx
《信息论与编码习题解答.docx》由会员分享，可在线阅读，更多相关《信息论与编码习题解答.docx（25页珍藏版）》请在冰点文库上搜索。
信息论与编码习题解答
居住某地区的女孩子有25%是大学生，在女大学生中有75%是身高160厘米以上的，而女孩子中身高160厘米以上的占总数的一半。
假如我们得知“身高160
厘米以上的某女孩是大学生”的消息，问获得多少信息量
解：
设随机变量
X
P（X）
X代表女孩子学历
X1（是大学生）
X2（不是大学生）
设随机变量
Y代表女孩子身高
丫
y1（身高>160cm）
y2（身高<160cm）
P（Y）
已知：
在女大学生中有75%是身高160厘米以上的
即：
p（y1/x1）0.75bit
求：
身高160厘米以上的某女孩是大学生的信息量
亦p（x-|）p（y1/x1）0.250.75...
即：
I（x1/y1）logp（x1/y1）log--—log1.415bit
p（yj0.5
设有一离散无记忆信源，其概率空间为
X
P
X10X21X32X43
3/8
1/41/4
1/8
（1）求每个符号的自信息量
（2）信源发出一消息符号序列为
{202
120130
213001203
210110321
010021032011223210｝，求该序列的自信息量和平均每个符号携带的信息量
&18
解：
I（x1）log2log21.415bit
P（x1）3
同理可以求得I（X2）2bit,I（x3）2bit,I（x3）3bit
因为信源无记忆，所以此消息序列的信息量就等于该序列中各个符号的信息量之和
就有：
I14I（X1）13I（X2）12I（X3）6I（X4）87.81bit
8781
平均每个符号携带的信息量为1.95bit/符号
45
有两个二元随机变量X和丫，它们的联合概率为
X1=0
X2=1
y1=0
1/8
38
y2=1
38
1/8
并定义另一随机变量Z=XY（—般乘积），试计算:
（1）H（X）H（Y）,H（Z）,H（XZ）,H（Y和）H（XYZ）
⑵H（X/Y）,H（Y/X）,H（X/Z）,H（Z/X）,H（Y/Z）,H（Z/Y）,H（X/YZ）,H（YXZ）（Z/XY）⑶I（X;Y）,I（X;Z）,I（Y;Z）,I（X;Y/Z）,I（Y;Z/X）（X;Z/Y>
解：
（1）
131
P（Xi）P（XiyJp（x』2）
882
311
p（X2）p（X2yJp（X2y2）
882
H（X）p（Xi）logp（Xi）1bit/symbol
i
131
P（yJP（x』1）P（X2yJ
882
311
p（y2）p（x』2）P（x2y2）
882
H（Y）p（yj）logp（yj）1bit/symbol
j
Z=XY的概率分布如下：
Z
z10
Z21
7
1
P（Z）
8
8
2
7
711
H（Z）
P（Zk）
loglog0.544bit/symbol
k
8
888
P（xJ
P（X1Zj
P（X1Z2）
P（X1Z2）
0
P（X1Z1）
P（X1）
0.5
P（Z1）
P（X1Zj
P（X2Zj
P（X2Zj
P（Z1）
/、7cu3
p（x1z1）0.5
88
P（Z2）
P（X1Z2）
Pg?
）
P（X2Z2）
P（Z2）
1
8
H（XZ）
ik
P（XiZk）logP（XiZk）
p（yi）p（yizjp（%Z2）
PW1Z2）0
Pg）P（yi）0.5
p（zjp（yizjp（y2W）PW2Z1）p（zi）p（yiZi）Ip（Z2）p（yiZ2）PW2Z2）
0.5
1
PW2Z2）p（Z2）8
H（YZ）p（yjZQIogp（yjZQ
jk
1,13,31,1logloglog-228888
1.406bit/symbol
P（x1y1Z2）0
p（x』2Z2）0P（X2%Z2）0
p（xy1Z1）卩（为丫忆2）p（X1yJ
卩（人％乙）p（x』1）1/8卩（5乙）p（xyz1）卩
（2）
113
p（X1zJp（xyz1）
288
P（X2%Z1）P（X2%Z2）P（X2%）
P（X2WZ1）
P（x2yJ
P（X2y2Z2）
H（XYZ）
0
P（X2y2Z2）P（X2y2）
1
8
p（XiyjZk）log2p（XiyjZk）
ijk
11333311
loglogloglog-
88888888
P（x2y2）
1.811bit/symbol
1log13log33log3llogl
88888888
1.811bit/symbol
H（X/Y）
H（XY）
H（Y）
1.811
10.811bit/symbol
H（Y/X）
H（XY）
H（X）
1.811
10.811bit/symbol
H（X/Z）
H（XZ）
H（Z）
1.406
0.5440.862bit/symbol
H（Z/X）
H（XZ）
H（X）
1.406
10.406bit/symbol
H（Y/Z）
H（YZ）
H（Z）
1.406
0.5440.862bit/symbol
H（Z/Y）
H（YZ）
H（Y）
1.406
10.406bit/symbol
H（XY）
p（Xiyj）log2PD
H（X/YZ）
H（XYZ）
H（YZ）
1.8111.406
0.405bit/symbol
H（Y/XZ）
H（XYZ）
H（XZ）
1.8111.406
0.405bit/symbol
H（Z/XY）
H（XYZ）H（XY）
1.8111.811
0bit/symbol
⑶
I（X;Y）H（X）H（X/Y）10.8110.189bit/symbol
I（X;Z）H（X）H（X/Z）10.8620.138bit/symbol
I（Y;Z）H（Y）H（Y/Z）10.8620.138bit/symbol
每帧电视图像可以认为是由3105个像素组成的，所有像素均是独立变化，且每像素又取
128个不同的亮度电平，并设亮度电平是等概出现，问每帧图像含有多少信息量若有一个广
播员，在约10000个汉字中选出1000个汉字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）若要恰当的描述此图像，广播员在口述中至少需要多少汉字
解：
1）
H（X）log2nlog21287bit/symbol
H（Xn）NH（X）310572.1106bit/symbol
2）
H（X）log2nlog21000013.288bit/symbol
H（Xn）NH（X）100013.28813288bit/symbol
H（XN）2.1106
H（X）
13.288
158037
K1=3
5-1将下表所列的某六进制信源进行二进制编码，试问:
消息
概率
C1
C2
C3
C4
C5
C6
U1
1/2
000
0
0
0
1
01
U2
1/4
001
01
10
10
000
001
U3
1/16
010
011
110
1101
001
100
U4
1/16
011
0111
1110
1100
010
101
U5
1/16
100
01111
11110
1001
110
110
U6
1/16
101
011111
111110
1111
110
111
（1）这些码中哪些是唯一可译码
（2）哪些码是非延长码
（3）对所有唯一可译码求出其平均码长和编译效率。
解：
首先，根据克劳夫特不等式，找出非唯一可译码
G
:
62
3
1
C2
"1
2
2
345
c663“
:
2
2
22
21
：
63
4
C3
1
64
C4
:
2
2
24
241
C5
:
21
5
23
1
C6
:
2
5
23
1
C5不是唯一可译码，而C4:
又根据码树构造码字的方法
Cl，C3，C6的码字均处于终端节点
他们是即时码
C1.C2.C3.CE
5-10
H（X>-
-0.37Ldg（D37）-0.25Lof（0.25）+O.lSLogfOJ^-0.11^（01）-O.DTLif（0.00）-0,03Ldg（0J05■1.338
K=D37-2+025-2+0.13-2+0.1D-3+0J07-4+0.Q3-4■23
1338
23
0.582
5-12
ci）ffiRM
Hpt>=-d1UflQE）-QIVL4KQ--01UgQE）・0口"聊助-0““武0问-3^5?
當息怡输趨率23孟也旳
C2）
代謀
符巧槪帛
知4竝枉
荷号
Pi
編吗
H（X）
p（Xi）
i
3311
（/log2,/叽）
4444
0.811bit/symbol
H（Y/X）
i
j
p（x）p（yj/Xi）logp（yj/Xi）
3
2
2311111
122
（4
3
lg—一一lg——一lg—
3433433
43©3）log210
p（yj
2）
0.918bit/symbol
（1）计算接受端的平均不确定度；
（2）计算由于噪声产生的不确定度H（Y|X）；
（3）计算信道容量。
解：
P1/21/20
1/21/41/4
联合概率p（x,yj）
Y1
Y2
ya
X1
a/2
a/2
0
X2
（1a）/2
（1a）/4
（1a）/4
Y
Y1
Y2
Y3
1/2
（1a）/4
（1a）/4
则Y的概率分布为
（1）H（Y）
理2
也log4
41a
Jlog
4a
4
1a
1
尹2
1
jog2
3
严2
取2为底
1,16a1a
：
log2log-
41a41
111
log16log-
441
11
log2
41a2
2
a
a1
log—
41a
a
a1alog—
41a
a
H（Y）（|
（2）H（Y|X）
a
2log
a1a
）bit
a
1alog
log?
41
1a1
log-
222
1a1log-44
1a1log-44
alog23（1a）log2
3a.-
厂1og2取2为底
H（Y|X）
口bit
2
cmax
p（x）
l（X；Y）
max
P（Xi）
H（Y）H（Y|X）
max
P（Xi）
^og21
4log
41a
a1alog
41a
取e为底
.a.
（尹2
1ln1
1
-ln2
2
1ln2
2
1-ln22
=0
1a
12a
41a2
a
2（1a2）1,1a
In
41
3
3^2
—log2
10y
—log2
10y
1.5
log一
2a4
1a’1a、—7ln）a41aa
11a
In
41a
1,1a
In
4
log
4
a（
a
1a1a）
2
41a2
^log1
54
1,25
log-
416
1.5
log-
24
3i1log-
204
—log2
10y
在有扰离散信道上传输符号0和1,在传输过程中每100个符号发生一个错误,已知P（0）=P
（1）=/2,信源每秒内发出1000个符号，求此信道的信道容量。
解：
由题意可知该二元信道的转移概率矩阵为：
0.990.01
P为一个BSC信道
0.010.99
所以由BSC信道的信道容量计算公式得到:
21
ClogsH（P）Iog2Pilog0.92bit/sign
i1Pi
1
Ct-C1000C920bit/sect
3-10一个平均功率受限制的连续信道，其通频带为1MHZ，信道上存在白色高斯噪声。
（1）已知信道上的信号与噪声的平均功率比值为10，求该信道的信道容量；
（2）信道上的信号与噪声的平均功率比值降至5，要达到相同的信道容量，信道通频带应
为多大
（3）若信道通频带减小为时，要保持相同的信道容量，信道上的信号与噪声的平均功率比值应等于多大
解：
（1）CWlog2（1SNR）
1106log2（110）3.159Mbps
（2）C2WJog2（15）3.459Mbps
W43.159M1.338MHZ
log26
（3）C3W3log2（1SNR'）3.459Mbps
Iog2（1SNR）
SNR120
3.459
0.5
K=0.41+0.183+0.13+0.14+0.074+0.064+0.055+0045-2.61oH（Q_2$52
R»=-0.978
K261
（3）香农编码
信源符号）U
符号概率pi
劉加概率Pi
・Logp（xi）
码长Ki
码字
xl
0.4
0
1.322
2
（X）
x2
O」8
0.4
2.474
3
Oil
x3
0」
0.58
3.322
4
1001
x4
0」
0.6«
3.322
4
1010
x5
0.07
0.78
3.837
4
IKX）
x6
0.06
0.85
4.059
5
non
x7
0.05
0.91
4.322
5
II101
x8
0.04
0.96
4.M4
5
IIIIO
半均码长:
K=0.42+0.183+0.14+0.14+0.074+0.065+0.055+0045■3.17
（4）费诺编码:
信源符号Xi
符号槪率
Pi
码
码K
xl
0.4
0
0
00
2
x2
0」8
1
01
2
x3
0.1
1
0
0
100
3
x4
0」
1
101
3
x5
0.07
1
0
0
1100
4
x6
0.06
1
1101
4
x7
0.05
1
0
1110
4
x8
0.04
1
Illi
4
K=0.4-2+0.182+0.13+0.1-3+0.074+0.064+0.054+0.04-4=2.64
H（X）.
=2552-0.967
K
2.64
4-1[01
10]
一个四元对称信源
1
0
1
1
X
P（X）
0123
1/41/41/41/4，接收符号
丫={0,1,2,3},其
0
1
1
失真矩阵为14至5个点）。
解：
1
1
0
1
1
1
1
0
求Dmax和Dmin及信源的R（D）函数,
并画出其曲线（取
Dmax
minDj
min
p（xJd（Xj,yj）
p（Xi）mind（Xi,yj）
因为n元等概信源率失真函数：
DDT
R（D）InnIn」1
an1
Dmin
a
其中a=1,n=4,所以率失真函数为：
1
4
10
4
111
4
-0
4
In
D
D
D
R（D）ln4DlnD1Dln1
3
0,R（0）
ln4nat/symbol
1
R（D）
4
116
ln4lnnat/symbol
23
1
R（D）
2
1
ln4ln12nat/symbol
3
-,R（D）
0nat/symbol
D
D
D
某二元信源p（x）
Dmin和R（D函数。
解：
Dmax
minDj
minp（^）d（Xi,yj）
ji
Dminp（Xi）mind（Xi,yj）
ij
因为二元等概信源率失真函数：
R（D）InnHD
a
其中n=2,所以率失真函数为：
R（D）In2DIn_D1DIn1卫
aaaa
X
0
12
3
一个四元对称信源
P（X）
1/4
1/41/4
1/4，接收符号丫-{0,1,2,3},
01
1
1
10
1
1
11
0
1
失真矩阵为1110，求Dmax和Dmin及信源的R（D）函数，并画出其曲线（取4至5个点）。
解：
minDjminp（xJd（Xj,yj）
i
Dminp（Xi）mind（Xi,yj）
ij
因为n元等概信源率失真函数：
D
DTD
R（D）InnIn」1In1
an1a
其中a=1,n=4,所以率失真函数为：
R（D）In4DInD1DIn1D
3
函数曲线:
D0,R（0）In4nat/symbol
11
D,R（D）In4In12nat/symbol
22
3
D,R（D）0nat/symboI
4
4-3
0111
1011d=
11011110
信源熵为H（X）Log（4）2
Dmin=0R（Dmin）=R（0）=H（X）=log（4）=2
p（y1）p（y2）p（y3）p（y4）只要满足p（y1）+p（y2）+p（y3）+p（y4）=1在［0,1］区间可以任意取值。
21
33
12
设二元对称信道的传递矩阵为233
（1）若P（0）=34,P⑴=14,求H（X）,H（X/Y）,H（Y/X和l（X;Y）;
（2）求该信道的信道容量及其达到信道容量时的输入概率分布;解：
升级会员 