信息论与编码期末考试题全套.docx
《信息论与编码期末考试题全套.docx》由会员分享，可在线阅读，更多相关《信息论与编码期末考试题全套.docx（31页珍藏版）》请在冰点文库上搜索。
信息论与编码期末考试题全套
一、判断题共10小J
满分20分.
1.当随机变量X和丫相互独立时，条件爛H（XIY）等
7、某二元信源［爲冷打加其失真矩阵
于信源爛H（X）.（）
2.由于构成同一空间的基底不是唯一的，所以不同的基底或生成矩阵有可能生成同一码集.
（）
3.—般情况下，用变长编码得到的平均码长比定长编码
大得多.（）
4.只要信息传输率大于信道容量，总存在一种信道编译
码，可以以所要求的任意小的误差概率实现可靠的通信.
（）
5.务码字的长度符合克拉夫特不等式，是唯一可译码存在的充分和必要条件.（）
&连续信源和离散信源的爛都具有非负性.（）
7.信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确
定性就越小，获得的信息戢就越小.
8.汉明码是一种线性分组码.（）
9.率失真函数的最小值是0.
（）
10.必然事件和不可能事件的自信息量都是0.（）
二、填空题共6小题，满分20分.
1、码的检、纠错能力取决
于.
2、信源编码的目的是:
信道编码
的目的是.
3、把信息组原封不动地搬到码字前k位的（仏灯码就叫
做•
4、香农信息论中的三大极限建理
是、、
■
5、耳信道的输入与输出随机序列分别为X和Y,则
KX\Yn）=NI（X,Y）成立的
条件•
6、对于香农-费诺编码、原始香农-费诺编码和哈夫曼编码，编码方法惟一的是
O"，则该信源的Dmax=
a0
三、本题共4小题，满分50分.
K某信源发送端有2种符号x,i=1,2）,/心）=a：
接收端
有3种符号yr.（）=123）,转移概率矩阵为
1/21/20
P=・
1/21/41/4.
（1）计算接收端的平均不确定度
（2）计算由于噪声产生的不确定度H（rix）：
（3）计算信道容量以及最佳入口分布.
2、一阶马尔可夫信源的状态转移
（1）求信源平稳后的概率分布：
（2）
求此信源的燔：
（3）近似地认为此信源为无记忆时，符号的概率分布为
稳分布•求近似信源的爛H（X）并与Hs进行比较.
4、设二元（7,4）线性分组码的生成矩阵为000
100
010
001
（1）给岀该码的一致校验矩阵，写出所有的陪集首和与之相对应的伴随式：
（2）若接收矢gv=（0001011）,试讣算出其对应的伴
随式S并按照最小距离译码准则试着对其译码.
（二）
一、填空题（共15分，每空1分）
1、信源编码的主要目的是,信道编码的主要目的
是。
2、信源的剩余度主要来自两个方而，一是,二
是O
3、三进制佶源的最小爛为_,最大爛为。
4、无失真信源编码的平均码长最小理论极限制
为0
5、当时，信源与信道达到匹配。
6、根据信道特性是否随时间变化，信道可以分为
和0
7、根据是否允许失真，信源编码可分为
和。
8、若连续信源输岀信号的平均功率为C7‘，则输出信号幅度
的概率密度是时，信源具有最大爛，英值为
值。
9、在下而空格中选择填入数学符号“=,MS〉”或“〈”
（1）当X和Y相互独立时，H（XY）_H（X）+H（X/Y）H（Y）+H（X）»
<2）仏（X）=—H.（X）=—十2
（3）假设信道输入用X表示，信道输岀用Y表示。
在无噪有损信道中，H（X/Y）—0,
H（Y/X）_0,1（X;Y）_H（X）。
三、（16分）已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分）
（2）计算平均码长兀；（4分）
（3）计算编码信息率X;（2分）
（4）计算编码后信息传输率/?
;（2分）
（5）计算编码效率巾。
（2分）
四、（10分）某信源输出A、B、C、D、E五种符号，每一个符号独立岀现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5//5。
计算：
（1）信息传输速率心。
（5分）
（3）计算马尔可夫信源的极限爛。
（4分）
⑷计算稳态下H^H2及苴对应的剩余度。
（4分）
六、设有扰信道的传输情况分别如图所示。
试求这种信道的信道容量。
1/2
七、（16分）设X、Y是两个相互独立的二元随机变量，苴取0或1的概率相等。
左义列一个二元随机变SZ=XY（一般乘积）。
试计算
（1）H（X）,H（Z）;
⑵H（XY）,H（XZ）;
（3）H（XIF）,H（ZIX）;
八、（10分）设离散无记忆信源的概率空间为
集为Y=[yiiy2],信道传输概率如下图所示。
0.2——
0.2―=—
0.2——
0.2—-
0.1―-
o.1_L
（2）
（3）
（4）
H（S）=H（0.2,0.2,020.2,0.1.0.1）=2.53
（5）计算收到消息Y后获得的平均互信息呈:
。
《信息论基础》2参考答案
一、填空题（共15分，每空1分）
1、信源编码的主要目的是提髙有效性,信道编码的主要目的是提高可靠性。
2、信源的剩余度主要来自两个方而，一是信源符号间的相关性，二是信源符号的统计不均匀性。
3、三进制信源的最小爛为g,最大爛为log,bit/符号。
4、无失真信源编码的平均码长最小理论极限制为信源爛（或H（S）/logr二Hr（S））。
5、当R二C或（信道剩余度为0）时,信源与信逍达到匹配。
6、根据信道特性是否随时间变化，信道可以分为恒参信道和随参信道。
7、根据是否允许失真,信源编码可分为无失貞•信源编码和限失真信源编码。
8、若连续信源输出信号的平均功率为亍，则输岀信号幅度
%
的概率密度是高斯分布或正态分布或/（X）=出时，
信源具有最大埔，英值为值110g2^cr2o
9、在下而空格中选择填入数学符号"=,乙5〉”或“〈”
（1）当X和Y相互独立时，H（XY）gH（X）+H（X/Y）5H（Y）+H（X）°
（2）H、（X*皿=聖虫1
2—3
（3）假设信道输入用X表示，信道输岀用Y表示。
在无噪有损信道中,H（X/Y）＞0,H（Y/X）=0,I（X;Y）＜H（X）o
三.（16分）已知信源
1.0
Ss
Sb
编码结果为：
S}=00
s,=01
■
S\=100
s4=101
Ss=110
3=111
Z=f加=0.4X2+0.6X3=2.6码％号I—I
R'=Elogr=2.6b*了号
/学^^"973%元其中，
、H（S）H（S）
（5）77=^―=―^=0.973
LlogrL
评分：
其他正确的编码方案：
1，要求为即时码2,平均码长最短
四、（10分）某信源输岀A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、l/8o如果符号的码元宽度为0.5//5O计算：
（1）信息传输速率«。
（5分）
（1）尺+[h（x）-丹（为）
=^log24-llog2
=2log2
=2bit
（1）用霍夫曼编码法编成二进制变长码:
（6分）
（2）计算平均码长兀；（4分）
（3）计算编码信息率X;（2分）
（4）i|-算编码后信息传输率/?
;（2分）
（5）计算编码效率巾°（2分）
R（==4xl0%xy
0.5//5
五、（16分）一个一阶马尔可夫信源，转移概率为
2,\
P（S1I5i）=-,P（S2IS1）=-,P（51IS2）=1,P（52IS2）=0.
（1）画出状态转移图。
（4分）
计算稳态概率。
（4分）
计算马尔可夫信源的极限嫡。
（4分）
⑷计算稳态下H^H2及其对应的剩余度。
（4分）
解：
⑴
⑵由公式p（sj=£p（s」sjp（sj
22
P（SJ=若P（SJSJP（SJ=§P（SJ+P（S2）
1
P（S2）=^P（S2I5,）P（SJ=-P（51）
P（Sj+P（S2）=l
P（SJ=扌"6）=4
（3）该马尔可夫信源的极限爛为:
施=—££P（SJP（S」SjlogP（S」Sj（■】y-1
32,2311
=——x—xlogx—xloe-
43"343
=1x0.578+1x1.599
24
=0.681b"/符号
=0.472na//符号
=0.205hart/符号
⑷在稳态下:
M311
二-乂卩（入）logP（xJ=_-xlog-+-xlog-=0・811b"/符号i«i\4444；
H2=Hx=0.205hart/符号=0.472nat/符号=0.681bit/符号
对应的剩余度为
0.811
rn
7jvv=0.189
_-log!
-+二log_[2賈2丿2賈2丿丿
12
0.681
六、设有扰信道的传输情况分别如图所示。
试求这种信逍的信道容量。
Y
解：
信道传输矩阵如下
Pyix=
可以看出这是一个对称信道,
C=log4-//f-,-,0,o]
<22）
1
2
1
2
£
2
£
2
£
2
丄
2.
=log乙+工p（力IXr.）logIxf）
=log4+2X*log+
=\bit
七、（16分）设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。
泄义另一个二元随机变MZ=XY（一般乘积）。
试计算
（1）
1•\
Z
0
1
（1）心）=1跆0.8=（
・32”“冃0.0969加冲^0・2£
nat
P（z）
3/4
1/4
⑵H（X）=H（（U』2Aa22：
加/符号"符号"217加加省
号
⑷/（xv）,/（x；z）；
（3）转移概率:
z11
H
（2）=H-/|=0.8113Z?
/7
144；
（2）H（XY）=H（X）+H（Y）=M=2bit/对
1]（[I1
H（XZ）=H（X）+H（ZIX）=l+—H（LO）+—〃一，一=\.5bit/对
22122丿
⑶H（X\Y）=H（X）=\bit
（10川算收到消息Y后获得的平均互信息量。
解：
yi
J2
X\
5/6
1/6
X1
3/4
1/4
联合分布:
y\
>!
2
x\
2/3
12/15
4/5
X\
3/20
1/20
1/5
49/60
11/60
1/5
H（XY）=H
fl1
H（ZIX）=-H（l,0）+-H丄，丄]=0.5肋
22、22丿
（4）I（X.Y）=H（Y）-H（Y\X）=H（Y）-H（Y）=O
=1.404〃〃/符号
=0.973）nat/符号
=0.423hart/符号
//（y）=H（49/60,11/60）=0.687M/楞=0・476创楞=0・207加”/符号
/（X,Z）=H（Z）—H（ZIX）=0・8113—0・5=0.3113b〃
八、（10分）设离散无记忆信源的概率空间为X=v,V,通过干扰信道，信道输出端的接收符号
[0.80.2.
集为y=[y^y2]^信道传输概率如下图所示。
//（xiy）=//（xr）-//（r）=o.7i7to/符号丸锄加/陆司恥伽/符号
⑷
H（Y1X卜H（XY卜H（X卜0&2蝴陆"473创符号=0.205血/符号
⑸
/（X；r）=//（X）-//（Xir）=OW5O4^/符号=0.00349创符号=0・00152加#陆
（三）
选择题（共10分，每小题2分）
K有一离散无记忆信源X,其概率空间为
⑹计算信源X中事件禹包含的自信息豊
（7）计算信源X的信息爛;
（8）计算信道疑义度H（XIY）：
⑼计算噪声^H（Y\X）,
x2勺耳_
P」—Lo.50.250」250.125_
，则其无记忆二
次扩展信源的嫡H（F）=（）
A、1.75比特/符号；B、3.5比特/符号;
C、9比特/符号；D、18比特/符号。
2、信道转移矩阵为
4也）
p（”/・G
0
0
0
0
0
0
P（）火）
P（也）
0
0
0
0
0
0
P（”g）
p（u
0.250.50.25
0.250.250.5，则它是
0.50.250.25
信道（填
一_
3-41-4
1-43-4
其中P（儿/兀）两两不相等，则该信道为
3、A、一一对应的无噪信道
B、具有并归性能的无噪信道
C、对称信道
D、具有扩展性能的无噪信道
3、设信道容量为C,下列说法正确的是：
（）
A、互信息量一定不大于C
B、交互嫡一定不小于C
C、有效信息量一定不大于C
D、条件嫡一定不大于C
4、在吊联系统中，有效信息量的值（）
A、趋于变大
B、趋于变小
C、不变
D、不确定
5、若BSC信道的差错率为P,则其信道容量为:
（）
A、H（P）
log2（1-小店
c、1—%）
对称，准对称），其信道容量是比
特/信道符号。
三、（2°分〉鮎通过-个干扰信道，接受符号集为Y=^必｝,信道转移矩阵为
试求
（1）H（X）,H（Y）,H（XY）;（7分）
（2）H（Y|X）,H（X|Y）;（5分）
（3）I（Y;X）o（3分）
（4）该信道的容量C（3分）
（5）当平均互信息量达到信道容量时，接收端Y的爛H（Y）o（2分）
计算结果保留小数点后2位，单位为比特/符号。
四、（9分）简述平均互信息量的物理意义，并写出
应公式。
D、-Plog（P）
二、填空题（20分，每空2分）
1、（74）线性分组码中，接受端收到分组R的位
数为—伴随式S可能的值有—_种,差错图案e的长度为,系统生成矩
阵Gs为—行的矩阵，系统校验矩阵
耳为___行的矩阵，Gs和比满足的关系式是o
2、香农编码中,概率为卩3）的信源符号&对应
的码字G的长度心应满足不等式
六、
嫡、
七、
（10分）设有离散无记忆信源,
rX、
』（X）丿
.2
1
16
其概率分布如下:
1
1
64
64.
1
32
对其进行费诺编码,
平均码长和编码效率。
写出编码过程,
求出信源
3、设有一个信道，其信道矩阵为
信道编码（21分）
1
0
0
0
现有生成矩阵G、.=
0
1
0
0
0
0
1
0
0
0
0
1
1
1
0
1
1
1
1
0
1
0
1
1
1.求对应的系统校验矩阵Hz（2分）
2求该码字集合的最小码字距离d、最大检错能
“通信的数学理论啲长篇论文，从而创立了信息论。
（2）必然事件的自信息是_0
4.
5.
（3）
、最大纠错能力tmaxo（3分）
现有接收序列为r=（1100100）,求纠错译码输lBco（4分）
画出该码的编码电路（4分）
（四）
离散平稳无记忆信源X的N次扩展信源的爛等于离散信源X的爛的N倍。
对于离散无记忆信源，当信源爛有最大值时，满足条件为一信源符号等概分布_°
对于香农编码、费诺编码和霍夫曼编码，编码方法惟
-的是。
已知某线性分组码的最小汉明距离为3,那么这组码
最多能检测出个码元错误，最多能纠正
_个码元错误。
设有一离散无记忆平稳信道，其信道容量为C,只要待传送的信息传输率R_±±=_C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
四、简答题（共20分，每题10分
1.利用公式介绍无条件嫡、条件爛、联合熾和平均互信息量之间的关系。
2.简单介绍哈夫曼编码的步骤
五、计算题（共40分）
1.某信源含有三个消息，概率分别为p（0）=0・2,p
（1）=03,
「4211
P
（2）=0.5,失真矩阵为032
201
求Dmax\Dmin和R（Dg）o（10分）
2.设对称离散信道矩阵为戸=3
£
_6
SC.（10分）
3・有一稳态马尔可夫信源，已知转移概率为p（Si/Si）=2/3,p（S[/S2）=lo求：
（1）画出状态转移图和状态转移槪率矩阵。
（2）求出各状态的稳态槪率。
（3）求出信源的极限爛。
（20分）
（五）
一、（lr）填空
（1）1948年，美国数学家发表了题为
（8）平均错误槪率不仅与信道本身的统计特性有关，还与一译码规则和一编码方法一有关
二、（90判断题
（1）信息就是一种消息。
（X）
（2）信息论研究的主要问题是在通信系统设讣中如何实现信息传输、存储和处理的有效性和可靠性。
（7）
（3）槪率大的事件自信息量大。
（x）
（4）互信息量可正、可负亦可为零。
（7）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（x）
（6）对于固泄的信源分布，平均互信息量是信道传递概率
的下凸函数。
（7）
（7）非奇异码一左是唯一可译码，唯一可译码不一泄是非
奇异码。
（x）
（8）信源变长编码的核心问题是寻找紧致码（或最佳码）,霍夫曼编码方法构适的是最佳码。
（7）
（9）信息率失真函数R（D）是关于平均失真度D的上凸函数.（x）
五、（180.黑白气象传真图的消息只有黑色和白色两种,求：
1）黑色岀现的概率为0.3,白色出现的槪率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熾H（X）：
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
了2＞儿。
说明：
当信源的符号之间有依赖时，信源输岀消息的不确定性减弱。
而信源冗余度正是反映信源符号依赖关系的强弱，冗余度越大，依赖关系就越大。
（2分）
六、（18'）•信源空间为
-X~][x,X2勺无“4心'
_P（X）J=|_0.20.190.180.170.150.10.01
试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
H⑷=-三尸（务）1跆2尸匕）=0-881加/符号（2分，z
2）由题意可知该信源为一阶马尔科夫信源。
（2分）
由卜（讣丈®）也勺），21,2
化】）+伦）=1
4分）
得极限状态概率
2分）尸（黑）冷
血⑴=.h.）log2=0.5533则符号i・lE
3分）
_7
兀=2>（勺儿=3.14尺=竺£]=兰！
=0・831jL3.14
Zi=1
H（X）
log?
2
=0.119
（1分）
000111
H=011001
101011_
1）求此分组码n=?
k=?
共有多少码字？
2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（101001）,求出伴随式并给岀翻译结果。
解：
1）n=6.k=3,共有8个码字。
（3分）
2）设码字
€=（GC4GC2GG））由HC‘=07得
C5㊉q㊉C]㊉co=o
（3分）
2）（3分）最大后脸概率准则下，有，
八（100•二元对称信道如图。
31
1）若“（0）=“
（1）=—，求H（x）、H（XIY）和Z（X；y）:
44
2）求该信道的信道容量。
令监督位为（GGCJ,则有
C2=C5㊉C3
C（）=C4©C3
（3分）
11
生成矩阵为
24
KZ
00110
10011
（2分）
3）所有码字为000000,001101,01001L011110,100110,
（^）=0.8113如打符号
H（Xiy）=0.749Z?
/〃符号
7（^7）=0.0616^打符号
101011,110101,lllOOOo（4分）
4）由S'=HR1得
S=（101）,（2分）该码字在第5位发生错误，（101001）
纠正为（101011）,即译码为（101001）（1分）
（六）
2）,C=0.082如灯符号（3分）此时输入概率分布为等
槪率分布。
（1分）
九.（189设一线性分组码具有一致监督矩阵
一、概念简答题（每題5分，共40分）
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
2•简述最大离•散炳左理。
对于一个有m个符号的离散信源,其最大爛是多少？
3•解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
4•对于一个一般的通信系统，试给岀其系统模型框图，并结合此图，解释数据处理定理。
5.写岀香农公式，并说明其物理意义。
当信逍带宽为5000Hz,信噪比为30dB时求信道容量。
6.解释无失真变长信源编码左理。
3
•信源空间为
造二元和三元霍夫曼码，讣算英平均码长和编码效率。
rioooom
0100010000100010
00010001
5.已知一（8,5）线性分组码的生成矩阵为L00001111
7.解释有噪信道编码左理。
■■
01
0a
刃似）
■I
to1-cy
■■
D-
，其失真矩阵
a0
8.什么是保真度准则？
对二元信源
求a>0时率
失貞•函数的°】血i和°吹？
二.综合题（每题10分，共60分）
1•黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3,白色岀现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出
现前后没有关联，求爛
2）假设黑白消息岀现前后有关联，英依赖关系为：
白）=0.9,尸（黑/白）=0.1,戸白/黑）=0.2,F〔黑/黑）=0.8,
求其埔0（閤:
求：
1）输入为全00011和10100时该码的码字：
2）最小码距。
答案
->概念简答题（每题5分，共40分）
丹（Q=-三F（否）log巩兀）
二.1•答：
平均自信息为7表示信源的平均不确定度.也表示平均每个信源消息所提供的信息虽。
z（x；y）=-言£戸（轨
升级会员 