信息论习题集Word文档下载推荐.docx

信息论习题集Word文档下载推荐.docx

《信息论习题集Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《信息论习题集Word文档下载推荐.docx（28页珍藏版）》请在冰点文库上搜索。

，联合概率

为

（1）如果有人告诉你

的实验结果，你得到的平均信息量是多少

（2）如果有人告诉你

（3）在已知

的实验结果的情况下，告诉你

[

2-4某一无记忆信源的符号集为

，已知

，

。

（1）求信源符号的平均信息量；

（2）由100个符号构成的序列，求某一特定序列（例如有

个0和

个1）的信息量的表达

（3）计算

（2）中的序列熵。

2-5 

有一个马尔可夫信源，已知转移概率为

试画出状态转移图，并求出信源熵。

—

2-6有一个一阶马尔可夫链

各

取值于集

，已知起始概率为

，其转移概率如下：

j

i

1

2

3

'

1/2

2/3

1/4

1/3

（1）求

的联合熵和平均符号熵；

（2）求这个链的极限平均符号熵；

（3）求

和它们对应的冗余度。

2-7 

一阶马尔可夫信源的状态如图所示，信源X的符号集为{0,1,2}。

（1）求平稳后的信源的概率分布；

（2）求信源熵

；

^

（3）求当

时信源的熵，并说明其理由。

2-8设有一信源，它在开始时以

的概率发出

，如果

时，则

的概率为

如果

概率为

，为

的概率为0。

而且后面发出

的概率只与

有关。

有

试利用马尔可夫信源的图示法画出状态转移图，并且计算信源熵

第三章

&

8、通信中获得的信息量等于通信过程中不确定性的消除或者减少量。

9、离散信道的信道容量与信源的概率分布有关，与信道的统计特性也有关。

10、连续信道的信道容量与信道带宽成正比，带宽越宽，信道容量越大。

11、信源熵是信号符号集合中，所有符号的自信息的算术平均值。

12、信源熵具有极值性，是信源概率分布P的下凸函数，当信源概率分布为等概率分布时取得最大值。

13、离散无记忆信源的N次扩展信源，其熵值为扩展前信源熵值的N倍。

14、互信息的统计平均为平均互信息量，都具有非负性。

15、信源剩余度越大，通信效率越高，抗干扰能力越强。

16、信道剩余度越大，信道利用率越低，信道的信息传输速率越低。

17、信道输入与输出之间的平均互信息是输入概率分布的下凸函数。

18、在信息处理过程中，熵是不会增加的。

19、熵函数是严格上凸的。

20、信道疑义度永远是非负的。

21、对于离散平稳信源，其极限熵等于最小平均符号熵。

22、对于离散无记忆信道，达到信道容量时其输入概率分布是唯一的、特定的。

23、噪声功率相同的加性噪声信道中以高斯噪声信道的信道容量最大。

24、典型序列中，信源符号出现的频率与它的概率接近。

25、为有效抵抗加性高斯噪声干扰，信道输入分布应该是高斯分布。

26、最大似然译码准则是使平均译码错误率最小的准则。

27、加性高斯噪声信道的信道容量不大于相同平均功率的其他加性噪声信道的信道容量。

28、非奇异的定长码是惟一可译码。

29、AWGN的信道容量的大小与系统的带宽成正比。

30、信源编码可以提高信息传输的有效性。

31、连续信源和离散信源的平均互信息都具有非互性。

32、当信道输入独立等概率时，信道疑义度达到最大值。

33、必然事件和不可能事件的自信息量都是0。

34、事件所包含的信息量是与事件发生的概率成反比的。

二、选择题

\

1 

离散信源熵表示信源输出一个消息所给出的（ 

B 

）。

A、实际信息量；

B、统计平均信息量；

C、最大信息量；

D、最小信息量；

2 

平均互信息I（X,Y）等于（ 

C 

A 

、H（Y）―H（X/Y）；

B、 

H（X）―H（Y/X）

、H（Y）―H（Y/X）；

D、H（XY）―H（X）；

3 

设连续信源输出的信号谱宽度为W，平均功率为N（受限），则连续无噪信道的信道容量为（ 

A、Wlog（2πeN）；

B、2Wlog（2πeN）；

C、Wlog（2πN）；

D、2Wlog（2πN）；

4 

对于无记忆离散信源X，其熵值为H（X），由其生成的扩展信源XN的熵为H（XN），H（X）与H（XN）之间的关系是（ 

A、H（XN）=H（X）；

B、H（XN）=NH（X）；

C、H（XN）=HN（X）；

D、H（XN）=H（X）/N；

5、关于信源编码和信道编码，下面的说法错误的是（ 

A、信源编码是为了减少冗余度，信道编码则是有意增加冗余度；

B、信源编码提高了可靠性，降低了有效性；

C、首先对信源编码，到了信道的输入端再对其进行信道编码；

D、信道编码提高了可靠性，降低了有效性。

6、以下关于离散平稳信源的说法不正确的是（ 

A、平稳信源发出的符号序列的概率分布与时间起点无关；

B、平均符号熵随信源关联长度L的增加而减小；

C、对于平稳信源，一般情况下，齐次包括平稳，平稳不包括齐次；

D、平稳信源的概率分布特性具有时间推移不变性。

】

7、将某六进制信源进行二进制编码如下表示，则这些码中是唯一可译码的是（ 

D 

符号

概率

c1

c2

c3

c4

c5

c6

u1

（

000

01

u2

001

10

u3

1/16

010

011

110

1101

100

u4

0111

1110

1100

101

u5

01111

11110

1001

u6

011111

111110

1111

111

A、c1 

c3 

c6 

c2 

C、 

c1 

D、c1 

8、关于线性分组码，下列说法正确的是（ 

A、卷积码是线性分组码的一种；

B、最小码距是除全零码外的码的最小重量；

C、具有封闭性，码字的组合未必是码字；

D、不具有封闭性，码字的组合未必是码字。

9、香农公式是用在哪种信道中（ 

A、二进制离散信道；

B、离散无记忆信道；

C、离散输入，连续输出信道；

D、波形信道。

10、通信系统的性能指标为（ 

A、有效性 

可靠性 

安全性 

经济性 

B、有效性 

可行性 

保密性

C、保密性 

D、高效性 

经济性

11、信源存在冗余度的主要原因是（ 

A、信源符符号间的相关性 

B、信源符号分布的不均匀性

C、信源符号间的相关性及分布的不均匀性 

D、以上都不对

…

12、对于（n，k）线性分组码，设dmin为最小汉明距离，则以下正确的是（ 

A、这组码能纠正u个错误的充分必要条件是等dmin=2u+1；

B、具有检测L个错误的能力的充要条件是dmin=L+1;

C、具有纠正t个错误，同时可以发现L（L>

t）个错误的能力的充分条件是dmin=t+L+1;

D、以上三个结论都不正确。

三、填空题

1、单符号离散信源一般用随机变量描述，而多符号信源一般用随机矢量描述。

2、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的N倍。

3、对于一阶马尔可夫信源，其状态空间共有

个不同的状态。

4、根据输入输出的信号特点，可将信道分成离散信道、连续信道、半离散或半连续信道 

5、对于离散无记忆信道和信源的N次扩展，其信道容量

= 

NC 

6、信道编码论定理是一个理想编码存在性理论，即：

信道无失真传递信息的条件是 

信息传输速率小于信道容量。

7、信源编码的目的是 

提高通信的有效性 

8、对于香农编码、费诺编码和霍夫曼编码，编码方法唯一的是 

香农编码 

9、在多符号的消息序列中，大量重复出现的，只起暂时作用的符号称为 

冗余位 

10、若纠错码的最小距离为d

则可以纠错任意小于等于 

个差错。

11、线性分组码是同时具有 

分组特性和线性特性 

的纠错码。

12、平均功率为P的高斯分布的连续信源，其信源熵为 

13、当连续信源和连续信道都是无记忆时，则 

14、信源编码与信道编码之间的最大区别是，信源编码需 

减少 

信源的剩余度，而信道编码需 

增加 

信源的剩余度。

15、离散信源的熵值H（X）越小，说明该信源消息之间的平均不确定性 

减弱 

16、信源符号间的相关程度越大，则信源的符号熵越小，信源剩余度越大。

17、唯一可译码的码长必须满足Kraft不等式

18、R（D）是满足D准则下平均传送每个信源符号所需要的最少比特数，它是定义域上严格的递减函数。

19、AWGN信道下实现可靠通信的信噪比下界，此时对应的频带利用率为0。

20、对于含有n个信源符号的离散信源，其最大熵值为

对于连续信源，当幅度受限时，均匀分布具有最大熵，当平均功率受限时，高斯分布具有最大熵。

21、同时掷出两个正常的骰子，骰子分六面，每一面出现的概率是1/6，则“两个1同时出现”这一事件的自信息量为比特。

22、已知信源的各个符号分别为字母A、B、C、D，现用四进制码元表示，每个码元的宽度为10ms，如果每个符号出现的概率分别为1/5，1/4，1/4，3/10，则信源熵H（X）为比特/符号，在无扰离散信道上的平均信息传输速率为比特/秒。

23、已知8个码组，（000000）、（001110）、（010101）、（011011）、（100011）、（101101）、（110110）、（111000）。

则该码组的最小码距为3，若只用于检错可检测2位错码，若只用于纠错可纠正1位错码。

24、能获得最佳码的编码方式主要有香农编码、费诺编码、和霍夫曼编码。

25、八进制脉冲是二进制脉冲所含信息量的3倍。

26、1948年，美国数学家香农发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

27、对于n元m阶马尔可夫信源，其状态空间共有nm个不同的状态。

28、信道编码的最终目的是为了提高信号传输的可靠性。

四、简答题）

1、什么叫信息

答：

信息是事物运动状态或存在方式的不确定性的描述。

2、信源冗余度：

信源冗余度也就是信源剩余度，它是指信源所含信息量与符号所能携带的最大信息量之间差别的度量。

3、线性分组码：

分组码的信息码元与监督码元之间的关系为线性关系时，这种分组码就称为线性分组码。

而分组码是一组固定长度的码组，可表示为（n,k），通常它用于前向纠错。

在分组码中，监督位被加到信息位之后，形成新的码。

在编码时，k个信息位被编为n位码组长度，而n-k个监督位的作用就是实现检错与纠错。

4、熵功率：

若平均功率为P的非高斯分布的信源具有熵为h，称熵也为h的高斯信源的平均功率为熵功率。

5、什么是信源编码，试述香农第一编码定理的物理意义

所谓信源编码就是对信源的原始符号按一定的规则进行变换，以新的编码符号代替原始信源符号，从而降低原始信源的冗余度。

香农第一编码定理的物理意义：

无失真信源编码的实质就是对离散信源进行适当的变换，使变换后新的码符号信源（信道的输入信源）即可能等概分布，以使新信源的每个码符号平均所含的信息量达到最大，从而使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。

6、若有一信源

每秒钟发出个信源符号。

将此信源的输出符号送入某一个二元信道中进行传输（假设信道是无噪无损失），而信道每秒钟只传递2个二元符号。

试问信源不经过编码能否直接与信道连接通过适当编码能否与信道连接采用何种编码，为什么

因信源符号速率大于信道传输速率（>

2），所以不能直接连接

因为

所以，可以通过当编码在次信道中无失真的传输。

可对信源的N词扩展信源进行无失真信源编码，只要N足够大取适当的编码就能与信道匹配。

7、香农第二定理（信道编码定理）指出了“高效率、高可靠性”的信道编码存在性。

则：

（1）高效率、高可靠性的含义是什么

（2）存在这种信道编码的条件是什么

（3）重复码是否是否满足“高效率、高可靠性”的条件，为什么

（4）当前是否存在接近香农信道容量界的信道编码

（1）高效率是指信息传输速率接近信道容量，高可靠性是指译码错误概率任意小。

（2）存在这种信道编码的必要条件是信息传输速率小于信道容量。

（3）重复码不满足“高效率、高可靠性”的条件，因为当

（4）当前存在接近香农信道容量界的信道编码。

五、计算题

1、（10分）由符号集合{0，1}组成的二阶马氏链，转移概率为：

p（0/00）=，p（0/11）=，p（1/00）=，p（1/11）=，p（0/01）=，p（0/10）=，p（1/01）=，p（1/10）=。

画出状态图，并计算各状态的稳态概率。

-

解：

由已知条件可知题目的状态转移高率矩阵如下：

（3分）状态转移图为（3分）

由状态转移概率矩阵知道，设各状态为S1 

、S2 

、S3 

、S4 

，可知各状态之间满足关系：

（4分）

六、编码题

1、已知一信源包含8个符号，其概率分布分别为：

P={，，，，，，，}。

（1）该信源每秒发送一个信源符号，求该信源的熵及其信息传输速率；

（2）对八个符号进行霍夫曼编码，写出相应的码字，并求出编码效率。

（1）

信息传输速率

（2）（4分）

!

S1

S2

S3

S4

S5

S6

S7

S8

·

编码码字分别为：

1，001，011，0000，0100，0101，00010，00011

平均码字为：

L= 

编码效率为：

（2分）

设二元对称信道的传递矩阵为

若P（0）=3/4,P

（1）=1/4，求H（X）,H（X/Y）,H（Y/X）和I（X;

Y）；

（2） 

求该信道的信道容量及其达到信道容量时的输入概率分布；

3-2某信源发送端有2个符号，

，i＝1，2；

，每秒发出一个符号。

接受端有3种符号

，j＝1，2，3，转移概率矩阵为

（1）计算接受端的平均不确定度；

（2）计算由于噪声产生的不确定度

（3）计算信道容量。

3-3 

设二进制对称信道的概率转移矩阵为

（1）若

求H（X）,H（X|Y）,H（Y|X）和I（X;

Y）.

（2）求该信道的信道容量及其达到信道容量时的输入概率分布.

3-4 

设某对称离散信道的信道矩阵为

求其信道容量。

3-5设有扰信道的传输情况分别如图所示。

试求这种信道的信道容量。

3-6 

求下列两个信道的信道容量，并加以比较。

（2）

其中

一、名词解释（25道）

1、“本体论”的信息 

2、“认识论”信息 

3、离散信源

4、自信息量 

5、离散平稳无记忆信源 

6、马尔可夫信源 

7、信源冗余度 

8、连续信源 

9、信道容量 

￥

10、强对称信道 

11、对称信道 

12、多符号离散信道

13、连续信道 

14、平均失真度 

15、实验信道

16、率失真函数 

17、信息价值率 

18、游程序列

19、游程变换 

20、L-D编码 

21、冗余变换

22、BSC信道 

23、码的最小距离 

24、线性分组码

25、循环码 

二、填空（100道）

1、在认识论层次上研究信息的时候，必须同时考虑到 

形式、含义和效用 

三个方面的因素。

2、1948年，美国数学家 

香农 

发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。

？

3、按照信息的性质，可以把信息分成 

语法信息、语义信息和语用信息 

4、按照信息的地位，可以把信息分成 

客观信息和主观信息 

5、人们研究信息论的目的是为了 

高效、可靠、安全 

地交换和利用各种各样的信息。

6、信息的 

可度量性 

是建立信息论的基础。

7、 

统计度量 

是信息度量最常用的方法。

8、 

熵 

是香农信息论最基本最重要的概念。

9、事物的不确定度是用时间统计发生 

概率的对数 

来描述的。

10、单符号离散信源一般用随机变量描述，而多符号离散信源一般用 

随机矢量 

描述。

11、一个随机事件发生某一结果后所带来的信息量称为自信息量，定义为 

其发生概率对数的负值 

12、自信息量的单位一般有 

比特、奈特和哈特 

/

13、必然事件的自信息是 

0 

14、不可能事件的自信息量是 

∞ 

15、两个相互独立的随机变量的联合自信息量等于 

两个自信息量之和 

16、数据处理定理：

当消息经过多级处理后，随着处理器数目的增多，输入消息与输出消息之间的平均互信息量 

趋于变小 

17、离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的 

N倍 

18、离散平稳有记忆信源的极限熵，

19、对于n元m阶马尔可夫信源，其状态空间共有 

nm 

20、一维连续随即变量X在[a，b]区间内均匀分布时，其信源熵为 

log2（b-a） 

21、平均功率为P的高斯分布的连续信源，其信源熵，Hc（X）=

22、对于限峰值功率的N维连续信源，当概率密度 

均匀分布 

时连续信源熵具有最大值。

23、对于限平均功率的一维连续信源，当概率密度 

高斯分布 

时，信源熵有最大值。

24、对于均值为0，平均功率受限的连续信源，信源的冗余度决定于平均功率的限定值P和信源的熵功率

之比 

25、若一离散无记忆信源的信源熵H（X）等于，对信源进行等长的无失真二进制编码，则编码长度至少为 

26、m元长度为ki，i=1，2，·

n的异前置码存在的充要条件是：

27、若把掷骰子的结果作为一离散信源，则其信源熵为 

log26 

28、同时掷两个正常的骰子，各面呈现的概率都为1/6，则“3和5同时出现”这件事的自信息量是 

log218（1+2log23）。

29、若一维随即变量X的取值区间是[0，∞]，其概率密度函数为

，其中：

，m是X的数学期望，则X的信源熵

30、一副充分洗乱的扑克牌（52张），从中任意抽取1张，然后放回，若把这一过程看作离散无记忆信源，则其信源熵为 

31、根据输入输出信号的特点，可将信道分成离散信道、连续信道、半离散或半连续 

信道。

32、信道的输出仅与信道当前输入有关，而与过去输入无关的信道称为 

无记忆 

33、具有一一对应关系的无噪信道的信道容量C= 

log2n