信息论习题.docx

信息论习题.docx

《信息论习题.docx》由会员分享，可在线阅读，更多相关《信息论习题.docx（12页珍藏版）》请在冰点文库上搜索。

信息论习题

信息理论基础习题集【考前必看】

一、判断：

1、必然事件和不可能事件的自信息量都是0。

2、自信息量是p（xi）的单调递减函数。

3、单符号离散信源的自信息和信源熵都具有非负性。

4、单符号离散信源的自信息和信源熵都是一个确定值。

5、单符号离散信源的联合自信息量和条件自信息量都是非负的和单调递减的

6、自信息量、条件自信息量和联合自信息量之间有如下关系：

I（xiyj）I（xi）I（yj/xi）I（yj）I（xi/yj）

7、自信息量、条件自信息量和互信息量之间有如下关系：

I（xi;yj）I（xi）I（xi/yj）I（yj）I（yj/xi）

8、当随机变量X和Y相互独立时，条件熵等于信源熵。

9、当随机变量X和Y相互独立时，I（X；Y）=H（X）。

10、信源熵具有严格的下凸性。

11、平均互信息量1（X;丫）对于信源概率分布p（Xi）和条件概率分布p（y/xi）都具有凸函数性。

12、m阶马尔可夫信源和消息长度为m的有记忆信源，其所含符号的依赖关系相同。

13、利用状态极限概率和状态一步转移概率来求m阶马尔可夫信源的极限熵。

14、定长编码的效率一般小于不定长编码的效率。

15、信道容量C是I（X；丫）关于p（Xi）的条件极大值。

16、离散无噪信道的信道容量等于log2n,其中n是信源X的消息个数。

17、信道无失真传递信息的条件是信息率小于信道容量。

18、最大信息传输速率，即：

选择某一信源的概率分布（p（xi）），使信道所能传送的信息率的最大值。

19、信源的消息通过信道传输后的误差或失真越大，信宿收到消息后对信源存在的不确定性就越小，获得的信息量就越小。

20、率失真函数对允许的平均失真度具有上凸性。

21、信源编码是提高通信有效性为目的的编码。

22、信源编码通常是通过压缩信源的冗余度来实现的。

23、离散信源或数字信号的信源编码的理论基础是限失真信源编码定理。

24、一般情况下，哈夫曼编码的效率大于香农编码和费诺编码。

25、在编m（m>2，进制的哈夫曼码时，要考虑是否需要增加概率为0的码字，以使平均码长最短。

26、对于BSC信道，信道编码应当是一对一的编码，因此，消息m的长度等于码字c的长度。

27、汉明码是一种线性分组码。

28、循环码也是一种线性分组码。

29、卷积码是一种特殊的线性分组码。

30、可以用克劳夫特不等式作为唯一可译码存在的判据。

（）

31、线性码一定包含全零码。

（）

32、确定性信源的熵H（0,0,0,1）=1。

（）

33、信源X的概率分布为P（X）={1/2,1/3,1/6}，对其进行哈夫曼编码得到的码是唯一的。

（）

34、离散无记忆序列信源中平均每个符号的符号熵等于单个符号信源的符号熵。

（）

35、非奇异的定长码一定是唯一可译码。

（）

36、信息率失真函数R（D）是在平均失真不超过给定失真限度D的条件下，信息率容许压缩

的最小值。

（）

37、信源X的概率分布为P（X）={1/2,1/3,1/6}，信源Y的概率分布为P（Y）={1/3,1/2,1/6}，则信源X和Y的熵相等。

（）

38、互信息量I（X;Y）表示收到Y后仍对信源X的不确定度。

（）

39、对信源符号X={a1,a2,a3,a4}进行二元信源编码，4个信源符号对应码字的码长分别为K1=1，K2=2，K3=3，K3=3，满足这种码长组合的码一定是唯一可译码。

（）

40、设C={000000,001011,010110,011101,100111,101100,110001,111010}是一个二元线性分组码，则该码最多能检测出3个随机错误。

（）

C•最小汉明距离为3

D.任一码字和其校验矩阵的乘积cmHT=0

5.率失真函数的下限为（）。

A.H（U）B.0C」（U;V）D.没有下限

6.纠错编码中，下列哪种措施不能减小差错概率（）。

A.增大信道容量B.增大码长C.减小码率D.减小带宽

7.

但不幸被人用外观相同但重量

一珍珠养殖场收获240颗外观及重量完全相同的特大珍珠，仅有微小差异的假珠换掉1颗。

一人随手取出3颗，经测量恰好找出了假珠，不巧假珠又滑

落进去，那人找了许久却未找到，但另一人说他用天平最多6次能找出，结果确是如此，这

一事件给出的信息量（）。

A.0bitB.log6bitC.6bitD.log240bit

8.下列陈述中，不正确的是（）。

A.离散无记忆信道中，H（Y）是输入概率向量的凸函数

B.满足格拉夫特不等式的码字为惟一可译码

C•一般地说，线性码的最小距离越大，意味着任意码字间的差别越大，则码的检错、纠错能力越强

D.满足格拉夫特不等式的信源是惟一可译码

10.下列离散信源，熵最大的是（）。

A.H（1/3,1/3,1/3）；

B.H（1/2,1/2）；

C.H（0.9,0.1）；

D.H（1/2,1/4,1/8,1/8）

11.下列不属于消息的是（

）。

A.文字B.信号

C.图像

D.语言

12.为提高通信系统传输消息有效性，信源编码采用的方法是（）。

A.压缩信源的冗余度B.在信息比特中适当加入冗余比特

C.研究码的生成矩阵D.对多组信息进行交织处理

13.最大似然译码等价于最大后验概率译码的条件是（）。

B.无错编码

D.消息先验等概

0重量

A.离散无记忆信道

C•无扰信道

14.下列说法正确的是（）。

A.等重码是线性码

B.码的生成矩阵唯一

C.码的最小汉明距离等于码的最小非

D.线性分组码中包含一个全0码字

15.二进制通信系统使用符号0和1，由于存在失真，传输时会产生误码，用符号表示下列事

件，u0:

一个0发出

u1:

一个1发出v0:

一个0收到v1:

一个1收到

则已知收到的符号，被告知发出的符号能得到的信息量是（）。

A.H（U/V）B.H（V/U）C.H（U,V）D.H（UV）

16.同时扔两个正常的骰子，即各面呈现的概率都是1/6，若点数之和为12，则得到的自信息为（）。

A.－log36bitB.log36bitC.－log（11/36）bitD.log（11/36）bit

17.下列组合中不属于即时码的是（）。

A.{0，01，011}B.{0，10，110}C.{00，10，11}D.{1，01，00}

111010

18.已知某（6，3）线性分组码的生成矩阵G110001，则不用计算就可判断出下列码中

011101

不是该码集里的码是（

）。

四、已知信源

（1）用霍夫曼编码法编成二进制变长码；（6分）

（2）计算平均码长L;（4分）

（3）计算编码信息率R;（2分）

（4）计算编码后信息传输率R;（2分）

（5）计算编码效率。

（2分）

（1）

0

0.2——

S2

1

0.2——

S3

0.2

1.0

编码结果为:

（2）

（3）

（4）

54

55

0.2

0.1

S6

S

52

53

54

55

56

0.42

0.1

00

01

100

101

110

111

0.632.6码元符号

L|og「=2咸让符号

HS器阿泗码元其中，

0.2,0.2,0.2,0.2,0.1,0.12.53bit符号

HSHS

0.973

L

五、一个一阶马尔可夫信源，转移概率为【说明：

以书上的解法为准】

21

PSQ-,PS2|S!

-,P^|S21,PS2|S20。

33

（1）画出状态转移图。

（2）计算稳态概率。

（3）计算马尔可夫信源的极限熵。

（4）计算稳态下比屮2及其对应的剩余度。

解：

⑴

S■S2

1

2

⑵由公式pSpS|SjpSj

ji

（4）在稳态下:

H2H0.205hart符号0.472nat符号0.681bit符号

对应的剩余度为

六、设X、丫是两个相互独立的二元随机变量，其取0或1的概率相等。

定义另一个二元随机变量Z=XY（—般乘积）。

试计算

（1）HX,HZ;

⑵HXY,HXZ;

（3）HX|Y,HZ|X

⑷IX;Y,IX;Z；

解：

（1）

Z

0

1

P（Z）

3/4

1/4

HXH1bit

22

31

H

（2）H0.8113bit

4

4

⑶

HX|Y

HX

1bit

1

111

H

Z|X—

H1,0

-H--0.5bit

2

222

⑷

IX,Y

HY

HY|XHYHY0

IX,Z

HZ

HZ|X0.81130.50.311bit

HXZHXHZ|X

1111

12H1,02H2,2

1.5）it对

丫y1y2，信道转移矩阵为

44试求：

（1）H（X）,H（Y）,H（XY）;

31

44

（2）H（Y|X）,H（X|Y）;

⑶I（Y；X）。

（4）该信道的容量C

（5）

当平均互信息量达到信道容量时，接收端丫的熵H（Y）计算结果保留小数点后2位,单位为比特/符号。

八、设有离散无记忆信源

编码，求信源熵H（S），平均码长和编码效率。

（编码时码树各分枝概率从大到小分别编0至3码）（15分）