信息论与编码理论习题三.doc
《信息论与编码理论习题三.doc》由会员分享，可在线阅读，更多相关《信息论与编码理论习题三.doc（7页珍藏版）》请在冰点文库上搜索。
信息论与编码理论习题（三）
一、填空题（每空2分，共32分）。
1.在现代通信系统中，信源编码主要用于解决信息传输中的，信道编码主要用于解决信息传输中的，加密编码主要用于解决信息传输中的
2.离散信源，则信源的熵为。
3.采用m进制编码的码字长度为Ki，码字个数为n，则克劳夫特不等式为，它是判断的充要条件。
4.如果所有码字都配置在二进制码树的叶节点，则该码字为。
5.齐次马尔可夫信源的一步转移概率矩阵为P，稳态分布为W，则W和P满足的方程为。
6.设某信道输入端的熵为H（X），输出端的熵为H（Y），该信道为无噪有损信道，则该信道的容量为。
7.某离散无记忆信源X，其符号个数为n，则当信源符号呈分布情况下，信源熵取最大值。
8.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于。
二．选择题（共10分，每小题2分）
1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H（X2）=（）
A、1.75比特/符号；B、3.5比特/符号；
C、9比特/符号；D、18比特/符号。
2、信道转移矩阵为，其中两两不相等，则该信道为
A、一一对应的无噪信道
B、具有并归性能的无噪信道
C、对称信道
D、具有扩展性能的无噪信道
3、设信道容量为C，下列说法正确的是：
（）
A、互信息量一定不大于C
B、交互熵一定不小于C
C、有效信息量一定不大于C
D、条件熵一定不大于C
4、在串联系统中，有效信息量的值（）
A、趋于变大
B、趋于变小
C、不变
D、不确定
5、若BSC信道的差错率为P，则其信道容量为：
（）
A、C、
B、D、
三．综合题
1.已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分）
（2）计算平均码长;（4分）
（3）计算编码信息率;（2分）
（4）计算编码后信息传输率;（2分）
（5）计算编码效率。
（2分）
2.一个一阶马尔可夫信源，转移概率为
。
（1）画出状态转移图。
（4分）
（2）计算稳态概率。
（4分）
（3）计算马尔可夫信源的极限熵。
（4分）
（4）计算稳态下,及其对应的剩余度。
（4分）
3.设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如下图所示。
（1）计算信源中事件包含的自信息量；
（2）计算信源的信息熵；
（3）计算信道疑义度；
（4）计算噪声熵；
（5）计算收到消息后获得的平均互信息量。
参考答案：
一．填空
（1）有效性,可靠性,安全性
（2）1.75bit/符号（3），唯一可译码存在（4）唯一可译码（5）W=WP（6）MAXH（Y）（7）等概___log（n）（8）减少
三．综合题
1.
（1）
（2）
（3）
（4）
（5）
2.
解：
（1）
（2）由公式
有
得
（3）该马尔可夫信源的极限熵为：
（4）在稳态下：
对应的剩余度为
3.
（1）
（2）
（3）转移概率：
xy
y1
y2
x1
5/6
1/6
x2
3/4
1/4
联合分布：
xy
y1
y2
x1
2/3
12/15
4/5
x1
3/20
1/20
1/5
49/60
11/60
1/5
（4）
（5）
升级会员 