信息论与编码理论习题三.doc

1、信息论与编码理论习题（三）一、填空题（每空2分，共32分）。1.在现代通信系统中，信源编码主要用于解决信息传输中的 ，信道编码主要用于解决信息传输中的 ，加密编码主要用于解决信息传输中的 2.离散信源，则信源的熵为 。3.采用m进制编码的码字长度为Ki，码字个数为n，则克劳夫特不等式为 ，它是判断 的充要条件。4.如果所有码字都配置在二进制码树的叶节点，则该码字为 。5.齐次马尔可夫信源的一步转移概率矩阵为P，稳态分布为W，则W和P满足的方程为 。6.设某信道输入端的熵为H(X)，输出端的熵为H(Y)，该信道为无噪有损信道，则该信道的容量为 。7.某离散无记忆信源X，其符号个数为n，则当信源符

2、号呈 分布情况下，信源熵取最大值 。8.在信息处理中，随着处理级数的增加，输入消息和输出消息之间的平均互信息量趋于 。二选择题（共10分，每小题2分）1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H(X2)=( )A、1.75比特/符号； B、3.5比特/符号；C、9比特/符号； D、18比特/符号。2、信道转移矩阵为，其中两两不相等，则该信道为A、一一对应的无噪信道B、具有并归性能的无噪信道C、对称信道D、具有扩展性能的无噪信道3、设信道容量为C，下列说法正确的是：（ ）A、互信息量一定不大于CB、交互熵一定不小于CC、有效信息量一定不大于CD、条件熵一定不大于C4、在串

3、联系统中，有效信息量的值（ ）A、趋于变大B、趋于变小C、不变D、不确定5、若BSC信道的差错率为P，则其信道容量为：（ ）A、 C、 B、 D、三综合题1.已知信源（1）用霍夫曼编码法编成二进制变长码；（6分）（2）计算平均码长;（4分）（3）计算编码信息率;（2分）（4）计算编码后信息传输率;（2分）（5）计算编码效率。（2分）2.一个一阶马尔可夫信源，转移概率为。(1) 画出状态转移图。(4分)(2) 计算稳态概率。(4分)(3) 计算马尔可夫信源的极限熵。(4分)(4) 计算稳态下,及其对应的剩余度。(4分)3.设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道

4、传输概率如下图所示。(1) 计算信源中事件包含的自信息量；(2) 计算信源的信息熵；(3) 计算信道疑义度；(4) 计算噪声熵；(5) 计算收到消息后获得的平均互信息量。参考答案：一 填空（1)有效性,可靠性,安全性 (2)1.75bit/符号（3），唯一可译码存在（4）唯一可译码（5） W=WP（6）MAX H（Y）(7)等概_ _log（n）(8)减少三综合题1.（1）（2）（3)(4）(5）2.解：(1)(2)由公式有得(3)该马尔可夫信源的极限熵为：(4)在稳态下：对应的剩余度为3.(1) (2) (3)转移概率：x yy1y2x15/61/6x23/41/4联合分布：x yy1y2x12/312/154/5x13/201/201/549/6011/601/5(4)(5)