信息论编码模拟试题一及参考答案Word格式.docx
《信息论编码模拟试题一及参考答案Word格式.docx》由会员分享，可在线阅读，更多相关《信息论编码模拟试题一及参考答案Word格式.docx（10页珍藏版）》请在冰点文库上搜索。
发出符号，求
和平均符号熵
7.分别说明信源的概率分布和信道转移概率对平均互信息的影响，说明平均互信息与信道容量的关系。
8.二元无记忆信源，有
求：
（1）某一信源序列由100个二元符号组成，其中有m个“1”，求其自信息量？
（2）求100个符号构成的信源序列的熵。
9.求以下三个信道的信道容量：
，
10.已知一（3，1，3）卷积码编码器，输入输出关系为：
试给出其编码原理框图。
二、综合题（共5题，每题10分）
1.二元平稳马氏链，已知P（0/0）=，P（1/1）=，求：
（1）求该马氏信源的符号熵。
（2）每三个符号合成一个来编二进制Huffman码,试建立新信源的模型，给出编码结果。
（3）求每符号对应的平均码长和编码效率。
2.设有一离散信道，其信道矩阵为
，求：
（1）最佳概率分布？
（2）当
时，求平均互信息
信道疑义度
（3）输入为等概率分布时，试写出一译码规则，使平均译码错误率
最小，并求此
3.设线性分组码的生成矩阵为
（1）此（n，k）码的n=k=，写出此（n，k）码的所有码字。
（2）求其对应的一致校验矩阵H。
（3）确定最小码距，问此码能纠几位错列出其能纠错的所有错误图样和对应的伴随式。
（4）若接收码字为000110，用伴随式法求译码结果。
4.二元对称信道的信道矩阵为
，信道传输速度为1500二元符号/秒，设信源为等概率分布，信源消息序列共有13000个二元符号，问：
（1）试计算能否在10秒内将信源消息序列无失真传送完？
（2）若信源概率分布为
，求无失真传送以上信源消息序列至少需要多长时间
5.已知（7，4）循环码的生成多项式
（1）求该码的编码效率？
（2）求其对应的一致校验多项式
（3）写出该码的生成矩阵，校验矩阵。
（4）若消息码式为
，求其码字。
模拟试题一答案
1.答：
离散无记忆信源，等概率分布时熵最大。
连续信源，峰值功率受限时，均匀分布的熵最大。
平均功率受限时，高斯分布的熵最大。
均值受限时，指数分布的熵最大。
2.答：
平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息为
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
3.答：
等长信源编码定理：
对于任意
，只要
，则当L足够长时必可使译码差错
。
变长信源编码定理：
只要
，一定存在一种无失真编码。
等长码和变长码的最小平均码长均为
，编码效率最高可达100%。
4.答：
最小错误概率译码准则下，将接收序列译为后验概率最大时所对应的码字。
最大似然译码准则下，将接收序列译为信道传递概率最大时所对应的码字。
最小距离译码准则下，将接收序列译为与其距离最小的码字。
三者关系为：
输入为等概率分布时，最大似然译码准则等效于最小错误概率译码准则。
在二元对称无记忆信道中，最小距离译码准则等效于最大似然译码准则。
5.答：
1）
2）令接收序列为
，则有
，故接收序列应译为010110。
6.答：
7.答：
平均互信息相对于信源概率分布为上凸函数，相对于信道传递概率分布为下凹函数。
平均互信息的最大值为信道容量。
8.答：
2）
9.答：
P1为一一对应确定信道，因此有
P2为具有归并性能的信道，因此有
P3为具有发散性能的信道，因此有
10.答：
1）由
得极限概率：
则符号熵为
2）新信源共8个序列，各序列的概率为
信源模型为
一种编码结果（依信源模型中的序列次序）为0，11，1001，1010，1011，10000，100010，100011
3）
1）是准对称信道，因此其最佳输入概率分布为
2）当
时，有
则
3）此时可用最大似然译码准则，译码规则为
且有
1）n=6，k=3，由C=mG可得所有码字为：
000000，001011，010110，011101，100101，101110，110011，111000
2）此码是系统码，由G知，
，则
3）由H可知，其任意2列线性无关，而有3列线性相关，故有
，能纠一位错。
错误图样E 伴随式
100000 101
010000 110
001000 011
000100 100
000010 010
000001 001
4）由
知E＝010000，则
1）信道容量为
信源序列信息量为
而10秒内信道能传递的信息量为
故不能无失真地传送完。
2）此时信源序列信息量为
信息传输率为
，而
4）
1）无错传输时，有
即
2）在
时，最大熵
对应的输入概率密度函数为
升级会员 