二、若连续信源输出的幅度被限定在【2,6】区域内，当输出信号的概率密度是均匀分布时，计算该信源的相对熵，并说明该信源的绝对熵为多少。
=2bit/自由度
该信源的绝对熵为无穷大。
三、已知信源
（1）用霍夫曼编码法编成二进制变长码；（6分）
（2）计算平均码长;（4分）
（3）计算编码信息率;（2分）
（4）计算编码后信息传输率;（2分）
（5）计算编码效率。
（2分）
（1）
编码结果为：
（2）
（3）
（4）其中，
（5）
四、某信源输出A、B、C、D、E五种符号，每一个符号独立出现，出现概率分别为1/8、1/8、1/8、1/2、1/8。
如果符号的码元宽度为0.5。
计算：
（1）信息传输速率。
（2）将这些数据通过一个带宽为B=2000kHz的加性白高斯噪声信道传输，噪声的单边功率谱密度为。
试计算正确传输这些数据最少需要的发送功率P。
解：
（1）
（2）
五、一个一阶马尔可夫信源，转移概率为
。
（1）画出状态转移图。
（2）计算稳态概率。
（3）计算马尔可夫信源的极限熵。
（4）计算稳态下,及其对应的剩余度。
解：
（1）
（2）由公式
有
得
（3）该马尔可夫信源的极限熵为：
（4）在稳态下：
对应的剩余度为
六、设有扰信道的传输情况分别如图所示。
试求这种信道的信道容量。
解：
信道传输矩阵如下
可以看出这是一个对称信道，L=4,那么信道容量为
七、设X、Y是两个相互独立的二元随机变量，其取0或1的概率相等。
定义另一个二元随机变量Z=XY（一般乘积）。
试计算
（1）
（2）
（3）
（4）;
解：
（1）
Z
0
1
P（Z）
3/4
1/4
（2）
（3）
（4）
八、设离散无记忆信源的概率空间为，通过干扰信道，信道输出端的接收符号集为，信道传输概率如下图所示。
（6）计算信源中事件包含的自信息量；
（7）计算信源的信息熵；
（8）计算信道疑义度；
（9）计算噪声熵；
（10）计算收到消息后获得的平均互信息量。
解：
（1）
（2）
（3）转移概率：
xy
y1
y2
x1
5/6
1/6
x2
3/4
1/4
联合分布：
xy
y1
y2
x1
2/3
12/15
4/5
x1
3/20
1/20
1/5
49/60
11/60
1/5
（4）
（5）
（三）
一、选择题
1、有一离散无记忆信源X，其概率空间为，则其无记忆二次扩展信源的熵H（X2）=（）
A、1.75比特/符号；B、3.5比特/符号；
C、9比特/符号；D、18比特/符号。
2、信道转移矩阵为，其中两两不相等，则该信道为
A、一一对应的无噪信道
B、具有并归性能的无噪信道
C、对称信道
D、具有扩展性能的无噪信道
3、设信道容量为C，下列说法正确的是：
（）
A、互信息量一定不大于C
B、交互熵一定不小于C
C、有效信息量一定不大于C
D、条件熵一定不大于C
4、在串联系统中，有效信息量的值（）
A、趋于变大
B、趋于变小
C、不变
D、不确定
5、若BSC信道的差错率为P，则其信道容量为：
（）
A、
B、
C、
D、
二、填空题
1、（7,4）线性分组码中，接受端收到分组R的位数为____，伴随式S可能的值有____种,差错图案e的长度为，系统生成矩阵Gs为____行的矩阵，系统校验矩阵Hs为____行的矩阵，Gs和Hs满足的关系式是。
2、一张1024×512像素的16位彩色BMP图像能包含的最大信息量为。
3、香农编码中,概率为的信源符号xi对应的码字Ci的长度Ki应满足不等式。
3、设有一个信道，其信道矩阵为，则它是信道（填对称，准对称），其信道容量是比特/信道符号。
三、，通过一个干扰信道，接受符号集为，信道转移矩阵为
试求
（1）H（X）,H（Y）,H（XY）;
（2）H（Y|X）,H（X|Y）;
（3）I（Y;X）。
（4）该信道的容量C
（5）当平均互信息量达到信道容量时，接收端Y的熵H（Y）。
计算结果保留小数点后2位,单位为比特/符号。
四、简述平均互信息量的物理意义，并写出对应公式。
五、假设英文字母表（n=26）,密钥k=abc，当明文m=familycome时，使用Vigenere密码算法后得到的密文c=？
请写出具体的步骤。
六、设有离散无记忆信源，其概率分布如下：
对其进行费诺编码，写出编码过程，求出信源熵、平均码长和编码效率。
七、信道编码
现有生成矩阵
1.求对应的系统校验矩阵Hs。
2求该码字集合的最小码字距离d、最大检错能力、最大纠错能力tmax。
2.填写下面的es表
e
s
4.现有接收序列为，求纠错译码输出。
5.5.画出该码的编码电路
（四）
四、简答题
1.利用公式介绍无条件熵、条件熵、联合熵和平均互信息量之间的关系。
2.简单介绍哈夫曼编码的步骤
五、计算题
1．某信源含有三个消息，概率分别为p（0）=0.2，p
（1）=0.3，p
（2）=0.5，失真矩阵为。
求Dmax、Dmin和R（Dmax）。
2．设对称离散信道矩阵为，求信道容量C。
3．有一稳态马尔可夫信源，已知转移概率为p（S1/S1）=2/3，p（S1/S2）=1。
求：
（1）画出状态转移图和状态转移概率矩阵。
（2）求出各状态的稳态概率。
（3）求出信源的极限熵。
（五）
一、填空题
（1）1948年，美国数学家发表了题为“通信的数学理论”的长篇论文，从而创立了信息论。
（2）必然事件的自信息是。
（3）离散平稳无记忆信源X的N次扩展信源的熵等于离散信源X的熵的。
（4）对于离散无记忆信源，当信源熵有最大值时，满足条件为___。
（5）对于香农编码、费诺编码和霍夫曼编码，编码方法惟一的是。
（6）已知某线性分组码的最小汉明距离为3，那么这组码最多能检测出______个码元错误，最多能纠正___个码元错误。
（7）设有一离散无记忆平稳信道，其信道容量为C，只要待传送的信息传输率R____C（大于、小于或者等于），
则存在一种编码，当输入序列长度n足够大，使译码错误概率任意小。
（8）平均错误概率不仅与信道本身的统计特性有关，还与_____________和______有关
二、判断题
（1）信息就是一种消息。
（）
（2）信息论研究的主要问题是在通信系统设计中如何实现信息传输、存储和处理的有效性和可靠性。
（）
（3）概率大的事件自信息量大。
（）
（4）互信息量可正、可负亦可为零。
（）
（5）信源剩余度用来衡量信源的相关性程度，信源剩余度大说明信源符号间的依赖关系较小。
（）
（6）对于固定的信源分布，平均互信息量是信道传递概率的下凸函数。
（）
（7）非奇异码一定是唯一可译码，唯一可译码不一定是非奇异码。
（）
（8）信源变长编码的核心问题是寻找紧致码（或最佳码），霍夫曼编码方法构造的是最佳码。
（）
（9）信息率失真函数R（D）是关于平均失真度D的上凸函数.（）
三、居住在某地区的女孩中有25%是大学生，在女大学生中有75%是身高1.6米以上的，而女孩中身高1.6米以上的占总数的一半。
假如我们得知“身高1.6米以上的某女孩是大学生”的消息，问获得多少信息量？
解：
设A表示“大学生”这一事件，B表示“身高1.60以上”这一事件，则P（A）=0.25p（B）=0.5p（B|A）=0.75
故p（A|B）=p（AB）/p（B）=p（A）p（B|A）/p（B）=0.75*0.25/0.5=0.375
I（A|B）=-log0.375=1.42bit
五、.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；
2）假设黑白消息出现前后有关联，其依赖关系为，，，，求其熵。
3）分别求上述两种信源的冗余度，比较它们的大小并说明其物理意义。
六、.信源空间为
，试分别构造二元香农码和二元霍夫曼码，计算其平均码长和编码效率（要求有编码过程）。
七.设有一离散信道，其信道传递矩阵为，并设，试分别按最大后验概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
1）最小似然译码准则下，有，
2）（最大后验概率准则下，有，
八.二元对称信道如图。
1）若，，求、和；
2）求该信道的信道容量。
解：
1）共6分
2），，此时输入概率分布为等概率分布。
九、设一线性分组码具有一致监督矩阵
1）求此分组码n=?
k=?
共有多少码字？
2）求此分组码的生成矩阵G。
3）写出此分组码的所有码字。
4）若接收到码字（），求出伴随式并给出翻译结果。
解：
1）n=6,k=3,共有8个码字。
（3分）
2）设码字由得
（3分）
令监督位为，则有
（3分）
生成矩阵为（2分）
3）所有码字为，，，，，，，。
（4分）
4）由得
，（2分）该码字在第5位发生错误，（）纠正为（），即译码为（）（1分）
（六）
一、概念简答题
1.什么是平均自信息量与平均互信息，比较一下这两个概念的异同？
2.简述最大离散熵定理。
对于一个有m个符号的离散信源，其最大熵是多少？
3.解释信息传输率、信道容量、最佳输入分布的概念，说明平均互信息与信源的概率分布、信道的传递概率间分别是什么关系？
4.对于一个一般的通信系统，试给出其系统模型框图，并结合此图，解释数据处理定理。
5.写出香农公式，并说明其物理意义。
当信道带宽为5000Hz，信噪比为30dB时求信道容量。
6.解释无失真变长信源编码定理。
7.解释有噪信道编码定理。
8.什么是保真度准则？
对二元信源，其失真矩阵，求a>0时率失真函数的和？
二、综合题
1.黑白气象传真图的消息只有黑色和白色两种，求：
1）黑色出现的概率为0.3，白色出现的概率为0.7。
给出这个只有两个符号的信源X的数学模型。
假设图上黑白消息出现前后没有关联，求熵；
2）假设黑白消息出现前后有关联，其依赖关系为：
，，，，求其熵；
2.二元对称信道如图。
；
1）若，，求和；
2）求该信道的信道容量和最佳输入分布。
3.信源空间为，试分别构造二元和三元霍夫曼码，计算其平均码长和编码效率。
4.设有一离散信道，其信道传递矩阵为，并设，试分别按最小错误概率准则与最大似然译码准则确定译码规则，并计算相应的平均错误概率。
5.5.已知一（8，5）线性分组码的生成矩阵为。
求：
1）输入为全00011和10100时该码的码字；2）最小码距。
6.设某一信号的信息传输率为5.6kbit/s，在带宽为4kHz的高斯信道中传输，噪声功率谱NO=5×10－6mw/Hz。
试求：
（1）无差错传输需要的最小输入功率是多少？
（2）此时输入信号的最大连续熵是多少？
写出对应的输入概率密度函数的形式。
答案
一、概念简答题
1.答：
平均自信息为
表示信源的平均不确定度，也表示平均每个信源消息所提供的信息量。
平均互信息
表示从Y获得的关于每个X的平均信息量，也表示发X前后Y的平均不确定性减少的量，还表示通信前后整个系统不确定性减少的量。
2.答：
最大离散熵定理为：
离散无记忆信源，等概率分布时熵最大。
最大熵值为。
3.答：
信息传输率R指信道中平均每个符号所能传送的信息量。
信道容量是一个信道所能达到的最大信息传输率。
信息传输率达到信道容量时所对应的输入概率分布称为最佳输入概率分布。
平均互信息是信源概率分布的∩型凸函数，是信道传递概率的U型凸函数。
4.答：
通信系统模型如下：
数据处理定理为：
串联信道的输入输出X、Y、Z组成一个马尔可夫链，且有，。
说明经数据处理后，一般只会增加信息的损失。
5.答：
香农公式为，它是高斯加性白噪声信道在单位时间内的信道容量，其值取决于信噪比和带宽。
由得，则
6.答：
只要，当N足够长时，一定存在一种无失真编码。
7.答：
当R＜C时，只要码长足够长，一定能找到一种编码方法和译码规则，使译码错误概率无穷小。
8.答：
1）保真度准则为：
平均失真度不大于允许的失真度。
2）因为失真矩阵中每行都有一个0，所以有，而。
二、综合题
1.答：
1）信源模型为
2）由得
则
2.答：
1）
2），最佳输入概率分布为等概率分布。
3.答：
1）二元码的码字依序为：
10，11，010，011，1010，1011，1000，1001。
平均码长，编码效率
2）三元码的码字依序为：
1，00，02，20，21，22，010，011。
平均码长，编码效率
4.答：
1）最小似然译码准则下，有，
2）最大错误概率准则下，有，
5.答：
1）输入为00011时，码字为；输入为10100时，码字为。
2）
6.答：
1）无错传输时，有
即则
2）在时，最大熵
对应的输入概率密度函数为
（七）
一、名词解释（25道）
1、“本体论”的信息（P3）2、“认识论”信息（P3）3、离散信源（11）
4、自信息量（12）5、离散平稳无记忆信源（49）6、马尔可夫信源（58）
7、信源冗余度（66）8、连续信源（68）9、信道容量（95）
10、强对称信道（99）11、对称信道（101-102）12、多符号离散信道（109）
13、连续信道（124）14、平均失真度（136）15、实验信道（138）
16、率失真函数（139）17、信息价值率（163）18、游程序列（181）
19、游程变换（181）20、L-D编码（184）、21、冗余变换（184）
22、BSC信道（189）23、码的最小距离（193）24、线性分组码（195）
25、循环码（213）
二、填空（100道）
1、在认识论层次上研究信息的时候，必须同时考虑到
升级会员 