信息论基础》试卷(期末A卷.doc
《信息论基础》试卷(期末A卷.doc》由会员分享，可在线阅读，更多相关《信息论基础》试卷(期末A卷.doc（6页珍藏版）》请在冰点文库上搜索。
《信息论基础》答案
一、填空题（本大题共10小空，每小空1分，共20分）
1.按信源发出符号所对应的随机变量之间的无统计依赖关系，可将离散信源分为有记忆信源和无记忆信源两大类。
2.一个八进制信源的最大熵为3bit/符号
3.有一信源X，其概率分布为，其信源剩余度为94.64%；若对该信源进行十次扩展，则每十个符号的平均信息量是15bit。
4.若一连续消息通过放大器，该放大器输出的最大瞬间电压为b，最小瞬时电压为a。
若消息从放大器中输出，则该信源的绝对熵是；其能在每个自由度熵的最大熵是log（b-a）bit/自由度；若放大器的最高频率为F，则单位时间内输出的最大信息量是2Flog（b-a）bit/s.
5.若某一信源X，其平均功率受限为16w，其概率密度函数是高斯分布时，差熵的最大值为；与其熵相等的非高斯分布信源的功率为
6、信源编码的主要目的是提高有效性，信道编码的主要目的是提高可靠性。
7、无失真信源编码的平均码长最小理论极限制为信源熵（或H（S）/logr=Hr（S））。
8、当R=C或（信道剩余度为0）时，信源与信道达到匹配。
9、根据是否允许失真，信源编码可分为无失真信源编码和限失真信源编码。
10、在下面空格中选择填入数学符号“”或“”
（1）当X和Y相互独立时，H（XY）=H（X）+H（X/Y）。
（2）假设信道输入用X表示，信道输出用Y表示。
在无噪有损信道中，H（X/Y）>0,H（Y/X）=0,I（X;Y）二、掷两粒骰子，各面出现的概率都是1/6，计算信息量：
1.当点数和为3时，该消息包含的信息量是多少？
2.当点数和为7是，该消息包含的信息量是多少？
3.两个点数中没有一个是1的自信息是多少？
解：
1.P（“点数和为3”）=P（1,2）+P（1,2）=1/36+1/36=1/18
则该消息包含的信息量是：
I=-logP（“点数和为3”）=log18=4.17bit
2.P（“点数和为7”）=P（1,6）+P（6,1）+P（5,2）+P（2,5）+P（3,4）+P（4,3）=1/366=1/6
则该消息包含的信息量是：
I=-logP（“点数和为7”）=log6=2.585bit
3.P（“两个点数没有一个是1”）=1-P（“两个点数中至少有一个是1”）
=1-P（1,1or1,jori,1）=1-（1/36+5/36+5/36）=25/36
则该消息包含的信息量是：
I=-logP（“两个点数中没有一个是1”）=log25/36=0.53bit
三、设X、Y是两个相互统计独立的二元随机变量，其取-1或1的概率相等。
定义另一个二元随机变量Z，取Z=YX（一般乘积）。
试计算：
1.H（Y）、H（Z）；2.H（XY）、H（YZ）；3.I（X;Y）、I（Y;Z）；
解：
1.=1bit/符号
Z=YX而且X和Y相互独立
=
=
故H（Z）==1bit/符号
2.从上式可以看出:
Y与X的联合概率分布为:
P（Y,Z）
Y=1
Y=-1
Z=1
0.25
0.25
Z=-1
0.25
0.25
H（YZ）=H（X）+H（Y）=1+1=2bit/符号
3.X与Y相互独立，故H（X|Y）=H（X）=1bit/符号
I（X;Y）=H（X）-H（X|Y）=1-1=0bit/符号;I（Y;Z）=H（Y）-H（Y|Z）=H（Y）-[H（YZ）-H（Z）]=0bit/符号
四、如图所示为一个三状态马尔科夫信源的转移概率矩阵
P=1.绘制状态转移图；2.求该马尔科夫信源的稳态分布；3.求极限熵；
解：
1.状态转移图如右图
2.由公式,可得其三个状态的稳态概率为：
3.其极限熵:
五、在干扰离散对称信道上传输符号1和0，已知P（0）=1/4,P
（1）=3/4,试求：
0
1
0.9
0.1
0.1
0.9
0
1
1.该信道的转移概率矩阵P;2.信道疑义度H（X|Y）;3.该信道的信道容量以及其输入概率分布
解：
1.该转移概率矩阵为
P=
2.根据P（XY）=P（Y|X）P（X），可得联合概率
P（XY）
Y
Y
X=0
9/40
1/40
X=1
3/40
27/40
P（Y=i）
12/40
28/40
由P（X|Y）=P（X|Y）/P（Y）可得
P（X|Y）
Y=0
Y=1
X=0
3/4
1/28
X=1
1/4
27/28
H（X|Y）=-
3.该信道是对称信道，其容量为：
C=logs-H=log2-H（0.9,0.1）=1-0.469=0.531bit/符号
这时，输入符号服从等概率分布，即
六、某信道的转移矩阵
试求：
该信道的信道容量及其最佳输入概率分布。
解：
该信道是准对称信道，分解为两个互不相交的子信道矩阵
这里
C=logr-H（P的行矢量）
-=0.174bit/符号
这时，输入端符号服从等概率分布，即=
七、信源符号X有六种字母，概率为0.32,0.22,0.18,0.16,0.08,0.04。
用赫夫曼编码法编成二进制变长码，写出编码过程并计算其平均码长、编码后的信息传输率和编码效率
解：
码字
00
10
11
010
0110
0111
0.32
0.22
0.18
0.16
0.08
0.04
“1”
0
1
0
0.12
0
1
0
0.281
10.4
00.6
1
该信源在编码之前的信源熵为：
=0.526+0.481+0.445+0.423+0.292+0.186
=2.353bit/符号
编码后的平均码长：
=2.4码元/信源符号
编码后的信息传输率为：
bit/码元
编码效率为：
八、设在平均功率受限的高斯可加波形信道中，信道带宽为3KHz，又设信噪比为10
1.试计算该信道传达的最大信息率（单位时间）；
2.若功率信噪比降为5dB，要达到相同的最大信息传输率，信道带宽是多少？
解：
1.
故：
该信道传送的最大信息速率为：
2.若SNR=5dB，则SNR==3.162，在相同情况下
1.04=Wlog（1+SNR）=Wlog4.162
W=5.04Hz
升级会员 