信息论与编码技术课后习题答案-冯桂.pdf
《信息论与编码技术课后习题答案-冯桂.pdf》由会员分享，可在线阅读，更多相关《信息论与编码技术课后习题答案-冯桂.pdf（58页珍藏版）》请在冰点文库上搜索。
Chap1思考题与习题参考答案参考答案1.1信息论与编码技术研究的主要内容是什么？
信息论是一门应用概率论、随机过程、数理统计和近代代数的方法，来研究广义的信息传输、提取和处理系统中一般学科。
编码技术研究的主要内容是如何既可靠又有效地传输信息。
1.2简述信息理论与编码技术的发展简史。
1948年香农在贝尔系统技术杂志上发表了两篇有关“通信的数学理论”的文章。
在这两篇论文中，他用概率论测度和数理统计的方法系统地讨论了通信的基本问题，得出了及格重要而带有普遍意义的结论，并由此奠定了现代信息论的基础。
从1948年开始，信息论的出现引起了一些有名的数学家如柯尔洛夫、A.Feinstein、J.Wolfowitz等人的兴趣，他们将香农已得到的数学结论做了进一步的严格论证和推广，使这一理论具有更为坚实的数学基础。
在研究香农信源编码定理的同时，另外一部分科学家从事寻找最佳编码（纠错码）的研究工作，并形成一门独立的分支纠错码理论。
1959年香农发表了“保真度准则下的离散信源编码定理”，首先提出了率失真函数及率失真信源编码定理。
从此，发展成为信息率失真编码理论。
香农1961年的论文“双路通信信道”开拓了网络信息论的研究。
现在，信息理论不仅在通信、计算机以及自动控制等电子学领域中得到直接的应用，而且还广泛地渗透到生物学、医学、生理学、语言学、社会学、和经济学等领域。
1.3简述信息与消息、信号的定义以及三者之间的关系。
信息就是事物运动的状态和方式，就是关于事物运动的千差万别的状态和方式的知识。
用文字、符号、数据、语言、音符、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主观思维活动的状态表达出来成为消息。
把消息变换成适合信道传输的物理量，这种物理量称为信号。
它们之间的关系是：
消息中包含信息，是信息的载体；信号携带消息，是消息的运载工具。
1.4简述一个通信系统包括的各主要功能模块及其作用。
通信系统主要分成下列五个部分：
（1）信息源。
信源是产生消息和消息序列的源。
（2）编码器。
编码是把消息变换成信号的措施。
（3）信道。
信道是指通信系统把载荷消息的信号从甲地传到乙地的媒介。
（4）译码器。
译码就是把信道输出的编码信号（已叠加了干扰）进行反变换。
（5）信宿。
信宿是消息传送的对象，即接收消息的人或机器。
1.5你有没有接触与考虑过信息与信息的测度问题，你如何理解这些问题？
略。
1.6什么是事物的不确定性？
不确定性如何与信息的测度发生关系？
由于主、客观事物运动状态或存在状态是千变万化的、不规则的、随机的。
所以在通信以前，收信者存在“疑义”和“不知”，即不确定性。
用数学的语言来讲，不确定就是随机性，具有不确定性的事件就是随机事件。
因此，可运用研究随机事件的数学工具概率论和随机过程来测度不确定性的大小。
1.7试从你的实际生活中列举出三种不同类型的通信系统模型，并说明它们的信源、信道结构，写出它们的消息字母表、输入与输出字母表及它们的概率分布与条件概率分布。
略。
1.8在你日常生活中出现过哪些编码问题？
能否用编码函数给以描述？
略。
Chap2思考题与习题参考答案2.1同时扔一对均匀的骰子，当得知“两骰子面朝上点数之和为2”或“两骰子面朝上点数之和为8”或“两骰子面朝上点数是3和4”时，试问这三种情况分别获得多少信息量？
解解：
同时扔一对均匀的骰子，可能呈现的状态数有36种，各面呈现的概率为1/6，所以36种中任何一种状态出现的概率都是相等，为1/36。
（1）设“两骰子面朝上点数之和为2”为事件A。
在36种情况中，只有一种情况，即1+1。
则2（）1/36（）log（）log365.17（PAIAPA=比特）
（2）设“两骰子面朝上点数之和为8”为事件B。
在36种情况中，有六种情况，即5+3，3+5，2+6，6+2，4+4。
则2（）5/3636（）log（）log2.85（5PBIBPB=比特）（3）设“两骰子面朝上点数是3和4”为事件C。
在36种情况中，有两种情况，即3+4和4+3。
则2（）2/36（）log（）log184.17（PCICPC=比特）2.2同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，求：
（1）事件“3和5同时出现”的自信息量；
（2）事件“两个l同时出现”的自信息量；（3）两个点数之和（即2，3，12构成的子集）的熵；（4）事件“两个骰子点数中至少有一个是1”的自信息量。
解解：
同时掷两个均匀的骰子，也就是各面呈现的概率都是1/6，总共有36种可能的状态，每种状态出现的概率都是1/36。
（1）设“3和5同时出现”为事件A。
则在36种状态中，有两种可能的情况，即5+3和3+5。
则2（）2/36（）log（）log184.17（PAIAPA=比特）
（2）设“两个l同时出现”为事件B。
则在36种状态中，只有一种可能情况，即1+1。
则：
2（）1/36（）log（）log365.17（PBIBPB=比特）（3）设两个点数之和构成信源Z,它是由两个骰子的点数之和组合，即Z=Y+X.得：
23456789101112（）1/362/363/364/365/366/365/364/363/362/361/36（）1ZPzPz=22222222（）（）log（）468106log36log2log3log4log5log63636363636261210log36log3log53636365.171.8963.274（ZHZPzPz=+=+比特）2（4）在这36种状态中，至少有一个是1的状态共有11种，每种状态都是独立出现的，每种状态初点的概率都是1/36。
设“两个点数中至少有一个是1”为事件C。
则：
2（）11/3611（）log（）log1.71（36PCICPC=比特）2.3设离散无记忆信源1234012（）3/81/41/41/8Xaaaapx=3=，其发出的消息为（202120130213001203210110321010021032011223210），求：
（1）此消息的自信息是多少？
（2）在此消息中平均每个符号携带的信息量是多少?
解解：
（1）因为离散信源是无记忆的，所以它发出的消息序列中各个符号是无依赖的，统计独立的。
因此，此消息的自信息就等于各个符号的自信息之和。
则可得：
11222233244233（0）log（）loglog1.45（881
（1）log（）loglog4=2（41
（2）log（）loglog4=2（41（3）log（）loglog8=3（8IaPaIaPaIaPaIaPa=比特）比特）比特）比特）此消息中共有14个符号“0”，13个符号“1”，12个符号“2”和6个符号“3”，则此消息的自信息是12314（0）13
（1）12
（2）6（3）141.4151321226387.71（IIaIaIaIa=+=+=+=+比特）4
（2）此消息中共有45个信源符号，携带了87.81比特信息量，因此，此消息中平均每个符号携带的信息量为287.81/451.95（I=比特）2.4有一个二元信源，计算该信源的熵。
01（）0.90.1Xpx=解=解：
根据公式得该信源的熵为：
22（）（0）log（0）
（1）log
（1）0.9log0.90.1log0.10.4689（HXPxPxPxPx=比特/符号）2.5设信源123456（）0.20.190.180.170.160.17Xaaaaaapx=，求该信源的熵，并解释为什么在本题中H（X）log6，不满足信源熵的极值性。
解解：
根据公式得信源熵为：
（）（）log（）log0.2log0.20.19log0.190.18log0.180.17log0.170.16log0.160.17log0.172.65（/xiiiHXPxPxPP=比特符号）由离散信源熵的特性可知，其有一个最大值，等概分布时达到最大值，最大值为logq=log6=2.58比特/符号。
现在H（X）log6,不满足信源熵的极值性，这是因为，我们讨论的信源的概率空间应该是一个完备集，即611iiP=,而在本题当中，611.071iiP=，不是完备集，所以不满足信源熵的极值性。
2.6每帧电视图像可以认为是由3105个像素组成，每个像素均是独立变化，若每个像素可取128个不同的亮度电平，并设亮度电平等概率出现。
问每帧图像含有多少信息量？
若有一广播员在约10000个汉字的字汇中选1000个字来口述此电视图像，试问广播员描述此图像所广播的信息量是多少（假设汉字字汇是等概率分布，并彼此无依赖）？
若要恰当地描述此图像，广播员在口述中至少需用多少汉字？
解解：
（1）亮度电平等概出现，即每个像素亮度信源为：
128121281.（）1（）1/1281/128.1/128iiiXaaaPaPa=则每个像素亮度含有的信息量为：
2（）log1287（）HX=比特/符号一帧图像每个像素均是独立变化的，则每帧图像信源就是离散亮度信源的无记忆N次扩展信源，得到每帧图像含有的信息量为：
56（）（）310（）2.110NHXNHXHX=（比特/每帧）
（2）同
（1）中，汉字字汇信源为：
1000012100001.（）1（）1/100001/10000.1/10000iiiXbbbPbPb=则每个汉字含有的信息量为：
2（）log1000013.29（）HY=比特/字广播员口述电视图像是从此汉字字汇信源中独立的选取1000个字来描述的，所以广播员描述此帧图像所广播的信息量为：
442（）（）1000log101.32910NHYNHY=（比特/千字）（3）若广播员仍从此汉字字汇信源Y中独立选取汉字来描述电视图像，每次口述一次汉字含有的信息量是H（Y），每帧电视图像含有的信息量是，则广播员口述次图像至少需要使用的汉字数为：
（）NHY65（）2.1101.5810158000（）13.29NHXHY字）2.7为了传输一个由字母A、B、C、D组成的符号集，把每个字母编码成两个二元码脉冲序列，以“00”代表A，“01”代表B，“10”代表C，“11”代表D。
每个二元码脉冲宽度为5ms。
（1）不同字母等概率出现时，计算传输的平均信息速率?
（2）若每个字母出现的概率分别为1/5，1/4，1/4，3/10，试计算传输的平均信息速率?
解解：
（1）不同字母等概率出现时，符号集的概率空间为：
（）1/41/41/41/4iXABCDPa=平均每个字母含有的信息量为：
2（）log42（）HX=比特/符号现在用两个二元码脉冲代表一个字母，每个二元码脉冲宽度为5ms=，则每个字母占用210tms=。
一秒内可以传输的字母个数为：
1100（/）nt=字母秒则传输的平均信息率为：
（）200（/RnHX=比特秒）
（2）字母出现概率不同时，根据题意可以其概率空间为：
41（）1（）1/51/41/43/10iiiXABCDPaPa=此时每个字母含有的平均自信息量为：
41（）（）log（）1113log5log4log4log544101.985（/iiiHXPaPa=+比特符号）103同
（1），其传输的平均信息速率为：
2（）1.98510/RnHX=（比特秒）2.8试问四进制、八进制脉冲所含的信息量是二进制脉冲的多少倍？
解：
解：
二进制脉冲当中，共可以表示两种不同信息。
假设两种不同信息等概分布，则每个二进制脉冲的信息量为：
121log）（log222=xpI（比特/脉冲）同理，在四进制脉冲当中，共可以表示四种不同信息。
假设四种不同信息等概分布，则每个四进制脉冲含有的信息量为：
241log）（log224=xpI（比特/脉冲）同理，在八进制脉冲当中，共可以表示八种不同信息。
假设八种不同信息等概分布，则每个八进制脉冲含有的信息量为：
381log）（log228=xpI（比特/脉冲）从上可知，四进制脉冲所含的信息量是二进制脉冲的2倍，八进制脉冲所含的信息量是二进制脉冲的3倍。
2.9国际摩尔斯电码用点和划的序列发送英文字母，“划”用持续三个单位的电流脉冲表示，“点”用持续一个单位的电流脉冲表示。
其中“划”出现的概率是“点”出现概率的1/3。
计算：
（1）点和划的信息量；
（2）电码信源的平均信息量。
解解：
（1）根据题意：
）（）（31划点=xpxp，而1）（）（划点=xpxp（完备集）所以：
41）（43）（划，点=xpxp“点”含有的信息量为：
=43logp（x）logI2210.415（比特）“划”含有的信息量为：
241log）（log222=xpI（比特）
（2）电码信源的平均信息量为：
=43log4341log41）（log）（）（22212iiixpxpXH2.415（比特/符号）2.10某一无记忆信源的符号集为0，1，已知（0）1/4,
（1）3/4=pp。
（1）求信源的熵。
（2）由100个符号构成的序列，求某一特定的序列（例如有个“0”和100个“1”）的自信息量的表达式。
mm（3）计算
（2）中的序列的熵。
解解：
（1）信源熵为：
222211133（）（）log（）loglog0.8114444iiiHXpxpx=（比特/符号）
（2）241log）0（log）0（22=xpxI（比特）415.043log）1（log）1（22=xpxI（比特）自信息量表达式为：
=+=）1（）100（）0（xImxImI41.5+1.585m（比特）（3）因为是无记忆信源，所以序列中100个符号相互独立，为100次扩展信源，其熵为：
100（）100（）81.1（/HXHX=比特符号序列）2.11一个随机变量x的概率密度函数（）=pxkx，02xV，试求该信源的相对熵。
解解：
信源的相对熵也就是信源的差熵，根据其定义式得：
2220222202（）（）log（）log211log|0222log2（/ln2RhXpxpxdxkxkxdxkkln2xkxxkdxkxkkkBit=+=+自由度）2.12给定语音信号样值x的概率密度为1（）2xpxe=，x,
（1）要661046.3）101log（100.1）1log（=+=+=nsPPWC（bit/s）
（2）666log
（1）3.4610（/）log（15）3.46101.338101.338（）snPCWbitsPWWHzMH=+=+=z（3）666log
（1）3.4610（/）0.510log
（1）3.4610120snsnsnPCWbitsPPPPP=+=+=Chap4思考题与习题参考答案参考答案4.1设无记忆信源1,0,1（）13,13,13Xpx=，接收符号集AY=1212,，失真矩阵121121D=，试求：
和及达到，时的转移概率矩阵。
DmaxDminDmaxDmin解：
max1122114min（）（,）min,3333333UvPuduD=+=而最小平均失真3min11（）min（,）11113iijiPduuD=+=max达到的信道为D10011（|）10,0110110011jiPu=或，达到的信道为minD10101011（|）01,1022010101jiPu=或4.2已知二元信源0,1（）,1Xpxpp=以及失真矩阵0110ijd=，试求：
（1）；
（2）；（3）。
DminDmaxRD（）解：
（1）min*00*
（1）0ppD=+=达到的信道为一个一一对应的无噪信道，所以：
R（0）=I（U;V）=H（U）=H（p）Dmin
（2）最大允许失真度为maxmin（）（,）min（,
（1）UPuduppD=如果p1/2,=1-pmaxD（3）因为是二元对称信源，所以：
（）（）（）0RDHpHDDp=4.4设一个四元等概信源，接收符号集为0123（）0.50.50.50.5Xpx=0,1,2,3YA=，失真矩阵定义为，求及信源的0111101111011110D=maxmin,DD（）RD函数，并作出率失真函数曲线（取4到5个点）。
解：
最大允许失真度为：
max13min（）（,）min（,
（1）14UPudupprD=最小允许失真度：
min0D=因为是四元对称信源，又是等概率分布，所以根据r元离散对称信源可得：
3log4-Dlog3-H（D）0D4R（D）=30D4为画出其曲线，取D=0R（D）=21D=R（D）=1.258381D=R（D）=0.792541D=R（D）=0.795223D=R（D）=0.20755比特符号比特符号比特符号比特符号3D=R（D）=04比特符号比特符号得如图所示的R（D）曲线图4.5某二元信源，其失真矩阵定义为01（）0.50.5Xpx=00aDa=，求该信源的，和maxDminD（）RD函数。
解：
最大允许失真度为：
max1111min（）（,）min（*0*,*1*）2222UaPuduaaD=+=2最小允许失真度min0D=我们引进一个“反向”试验信道，设反向信道的信道矩阵为：
11DDPDD可计算得：
11（0）,
（1）22PP=因为0,0（）2DP1/24.6具有符号集Uu0，u1的二元信源，信源发生概率为：
p（u0）=p，p（u1）=1-p，。
信道如下图所示，接收符号集V=v01p0，v1，转移概率为：
00（）qvu1=，11（）1qvuq=。
发出符号与接收符号的失真：
d（u0，v0）=d（u1，v1）=0，d（u1，v0）=d（u0，v1）=1。
（1）计算平均失真D
（2）率失真函数R（D）的最大值是什么？
当q为什么值时可达到该最大值？
此时平均失真D是多大？
（3）率失真函数R（D）的最小值是什么？
当q为什么值时可达到该最小值？
此时平均失真D是多大？
（4）画出R（D）-D的曲线。
解：
（1）（,）（,）
（1）UVDPudup=q
（2）根据题4.5，可知R（D）的最大值为H（p）,此时q=0,平均失真D=0;（3）R（D）的最大值为0,此时q=1,平均失真D=（1-p）;4.7设连续信源X，其概率密度分布为|（）2axapxe=失真度为，试求此信源的（,）|dxyxy=（）RD函数。
解：
解：
令xy=|（）,
（1）2|1|,
（2）2ssssssdsDdsegeee+=求出（）sg的傅立叶变换22222（）（）,（3）（）（）（）,（4）jwsswdQwPwPwsgGeswws+=+=+得:
求式（4）的傅立叶反变换，又根据式
（2）得232|（）（）（）,（5）（）,（6）22axaxpypxyxyapyeepDaD=所以2（）（）（）（）1loglog2
（2）LsRDDhuhaegReD=当（5）式大于零时，21（）loglog2
（2）RDaeeD=4.8利用（）RD的性质，画出一般（）RD的曲线并说明其物理意义？
试问为什么（）RD是非负且非增的？
解：
物理意义：
D是允许的失真度。
R（D）是对应于D的一个确定信息传输率。
对于不同的允许失真D,R（D）就不同。
R（D）的非负性：
根据R（D）的定义知，R（D）是在一定的约束条件下，平均互信息I（U;V）的极小值。
已知I（U;V）是非负的，其下限值为零。
由此可得，R（D）也是非负的，它的下限值也为零。
R（D）的非增性也是容易理解的。
因为允许的失真度越大，所要求的信息率可以越小。
根据R（D）的定义，它是在平均失真度小于或等于允许失真度D的所有信道集合BD中，去I（U;V）的最小值。
当允许失真度D扩大，那么BD的集合也扩大，当然仍包含原来满足条件的所有信道。
这时再扩大的BD集合中找I（U;V）的最小值，显然是或者最小值不变，或者变小，所以R（D）是非增的。
4.9设有矢量信源，其各分量（）XNkk,02，kK=12,?
，是K个独立的随机变量，失真，试证：
在此条件下（）（=KkkkKKxxxxxxxxd122121;?
）RDDkkkK（）log=1221其中，Dkkkk=,当当222满足DDkkK=1证明：
（）min（;）mmRDIXX=（）111（）111（）12（）1（;）（）（|（）（|,）（）（|）（|）（）1maxlog,0,
（1）2mmmmmmmamiiiiimmbmiiiimiimciimdiiIhhhhhhiIiRDXXX）XXxxxxxxxxxD=其中2（iEiXD）X=，上式推导中（a）熵计算的链法则，（b）条件减少使熵增大，（c）率失真函数定义，（d）高斯变量的率失真函数。
式中有两个不等号，其中（b）1（|）（|）mmiiiiqqxxxx=当时，等号成立。
（c）当每个时，等号成立。
2（0,）iiiNDX所以式
（1）的等号是可以达到的。
进一步对于各分量分配失真量使速率进一步减小，即求1211（）minmaxlog,02miimiiDRDDD=利用拉格朗日乘子寻找最佳失真分配方案，为此构成目标函数2111（）log2mmiiiiJDDD=+对微分且令之为零，得iD1102iiJDDmDD=+=或这表示当失真分配给各分量时，最佳分配方案是每个分量等失真。
但这仅当2miniiDm时才可行，当某个分量的2i小于Dm时就不行了，必须利用K-T条件来解，即选使220,1120,iiiiiJDDDD=+所以RDDkkkK（）log=1221其中，Dkkkk=Ct根据信道编码定理，不论进行任何编码此信源不可能在此信道中实现无错误地传输，所以信源在此信道中传输会引起错误和失真。
（2）若设此信源的失真度为汉明失真。
因为是二元信源，输入是等概率分布，所以信源的信息率失真函数R（D）=1-H（D）比特/信源符号Rt（D）=2.66*R（D）比特/秒若当Ct=Rt（D）则此信源在此信道中传输时不会引起错误，也就是不会因信道而增加信源新的失真。
总的信源的失真是信源压缩编码所造成的允许失真D所以有2=2.66*1-H（D）2.66H（D）=0.66H（D）0.2481故D0.0415允许信源平均失真D0.0415时，此信源就可以在此信道中传输。
Chap5思考题与习题参考答案5.1将下表所列的信源进行六种不同的二进制编码，试问：
消息概率C1C2C3C4C5C6a1a2a3a4a5a61/21/41/161/161/161/160000010100111001010010110111011110111110101101110111101111100101101110010011111100000101011011001001100101110111
（1）这些码中哪些是唯一可译码?
（2）哪些码是非延长码（即时码）?
（3）对所有唯一可译码求出其平均码长和编码效率。
解：
解：
（1）C1、C2、C3、C6是唯一可译码。
（2）C1、C3、C6是非延长码（即时码）。
（3）唯一可译码平均码长为：
1（）qiiiLpsl=所以：
13cL=（码符号/信源符号）22.125cL=（码符号/信源符号）32.125cL=（码符号/信源符号）52cL=（码符号/信源符号）1（）0.667cHSL=，20.94c=，30.94c=，60.8c=，5.2下面的码是否是即时码？
是否是惟一可译码？
（1）；
（2）1111,1110,1101,1100,10,0=C1101,1011,1110,110,10,0=C.解：
解：
（1）是即时码，唯一可译码。
（2）不是即时码，也
升级会员 