电子与通信信息论与编码讲解.docx
《电子与通信信息论与编码讲解.docx》由会员分享，可在线阅读，更多相关《电子与通信信息论与编码讲解.docx（10页珍藏版）》请在冰点文库上搜索。
电子与通信信息论与编码讲解
信息论与编码
（浙江工业大学通信工程学院）
目录
第一章信息理论基础3
第1.1节信息论的形成和发展3
1.1.1信息、消息和信号3
1.1.2信息论的发展简史3
1.1.3Shannon对信息论的贡献4
第1.2节通信系统的模型4
1.2.1通信系统的一般模型4
1.2.2数字信道的通信系统模型5
第1.3节信息论研究的内容5
第二章香农信息论对现代社会的影响7
第三章信息论与编码技术的应用前景10
第四章信息论的主要研究成果12
第4.1节语音信号压缩12
第4.2节图像信号压缩12
第4.3节降低信息传输所需的功率12
第4.4节计算机网中数据传输可靠性的保证13
结论14
参考文献15
致谢16
信息论与编码
（浙江工业大学通信工程学院）
【摘要】：
信息论与编码是一门运用概率论和数理统计的方法研究通信系统的学科，它构建了通信系统的数学模型，定义了信息的度量规则，数学描述和定量分析了通信系统从信源到信宿的全过程，进而延伸至信息的传输和压缩处理领域。
信息论既是数学的一个分支，又是通信系统的核心研究对象，广泛应用于语音、音频、图像、文件等信号的压缩以及纠错编码等通信领域。
【关键词】：
信息传输；信源编码；概率论；数理统计；
[Abstract]：
Informationtheoryandcodingisanappliedinformationtheoryandcodingprobabilitytheoryandmathematicalstatisticsmethodtostudythesubjectofthecommunicationsystem,itbuildsthemathematicalmodelofthecommunicationsystem,definesthemeasurementofinformationrules,mathematicaldescriptionandthequantitativeanalysisofthewholeprocessofthecommunicationsystemfromthesourcetohe,andthenextendtoinformationtransmissionandcompressionprocessingfield.Informationtheoryisabranchofmathematicsandcommunicationsystemsatthecoreoftheresearchobject,arewidelyusedinthespeech,audio,images,files,suchassignalcompressionandcommunicationfields,suchaserrorcorrectioncoding.
[Keywords]:
Informationtransmission;sourcecode;probilitytheory;Mathematicalstatistics;
第一章信息理论基础
第1.1节信息论的形成和发展
1.1.1信息、消息和信号
信息是一种消息，是对物质存在和运动形式的一般描述。
信息存在于客体间的差别中而不是客体本身中，是为了消除不确定性所必须获得的东西。
信息是无形的，具有可共享、无限、可度量等特性。
消息是信息的载荷者。
消息具有不同的形式：
文字、符号、数据、语言、图片、视频等。
信号是把消息变换成适合信道传输的物理量，这种物理量就称为信号。
包括声波、光波、电信号、机械信号等。
信号是消息的表现形式，消息是信号的具体内容。
1.1.2信息论的发展简史
1832年莫尔斯电码对shannon编码理论的启发
1885年凯尔文研究了一条电缆的极限传信速率
1922年卡逊对调幅信号的频谱结构进行研究
1924年奈奎斯特证明了信号传输速率和带宽成正比
1928年Hartley提出信息应该由随机事件样本空间中元素的个数的对数值来衡量
1939年Dudley发明声码器
1940维纳将随机过程和数理统计引入通信与控制系
1948年shannon发表《通信中的数学模型》
1949年shannon发表《保密系统中的通信理论》
1950年R.W.Hamming发表了《检错码与纠错码》
1952年Fano证明了Fano不等式，给出了shannon信道编码逆定理的证明
1952年Huffman提出了Huffman编码
1954年P.Elias提出了卷积码
1956McMillan证明了Kraft不等式
1963年P.Elias提出了算术编码
1982年G.Ungerboeck实现了网格编码调制
1993年Turbo码的性能已经非常接近于理论极限
1.1.3Shannon对信息论的贡献
1948年发表“通信的数学原理”，标志着信息论的诞生；
1949年发表“保密通信的信息理论”，首先用信息论的观点对信息保密问题作了全面的论述；
1959年发表“保真度准则下的离散信源编码定理”-提出信息率失真理论，为信源压缩编码研究奠定理论基础；
1961年发表“双路通信信道”，开拓了多用户信息理论（网络信息论）的研究；
第1.2节通信系统的模型
1.2.1通信系统的一般模型
信源是产生消息的源，消息可以是文字，语言，图像。
离散或者连续，随机发生。
主要研究消息的统计特性和产生信息的速率。
信源编码器：
对信源的输出编码，用来压缩信息，去除冗余，提高了传输的有效性。
信道编码器：
在进入信道前编码，用来提高抗干扰性，即可靠性。
信道：
传输信息的介质。
可以是有线信道也可以是无线信道。
译码器：
编码器的逆变换。
信宿：
消息传送的归宿。
干扰源：
通信系统各处的干扰、噪声的等效集中表现。
1.2.2数字信道的通信系统模型
第1.3节信息论研究的内容
狭义信息论（经典信息论）研究信息测度，信道容量以及信源和信道编码理论。
它是C.E.Shannon四十年代末期，以客观概率信息为研究对象，从通信的信息传输问题中总结和开拓出来的理论。
主要研究的问题是信源的描述，信息的定量度量、分析与计算，信道的描述，信道传输的定量度量、分析与计算。
信源、信道与通信系统之间的统计匹配，以及通信系统的优化—Shannon的三个编码定理。
一般信息论研究信息传输和处理问题，除经典信息论外还包括噪声理论，信号滤波和预测，统计检测和估值理论，调制理论，信息处理理论和保密理论
广义信息论是除上述内容外，还包括自然和社会领域有关信息的内容，如模式识别，计算机翻译，心理学，遗传学，神经生理学
第二章香农信息论对现代社会的影响
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。
后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。
使得信息论到现在形成了一套比较完整的理论体系。
香农（ClaudeEShannon）在1948年发表了《通信的一个数学理论》，完整地解决了通讯速度上限的问题。
“信息论”（InformationScience）从此诞生。
香农把信息量与信号源的不确定性，也就是各个可能的符号值的几率分布联系起来。
他从直观上给出了信息量需要满足的几个简单的数学性质（如连续性，单调性等），而给出了一个唯一可能的表达形式。
香农开创性地引入了“信息量”的概念，从而把传送信息所需要的比特数与信号源本身的统计特性联系起来。
这个工作的意义甚至超越了通信领域，而成为信息储存，数据压缩等技术的基础。
解决了信号源的数据量问题后，我们就可以来看信道了。
信道（channel）的作用是把信号从一地传到另一地。
在香农以前，那奎斯特已经证明了：
信道每秒能传送的符号数是其频宽的一半。
但问题是，即使这些符号，也不是总能正确地到达目的地的。
在有噪声的情况下，信道传送的信号会发生畸变，而使得接收者不能正确地判断是哪个符号被发送，对付噪声的办法是减少每个符号所带的比特数。
除此之外，还有一个对付噪声的办法，就是在所有可能的符号序列中只选用一些来代表信息。
香农却得出了一个非常简明的结论：
对于一个信道，有这样一个速率（称为信道的容量）：
一定有一个方法能在这个速率以下传送数据而误差的几率达到任意小；而超过这个速率的话，误差的几率就一定会大于某个下限。
也就是说，香农同时给出了无错误的条件下传送速度的上限（即不可能超过）和下限（即有办法达到），而这两者是同一个值！
不仅结论出乎意料地简单，香农的证明也是如此。
他的基本思路是：
噪声使得接收端收到信号后，对于所发送的信号仍然有个不确定性。
也就是说，一个收到的序列可能对应多个发送的序列。
这个对应的个数可以用上面讲到的“典型序列”的个数来估计。
因为如此，我们只能用这多个发送序列之中的一个来作为码字，代表要传送的信息，而其余都弃之不用。
这样才能避免混淆。
所以，我们的传送速率就要降低了。
这个直观解释听起来简化得离谱。
我们知道，随机过程是很复杂的，怎么可能用平均值就搞定呢？
然而，香农在数学上严格地证明了这些结论。
关键在于：
他考虑序列长度趋向于无穷的情况。
这样，在样本数量趋于无穷的情况下，实际情况偏于平均值的几率趋向于零。
所以说，香农的简化显示他真正抓住了问题的关键。
对于通常遇到的信道，香农定理说：
信道容量（即最高传送速率）与频宽成正比，与信噪比的对数（底数为2）成正比。
信噪比是在接收端信号功率与噪声功率的比。
增加发射功率能增加信噪比从而增加容量，但因为是对数关系，不是那么有效。
而增加频宽则是线性地增加容量。
通常，频率较低的频道频宽也小。
如前一讲中提到的调幅（AM）广播，在几百千赫频段，频宽是20千赫。
而调频（FM）广播是在一百兆赫频段，频宽是200千赫。
这就是调频广播音质较好的主要原因。
所以现代的数字通信服务不断往高频段扩展（目前已到2千兆赫）。
当我们听到某个服务能提供更高速率的时候，并不等于它使用了性能更好的技术。
很可能它只是用了更宽的频道而已。
香农完美地给出了信道容量，所以有人说他“开创并结束”了信息论。
但是香农还是留下了一些困难的问题。
比如，当信道随时间变化时，应用香农理论就远不是直截了当的。
最重要的，是为了达到香农极限，我们处理的符号序列必须无限长。
而实际上，信道编码的长度受着传送延迟和系统复杂性的限制。
在这样的限制下，如何达到最高的传送速度？
六十年后的今天，人们还在为此奋斗。
第三章信息论与编码技术的应用前景
随着Turbo码的研究发展，在3G移动通信系统设计中Turbo码以及Turbo思想越来越多地被用于和其他技术的结合上。
例如在CDMA中，由于Turbo码编码中使用交织，可以通过分散信息码元的位置降低扩频码间的相关性。
实现时将Turbo码与DS—CDMA系统的扩频编码结合起来。
接收端先通过匹配滤波器分离出各用户的接收信息，再根据信道模型计算出传递条件概率进行解扩，经过分支概率产生器后得到各个用户接收信息的后验概率，分别送入相应的Turbo码译码器，每个译码器得到一个软判决输出和一个的可能性和超过这个最大值时的传输问题；构造性的编码方法以及这些方法能达到的性能界限。
编码方法在离散信道中一般用代数码形式，其类型有较大发展，各种界限也不断有人提出，但尚未达到编码定理所启示的限度，尤其是关于多用户信道，更显得不足。
在连续信道中常采用正交函数系来代表消息，这在极限情况下可达到编码定理的限度。
只有无记忆单用户信道和多用户信道中的特殊情况的编码定理已有严格的证明，其它信道也有一些结果，但尚不完善。
信息论出现已有30年,并已发展成为一门独立的理论科学,这是由于通讯的理论与工程领域内存在大量积累起来的各方面知识等待综合,另一方面,又有着日益复杂的各种通讯控制等问题要求有适当的方法去解决。
也就是说,由于人类生产斗争的实践活动,达到一定的历史阶段,而形成相应的学科。
随着信息论学科的发展,又更深刻地预见和指导着通讯与其他工程技术领域的发展。
信息论的作用,同其他任何总结性的理论学科一样,是以一般的形式提出和解决基本问题。
它不仅可以用来探讨过去在通讯工程领域中获得的成就,而且可以指出在发展方向中应注意的问题。
很多情况下,信息论可以明确指出:
哪些指标是可以达到的,哪些是无法达到的，这为我们的生产实践提供了科学依据。
第四章信息论的主要研究成果
第4.1节语音信号压缩
长途电话网标准：
1972年CCITTG.711标准中的64kbit/s，1995年CCITTG.723.1标准中的6.3kbit/s。
移动通信中：
1989年GSM标准中语音编码速率为13.2kbit/s，
1994年在为半码速GSM研究的VSELP编码算法中，码速率为5.6kbit/s。
军用通信中：
美国NSA标准的速率在1975年已达2.4kbit/s，目前在实验室中已实现600bit/s的低速率语音编码,特别是按音素识别与合成原理构造的声码器其速率可低于100bit/s,已接近信息论指出的极限。
第4.2节图像信号压缩
图像信号的信息量特别巨大，这对图像信号的传输及存储都带来极大的不便。
1989年CCITT提出电视电话/会议电视的压缩标准H.261,其压缩比达到25:
1到48:
1左右。
1991年CCITT与ISO联合提出的“多灰度静止图像压缩编码”标准JPEG,其压缩比为24:
1。
在运动图像方面,运动图像专家组继成功定义了MPEG-1和MPEG-2之后,于1993年7月开始制订全新的MPEG-4标准。
随着MPEG-4标准的不断扩展,它不但能支持码率低于64kbit/s的多媒体通信,也能支持广播级的视频。
第4.3节降低信息传输所需的功率
在远距离无线通信,特别是深空通信中如何降低信息传输所需的功率至关重要。
因为在这种情况下发送设备的功率和天线的尺寸都已成为设备生产和使用中的一个困难问题。
正是在这个领域信息论获得了它第一批令人信服的成果。
60年代后期起，NASA发射的所有深空探测器无一例外地在其通信设备中采取了信道编码措施。
第4.4节计算机网中数据传输可靠性的保证
在用各种电缆连接而成的计算机网中电噪声和各种外界的电磁干扰是必须考虑的，因为它使传输的信息发生差错。
一般情况下，局域网中的差错率在10-8左右,广域网中的差错率在10-3～10-5。
这样高的差错率在实际应用中是无法接受的，目前普遍采用的解决办法是带自动重发请求的差错检测码。
差错检测的方法从最简单的奇偶检验到比较复杂的循环冗余检验都被采用，但规模较大的网一般都用循环冗余检验。
结论
信息论与编码成为现代信息技术的推动力，学好这门课，也是作为信息学院合格一员的必备条件，相信通过个人的努力，一定会在电子通信领域能够有所成就。
从策划开始，我开始查找和收集大量的资料，进行编写这篇论文的时候，我又要把书上各个章节仔细的熟悉了一下，在这个复杂的过程中我真的学到了很多。
我学会以了系统的看待了一个问题，也必须细心的对待每一个问题，因为一个整体是有许多小的方面组成的。
参考文献
[1]曹雪虹，张宗橙．信息论与编码[M]．北京：
清华大学出版社．2004．
[2]沈世镒，吴忠华．信息论基础与应用[M]．北京：
高等教育出版社．2004．
[3]朱益.双二进制Turbo码的研究[D].浙江大学,2008.
[4]叶国华.基于DSP的Turbo码编译码器的实现[D].苏州大学,2008.
[5]朱雪龙．应用信息论基础．北京：
清华大学出版社，2000。
[6]李建东，王永茂，胡林敏．最大熵原理及其应用．信息科学。
致谢
时光飞逝，一转眼大学四年的时光就过去了，我来到了浙江工业大学，我所学的专业是电子信息工程与技术，我很喜欢这门专业，。
在本次编写论文中，我的同学尹文静专业学的很好，在我做论文的时候给了我很多的鼓励与帮助。
最后还要感谢我的父母，这么含辛茹苦的给了我这么个学习的机会。
总之，感谢你们一直伴随着我成长。
感谢在大学期间认识我和我认识的所有朋友，因为你们的陪伴，我的大学生活才丰富多彩！
谢谢！
升级会员 