信息论论文.docx
《信息论论文.docx》由会员分享，可在线阅读，更多相关《信息论论文.docx（11页珍藏版）》请在冰点文库上搜索。
信息论论文
目录
摘要：
1
Abstract：
2
前言3
一、信息的度量4
二、平均互信息6
三、连续信道9
四、无失真信源编码10
五、总结12
参考文献：
13
香农信息论的基本理论探究
【摘要】：
信息是自从人类出现以来就存在于这个世界上了，天地万物，飞禽走兽，以及人类的生存方式都离不开信息的产生和传播。
人类每时每刻都在不停的接受信息，传播信息，以及利用信息。
从原来的西汉时期的造纸，到近代西方的印刷术，以及现在的计算机，信息技术在人类历史的进程当中随着生产力的进步而发展。
而信息理论的提出却远远落后于信息的出现，它是在近代才被提出来而形成一套完整的理论体系。
信息论的主要基本理论包括：
信息的定义和度量；各类离散信源和连续信源的信息熵；有记忆、无记忆离散和连续信道的信道容量；无失真信源编码定理。
【关键字】：
平均自信息信道容量信源编码霍夫曼码
Shannon,thebasictheoryofinformationtheorystudy
StudentmajoringinInformationandComputingSciencesLilong
TutorYuJiaju
Abstract：
Sincethehumanbeingcomeout,theinformationhasbeenexistenceintheworld.Theuniverse,birdsandbeasts,andthelivestyleofthemankindallcan’tliveoutoftheproductionandtransmissionoftheinformation.Thehumanbeingreceivesthemassage,transmitstheinformationandusestheinformationallthetime.FromthepapermakingintheWesternHanDynastytotheprintingofthewest,andthecomputernow,theinformationtechnologyinhumanhistorydevelopedwiththeproductiveforces.ButInformationTheory’sappearanceisfarbehindtheemergenceoftheinformation.Itisraisedinmoderntimesandformedacompletetheoreticalsystem.Themainbasictheoryofinformationincludes:
thedefinitionandmeasurementofinformation;theallkindsofdiscreteandcontinuoussourceofinformationentropy;channelcapacityofmemorial,memoryofdiscreteandcontinuouschannels;losslesssourcecodingtheorem.
Keyword:
Theaverageself-informationChannelcapacitySourceCodingHuffmancode
前言
信息论的理论定义是由当代伟大的数学家美国贝尔实验室杰出的科学家香农在他1948年的著名论文《通信的数学理论》所定义的，它为信息论奠定了理论基础。
后来其他科学家，如哈特莱、维纳、朗格等人又对信息理论作出了更加深入的探讨。
使得信息论到现在形成了一套比较完整的理论体系。
信息论将信息的传递作为一种统计现象来考虑，给出了估算通信信道容量的方法。
信息传输和信息压缩是信息论研究中的两大领域。
这两个方面又由信息传输定理、信源－信道隔离定理相互联系。
香农被称为是“信息论之父”。
人们通常将香农于1948年10月发表于《贝尔系统技术学报》上的论文《AMathematicalTheoryofCommunication》（通信的数学理论）作为现代信息论研究的开端。
这一文章部分基于哈里·奈奎斯特和拉尔夫·哈特利先前的成果。
信息不同于消息、信号、情报、知识等概念。
信息论所包含的含义比其他几种理论概念更加广泛，更具有概括性。
情报是军事学、文献学方面的术语。
情报的定义是对某个特定的对象所见、所闻、所理解而产生的知识，情报的含义要比“信息”窄得多。
消息是用文字、符号、数据、语言、音符、图片、图像等能够被人们感觉器官所感知的形式，把客观物质运动和主管思维活动的状态表达出来的就成为“消息”。
所以信息也不同于消息。
以下我从信息论的几个主要基础理论来阐述下信息论。
一、信息的度量
通过以上信息的定义的描述，信息这一概念是比较抽象的，它不像通常的长度，重量等概念，有一个比较直观的印象，信息必须要有一个比较容易用来分析的度量的数学工具。
这样才方便人们能够更好的认识和理解他，所以，香农在他的论文里面，对信息的度量给出了严格的数学定义。
在各种通信系统的信源当中，离散随机信源是一类最基本的信源，信源输出是单个的符号的消息，并且消息之间是两两互不相容的。
假设有个一维离散无记忆信源，它的概率分布函数决定了他所携带的信息。
该信源空间中共有q个符号，每个符号发生的概率是Pi,那么发出某个符号所携带的信息量是-logPi,由于概率是在0和1之间的，使得每一事件的信息量是非负的。
如果该事件发生的概率是0，或者是1，则表明该事件一定不会发生或者一定会发生。
那么他所携带的信息量是0。
从理论上讲，该事件发生的概率越小，那么它的不确定性也就越大，它所携带的信息量也就越大。
该事件发生的概率越大，它所携带的信息量也就越大。
这也是人们为什么一听到一件不可思议的事情发生了之后，会感到非常惊讶的原因。
对于通信系统的信源来说，它不会仅仅只发出一个消息，这个消息发生的概率也不是1。
必然会有别的可能的情况发生。
那么对于一个信源来讲，它所包含的信息量是什么样子的，我们可以用平均自信息量来度量，即对每个事件各自所携带的信息量做一个加权平均。
即可以得到信源的平均自信息量。
信息熵的定义如下：
平均自信息量也称为信息熵。
信息熵是从平均意义上来表征信源的总体信息测度的。
对于某特定的信源，它的信息熵是一个确定的数值。
不同的信源因为其概率分布不同，它的熵也不同。
信息熵具有一些基本的性质，比如，对称性，确定性，非负性，扩展性，可加性等等。
这里面有一个最大离散熵定理，表明:
离散信源情况下，对于具有q个符号的离散信源，只有在q个信源符号等可能出现的情况下，信源熵才能达到最大值，这样也表明等概率分布信源的平均不确定性为最大。
这个定理为我们后面研究有噪信道编码定理提供了有力的依据。
离散平稳信源是一种非常重要的信源模型。
如果不同时刻信源输出符号的概率分布完全相同，则称为一维离散平稳信源。
一维离散平稳信源无论在什么时候均按P（X）的概率分布输出符号。
最简单的离散平稳信源就是二维离散平稳信源。
二维离散平稳信源就是信源输出的随机序列…，X1,X2,…,Xi，…，满足其一维和二维概率分布与时间起点无关。
二维离散平稳信源的联合熵
此联合熵表明原来信源X输出任意一对可能的消息的共熵，即描述信源X输出长度为2的序列的平均不确定性，或者说所含有的信息量。
可以用
作为二维离散平稳信源X的信息熵的近视值。
二、平均互信息
前一部分简要描述了一下离散信源的主要度量方式。
现在来讨论离散信道及其信道容量。
信道的任务是以信号方式传输信息和存储信息的。
我们知道信源输出的是携带着信息的消息。
消息必须要转换成能在信道中传输或存储的信号，然后通过信道传送到收信者。
并且认为噪声或干扰主要从信道中引入。
信道根据用户的多少，可以分为两端信道，多端信道。
根据信道输入端和输出端的关联，可以分为无反馈信道，反馈信道。
根据信道的参数与时间的关系信道可以分为固定参数信道，时变参数信道。
根据输入和输出信号的统计特性可以分为离散信道，连续信道，半离散或半连续信道和波形信道。
为了能够引入平均互信息量的定义，首先要看一下单符号离散信道的数学模型，在这种信道中，输出变量和输入变量的传递概率关系：
传递概率所表达的意思是，在信道当输入符号为
，信道的输出端收到
的概率。
我们知道，信道输入信源X的熵是表明接收端收到符号之前信源的平均不确定性，可以称为先验熵。
如果信道中无干扰噪声，信道输出符号与输出符号一一对应，那么，接受到传送过来的符号就消除了对发送符号的先验不确定性。
但是我们实际的生活中一般信道中有干扰存在，接收到输出后对发送的是什么符号仍有不确定性。
表示在输出端收到输出变量Y的符号后，对于输入端的变量X尚存在的平均不确定性。
即信道疑义度：
这个信道的疑义度是由于干扰噪声引起的。
前面我们看到了输出端接收到输出符号前关于变量X的先验熵，以及接收到输出符号后关于输入变量X的平均不确定性，通过信道传输消除了一定的不确定性，获得了一定的信息。
那么定义单符号信道的平均互信息量
平均互信息是表示了收到输出Y的前，后关于X的不确定性的消除量，就是在接到了输出符号之后，对输入端输入什么符号得到了更多的信息。
平均互信息量具有一些基本的特征：
第一点，非负性。
我们通过一个信道获得的平均信息量不会是负值。
也就是说，观察一个信道的输出，从平均的角度来看总能消除一些不确定性，接收到一定的信息。
除非信道输入和输出是统计独立时，才接收不到任何信息。
因为在这样的统计独立信道中，传输的信息全部损失在信道中，以致没有任何信息传输到终端，但也不会失去已经知道了的信息。
第二，平均互信息量的大小不大于输入输出任一者的信息熵。
即从一事件提取关于另一事件的信息量，最多只有另一事件的信息熵那么多，不会超过该事件自身所含有的信息量。
第三点是平均互信息的交互性。
第四，平均互信息的凸状性，平均互信息只与信源的概率分布和信道的传递有关，因此对于不同信源和不同信道得到的平均互信息是不同的。
当固定某信道时，选择不同的信源与信道连接，在信道输出端接收到每个符号后获得的信息量是不同的。
而且对于每一个固定信道，一定存在有一种信源，是输出端获得的信息量为最大。
除了前面论述到得单符号离散信道之外，还有独立并联信道和串联信道。
一般的独立并联信道如下：
独立并联信道的信道容量不大于各个信道的信道容量之和，只有当输入符号
相互独立，且输入符号
的概率分布达到各信道容量的最佳输入分布时，独立并联信道的信道容量才等于个信道容量之和。
三、连续信道
前面讲到的离散信道其输出的消息是属于时间离散、取值有限或可数的随机序列，其统计特性可以用联合概率分布来描述。
但是语音信号，电视信号都是连续波形信号。
在某一固定的时刻，这样的可能输出即是连续的又是随机的，我们称之为随机波形信源。
它是用随机过程描述输出消息的信源。
用连续随机变量描述输出消息的信源就是连续信源。
连续信源的熵的表达式如下：
我们可以看到，连续信源的熵的定义与离散信源熵的定义方式一样，只不过离散情况下是每个信源符号的信息量的加权平均，而连续信源的熵也是某一时刻信源输出为某值的期望值。
连续信源也可以称之为差熵。
接下来由两种特殊连续信源的差熵需要计算。
均匀分布连续信源的熵值，和高斯信源的熵值。
和离散信道一样，对于固定的连续信道和波形信道都有一个最大的信息传输率，称之为信道容量。
它是信道可靠传输的最大信息传输率。
对于不同的连续信道和波形信道，它们存在的噪声形式不同，信道带宽及对信号的各种限制不同，所以具有不同的信道容量。
我们先来讨论单符号高斯加性信道的信道容量，单符号高斯加性信道是指信道的输入和输出都是取值连续的一维随机变量，而加入信道的噪声是一维高斯加性噪声。
它的信道容量表达式为：
其中，
是输入信号X的平均功率，
是高斯噪声的平均功率。
只有当信道的输入信号是均值为零，平均功率为
高斯分布的随机变量时。
信息传输率才能达到这个最大值。
四、无失真信源编码
1.编码，是将输入信源中需要传递的符号用更加适合信道传输的码符号序列来表示。
如果要实现无失真编码，必须这种映射是一一对应的、可逆的。
这种码就是唯一可译码，唯一可译码的任意一串有限长的码符号序列只能被唯一地译成所对应的信源符号序列，如果要所编的码是唯一可译码，不但要求编码时不同的信源符号变换成不同的码字，而且还必须要求任意有限长的信源序列所对应的码符号序列各不相同，也就是要求码的任意有限长N次扩展码都是非奇异码。
因为只有任意有限长的信源序列所对应的码符号序列各不相同，才能把该码符号序列唯一地分割成一个个对应的信源符号，从而实现唯一的译码。
若要对信源S进行等长编码，则必须满足信源符号数不大于码元数的码长次方；如果是信源的N次扩展进行等长编码，则必须满足下面的不等式：
.
2等长信源编码定理
一个熵为H（S）的离散无记忆信源，若对信源长为N的符号序列进行等长编码，设码字是从
个字母的码符号集中，选取
个码元组成。
对于任意
，只要满足
则当N足够大时，可实现几乎无失真编码，即译码错误概率能为任意小。
反之，若
则不可能实现无失真编码，而当N足够大时，译码错误概率近似等于1.
3.变长码
变长码的产生式在信道容量有限的情况下，希望用较短的码就可以编出效率很高而且无失真的码。
变长码必须是唯一可译码，才能实现无失真编码。
在唯一可译变长码中，有一类码，它在译码时无须参考后续的码符号就能立即做出判断，译成对应的信源符号，它就是即时码。
即时码的充要条件是没有任何完整的码字是其他码字的前缀。
即时码可以由树图法来构造。
判断即时码的充要条件就是克拉夫特不等式，即
如果码长满足此不等式，则一定存在具有这样码长的
元即时码。
4.霍夫曼码
霍夫曼码是一种最佳码，它适用于多元独立信源，充分利用了信源概率分布的特性进行编码。
通过霍夫曼编码所得到的码并不是唯一的。
这是由于在编码过程中，缩减合并后的符号的概率与其他信源符号概率相同时，将新生成的概率放在上面和放在下面所得到得码是不一样的。
元霍夫曼码和二元霍夫曼码的编码方法基本相同，只需要让信源最初的符号个数满足
其中，
表示缩减的次数，
是每次缩减所减少的信源符号个数。
五、总结
信息论是一门非常系统和理论性很强的学科，它涉及到随机过程，概率论与数理统计，线性代数等多门学科。
经过一个学期的学习，在陈老师的细心指导下，我们对信息论这们课的主要理论有了比较深刻的认识，对其中所提到的香农三大定理也由原来的一知半解到现在的融会贯通。
这对以后研究通信系统的改进方案奠定了坚实的理论基础。
参考文献
[1]傅祖芸﹒信息论——基础理论与应用（第二版）﹒北京：
电子工业出版社，2008
[2]傅祖芸﹒信息论与编码学习辅导及习题详解﹒北京：
电子工业出版社，2004
[3]周炯磐，丁晓明﹒信源编码原理﹒北京：
人民邮电出版社，1996
[4]张宗橙﹒纠错编码原理和应用﹒北京：
电子工业出版社，2003
课程论文成绩评定表
学生姓名
专业班级
论文题目
香农信息论的基本理论探究
指导教师评语及意见：
指导教师评阅成绩：
指导教师签字
年月日
评阅人评语及意见：
评阅人评阅成绩：
评阅人签字
年月日
总评成绩（以百分记）：
年月日
升级会员 