1 概论.docx

1、1 概论第一章 概论1.1 信息论的概念信息：它依附于物质和能量，但又不同于物质和能量。没有信息就不能更好地利用物质和能量，人类利用信息和知识改造物质，创造新物质，提高能量利用效率，发现新能量形式。信息也是客观存在的，它是人类认识、改造客观世界的主要动力，是人类认识客观世界的更高层次。就狭义而言，在通信中对信息的表达分为三个层次：信号、消息、信息。 信号：是信息的物理表达层，是三个层次中最具体的层次。它是一个物理量，是一个载荷信息的实体，可测量、可描述、可显示。 消息：(或称为符号)是信息的数学表达层，它虽不是一个物理量，但是可以定量地加以描述，它是具体物理信号的进一步数学抽象，可将具体物理信

2、号抽象为两大类型： 离散(数字)消息，是一组未知量，可用随机序列来描述：U=(U1 Ul UL) 连续(模拟)消息，也是未知量，它可用随机过程来描述：U(t,) 信息：它是更高层次哲学上的抽象，是信号与消息的更高表达层次。三个层次中，信号最具体，信息最抽象。它们三者之间的关系是哲学上的内涵与外延的关系。 理解：信息可以认为是具体的物理信号、数学描述的消息的内涵，即信号具体载荷的内容、消息描述的含义。而信号则是抽象信息在物理层表达的外延；消息则是抽象信息在数学层表达的外延。同一信息，可以采用不同的信号形式(比如文字、语言、图象等)来载荷；同一信息，也可以采用不同的数学表达形式(比如离散或连续)来

3、定量描述。同样，同一信号形式，比如“0”与“1”可以表达不同形式的信息，比如无与有、断与通、低与高(电平)等等。 信息是宇宙中除物质和能量外的第三个“要素”。人们对于信息的了解，比对于物质和能量的了解晚了许多。信息的特性： 信息虽无确切定义，但是却具有两个明显的特征：广泛性与抽象性。 广泛性 客观世界充满着信息 人类离不开信息 知识、书本是有用信息的积累 抽象性 信息是组成客观世界并促进社会发展的最基本的三大要素之一。三大要素是：物质、能量与信息。三要素中物质是基础，是实体。能量是物质运动的形式，E=mc2，物质可转换成能量，而能量又是改造客观世界的主要动力。1信息与物质、能量同属于宇宙。2信

4、息源于宇宙世界，用于（生命）精神世界。3信息具有伴随物质和能量的普遍性。4信息具有可度量性。5信息具有可创造性。6. 信息具有无耗性。7信息具有可传递性。8信息具有可存储性。9信息具有不增性。10信息具有相对性。11信息具有时效性。 12信息具有催化性。 13信息具有可加工性。 14信息具有排序性。 15信息具有理想性。 16信息的体积无限小。17信息具有独立性。 18信息具有无限性。 人们对信息的认识过程，至今尚未形成一个对信息的公认的、确切的定义。 香农信息(概率信息) 信息是事物运动状态或存在方式的不确定性的描述。 在通信系统中形式上传输的是消息，但实质上传输的是信息 样本空间：某事物各

5、种可能出现的不同状态，即所有可能选择的消息的集合。 对于离散消息的集合，概率测度是对每一个可能选择的消息指定一个概率。一个样本空间和它的概率测度称为一个概率空间。表示：X，P 在离散情况下： 其中， 为选择符号 作为消息的概率，称为先验概率 消息（符号）的ai自信息： 后验概率：条件概率p(ai/bj) 接收端收到消息（符号）bj后而发送端发的是ai的概率。 互信息：先验的不确定性减去尚存在的不确定性（收信者获得的信息量）1.2 信息的分类从各种不同角度对信息进行分类：1按层次分类，信息可分为：语法信息，语义信息和语用信息。2按时域性质分类，信息可分成：离散信息、连续信息。3按符号数分类，信息

6、又可分成：二元信息、多元信息。4按专业分类，信息又可分成：自然信息，社会信息，科技信息，文艺信息，经济信息等。5按传递方向分类，信息又可分成：前馈信息和反馈信息。6按真伪分类，信息又可分成：真实信息和虚假信息。7按价值分类，信息又可分成：有用信息和无用信息。8按符号概率空间分类，信息又可分成：概率信息，突发信息，确定信息和模糊信息。从应用、来源、载体等等许多另外的角度都可以对信息进行细致分类，信息的分类很复杂。1.3 信息论研究的目的和范畴1.3.1 通信系统的基本模型通信系统模型：模型共有六个部分：1信源。信源是产生消息（或称符号）的源。2编码器。编码是把信源的原始信息按一定的理论或工程要求

7、，编成另一种消息形态，称之为信号的器件。3信道。信道是信号从信源传输到信宿的通路。4噪声源。噪声是一种无处不在的干扰源。5译码器。译码器是编码器的逆器件，译码器把信道输出的包含干扰的信号进行反变换，以恢复信源消息。6信宿。信宿是消息传送的对象，信宿一般是合法的接收者。通信的方式：1单工。2半双工。3全双工。4广播。5网络。信息传输的有效性、可靠性、保密性和认证性。1有效性：信源编码。2可靠性：信道编码。3保密性：加密编码。4认证性。1.3.2信息论研究的目的信息论研究的目的就是要使有效性、可靠性、保密性、认证性尽善尽美。1.3.3信息论研究的范畴信息论研究的范畴主要包括：1通信的统计理论研究主

8、要研究利用数学工具（概率论、数理统计、近世代数等）分析信息和信息传输中的统计规律，主要内容有：（1）信息的度量。（2）信源熵和信息速率。（3）信道容量。 2各种信源的统计特性研究（1）文字的统计特性。（2）语言的统计特性。（3）图像的统计特性。（4）二元信源的统计特性。 3生物感官的研究（1）听觉特性的研究。（2）视觉特性的研究。（3）脑思维特性的研究。4编码理论与技术的研究（1）有效性编码：信源编码。（2）抗干扰编码：信道编码。（3）安全性编码：加密编码。 5提高信息传输效率及利用率的研究（1）节省功率。（2）频带压缩。（3）码分复用。（4）缩短传输时间。 6抗干扰理论及相关技术的研究（1）

9、各种调制方式的抗干扰性能。（2）理想接收机的实现。7噪声中信号检测理论与技术的研究（1）信号检测的最佳准则。（2）信号最佳检测的实现。8信息论和其它学科关系的研究（1）与生物医学的关系。（2）与光学的关系。信息论的研究范畴有三个方面： 基础信息论 主要研究通信系统的数学描述与定量分析，研究系统的最优状态与优化理论，即研究通信系统理论上的潜在能力与数学上的极限情况。它是以存在性研究为主体，又称它为数学信息论。 工程信息论 以工程为背景，主要研究通信系统中各部分的最佳工作规律，与最佳设计原则，它以构造性为主体，以工程上技术问题为主。主要包括： 信源编、译码理论及其设计构造方法 信道编、译码理论及其设计构造方法 最佳调制与解调理论与实现 最佳检测、估值与最佳接收理论与实现 最佳信息处理理论、方法与算法 广义信息论 核心问题是拓广，有三重含义：首先是在信息含义的拓广，以语言信息为例： 其次是在描述方法上的拓广 最后是用途上的拓广