信息论知识点.docx

1、信息的主要特性：普遍性、可度量性、相对独立性、可传输性、可存储性、可共享性、时效性通信系统对信息传输的要求：有效性传输的每一条消息携带尽可能多的信息量或单位时间内传输尽可能多的信息量可靠性信源提供的消息经传输后，尽可能准确、不失真地被信宿接受并再现保密性 信源的分类:一方面分为离散信源和连续信源，另一方面分为无记忆信源和有记忆信源。 消息中所包含的不确定性的成分才是信息，因此，不确定性的成分越大，或者说出现的概率越小，信息量就越大。 离散信源输出xi 所包含的信息量用I(xi)来表示并将其称为xi 的自信息量，xi 的自信息量的定义式为：I(x ) = -log 2 p(xi )自信息量的性质

2、：I(xi)是随机量；I(xi)是非负值；I(xi)是p(xi)的单调递减函数。必然发生的事件不存在任何不确定性，故不含有任何信息量。联合自信息量：I(xi yj) = - log2 p(xi yj) 条件自信息量:I(xi/yj) = -log2 p(xi/yj ) 在已知yj的条件下，发生xi所带来的信息量。I(yj/xi) = -log2 p(yj/xi ) 在已知xi的条件下，发生yj所带来的信息量。联合自信息量与条件自信息量关系：I(xi yj)=I(xi/yj)+I(yj)=I(yj/xi)+I(xi)自信息量反映的是一个随机事件出现某种结果所包含的信息量，自信息量具有随机变量的性

3、质。单符号离散信源的信息熵：将离散信源所有自信息量的数学期望用H(X)来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为：H(X)= EI(xi)= p(xi)I(xi)= -p(xi)log2 p(xi)信息熵的单位是比特/符号(bit/symbol)。信息熵是从整体出发对一个离散信源信息量的度量。H(X)反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H(X)不等于每接收一条消息所获得的平均信息量。信息熵H(X)的性质和定理：非负性；严格上凸性；lnxx- 1最大信息熵定理H(X)log2 n lnxx- 1单符号离散信源中各消息等概率出现时，具

4、有最大熵；对称性H(X)=Hp(x1),p(x2),p(xn)= -p(xi)log2 p(xi)与信源的总体结构有关而不在乎个别消息的概率，与消息的取值无关；确定性：H(0,1)=0；扩展性可加性H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y) N维信息熵的链式法则；极值性H(X/Y)H(X);H(Y/X)H(Y)如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。N维离散平稳信源的熵率(平均符号熵) 当N时，平均符号

5、熵取极限值，称之为极限熵，用H表示，即可以证明，极限熵H存在且离散无记忆信源X的N次扩展信源的熵就是单符号离散信源X的熵的N倍：H()=NH(X) 该信源的极限熵为如果离散平稳信源发出的符号只与前面已经发出的m(N)个符号相关，则称该信源为m阶马尔科夫信源。马尔科夫信源是离散平稳有限记忆信源，m是马尔科夫信源的记忆长度，m阶马尔科夫信源发出的符号序列可看成长度为m+1的一段段符号序列。n元m阶马尔科夫信源状态转移图有个状态极限熵计算根据马尔科夫链的遍历（各态历经）定理：p(sj)的求取问题 ，其中编码效率；N次扩展信源码率R=L/N（N次扩展）编码效率无失真信源编码定理：离散信源的熵为H(X)

6、，对N次扩展信源进行二进制不等长信源编码，一定存在一种无失真编码方法，构成单义可译码，当N足够大时，使得码率H(X)R0，当N足够大，码率RH(X)+m元长度为li, i=1,2, ,n的异前置码存在的充分必要条件是：克拉夫特(Kraft)不等式。赫夫曼编码：将符号序列ai，i=1,2,nN按概率降序排列；为概率最小的符号序列分配一个码元1，概率次小的符号序列分配一个码元0；将概率最小的两个符号序列合并成一个新的符号序列，用两者概率之和作为该新符号序列的概率；重复以上三个步骤，直到最后合并出一个以1为概率的符号序列，逆向生成码字，结束编码。赫夫曼编码的特点：1. 码长取决于符号序列的概率，概率

7、越大码长越短；2. 编码不具有唯一性，但不同赫夫曼码的编码效率相同3. 码率不超过熵率1/N bit，N越大码率越接近熵率。费诺编码：将符号序列ai按概率降序排列；按编码进制数将概率分组，使分组概率尽可能接近或相等。如编二进制码就分成两组，编m进制码就分成m组。给每组分配一个码元（码元分配规则相同，上0下1）；对每一分组重复步2，3，直至概率不可再分为止，由左至右生成码字。费诺码的特点：1.大概率符号序列分解次数少，编为短码，小概率符号序列分解次数多，2.编为长码不具有唯一性，但不同费诺码的编码效率相同3.码率不超过熵率1/N个比特，N越大码率越接近熵率。互信息在有噪信道的情况下，由于p(yj

8、)=p(xi)p(yj/xi)说明信宿接收到yj所包含的信息量除了与信源给出的信息有关外，还与信道给出的“信息”有关。信源发出消息xi而信宿接收到消息yj,信宿消息yj所含信源消息xi的信息量，用I(yj;xi)来表示，并将其称为xi对yj的互信息，其定义为：特别的，如果xi与yj是确定关系，即p(yj/xi)=1，相当于无噪信道，则I(yj;xi)=I(yj)=I(xi);如果xi与yj相互独立，即p(yj/xi)=p(yj)，相当于信道中断，则I(yj;xi)=0。互信息的性质：I(yj;xi)是随机量；I(yj;xi)可为正值也可为负值；I(yj;xi)具有对称性I(yj;xi)=I(x

9、i;yj)。I(xi;yj)称为yj对xi的互信息,I(xi;yj)=I(xi)-I(xi/yj).消息xi与消息对yjzk之间的互信息定义为：给定zk条件下，xi与yj之间的互信息定义为： 离散信道中所有xi对yj的互信息在联合概率空间p(xi yj)的数学期望用I(Y;X)来表示并称其为X对Y的平均互信息，其定义式为：平均互信息也称为交互熵，其单位是比特/符号(bit/symbol)。平均互信息（交互熵）的物理意义：I(X;Y) =H(Y)-H(Y/X) 平均互信息量是发送X前后关于Y的不确定度减少量，即由X获得的关于Y的平均互信息量，条件熵H(Y/X)是信道所给出的平均“信息”量，通常称

10、为噪声熵或信道散布度；I(X;Y)=H(X)-H(X/Y) 平均互信息量是收到Y前后关于X的不确定度减少量，即由Y获得的关于X的平均互信息量，条件熵H(X/Y)也是信道所给出的平均“信息”量，通常称为损失熵，也称为信道疑义度。I(X;Y)=H(X)+H(Y)-H(XY) 平均互信息量等于通信前后整个系统不确定度减少量，该式是利用信源发出的信息熵、信宿接收到的信息熵和与信道特性相关的联合熵来估计交互熵。平均互信息的性质和定理：I(Y;X)的对称性：I(Y;X)=I(X;Y)I(Y;X)的非负性：H(Y/X)H(Y) I(Y;X)= H(Y)-H(Y/ X)0I(Y;X)的极值性：I(Y;X)=H

11、(Y)-H(Y / X) H(Y)；I(Y;X)=H(X)-H(X/ Y)H(X)I(Y;X)的凸函数性：当信道固定时，I(Y;X)是信源概率分布P(X)的严格上凸函数；当信源固定时，I(Y;X)是信道转移概率分布P(Y/X)的严格下凸函数。数据处理定理I(X;Z)I(X;Y) I(X;Z)I(Y;Z) I(X;Z)=I(X;YZ) I(X;Y/Z)信道容量C计算： C=max R R=I（X;Y）信息传输率（信息率） 信道剩余度=1-R/Cm = n一般信道 m = n 强对称信道(均匀信道)强对称信道的信息传输率可达最大，其信道容量为对称信道(行、列可排列)当时，对称信道的信息传输率可达最

12、大，其信道容量为准对称信道（行可排列、列不可排列）当时，二进制删除信道平均互信息的链式法则如果记一维离散无记忆信道的信道容量为C， 则其N次扩展信道的信道容量为N 次扩展信道的信道容量为C，进行二进制信道编码，只要信息传输率RC，当N足够大时，平均译码错误概率PeC，无论N多大，平均译码错误概率Pe信道编码定理又叫香农第二定理，该定理从理论上证明了译码错误概率任意小的理想纠错编码的存在性。信道容量C是信息传输率的上界香农界，如果信息传输率超过这个界限一定会出错。线性分组码;线性分组码通常采用前向纠错，可表示为(n,k)，其中n为码字长度，k为信息位长度，校验位长度为m=n-k。码距（汉明距离）

13、d 码重（汉明重量）w 最小码距d min线性分组码(n,k)能检e个错误并能纠t个错误的充要条件是因此，最简单的能检1个错误并能纠1个错误的线性分组码(n,k)的校验矩阵mn秩为m的矩阵H 其中ri为第i个接收码字，以n列向量表示,si为第i个接收码字的误码标志 kn生成矩阵G校验矩阵H与生成矩阵G之间满足编码其中xi为第i个码字的信息，以k列向量表示3重复码的最小码距为3能检验并改正1位bit错，5重复码最小码距为5能校验并改正2位bit错连续信源：连续信源的绝对熵微分熵（相对熵）不能反映连续信源的平均不确定度。定义微分熵的目的：在形式上与离散信源信息熵统一；熵差具有信息测度的意义。(1)

14、 均匀分布连续信源的微分熵 P（x）=1/(b-a) axb Hc(X)=log2 (b-a)(2) 高斯分布连续信源的微分熵Hc(x)=(3)指数分布连续信源的微分熵Hc(x)=log2 em微分熵的性质及最大微分熵定理微分熵不具有非负性微分熵的可加性最大微分熵定理连续信源没有一般意义下的最大熵，只有限制条件下的最大熵。取值范围受限：均匀分布的连续信源具有最大熵，即限取值范围的最大熵定理Hc(X)log(b-a), axb；平均功率受限：均值为零、方差等于该平均功率的高斯分布的连续信源具有最大熵，即；均值受限：均值等于该限定值的指数分布的连续信源具有最大熵，即 限均值的最大熵定理Hc(X)l

15、og(em), 0x。微分熵的链式法则：微分熵的界：微分熵率：N维连续无记忆信源 N维扩展：N次扩展信源的微分熵N次扩展信源的微分熵率单符号连续信道的平均互信息：定义单符号连续信道X对Y的平均互信息为Ic(Y;X)=Hc(Y)-Hc(Y/X)。单符号连续信道Y对X的平均互信息为Ic(X;Y)=Hc(X)-Hc(X/Y)平均互信息的性质和定理平均互信息具有非负性Ic(X;Y) 0;Ic(Y;X)0 可由定义并利用不等式lnxx-1证明平均互信息具有对称性Ic(X;Y)=Ic(Y;X)平均互信息具有凸函数性 当信道固定时，Ic(Y;X)是信源概率密度函数p(x)的上凸函数；当信源固定时，Ic(Y;

16、X)是信道转移概率密度函数p(y/x)的下凸函数。数据处理定理Ic(X;Z)Ic(X;Y);Ic(X;Z)Ic(Y;Z)将平均互信息Ic(X;Y)理解为单符号连续信道的信息传输率R，即R=Ic(X;Y)信道容量C= max R= max Ic(X;Y)加性连续信道及信道容量:(1)加性连续信道：噪声对输入的干扰作用表现为噪声和输入的线性叠加，即输入X的概率密度函数为p(x)，输出Y的概率密度函数为p(y)，噪声N的概率密度函数为p(n)。当X和N相互独立时，加性连续信道的转移概率密度函数p(y/x)=p(n)。(2) 加性连续信道的信道容量：Hc(Y/X)=Hc(N)Hc(N)=如果噪声N是均

17、值为0、方差为的高斯噪声,输入X满足均值为零、方差为的高斯分布，则称该加性信道为高斯加性信道。明高斯加性信道的输出Y也满足均值为0，方差为的高斯分布，且,如输入X的平均功率被限定为，已知噪声N的平均功率为，输出Y的平均功率根据限平均功率的最大熵定理，当输出Y为均值等于零、方差等于的高斯分布时具有最大熵，即高斯加性信道的信道容量:其中为信噪比当信道的频带为(0,W)时，将信道的一次传输看成是一次采样，根据采样定理，采样率为2W可保证不失真。不失真的一次传输所需时间为1/2W，相应的最大信息传输速率（香农公式）为高斯加性噪声的单边功率谱密度。香农公式说明：当最大信息传输速率一定时，增大信道的带宽，

18、可以降低对信噪功率比的要求。当信道的频带很宽，即 Dmax，同样R(D) =0将率失真函数的计算步骤整理如下： 由信息率失真函数的下凸性和单调递减性，可知S0 及 n进制 (n元)等概率信源，若失真矩阵:信息率失真函数R(D)对应的实验信道的转移概率分布为： 其信息率失真函数:信源等概率分布时：信源等概率分布时：当=1时，失真矩阵（汉明失真矩阵）:信源等概率分布时： 信息率失真函数R(D)对应的实验信道的转移概率分布为： N次扩展信源的信息率失真函数(1) N次扩展信源的保真度准则和实验信道失真度失真度平均失真度 保真度准则 如果给定允许失真ND实验信道(2) N次扩展信源的信息率失真函数高斯

19、信源的信息率失真函数取m=0取失真函数为d(x,y)=(x-y)，则平均失真度D(y)表示输出变量Y=y条件下, 变量X的条件方差。根据限平均功率的最大熵定理，Y=y条件下的微分熵信道疑义度在满足保真度准则的条件下找到信道使得有考虑反向加性信道并设噪声N是均值为0，方差为D的高斯变量。对于Y和N相互独立的反向高斯加性信道，可以证明p(x/y)=p(n) ，从而说明方差为D的反向高斯加性信道是实验信道。 当D时 当D=时R(D)=0;当D 时R(D)=0当D0，只要信息传输率RR(D)，总可以找到一种编码，使得当N足够长时，译码后的平均失真度保真度准则下的信源编码定理又叫香农第三定理，也是信源编码的存在性定理。R(D)是一个界限，只要信息传输率R大于这个界限，失真译码就可限制在允许的范围内。香农三个定理提出的三个香农界H(X)、C和R(D)都是临界值。