信息论知识点.docx

信息论知识点.docx

《信息论知识点.docx》由会员分享，可在线阅读，更多相关《信息论知识点.docx（7页珍藏版）》请在冰点文库上搜索。

信息的主要特性：

普遍性、可度量性、相对独立性、可传输性、可存储性、可共享性、时效性

通信系统对信息传输的要求：

①有效性——传输的每一条消息携带尽可能多的信息量或单位时间内传输尽可能多的信息量②可靠性——信源提供的消息经传输后，尽可能准确、不失真地被信宿接受并再现③保密性信源的分类:

一方面分为离散信源和连续信源，另一方面分为无记忆信源和有记忆信源。

消息中所包含的不确定性的成分才是信息，因此，不确定性的成分越大，或者说出现的概率越小，信息量就越大。

离散信源输出xi所包含的信息量用I（xi）来表示并将其称为xi的自信息量，xi的自信息量的定义式为：

I（x）=-log2p（xi）

自信息量的性质：

①I（xi）是随机量；②I（xi）是非负值；③I（xi）是p（xi）的单调递减函数。

必然发生的事件不存在任何不确定性，故不含有任何信息量。

联合自信息量：

I（xiyj）=-log2p（xiyj）条件自信息量:

I（xi/yj）=-log2p（xi/yj）在已知yj的条件下，发生xi所带来的信息量。

I（yj/xi）=-log2p（yj/xi）在已知xi的条件下，发生yj所带来的信息量。

联合自信息量与条件自信息量关系：

I（xiyj）=I（xi/yj）+I（yj）=I（yj/xi）+I（xi）

自信息量反映的是一个随机事件出现某种结果所包含的信息量，自信息量具有随机变量的性质。

单符号离散信源的信息熵：

将离散信源所有自信息量的数学期望用H（X）来表示并称其为信源的信息熵，也叫香农熵，信息熵的定义为：

H（X）=E[I（xi）]=p（xi）I（xi）=-p（xi）log2p（xi）

信息熵的单位是比特/符号（bit/symbol）。

信息熵是从整体出发对一个离散信源信息量的度量。

H（X）反映信源每发出一条消息所提供的平均信息量，不反映信源发出某条特定消息的信息量一般情况下，H（X）不等于每接收一条消息所获得的平均信息量。

信息熵H（X）的性质和定理：

①非负性；②严格上凸性；lnx≤x-1

③最大信息熵定理H（X）≤log2nlnx≤x-1单符号离散信源中各消息等概率出现时，具有最大熵；④对称性H（X）=H[p（x1）,p（x2）…,p（xn）]=-p（xi）log2p（xi）与信源的总体结构有关而不在乎个别消息的概率，与消息的取值无关；⑤确定性：

H（0,1）=0；⑥扩展性

⑦可加性H（XY）=H（X）+H（Y/X）=H（Y）+H（X/Y）N维信息熵的链式法则

；⑧极值性H（X/Y）≤H（X）;H（Y/X）≤H（Y）

如果信源每次发出的消息都是单一符号，而这些符号的取值是有限或可数的，则称这种信源为单符号离散信源。

如果信源每次发出的消息都是有限或可数的符号序列，而这些符号都取值于同一个有限或可数的集合，则称这种信源为多符号离散信源。

N维离散平稳信源的熵率（平均符号熵）

当N→∞时，平均符号熵取极限值，称之为极限熵，用H∞表示，即可以证明，极限熵H∞存在且

离散无记忆信源X的N次扩展信源的熵就是单符号离散信源X的熵的N倍：

H（）=NH（X）该信源的极限熵为

如果离散平稳信源发出的符号只与前面已经发出的m（

马尔科夫信源是离散平稳有限记忆信源，m是马尔科夫信源的记忆长度，m阶马尔科夫信源发出的符号序列可看成长度为m+1的一段段符号序列。

n元m阶马尔科夫信源状态转移图有个状态

极限熵计算根据马尔科夫链的遍历（各态历经）定理：

p（sj）的求取问题，其中

编码效率；N次扩展信源码率R=L/N（N次扩展）编码效率

无失真信源编码定理：

离散信源的熵为H（X），对N次扩展信源进行二进制不等长信源编码，一定存在一种无失真编码方法，构成单义可译码，当N足够大时，使得码率H（X）≤R

扩展信源无失真编码的存在性香农第一定理

熵率H（X）是无失真编码的码率下界——香农界。

码率不能低于香农界，否则译码会出错

H（X）是描述信源每个符号所需的最少平均比特数异前置码：

异前置码的满足香农第一定理

①异前置码满足R≥H（X）离散信源的熵为H（X），对N次扩展信源进行异前置码编码，码率R≥H（X）

②异前置码的渐近最优性编码效率从提高传输效率的角度，码率越接近熵率越好离散信源的熵为H（X），对N次扩展信源进行异前置码编码，对任意给定的ε>0，当N足够大，码率R

m元长度为li,i=1,2,…,n的异前置码存在的充分必要条件是：

克拉夫特（Kraft）不等式。

赫夫曼编码：

①将符号序列ai，i=1,2,…,nN按概率降序排列；②为概率最小的符号序列分配一个码元1，概率次小的符号序列分配一个码元0；③将概率最小的两个符号序列合并成一个新的符号序列，用两者概率之和作为该新符号序列的概率；重复以上三个步骤，直到最后合并出一个以1为概率的符号序列，逆向生成码字，结束编码。

赫夫曼编码的特点：

1.码长取决于符号序列的概率，概率越大码长越短；2.编码不具有唯一性，但不同赫夫曼码的编码效率相同3.码率不超过熵率1/Nbit，N越大码率越接近熵率。

费诺编码：

①将符号序列ai按概率降序排列；②按编码进制数将概率分组，使分组概率尽可能接近或相等。

如编二进制码就分成两组，编m进制码就分成m组。

③给每组分配一个码元（码元分配规则相同，上0下1）；对每一分组重复步2，3，直至概率不可再分为止，由左至右生成码字。

费诺码的特点：

1.大概率符号序列分解次数少，编为短码，小概率符号序列分解次数多，2.编为长码不具有唯一性，但不同费诺码的编码效率相同3.码率不超过熵率1/N个比特，N越大码率越接近熵率。

互信息在有噪信道的情况下，由于p（yj）=p（xi）p（yj/xi）说明信宿接收到yj所包含的信息量除了与信源给出的信息有关外，还与信道给出的“信息”有关。

信源发出消息xi而信宿接收到消息yj,信宿消息yj所含信源消息xi的信息量，用I（yj;xi）来表示，并将其称为xi对yj的互信息，其定义为：

特别的，如果xi与yj是确定关系，即p（yj/xi）=1，相当于无噪信道，则I（yj;xi）=I（yj）=I（xi）;如果xi与yj相互独立，即p（yj/xi）=p（yj），相当于信道中断，则I（yj;xi）=0。

互信息的性质：

①I（yj;xi）是随机量；②I（yj;xi）可为正值也可为负值；③I（yj;xi）具有对称性I（yj;xi）=I（xi;yj）。

I（xi;yj）称为yj对xi的互信息,I（xi;yj）=I（xi）-I（xi/yj）.

消息xi与消息对yjzk之间的互信息定义为：

给定zk条件下，xi与yj之间的互信息定义为：

离散信道中所有xi对yj的互信息在联合概率空间p（xiyj）的数学期望用I（Y;X）来表示并称其为

X对Y的平均互信息，其定义式为：

平均互信息也称为交互熵，其单位是比特/符号（bit/symbol）。

平均互信息（交互熵）的物理意义：

I（X;Y）=H（Y）-H（Y/X）平均互信息量是发送X前后关于Y的不确定度减少量，即由X获得的关于Y的平均互信息量，条件熵H（Y/X）是信道所给出的平均“信息”量，通常称为噪声熵或信道散布度；I（X;Y）=H（X）-H（X/Y）平均互信息量是收到Y前后关于X的不确定度减少量，即由Y获得的关于X的平均互信息量，条件熵H（X/Y）也是信道所给出的平均“信息”量，通常称为损失熵，也称为信道疑义度。

I（X;Y）=H（X）+H（Y）-H（XY）平均互信息量等于通信前后整个系统不确定度减少量，该式是利用信源发出的信息熵、信宿接收到的信息熵和与信道特性相关的联合熵来估计交互熵。

平均互信息的性质和定理：

①I（Y;X）的对称性：

I（Y;X）=I（X;Y）②I（Y;X）的非负性：

H（Y/X）≤H（Y）I（Y;X）=H（Y）-H（Y/X）≥0③I（Y;X）的极值性：

I（Y;X）=H（Y）-H（Y/X）≤H（Y）；I（Y;X）=H（X）-H（X/Y）≤H（X）④I（Y;X）的凸函数性：

当信道固定时，I（Y;X）是信源概率分布P（X）的严格上凸函数；当信源固定时，I（Y;X）是信道转移概率分布P（Y/X）的严格下凸函数。

⑤数据处理定理I（X;Z）≤I（X;Y）I（X;Z）≤I（Y;Z）I（X;Z）=I（X;YZ）−I（X;Y/Z）

信道容量C计算：

C=maxRR=I（X;Y）信息传输率（信息率）信道剩余度=1-R/C

m=n一般信道

m=n强对称信道（均匀信道）

强对称信道的信息传输率可达最大，其信道容量为

对称信道（行、列可排列）

当时，对称信道的信息传输率可达最大，其信道容量为

准对称信道（行可排列、列不可排列）当时，

二进制删除信道

—平均互信息的链式法则

如果记一维离散无记忆信道的信道容量为C，则其N次扩展信道的信道容量为

N次扩展信道的信道容量为C，进行二进制信道编码，只要信息传输率R

如果信息传输率R>C，无论N多大，平均译码错误概率Pe>ε

信道编码定理又叫香农第二定理，该定理从理论上证明了译码错误概率任意小的理想纠错编码的存在性。

信道容量C是信息传输率的上界——香农界，如果信息传输率超过这个界限一定会出错。

线性分组码;线性分组码通常采用前向纠错，可表示为（n,k），其中n为码字长度，k为信息位长度，校验位长度为m=n-k。

码距（汉明距离）d码重（汉明重量）w最小码距dmin

线性分组码（n,k）能检e个错误并能纠t个错误的充要条件是因此，最简单的能检1个错误并能纠1个错误的线性分组码（n,k）的

①校验矩阵m×n秩为m的矩阵H其中ri为第i个接收码字，以n列向量表示,si为第i个接收码字的误码标志②k×n生成矩阵G校验矩阵H与生成矩阵G之间满足③编码其中xi为第i个码字的信息，以k列向量表示

3重复码的最小码距为3能检验并改正1位bit错，5重复码最小码距为5能校验并改正2位bit错

连续信源：

连续信源的绝对熵

微分熵（相对熵）不能反映连续信源的平均不确定度。

定义微分熵的目的：

①在形式上与离散信源信息熵统一；②熵差具有信息测度的意义。

（1）均匀分布连续信源的微分熵P（x）=1/（b-a）a≤x≤bHc（X）=log2（b-a）

（2）高斯分布连续信源的微分熵

Hc（x）=（3）指数分布连续信源的微分熵Hc（x）=log2em

微分熵的性质及最大微分熵定理①微分熵不具有非负性②微分熵的可加性③最大微分熵定理连续信源没有一般意义下的最大熵，只有限制条件下的最大熵。

取值范围受限：

均匀分布的连续信源具有最

大熵，即限取值范围的最大熵定理Hc（X）≤log（b-a）,a≤x≤b；平均功率受限：

均值为零、方差等于该平均功率的高斯分布的连续信源具有最大熵，即；均值受限：

均值等于该限定值的指数分布的连续信源具有最大熵，即限均值的最大熵定理Hc（X）≤log（em）,0≤x<∞。

微分熵的链式法则：

微分熵的界：

微分熵率：

N维连续无记忆信源N维扩展：

N次扩展信源的微分熵

N次扩展信源的微分熵率

单符号连续信道的平均互信息：

定义单符号连续信道X对Y的平均互信息为Ic（Y;X）=Hc（Y）-Hc（Y/X）。

单符号连续信道Y对X的平均互信息为Ic（X;Y）=Hc（X）-Hc（X/Y）

平均互信息的性质和定理

①平均互信息具有非负性Ic（X;Y）≥0;Ic（Y;X）≥0可由定义并利用不等式lnx≤x-1证明②平均互信息具有对称性Ic（X;Y）=Ic（Y;X）③平均互信息具有凸函数性当信道固定时，Ic（Y;X）是信源概率密度函数p（x）的上凸函数；当信源固定时，Ic（Y;X）是信道转移概率密度函数p（y/x）的下凸函数。

④数据处理定理Ic（X;Z）≤Ic（X;Y）;Ic（X;Z）≤Ic（Y;Z）

将平均互信息Ic（X;Y）理解为单符号连续信道的信息传输率R，即R=Ic（X;Y）信道容量C=maxR=maxIc（X;Y）

加性连续信道及信道容量:

（1）加性连续信道：

噪声对输入的干扰作用表现为噪声和输入的线性叠加，即输入X的概率密度函数为p（x），输出Y的概率密度函数为p（y），噪声N的概率密度函数为p（n）。

当X和N相互独立时，加性连续信道的转移概率密度函数p（y/x）=p（n）。

（2）加性连续信道的信道容量：

Hc（Y/X）=Hc（N）Hc（N）==

如果噪声N是均值为0、方差为的高斯噪声,输入X满足均值为零、方差为的高斯分布，则称该加性信道为高斯加性信道。

明高斯加性信道的输出Y也满足均值为0，方差为的高斯分布，且,如输入X的平均功率被限定为，已知噪声N的平均功率为，输出Y的平均功率根据限平均功率的最大熵定理，当输出Y为均值等于零、方差等于的高斯分布时具有最大熵，即

高斯加性信道的信道容量:

其中为信噪比

当信道的频带为（0,W）时，将信道的一次传输看成是一次采样，根据采样定理，采样率为2W可保证不失真。

不失真的一次传输所需时间为1/2W，相应的最大信息传输速率（香农公式）

为高斯加性噪声的单边功率谱密度。

香农公式说明：

当最大信息传输速率一定时，增大信道的带宽，可以降低对信噪功率比的要求。

当信道的频带很宽，即<<1时，

增加信道带宽W并不能无限制地增大最大信息传输速率;即使信道带宽无限大，最大信息传输速率仍然是有限的。

当高斯加性信道的带宽很宽时，最大信息传输速率与信号功率近似成正比。

高斯加性信道的N次扩展信道

高斯加性信道N次扩展信道的信道容量

高斯加性信道N次扩展信道的最大信息传输速率

平均失真度：

（1）失真度定义非负函数d（xi,yj）为失真度。

n元信源X经过信道对应m元信宿i=1,2,…,n；j=1,2,…,m称全部n×m个失真度组成的矩阵为失真矩阵：

n行m列[D]

（2）平均失真度（3）保真度准则-------平均失真度不大于给定的允许失真D

信息率失真函数的定义：

当信源p（xi）固定，调整信道p（yj/xi），凡满足保真度准则的数据处理信道，称为D失真许可的实验信道。

实验信道的集合

定义保真度准则下的最小信息传输率为信息率失真函数。

信息率失真函数的性质和定义域：

①R（D）具有非负性②R（D）是D的下凸函数③R（D）是D的单调递减连续函数④信息率失真函数的定义域：

由于允许失真D是平均失真度的上界，故允许失真D的给定范围受限于平均失真度的可能取值。

信息率失真函数R（D）的大致曲线为：

其中

当D=Dmin=0，即不允许任何失真时R（D）=H（X）

根据R（D）的性质可知，当D=Dmax时，R（D）=0；如果D>Dmax，同样R（D）=0

将率失真函数的计算步骤整理如下：

由信息率失真函数的下凸性和单调递减性，可知S<0及

n进制（n元）等概率信源，若失真矩阵:

信息率失真函数R（D）对应的实验信道的转移概率分布为：

其信息率失真函数:

信源等概率分布时：

信源等概率分布时：

当α=1时，失真矩阵（汉明失真矩阵）:

信源等概率分布时：

信息率失真函数R（D）对应的实验信道的转移概率分布为：

N次扩展信源的信息率失真函数

（1）N次扩展信源的保真度准则和实验信道失真度

失真度

平均失真度保真度准则如果给定允许失真ND

实验信道

（2）N次扩展信源的信息率失真函数

高斯信源的信息率失真函数

取m=0取失真函数为d（x,y）=（x-y）²，则平均失真度

D（y）表示输出变量Y=y条件下,变量X的条件方差。

根据限平均功率的最大熵定理，Y=y条件下的微分熵

信道疑义度在满足保真度准则的条件下

找到信道使得有考虑反向加性信道并设噪声N是均值为0，方差为D的高斯变量。

对于Y和N相互独立的反向高斯加性信道，可以证明p（x/y）=p（n），从而说明方差为D的反向高斯加性信道是实验信道。

当D<σ²时当D=σ²时R（D）=0;当D≥σ²时R（D）=0当D<σ²时

由于高斯信源的熵只与方差有关，与均值无关，m≠0时与m=0的情况相同。

保真度准则下的信源编码定理

序列长度为N的离散平稳无记忆信源，信息率失真函数为R（D），对于任意允许失真D和任意小的数ε>0，只要信息传输率R>R（D），总可以找到一种编码，使得当N足够长时，译码后的平均失真度

保真度准则下的信源编码定理又叫香农第三定理，也是信源编码的存在性定理。

R（D）是一个界限，只要信息传输率R大于这个界限，失真译码就可限制在允许的范围内。

香农三个定理提出的三个香农界—H（X）、C和R（D）都是临界值。