信息论与编码复习3-4PPT文件格式下载.ppt

信息论与编码复习3-4PPT文件格式下载.ppt

《信息论与编码复习3-4PPT文件格式下载.ppt》由会员分享，可在线阅读，更多相关《信息论与编码复习3-4PPT文件格式下载.ppt（26页珍藏版）》请在冰点文库上搜索。

Y）bit/符号信道中平均每个符号能传送的信息量信息传输速率RtI（X;

Y）/tbit/s信道中单位时间传送的信息量信道容量给定转移概率矩阵P后，平均互信息I（X;

Y）是概率矢量Px的上凸函数。

I（Px）的极大值就是信道容量。

2023/5/11,7,离散单符号信道,离散单个符号信道,无干扰离散信道,有扰离散信道,对称DMC信道,准对称DMC信道,一般DMC信道,无噪无损信道,无噪有损信道,有噪无损信道,2023/5/11,8,无干扰离散信道,无噪无损信道C=maxI（X;

Y）=logn无噪有损信道C=maxI（X;

Y）=maxH（Y）有噪无损信道C=maxI（X;

Y）=maxH（X）,2023/5/11,9,DMC信道的容量,对称DMC信道的性质对称信道的条件熵H（Y/X）与信道输入符号的概率分布无关。

如果信道输入符号等概率分布，则信道输出符号也等概率分布；

反之，若信道输出符号等概率分布时，信道输入符号也是等概率分布。

当信道输入符号等概率分布时，对称DMC信道达到其信道容量。

2023/5/11,10,DMC信道的容量,准对称DMC信道的容量如果转移概率矩阵P的输入对称而输出不对称，则称该矩阵是准对称DMC信道。

当信道输入符号等概率分布时，准对称DMC信道达到其信道容量C。

矩阵分解法：

将转移概率矩阵划分成若干个互不相交的对称子矩阵。

2023/5/11,11,DMC信道的容量,一般DMC信道的容量以输入符号概率矢量Px为自变量的函数I（Px）的极大值，即信道容量。

为了使I（X;

Y）最大化，即求取信道容量的值，输入概率集p（xi）必须满足的充分必要条件是：

I（xi;

Y）C，对于所有满足p（xi）0条件的iI（xi;

Y）C，对于所有满足p（xi）0条件的i,每一个概率不为0的输入符号对输出提供相同的互信息,2023/5/11,12,离散序列信道及其容量,X=（X1,X2,XL）,Xl=a1,a2,an,Y=（Y1,Y2,YL）,Yl=b1,b2,bm,独立、无记忆、平稳离散序列信道的信道容量为：

无记忆离散序列信道的转移概率为：

2023/5/11,13,连续信道,连续单符号加性信道信道的输入和输出都是取值连续的一维随机变量，加入信道的噪声是均值为零、方差为2的加性高斯噪声。

多维无记忆加性连续信道可等价成L个独立的并联高斯加性信道注水法：

噪声小的子信道分配到的输入功率大，传输的比特数多。

受加性高斯白噪声干扰的带限波形信道输入x（t）、输出y（t）和噪声n（t）：

模拟波形,2023/5/11,14,香农公式,香农公式W：

频带宽度，简称带宽SNR（信噪比）：

表示信号功率与噪声功率的比值加性白噪声的功率谱密度为N0/2Pav：

信号的平均功率香农限每传输1比特信息所需的能量。

当归一化的信噪比小于香农限（-1.6dB）时，归一化信道容量为零，即信道完全丧失通信能力。

2023/5/11,15,香农公式的讨论,带宽W一定时，信道容量C随信噪比SNR的增加而单调增加，因此增大信号功率、减小信道噪声可以增加信道容量。

信道容量C一定时，带宽W增大，信噪比SNR可降低，即二者可以互换。

如果输入信号功率PS固定，信道容量C随带宽W的增加而增加。

但到一定阶段后，增加变得缓慢。

2023/5/11,16,信源与信道的匹配,符号匹配信源输出的符号必须是信道能够传送的符号，这是实现信息传输的必要条件。

信息匹配对于某一信道，只有当输入符号的概率分布满足一定条件时，才能达到其信道容量。

信道冗余度信道绝对冗余度CI（X;

Y）信道相对冗余度,2023/5/11,17,第4章限失真信源编码,重点掌握失真函数、平均失真保真度准则信息率失真函数的定义域信息率失真函数与信道容量的比较一般了解信息率失真函数的性质连续信源的平均失真,2023/5/11,18,失真函数,单符号失真函数定义为：

将所有的d（xi,yj）排列起来，用矩阵表示为,d称为失真矩阵,2023/5/11,19,失真函数,如果假定离散信源输出符号序列X=（X1X2XlXL）,XlA=a1,an，其中L长符号序列xi=（xi1xi2xiL），经信源编码后输出符号序列Y=（Y1Y2YlYL），YlB=b1,bm，其中L长符号序列yj=（yj1yj2yjL），序列失真函数定义为,式中，d（xil,yjl）表示信源输出符号序列xi的第l个符号和编码输出符号序列yj的第l个符号之间的失真函数,信源序列的失真度等于序列中对应单个符号的失真度之和,2023/5/11,20,平均失真,将失真函数的数学期望或统计平均值称为平均失真。

失真函数d（xi,yj）描述某个信源符号通过传输后失真的大小。

对于不同的信源符号和不同的接收符号，其值是不同的。

平均失真：

平均失真对信源和信道进行的统计平均。

描述某一信源在某一试验信道传输下的失真大小，是从总体上描述整个系统的失真情况。

2023/5/11,21,平均失真,L维信源符号序列的平均失真度当信源与信道无记忆时，信源符号平均失真度（平均每个符号的平均失真度）,表示信源符号序列的第l个符号的平均失真,2023/5/11,22,保真度准则,保真度准则平均失真度不大于允许的失真D允许信道D允许的试验信道，即满足保真度准则的试验信道。

满足保真度准则的所有试验信道，即转移概率分布p（yj/xi），构成了一个信道集合,2023/5/11,23,信息率失真函数,信息率失真函数R（D）限定失真为D的条件下，信源输出的最小信息率。

R（D）的定义域率失真函数的定义域问题就是在信源和失真函数已知的情况下，讨论允许平均失真度D的最小和最大取值问题，即Dmin,DmaxDmin的计算Dmax的计算,2023/5/11,24,信息率失真函数的性质,R（D）是非负的实数，0R（D）H（X）定义域为0DminDDmax当DDmax时，R（D）0R（D）是关于D的下凸函数R（D）在定义域内是失真度D的U型下凸函数。

R（D）在定义域内是关于D的连续函数。

R（D）的单调递减性容许的失真度越大，所要求的信息率越小。

2023/5/11,25,率失真函数和信道容量的比较,平均互信息I（X;

Y）信源的概率分布p（xi）的上凸函数。

信道传递概率p（yj/xi）的下凸函数。

信道容量信息率失真函数,信道固定,输入概率分布固定,2023/5/11,26,率失真函数和信道容量的比较,