信息论.docx

1、信息论信息论与编码报告姓名：杨文毅专业：通信111学号：201110404112题目：论信源编码与信道编码前言：在无线多媒体通信中，多媒体业务的高数据率和无线信道恶劣的传输条件是一对主要矛盾。高效压缩在降低业务数据率的同时也使业务对误码十分敏感，常要求较低的误码率。要克服无线信道中的噪声、干扰和衰落的影响，达到降低误码率，就需要较强的纠错编码方法。但较强的纠错编码会造成系统复杂度提高、延时加大、对传输带宽提出过高的要求。在以往的通信系统中，人们常常将信源编码和信道编码分开来考虑，这种分离的设计方法基于香农定理。信源编码与信道编码理论之所以分开来考虑并也取得了可喜的成果有其内在的原因：首先分离可

2、以把复杂的问题简单化利于研究，其次系统的整体性能并不会因为分离研究而受到影响。然而在实际生活中，香农定理假设的前提无限长的编码码长和点对点传输是无法满足的，因此分离编码系统在实际通信中不能达到理想的性能。信源编码的目的在于提高系统的有效性（传信率越高失真越小），中心问题是对于一给定的信源，在失真确定的条件下，使得失真满足要求所需的最低传信率；在传信率确定的情况下，使得系统达到所能达到的最小失真。而信道编码理论的核心问题是寻找一种适当的编码手段，在一定的传信条件下，通过有规律的增加冗余保证信息尽可能小的差错概率从信源传到信宿。因此信源编码的信道编码所要解决的问题是相互矛盾的。解决这一主要矛盾的方

3、法就是联合信源信道编码（Joint Source Channel Coding, JSCC）技术。JSCC技术是对现有的多媒体通信系统的重要改进，通过联合化信源和信道编码可提高系统的整体性能。这种联合设计的理念广泛受到人们的关注也越来越受到人们的重视。正文一、联合信源信道编码(JSCC)原理根据香农关于信源信道编码的理论, 在保持通信系统总的性能条件下, 信源编码和信道编码可以分开考虑设计。在这个理论基础上, 信源编码的目标就是从数据中除去冗余, 获得最大的信息压缩率;而信道编码则是在数据中加入冗余数据, 用来保护在噪声信道中传输的数据, 得到最小的误码率。这是我们都很熟悉的原理, 从这里看上

4、去信源编码和信道编码之间没有进行信息交换和最优化的必要。但是我们忽略了上面的理论有这样两个假设基础:1)无限长的编码码长(意味着无限长的传输时延);2)点对点传输(不存在无线通信中常见的多径干扰)。我们实际的通信系统, 由于复杂性和实时系统的时延限制, 无限长的编码码字不可能实现, 因此, 理论上的系统的最优效果不可能在单独设计中到达。通过联合设计, 我们可以在有限复杂度和有限时延的条件下得到接近理论值的通信效果。所谓的联合设计, 就是综合考虑信源信道的特点, 采用最优化的设计方法得到最好的传输效果。最通用的方法就是为信源和信道编码配置出最优的码长, 也就是把单独的信源和信道编码器有效的组合成

5、一个信源信道编码器。下面具体说明。我们现在常用的信源编码都是变换编码, 而变换编码都是非信息保持型的。这样, 如图1如果用较多的bit 来信源编码, 也就是压缩比较小的话, 那么在解码时就会有比较小的失真。信道编码中最常用的就是RS等。我们知道每种纠错信道编码有个纠错限度, 比如说这种编码可以纠正几个符号的错误等等。如果用较多的符号来做信息保护, 就可以纠正较多个符号的错误, 这样, 信道产生的失真就会减小。因此, 所谓的联合信源信道编码就是根据信道的状态, 权衡信源编码码率和信道编码码率对失真的影响, 通过一种联合策略在这两种编码中分配合适的资源, 从而得到最好的端对端效果。从上面的描述中我

6、们可以看到, 联合信源信道编码中最关键的一点就是信源信道的匹配策略(JSCM), 作为编码依据的资源就是根据这个策略在两个方面进行分配的。因此, 整个问题的关键就是设计出这个匹配系统。下面给出JSCM系统框图。从图2中可以看到, 有限的系统资源通过一个联合信源信道匹配最优化模块进行资源分配, 而这个模块分配的依据就是反馈信道反馈过来的信道信息。这里有两个问题应该引起注意:一是什么是系统资源。所谓系统资源就是通信系统中由于物理条件的限制所必须满足的条件。我们这里最常见的有两种资源:1)带宽(rate);2)能量(power)。对于第一种资源, 是我们最常见的, 任何通信系统必须考虑这个限制。对于

7、第二种资源,在移动通信中是非常重要的, 我们常用的无线通信设备都是便携的, 电池的容量非常有限。二是什么是信道状态的判别标准。信道编码中常常采用纠错编码技术, 因此在一定的信号发送功率下根据信道解码的情况, 可以很方便的得到信道干扰对传输数据的影响信息。信道比特错误率(BER)是最常用的判别标准。实践证明, 如果一个系统有很严格的条件限制,比如时延、复杂度等, 那么JSCC就可以获得比单独编码高很多的效率。从第一节中关于JSCC的说明来看, JSCC主要是应用在那种对系统资源要求很严格的通信系统中, 可以得到最优的通信效果。从这一点出发, 我们可以想象, JSCC主要应用对象是图像、视频传输系

8、统以及无线通信系统。随着对JSCC研究的深入, 以及无线通信的快速发展, 无线多媒体通信越来越被重视。这个领域是现在应用研究的重点。下面介绍一下几个背景知识。1.图像编码图像编码按编码区域来分有两种:帧内编码、帧间编码。我们常用的M-JPEG是典型的帧内编码;而条件块补偿编码(CBR)为最早出现的帧间编码(实际上, H.26x 和MPEG都可以在最原始的情况下退化到CBR这种情况)。由于帧内编码的信源编码失真比较容易计算, 因此, 现在很多的工作都是用帧内编码作为研究对象, 如M-JPEG。此外有两个概念也是会经常遇到的:Progres-siveSourceCoder(渐进的信源编码)和Non

9、-pro-gressiveSourceCoder(非渐进的信源编码)(参见文献1中的定义)。2.常用的两种信道编码RS信道编码(Reed-Solomoncodes), 是一种带有很好的纠错能力的块编码。一个RS编码可以用(n;k;t)来说明, 这是一个长度为n的编码, 其中包含k =n-2t 个信源码元, 2t 个保护码元, 这种编码可以纠正t 个码元错误。这种编码特别适合存在突发错误的信道, 例如无线通信系统。Rate -compatible punctured convolutionalcodes, 这种信道编码允许在传输中采用前向纠错的方法, 并且允许在一个数据帧中速率从低到高的变化。这

10、种信道编码用在联合信源信道编码中的原因是因为当速率改变的时候, 编码的结构保持不变。3.评判端对端图像传输性能的标准(1)均平方误差(MSE)其中 X是重建的图像;X是原始图象。(2)最大信噪比(PSNR):二、相关研究1、联合信源信道编码原理探究通信的最终目的就是将信息有效不失真的从信源传到信宿，在这个过程中，编码器的作用就是把信源发出的信息进行一定的处理或者变换，这要求既能有效的表达信源发出的信息，又能够较好的克服信道噪声的干扰。而译码器则是编码的逆过程，译码器要从已经受到干扰的信号中最大限度的提出有关信源输出的信息，在信宿端最大程度的近似的重构信源发出的信息。但是长期以来，编码的有效性和

11、可靠性作为矛盾统一体中的一对矛盾，形成了一种相互割据的局面，从而衍生出信息论的两大重要分支理论信源编码理论和信道编码理论。经典的无线通信系统是将信源编码和信道编码分别进行处理的，因此如何才能解决其中的矛盾，怎样才能在信道限制的条件下实现最好的传输效果引起了思考，信源信道联合编码应运而生。信源和信道编码的最终目标就是在保持一定有效性的基础上，提高其抗干扰能力，使通信的有效性和可靠性在一定程度上达到辩证的统一。其理论框图如下：通过联合设计我们可以在复杂的条件下得到接近理论值的通信效果。我们知道如果用较多的比特描述信息，也就是对信息的压缩较小的话，那么解码时的失真就会比较小。同理每种纠错信道编码有个

12、纠错限度，如果用较多的编码来做信息保护，就可以纠正较多的符号错误。这样信道产生的失真就会减小。因此根据信道状态，权衡信源编码速率和信道编码速率对整体失真的影响，在信源编码和信道编码之间最优分配总的冗余，通过一种联合编码的策略在这两种编码之间合理分配资源，从而得到最好的端到端效果，使整体性能达到最优。通过之前的描述可以看出联合信源信道编码最关键的一点就是设计出信源信道的最优匹配策略。图中存在两个方面的问题需要引起注意。其一是系统资源。系统资源就是通信系统中由于物理条件的限制所需满足的各种关系。最主要的两种是带宽和能量。其二是信道状态的判别标准。最常用的判别标准就是信道比特错误率（BER ）。实践

13、证明，如果一个系统有严格的条件限制，比如延时、复杂度等，那么联合信源信道编码就可以获得比单独编码高很多的效率。2、联合信源信道编码的适用环境（1）联合信源信道编码是将信源编码和信道编码联合起来考虑进行优化设计，并且可以让用户根据信道或网络条件改变信源编码参数，或者根据信源特性选择信道编码、调制网络参数。信源信道联合编码适用于各种违背信源信道分离设计论前提条件的情况，尤其是在以下四种情况下，应用信源信道联合编码的系统可以得到更好的效果。资源受到限制的通信系统。资源受到限制包括数据传输时的速率和带宽限制、低成本系统所要求的复杂度限制、便携设备的功率限制、实时系统的延时限制。其实，实际环境总是有这样

14、或那样的限制。联合信源信道编码会从整体出发在各种资源之间进行最优分配，从而获得端对端系统性能的最佳。（2）多用户共享信道的通信系统，比如包交换的数据网和蜂窝移动通信系统。在这种系统中，多个用户通过统计时分或者码分等复用方式共享信道，一个用户的信源信息，可能就是另一个用户的信道噪声。在多用户接入下信源编码和信道编码无法独立进行，信源信道联合编码可以用来减少用户间的干扰，提高系统的整体性能。同时，信道容量的充分利用可以在信源编码和信道编码分别独立进行的情况下实现。但在多源接入信道下这一结论不成立。（3）异质信源、异类信源或异种用户共存的通信系统。异质信源产生于多媒体通信，在这里指不同种类的数据。他

15、们对于信道误码和传输延时的要求很不一样，此时应对不同的信源采用不同的差错保护方式。异类信道是指同一通信网下的不同信道可能具有不同的信道质量，他们的速率、误码率、时延或时延抖动相差很大，此时根据信道的特性采用分层编码或多分变率方式的信源编码有可能取得较好的效果。异种用户是指同一通信系统中的不同用户的服务质量要求不同。此时也需要对多个用户的信源的信道编码折衷考虑，优化资源配置，以满足所有用户的服务质量需求。（4）信源、信道具有时变特性的通信系统。此时由于不太可能获得信源和信道的先验概率分布，分离方式下最佳的信源编码和信道编码设计可能是不可实现的。而如果在编码设计时采用最保守的方法，及确保在最坏情况

16、下的正常通信，又会给通信资源带来很大的浪费，而采用自适应联合优化的方法，使得信源编码和信道编码与信源和信道特性相匹配，有可能提高系统的容量。3、联合信源信道编码不同的设计方法下面将研究几个具体的方案。1.Leiming Qian等提出了一种在无线图像传输系统中通用的JSCM方法。这个方法建立了一个失真与BER关系的参数模型。模型建立的过程如图3所示。图像按块划分后传输, Db(i)为第I 个分块所引起的误差, Pb(i)为第I 个分块丢失的几率。这样, 我们可以清楚的看到,(1)式的前一部分, 代表着由信道噪声导致的传输误差, 后面的部分代表信源的压缩编码造成的解码失真。因此这个问题就变成了下

17、式所描述的问题:minPb, sE(D)s .t .Pt rans P0 and/or Rtot R0(2)就是在功率和带宽受限的情况下求出使E(D)最小的Pb(I)和Rs 即可。若考虑的是非渐进的信源编码或者是高度敏感的信源编码, 因为这种信源编码对应的信源解码过程对数据的正确率要求很高,因此, 此时任何源编码输出流中任何比特的错误所引起的误差都是一样的。在这样的情况下, 上面的模型就被简化了。问题就变成下式所述:maxRs s.t .Pr(fail) (3)式中Pr(fail)为Rs 和Energy的函数。即在一定的错误率条件下求最大信源编码速率的问题。这种建模方法是很有代表性的。然后,

18、文章中把这种参数模型方法应用到不同的信源和信道编码对中, 并给出了在这些情况下具体的数学关系。通过模拟, 得到了很好的效果。无线视频传输比图像传输具有更复杂的编码算法以及更严格的实时时延和缓冲器限制, 因此和图像传输比较起来, 在视频传输系统中应用JSCM有很大的挑战性。文献 3 以2为基础, 提出了无线视频通信中一种通用JSCM方法。图3左边的两个图代表信源编码中D(b;Rs )和信道编码中Energy(Rs ;BER)两种关系。右图则代表着联合信源信道匹配的D(Energy)特性, 我们可以看到对应每个Energe曲线上有个凸起点, 这个点对应的就是最佳选择的Rs 。整个系统端对端的失真表

19、达式为:本文和2一样建立了一个端对端失真模型, 在这个模型中, 我们以接收端缓冲器大小有限为限制条件, 以信源编码质量q和信道编码中加入的保护比特数目p为参数, 建立了D总的数学关系。这里应用了两种策略:第一, 视频传输基于包传输;第二, 实时替换, 即若第I 个帧出现错误, 则用第I -1个帧代替。在视频传输系统中, 码率控制是非常重要的问题, 这是因为视频通信对时延有很严格的限制, 而且作为视频解码端的缓冲器大小是有限的。本文采用的数学模型与文献2是相同的, 唯一的差别就是限制条件换成了等效的缓冲器大小限制。下面是本文提出的方法的数学模型:这里D是端对端的平均失真;D(i)为每帧图像的失真

20、;Pf SUCC(p)为保护参数为p时候的帧正确率;d(q)为图像质量参数为q时由信源编码产生的失真;Pf fail(p)为保护参数为p 时候的帧错误概率;dconceal(i)为帧替换后带来的失真PpSUCC;M(q)为图像质量参数为q时每帧的包数。因此问题就是, 在满足一定的条件下求使D最小的p, q 值即可。本文分别以帧内编码M-JPEG, RS组合和帧间编码CBR, RS组合为例子, 分别对上面的模型进行了具体化, 然后进行模拟, 取得了预期效果。这种方法因为不需要对编码方法有先验信息, 因此这种方法可以有很广的应用范围。2.QianZhang等人提出的方法则可以认为是从另一个资源控制

21、角度来考虑这个问题。我们知道移动通信中有很多的设备都是便携的, 而这种设备上的能源消耗限制非常重要。怎么样才能用最少的能源消耗获得最好的通信效果是无线通信控制的一个重要问题。而通信系统中能量消耗又包括很多方面, 主要是以下两部分:各种编解码的计算量带来的损耗及调制损耗。文献 4就是从能量最优化角度来讨论的, 结合码率限制, 给出了一种针对progres-sive视频码流在无线传输中采用JSCC的通用方法。在上面这个模型下, 文中采用了PFGS信源编码, 混合UEP信道编码以及时延限制型的ARQ传输协议。然后根据具体特点, 推导出具体的数学关系, 通过一些数学方法使问题得以解决。无线通信中能量消

22、耗主要在信号调制传输上,而信号调制方式及发送功率都将直接影响信道的失真情况。因此, 以后关于这方面的研究应该把重点放在综合考虑上面提到的两种能量损耗上, 也就是把调制方式及功率分配也考虑在内, 只有这样, 才会把联合编码最有效的应用在实际工程中。在无线通信系统中, 常常存在着反馈信道, 这些信道起着控制信息传输的作用。如图2中, 我们可以看到, JSCM系统要求有这么一个接收端到发送端的反馈信道。这个信道中反馈的信息可以是信道的实时信道状况, 或者是信源解码后得到的信息的状态信息。在一些JSCC方案的设计中, 可以注意到有些JSCM系统中并没有这种反馈, 这是因为这些系统中有的根据经验采用了前

23、向预测的方法;有的仅仅是用了例如UEP等编码技术, 把信源信道编码简单的结合在一起。我们注意到这里有一个问题比较突出:反馈信息如何能跟的上信道变化, 特别是针对突发信道的情况。因此实用的移动通信系统中必须结合一些对纠正突发错误有效的信道编码(如RS), 那么系统将有所改善。这篇文章中考虑的能量仅仅是指编解码的复杂度所带来的能量消耗, 对于传输能量则并没有考虑在内。下面给出4中提出的方法我们可以归纳如下:信源编码能耗PS =h1(RS);信道编码能耗PC =h2(RS, RC)。因此整个问题可以用下面的式子表示:4、联合信源信道编码研究热点自1979 年提出信源信道编码这个概念以来，国内外许多院

24、校和专家致力于研究这个课题。研究热点主要集中在以下几个方面：分层编码。即是基于信源优化信道设计编码。它把信源编码分成图像中的粗糙的但对于识别重要的信息即重要的部分和包含提高图像质量要求的更精细的信息的次要部分。采用LDPC码的联合译码。它是一种融合隐马尔科夫信源估计和低密度奇偶校验编码的联合编码方法。Turbo码。又称并行级联卷积码，是信道纠错码的一种，实现卷积码和随机交织器的结合，达到可随机编码的效果。同时采用软输出迭代译码来逼近最大似然译码。多描述编码。信源端产生若干独立码流且每一码流即为信源的一种描述。信宿端可通过不同信道接受一个或多个描述，中央解码器根据描述的多少给出信源的精细程度。三

25、、JSCC发展趋势综上所述, 目前常见的JSCC设计方法都是在通信资源限制下的最优化的问题。通过对当前常用的几种方法的比较和分析, 提出这方面以后研究工作的发展方向, 希望对今后的工作有所帮助。1.BER即信道错误率是联合编码中非常重要的信息, 而减小信道对失真的影响有两种方法, 就是增大信道编码速率和增强发送功率。在无线通信系统中, 要综合考虑上面提到的两个系统限制条件, 这样就必须把调制过程也考虑在内。通过选择合适的调制方式及功率控制方法, 从而达到最优化的效果。现在已提出的方案中很少把这两种限制都考虑在内的, 这是以后的一个方向。2.当前的许多方案仅仅是针对具体的信源编码和信道编码组合的

26、, 如果这两者有编码, 那么整个系统就必须重新设计。由于系统的多样性, 因此得到一个通用的数学模型对联合信源信道编码的应用就变得非常重要了。很多文章都对这个问题进行了探讨, 但是应该看到, 所得到的方案所适用的范围还是比较小的, 局限在一类或几类编码组合中。设计更加通用的方案应该是有重要价值的。四、结论联合信源信道编码技术比分离的编码系统有更好的性能在多媒体业务中得到广泛的应用是当前移动通信领域研究的热点 本文回顾了信源信道联合编码的方法包括基于源控制的联合编码多分辨率调制混合数字模拟编码器和直接的信源信道映射它们都是数值最优系统所有这些 技术中直接的信源信道映射机制能够同时抗干扰和有效性是的

27、最佳候选方案。许多文献提出的方法在设计信道编码时,为保证一定的传输质量,总是为最差的信道情况设计保护策略,这样当信道条件好时,编码的效率将降低 因为过量的比特用于做保护,而过少的比特用于信源编码。而本文提出的方法能够根据信道条件的不同而自适应地调整信道和信源速率,既提高了编码效率,又提高了图像质量。本文提出的方法,附加信息少,对编码效率的负影响很小。五、结束语信源编码是一种以提高通信有效性为目的而对信源符号进的变换；为了减少或消除信源剩余度而进行的信源符号变换。信道编码为了与信道的统计特性相匹配，并区分通路和提高通信的可靠性，而在信源编码的基础上，按一定规律加入一些新的监督码元，以实现纠错的编码。它们互相矛盾，互相转换，以满足具体通信系统的要求。 参考文献【1】(美)R.W.汉明著, 朱雪龙译.编码和信息理论 M .科学出版社, 1984【2】陈建斌，余国文，王宏远. 联合信源信道编码的原理及其在无线通信中的应用.无线通信技术，2003 .2，13 -14【3】张豫伟. 有失真信源信道联合编码.西安电子科技大学学报，1994 年21 卷，20 -21 .【4】苏正文. 无线视频传输中的信源信道联合编码的研究.电信快报，2010 年10 期，39 -41 .【5】逄玉叶，温蜜，杨俊杰，唐忠. 联合信源信道算术码研究.计算机工程，2010 年11 月36 卷，14 .