限失真信源编码定理的实用意义Word文件下载.doc

限失真信源编码定理的实用意义Word文件下载.doc

《限失真信源编码定理的实用意义Word文件下载.doc》由会员分享，可在线阅读，更多相关《限失真信源编码定理的实用意义Word文件下载.doc（10页珍藏版）》请在冰点文库上搜索。

吴慧

论文题目：

限失真信源编码定理的实用意义

论文内容：

保真度准则下的信源编码定理及其逆定理是限失真信源压缩的理论基础。

本文以此为依据举例说明了限失真的信源编码及

R（D）的实用意义。

在允许一定失真度的情况下，将信源的R（D）函数作为衡量各种压缩编码方法性能优劣的一种尺度。

并结合香农第三定理分析现实生活中存在的问题，然后以此为依据关注限失真信源编码在现实生活中的发展。

资料、数据、技术水平等方面的要求：

需要查阅资料，了解一些关于限失真信源编码定理方面的知识，以及其在现实生活中的应用与发展。

需要熟练掌握平均失真度、信息传输率等的运算。

在公式的应用和计算方面要准确，切忌由于马虎大意，造成结果错误，以致得出错误的结论。

发出任务书日期2012年6月5日完成论文日期2012年6月24日

教研室意见（签字）

院长意见（签字）

限失真信源编码定理的实用意义

摘要：

限失真信源编码定理应用于社会生活的各个方面，本文通过举例阐明了如何进行有失真的信源编码和R（D）的实用意义。

接着判定这种压缩方法是否为最佳，及信源输出信息率是否还可以进一步压缩。

最后概括地分析了该理论存在的两大问题。

关键词：

传输速率信源序列率失真函数

Practicalsignificancetolimiteddistortionsourcecodingtheorem

Zhaocuicui

DirectedbyWuhui

Abstract:

Limiteddistortionsourcecodingtheoremisappliedtovariousaspectsofsociallife,thispaperillustrateshowtohavethedistortionofsourcecodingandthepracticalsignificanceofR（D）.Thentodistinguishwhetherthecompressionmethodisthebestandwhetherthesourceoutputinformationratestillcanbefurthercompressed.Finallyitanalyzestheexistenceofthetheoryofthetwobigproblems.

Keywords:

transmissionrateSourcesequencesRate-distortionfunction

1引言

保真度准则下的信源编码定理及其逆定理是限失真信源压缩的理论基础。

本文以此为依据举例说明了限失真的信源编码及R（D）的实用意义。

2限失真信源编码的应用及意义

2.1相关理论知识

由香农第二定理知，无论哪种信道，只要信息传输率R小于信道容量C，总能找到一种编码方法，使得在信道上能以任意小的错误概率，以任意接近C的传输率来传送信息。

实际信道中，信源输出的信息传输率一般都会超过信道容量C，因此也就不可能实现完全无失真地传输信源的信息[1]。

保真度准则下的信源编码定理及其逆定理是有失真信源压缩的理论基础。

这两个定理证实了允许失真D确定后，总存在一种编码方法，使编码的信息传输率R’大于R（D）且任意接近于R（D），而平均失真度小于允许失真D。

反之，若R’<

R（D）,那么编码平均的失真度将大于D[2]。

如果用二元码符号来进行编码的话，在允许一定量失真D的情况下，平均每个信源符号所需二元码符号的下限值就是R（D）。

可见，从香农第三定理可知，R（D）确实是允许失真度为D的情况下信源信息压缩的下限值。

比较香农第一定理和第三定理可知，当信源肯定后，无失真信源压缩的极限值是信源熵H（S）；

而有失真信源压缩的极限值是信息率失真函数R（D）.在给定某D后，一般R（D）<

H（S）.

2.2举例说明限失真信源的编码方法及R（D）的实用意义。

设某二元无记忆信源

=

此信源的熵为H（U）=1（比特/信源符号）。

根据香农第一定理可知，若对此信源进行无失真编码，每个信源符号必须用一个二元符号来表示，不能小于任一个二元符号。

此时，信源输出的信息率R=H=1（比特/信源符号）.若假设此信源在再现时允许失真存在，并定义失真函数为汉明失真，即

d（ui,vj）=

现在设想这样一种有失真的信源压缩分组编码方案，就是把过去讨论的重复码反过来运用。

我们把信源U的输出符号序列每N个（取N=3）符号分成一组，用矢量U表示。

因为信源符号0，1是等概率分布的，所以U序列的不同形式共有23=8种，并且都是等概率分布[3]。

为了进行压缩，不是传输所有8种不同的信源序列U，而只传输其中两个序列。

即把这8个不同的U序列，都映射成两种V序列来传输（V序列仍是长为N=3的二元序列）。

所采用的映射方法是把u1=（000），u2=（001），u3=（010）u4=（100）映射成v1=（000）来传输；

而把u5=（111）u6=（110）u7=（101）u8=（011）映射成v2=（111）来传输。

一般这种映射关系写成V=f（U）.假设信道是无噪无损二元信道。

对信道而言，这时输入端只有M’=2个不同的消息，完全可以用码C=（0,1）来传输序列V.把v1变成码字0，把v2变成码字1.由此可见，通过这种简单编码方法，把原来传输的三个二元信源符号压缩成一个二元符号。

因此，这种编码后信源的信息传输率为

R’==（比特/信源符号）

从接收端来看当收到码字0或1时，就译成对应的信源序列v1和v2，这v1和v2就是再现的信源序列U。

这种编译码方法可用图1直观表示。

U VY

v1=00000000

v2=11111111

该再现的信源序列与实际发送的信源序列U之间存在着失真。

这种失真是进行信源压缩编码后人为引起的，如图2所示

000,101，100,110,011,111,001,……

编码000，111，000，111，111，111,000……

信道0，1，0，1，1，1，0……

译码0，1，0，1，1，1，0……

000，111，000，111，111，111，000……

从图2中可以看出，接收序列U与发送序列U有很大差异。

根据这编码方法，可看成一种特殊的实验信道，其

P（vj|ui）=

根据式N=（N）=P（ai）P（βj|ai）d（ai,βj）计算得

d（C）=

又根据式d（u,v）=d（ai,βj）=得

d（u1=000,v1=000）=d（u5=111,v2=111）=0

d（u2=001,v1=000）=d（u3=010,v1=000）=d（u4=100,v1=000）=d（u6=110,v2=111）

=d（u7=101,v2=111）=d（u8=011,v2=111）=1

所以求得这种简单压缩编码的平均失真度为

d（C）=P（u）=[0+1+1+1+0+1+1+1]=

其中，P（u）===

可见，经这种编码方法压缩后信源的信息传输率R’=1/3（比特/信源符号）。

而产生的平均失真等于1/4.现在的问题是对于等概率分布的二元信源U来说，在允许平均失真等于1/4的情况下，这种压缩方法是否是最佳的呢？

信源输出信息率是否还可以进一步压缩呢？

根据香农第三定理的含义，若允许失真D=1/4时，总可找到一种压缩编码，使信源输出信息率压缩到极限值R（1/4）.根据式

R（D）=得

R（）=1-H（）0.189（比特/信源符号）

显然，R（）<

R’。

所以，在允许失真为1/4时，对等概率分布的二元信源来说，前述简单的压缩方法并不是最佳的方法，即信源还可以进一步压缩。

3结论

由上例分析可知，在允许一定失真度的情况下，信源的R（D）函数可以作为衡量各种压缩编码方法性能优劣的一种尺度。

但香农第三定理只给出了一个存在定理，至于如何寻找这种最佳压缩编码方法，定理中并没有给出。

在实际应用中，该理论主要存在着两大类问题。

第一类问题是符合实际信源的R（D）函数的计算相当困难。

第一，需要对实际信源的统计特性有确切的数学描述。

第二，需要对符合主客观实际的失真给予正确的度量，否则不能求得符号主客观实际的R（D）函数。

例如，通常采用均方误差来表示信源的平均失真度。

但对于图像信源来说，均方误差较小的编码方法，反而人们视觉感觉失真较大。

所以，人们仍采用主观观察来评价编码方法的好坏。

因此，如何定义符号主观和客观实际情况的失真测度就是件较困难的事。

第三，即使对实际信源有了确切的数学描述，又有符合主客观实际情况的失真测度，而率失真函数R（D）的计算仍然还是较困难的。

第二类问题是即便求得了符合实际的信息率失真函数，还需研究采取何种实用的最佳编码方法才能达到极限值R（D）。

目前，这两个方面的工作都有了很大的进展。

尤其是对实际信源的各种压缩方法，如对语音信号,电视和电影图像信号和遥感图像等信源的各种压缩方法有了较大进展。

在20实际90年代，计算机技术，微电子技术和通信技术得到迅猛发展。

多媒体计算机，多媒体数据库，多媒体通信，多媒体表现技术等多媒体研究领域也成为计算机和通信发展中的一个重要研究热点。

其中面临最大的问题是数据量巨大的“爆炸”。

文件、表格、工程图纸等二值图像的数据已较大。

但相比之下，语音信号、静止灰值图像、彩色静止图像、一般电视图像、高清晰电视图像等的数据量更是巨大[4]。

特别是高清晰电视图像和一般电视图像。

一般电视图像的数据量要比语音的数据量大上千倍。

因此，研究有效的数据压缩和解压缩的技术成为重要的、关键的研究方向。

而信息率失真理论正是从理论上指出这种问题解决的途径是存在的、可能的。

近年来，出现了不少在理论上和实用上都较为成熟的数据压缩算法和技术。

对音频数据和视频数据的压缩技术都已制定了一些国际标准。

例如，静止图像压缩标准JPEG;

运动图像压缩标准MPEG2,MPEG4;

电视会议图像压缩标准H.261,H.263;

电视会议语音压缩标准G.711,G.722,G.723等。

当然，其中还存在许多技术和问题有待解决和提高。

相信随着数据压缩技术的发展，率失真理论中存在的问题也会得到发展和解决。

参考文献

[1]冯桂,林其伟,陈东华.信息论与编码技术.（第二版）.清华大学出版社,2011.

[2]傅祖芸.信息论—基础理论与应用.（第三版）.电子工业出版社,2011.

[3]王育民，梁传甲.信息与编码理论.西安电子大学出版社，1986.

[4]周炯槃.信息理论基础.人民邮电出版社，1983.

课程论文成绩评定表

学生姓名

赵翠翠

专业班级

信息与计算科学09级2班

论文题目

指导教师评语及意见：

指导教师评阅成绩：

指导教师签字

年月日

评阅人评语及意见：

评阅人评阅成绩：

评阅人签字

年月日

总评成绩（以百分记）：

年月日