毕业论文1Word文档格式.docx
《毕业论文1Word文档格式.docx》由会员分享，可在线阅读，更多相关《毕业论文1Word文档格式.docx（33页珍藏版）》请在冰点文库上搜索。
随着现代通信技术与计算机技术的蓬勃发展,人们对各种图像信息的需求日益增长,使得图像通信已经成为了信息传输的主要方式。
在图像通信中，信号外推是一个重要课题，它可以用于各种预测，如损坏的图像数据传输的误码掩盖。
这种技术概述了信号超出了有限数目的已知样品时的外推的方法。
已知的信号样本是由一组基函数近似，这被定义过的区域以及覆盖被称为未知样品。
通过最小化一个合适的错误标准，依次选择的最主导的基函数，非带限信号外推可以得到。
它示出这种外推法可以成功地是使频通信中的传输误差以及整幅均匀漂白隐蔽消除缺陷像素透视成像。
在无线网络和因特网上传输视频,误码掩盖的问题越来越重要。
回顾了文献中介绍的误码掩盖的方法。
误码掩盖后处理利用图像和视频信号的相关特性,在解码端对丢失区域进行掩盖,并总结了空域、时域,以及时空结合的误码掩盖方法。
关键词：
误码掩盖,空域误码掩盖,时域误码掩盖,信号外推的误码掩盖，图像和视频通信。
Abstract
Signalextrapolationisanimportanttopicinimagecommunicationwhereitcanbeusedforvariouspredictionpurposes.suchasconcealmentofimagedatacorruptedbytransmissionerrors.Thiscontributionoutlinesamethodforextrapolatingasignalbeyondalimitednumberofknownsamples.Theknownsignalsamplesareapproximatedbyasetofbasisfunctionswhicharedefinedoveranareacoveringknownaswellasunknownsamples.Byminimizingasuitableerrorcriterionandsuccessivelyselectingthemostdominantbasisfunctions,anonband-limitedsignalextrapolationcanbeobtained.ItisshownthatthisextrapolationcansuccessfullybeusedforconcealmentoftransmissionerrorsinvideocommunicationaswellaseliminationofdefectivepixelsinX-rayimaging.TheproblemoferrorconcealmentinimagecommunicationisbecomingincreasinglyimportantbecauseofthegrowinginterestinimagedeliveryoverunreliablechannelssuchaswirelessnetworksandtheInternet.Thispaperreviewsthetechniquesthathavebeendevelopedforerrorconcealmentintheliterature.Errorconcealmentbypostprocessingreferstooperationsatthedecodertorecoverthedamagedareasbasedoncharacteristicsofimageandvideosignals.Thispapersummarizedtheerrorconcealmentmethodsinspaceandtemporal,includingsomehybridtemporal-spatialerrorconcealmentmethod.
Keywords:
errorconcealment;
Signalextrapolation;
Errorconcealment;
Imageandvideocommunication;
X-rayimaging
目录
摘要I
AbstractII
第一章绪论1
1.1课题背景及选题意义1
1.2国内外研究现状1
1.3本文的研究内容2
1.4文章结构2
第一章绪论
1.1选题背景及意义
图象是人类传递和交流信息以及认识客观世界的重要方式之一。
由于图象信息具有生动直观、信息量大等特点，成为人类获取和交流信息、感知外部客观世界进而改造世界的一种重要手段。
近年来，随着视频压缩编码技术、网络技术、无线移动通信技术的发展，图像、视频、音频和数据等相结合的多媒体应用在社会生活中日益显著。
在当今信息膨胀知识爆炸的时代,随着Internet的发展和用户需求的驱动，基于文本和语音的交流已经无法满足人们的需要,于是图像视频应运而生，通过互联网和移动通信网络传输图像视频信息变得越来越流行。
图像和视频信息以其直观、生动、具体、高效的特点,越来越受到人们的青睐,其业务需求随之越来越大。
以JPEG2000[1]、MPEG-4[2]为代表的图像和视频编码新技术,在压缩性能、处理灵活性、功能性等方面体现了诸多的优点。
多媒体技术和相关的应用得到越来越多的关注，如可视电话、视频点播、数字图像监控、数字电视、视频会议等。
在多媒体通信中，保证视频信息的传输快速和正确极其重要，然而视频图像（视频序列）具有非常大的数据量，在存储和传输的过程中所占用的带宽较多，这使得实时视频通信的发展面临着严峻的挑战。
例如：
高清晰视频信号所含巨大的信息量，如果在发送端不进行压缩，在传输、转发以及接收处理过程的计算量将会十分巨大，同时又会造成网络拥塞，为此在视频传输之前必须进行数据压缩和处理。
各种高效率的视频编解码标准相继提出;
如H.261、H.263等，由“国际电联（工TU一T）”制定;
如MPEG一1、MPEG一2、MPEG一4等，由“国际标准化组织（150）”制定。
目前最新的视频压缩标准是H.264/AVC标准，是由上述两个组织的专家组成的联合视频组（JVT）制定的新数字视频编码标准。
它引进了许多先进插值和运动矢量预测技术，如多参考帧机制，1/4像素运动矢量估计等，大大提高了图像的压缩比特率。
常见的视频通信系统包括3个部分：
发送端视频编码、传输及接收端的视频解码。
图1.1给出了视频通信系统结构图，从图中可以看出，视频信号首先在发送端被压缩除去时空域冗余信息，然后经过分组、封装打包后进入传输信道，到达接收端后再被转换成可解压的视频流文件，最后通过视频解码完成整个通信过程。
其他数据
图1-1典型的视频通信系统示意图
通信系统可靠、高效地传输信息始终是通信工作追求的目标。
对于实时视频通信来说，处理视频传输过程中的误码和数据丢失问题非常重要和迫切。
由于在编码端对视频序列压缩时丢掉了不同帧之间的时域相关信息和同一帧内的空域相关信息，这使得压缩后的视频图像比原始图像的冗余信息要少得多，因此少量的数据丢失或者错误可能引起整个数据传输和处理的过程的不同步，并且在解码时随着帧数的增加，差错会迅速扩散，进而造成图像质量的急剧下降。
为了解决这一问题需要引入差错控制技术，对丢失的数据和图像信息进行处理来最大程度的恢复丢失的信息。
差错控制技术是一种针对数据错误的控制方法，广泛应用于通信系统。
它包含三个方面的内容：
（1）向前的差错控制技术，该技术通过在服务器端增加压缩数据的时空域冗余信息，即减少压缩比特率来提高网络传输过程中的抗误码和抗数据丢包的能力；
（2）前后交互的差错控制技术，该技术的核心思想是通过服务器端和客户端的交互和通信，客户端根据服务器端反馈的信息来对丢失的数据信息进行掩盖和恢复或者服务器直接对数据进行重传；
（3）向后的差错控制技术，该技术是指客户端根据解码数据在时间和空间上相关性来直接对错误信息进行恢复的方法。
向前的差错控制技术和交互的差错控制技术虽然能够很好的控制错误信息数量和误码的程度，但是它们的局限性也很明显，比如对于一般的视频传输信道和带宽较宽的传输信道，向前的差错控制技术并不适用，因为在绝大部分时间里，信道处于正常状态，而向前的差错控制为了提高传输过程的抗误码能力，在任何时刻要产生大量的冗余信息，这就会导致带宽被大量的冗余信息占用和浪费，而正常的数据无法传输，严重情况下会产生网络拥塞；
对于实时视频通信，交互的差错控制技术并不适用，因为实时视频传输系统对实时性要求极高，为了尽可能的减少传输的延迟，在通常情况下不能对数据进行重传或者反馈，而交互差错控制技术需要服务器端不断地接收错误信息并反馈给客户端，这样就会产生巨大的延迟；
向后的差错控技术几乎适用任何情况的视频传输和通信，它利用解码的时域和空域信息对丢失的宏块进行运动矢量搜索或者插值，由于不需要考虑服务器端的情况，因此它不需要进行信息反馈和重传，也就不会增加网络的开销，能够很好应用于实时视频传输，但是它的问题在于当数据丢失比较严重的情况下，恢复的效果可能不够理想。
因为差错控制与视频传输息息相关,所以只要有视频传输应用的地方就或多或少地要考虑到差错控制。
可见其应用范围非常广泛,而对于无线传输这样的不可靠传输,差错控制有着更大的应用价值。
1.2国内外研究现状
为了高效地在网络上传输视频信息，通常在传输前需要对原始视频数据进行压缩编码。
目前，ITU-T（ITUTelecommunicationStandardizationSector）和ISO/IEC（InternationalStandardsOrganization/InternationalElectrotechnicalCommission）是从事视频编码标准制定工作的两个主要的国际组织。
H.系列标准（如H.261[1]，H.263[1]等）是ITU-T的建议标准，一般用于实时视频通信领域，如视频电视会议、可视电话等；
而ISO/IEC的建议标准MPEG系列（如MPEG-1，MPEG-2，MPEG-4[2]等）主要用于数字电视广播、DVD等。
国际电信联盟视频编码专家组（ITU-TVCEG（VideoCodingExpertsGroup））和国际标准化组织运动图像专家组（ISOMPEG（MovingPictureExpertsGroup））于2001年合作成立了了联合视频组JVT（JointVideoTeam），共同开发新一代的视频压缩标准H.264[3,4,5,6]（也称为H.26L）。
H.264是ITU的正式名称，而MPEG的正式名称是MPEG-4Part10,又称为AVC（高级视频编码）。
目前的视频编码标准基本采用了基于变换编码、运动补偿和熵编码的编码框架，这些模块的目的都是最大限度的降低视频信号中存在的空间与时间冗余度。
然而在提高压缩效率的同时，码字之间的抗干扰能力却变得非常脆弱。
一个码字的传输错误不仅会影响当前码字而且也有可能影响后续码字，结果导致接收视频图象的质量恶化。
变长编码使得某一个比特的错误或者丢失可能使后面的比特流无法解码，直到下一个同步码的出现。
因此在视频通信中采用差错处理技术是非常必要的。
通常，差错处理技术分为以下三类：
差错弹性编码技术、错误掩盖技术、编解码器交互式的差错控制技术。
差错弹性编码技术可分为下面四种：
健壮性熵编码、弹性差错预测、基于层编码的差错保护、多描述编码。
Takishima等人提出可逆的变长编码（如接收的视频比特流）能够在前向和反向信道中同时被解码。
Rdemlli和Kingsbury提出的弹性差错熵编码EREC（ErrorResilientEntropyCoding）是通过将整个数据流分割成很多宏块并采用变长编码形成数据流，然后在比特流中通过对每个宏块的起始位置对压缩数据进行识别。
弹性差错预测通过采用帧内编码模式编码的帧或宏块的关系来限制差错在时间域上的扩散。
但是这样做的后果会导致出现很多的帧内编码帧或宏块，从而增加比特率，并且对每一帧和宏块进行编码时要在压缩效率与差错控制之间进行优化，以保证数据无障碍的在信道中传输。
作为视频传输的一个重要方面,差错控制从第一个视频标准.H261的颁布开始就成为了一个不可忽视的研究方向。
随着视频压缩技术的发展,国内外学者针对不同的视频压缩标准,采用多种手段先后提出了一系列差错控制算法。
最早期的差错控制手段主要在视频信号的空域、时域、频域门以及变换域、时空域结合等方面进行,这些差错控制技术主要是利用视频信号固有的相关性,其处理方法一般都不太复杂,因此目前在差错控制领域应用最广泛。
但是视频信号固有的相关性为基础的技术存在很大局限性,其主要原因是根据传输差错发生程度及视频序列内容特性的变化,其处理效果会有很大差异。
因此Tushnachen等人以模板匹配为基础提出了第二代差错控制技术,而SungdacChoa等从对编码数据进行分级或分类嵌入处理的思想入手,采用添加冗余的手段实现对重要数据的保护,从而在差错控制中取得了很好的效果.目前差错控制技术仍然沿着三个方向继续发展:
将数据通信中的差错控制技术扩展到视频通信中,采用冗余信源编码以及对原始信息进行近似。
1.3本文的研究内容
在有干扰的信道中传输高压缩率图像,接收端获得的图像必然会失真。
在基于DCT压缩技术的图像通信中,引起图像失真的原因主要有量化误差和传输误码。
量化误差会导致接收端图像产生方块效应,传输误码会导致接收端图像出现图像块丢失。
本论文围绕着这两种失真问题,以提高接收端图像质量为目的,提出了在接收端对失真图像进行恢复的后处理技术,其中包括块效应消除技术和差错掩盖技术。
误码掩盖是一种应对误码的解码端事后处理技术，它主要利用受损图像块或帧在时域、空域中的相关陛对受损单元进行补偿，其本身并不能改变误码。
在无线视频传输中,为了抵抗传输过程中的丢包,在解码端采用误码掩盖技术最大限度恢复受损的视频块,从而大幅度提高重建视频的峰值信噪比（PSNR）以及主观视觉效果。
误码掩盖是视频通信中差错恢复的“最后一道防线”，是重要的视频后处理技术之一,所以研究最可行有效的误码掩盖技术是非常有必要的。
根据时空域的不同位置，误码掩盖方法可分为以下四种情况：
1）时域掩盖
时域掩盖是利用视频信号的时域相关性,通过估计运动矢量从相邻帧中找合适块以代替重建图像的错误块.该方法对估计运动矢量的帧间编码图像（B和P帧）错误的掩盖效果较好,但对帧内编码（I帧）图像,一方面编码器一般不会估计运动矢量传给解码器,另一方面对于视频切换和背景暴露等情况就根本找不到合适的替代块,因此很难利用时域信息对其错误做掩盖处理.当受损区域所在帧静止或运动平滑，采用时域掩盖能有效的恢复受损图像，以基于运动矢量恢复的边界匹配法为代表；
2）空域掩盖
空域掩盖是基于空间相关性的错误隐藏，在同一帧中，宏块与其周围的宏块有较强的相关性，特别是平滑的图像中，相邻宏块的亮度、色度满足线型关系。
因此可以利用丢失块边界进行错误隐藏，根据线型插值恢复丢失块。
主要依赖本帧正确接收的宏块信息来恢复受损块,通过空域插值对受损区域进行恢复，以像素加权平均法为代表．由于块中所有像素均需要计算，因此该方法较复杂。
时域的误码掩盖对于不规则运动,运动情况较为复杂,或出现场景切换时的视频序列恢复效果较差。
空域的误码掩盖算法由于仅仅依靠本帧的信息,能够有效地解决时域掩盖的不足。
3）混和掩盖技术
单纯的使用空域算法会造成图像的粉化,而时域算法则无法处理大运动的图像区域,频域算法的复杂度一般比较高,可以同时利用时间和空间相关性来进行视频误码的错误隐藏。
因此,建娱了一种混和的掩盖算法,同时使用多种算法对发生错误的图像帧进行掩盖。
例如,时空域掩盖适用于运动性较强的受损区域，通过采用运动估计（ME）和运动补偿（MC）来恢复图像．一般，受损块上面和下面的运动矢量（MV）将用于其估计运动矢量．但方法不适用于受损块处于帧内块的包围中的情况．
4）频域掩盖
基于块的视频混和编码标准中,源图像或时域补偿后的误差要变换到频域后量化和编码,由于相邻块的像素值相似,所以它们的DCT系数值也是相似的,因此在频域中也可以像时域那样用相邻块的DCT系数来估计丢失块的DCT系数,从而完成误码掩盖。
频域错误掩盖是以周围块的直流分量（DC）内插得到错误块的DC值,再进行反变换以重建错误块内像素灰度的平均值.该方法的优点是计算简单,但其恢复的图像将丢失所有边界信息.由于受损块中低频系数与同一帧中相邻的块的对应系数相关，所以其中的DC系数和较低。
基于频域外推的误码掩盖技术是在视频图像处理中用频谱分析的方法并采用信号外推技术实现误码掩盖的。
本论文主要研究空域错误隐藏算法，目标是寻找一种更优的空域错误隐藏算法，能进一步地提高视频恢复质量，并降低计算复杂度。
本论文的研究内容包括:
（1）介绍H.264视频编码标准和常用的差错控制技术。
（2）介绍误码掩盖技术，主要研究空域和频域的误码掩盖技术，研究经典算法和当前最新算法，总结它们的优点和不足。
（3）提出一种基于频域外推的误码掩盖算法。
1.4论文结构
论文研究内容和章节安排如下。
第1章，介绍课题的研究背景和意义，国内外研究现状及本文的研究内容及结构安排。
第二章，简要介绍了视频压缩技术，并分析了视频传输中差错产生的原因、影响，及错误检测，差错控制和错误隐藏技术;
详细介绍了解码端的错误隐藏技术，分析了空域和时域错误隐藏的常用算法，
第3章DTC域中误码掩盖常用算法简介，本文采用离散傅里叶逆变换作为参数模型，选取合适的基函数及其对应的系数，利用信号外推和迭代的方法恢复丢失块。
实验结果与分析。
第二章视频通信的抗误码技术的研究
2.1视频通信抗误码技术
在视频码流在信道传输过程中，由于不可靠信道以及端到端的时延限制等因素的
影响，传输差错不可避免。
高效压缩后的视频码流对传输中产生的误码非常敏感。
一旦传输中出现了误码，不仅影响该误码数据的恢复，还会影响与之相关的其他数据的恢复。
由于误码的发生是不可避免的，因此，当视频编码流在传输过程中丢失或受到破坏时，必然会影响传输图像的质量。
一个数字图像通信系统应使解码图像中的误差的发生最小化，特别要使在解码帧中连续几帧的误差最小化或完全消失。
抗误码技术的实质在于无论何时何处检测到误码，都使因此而丢弃的数据量为最小，或者说造成的伤害影响最小。
为了减小传输差错对解码器端重建视频质量的影响，一方面需要在传输中采用各
种差错控制技术减少传输差错，另一方面还需要在编解码器层采用适当的容错机制和差错隐藏策略。
图2一1描述了抗误码技术的差错控制与误码掩盖技术所处的位置
解码器
编码器
视频序列输出序列
误码掩盖
信道
差错控制
图2一1差错控制与错误掩盖框图
2.2差错控制技术
移动信道具有易错、时变和带限的特点，以及因多径反射和衰落引入大量的随机误码和突发误码，使得移动信道的误码率比有线信道大。
同时由于带宽的限制，视频信息在传输前必须进行高效的压缩编码，目前大多数的视频编码标准所采用的时间和空间预测，使得编码的视频流对信道差错更加脆弱。
为了减轻信道差错对解码质量的影响，必须结合实际应用信道的传输特性，采用有效的差错处理机制，因此差错控制技术便成为视频通信的关键技术。
在多媒体通信业务急速发展的同时，对其进行可靠传输的需求也逐渐增加.对于
在网络上传输的编码视频信息来说，由于其在网络传输过程中会不可避免地产生误码，包括信号衰落、区间误码、丢包等等，因此需要使用某种误码控制方法来保证解码器输出视频信息的视觉质量。
误码控制方法大致可分为信道误码控制、信源误码控制、信源/信道联合编码控
制和误码防扩散四类技术。
2.3误码掩盖技术
要进行多媒体通信尤其是视频通信，首先必须解决以下几个关键问题:
第一，网络带宽是影响多媒体通信质量的主要因素。
视频信息数据量巨大，
而传输信道尤其是无线信道可用带宽有限。
第二，视频信息在信道传输过程中都很容易受到误码的影响，因此为了保证
解码器输出重构视频信息的质量，满足用户的要求，需要采取一定的误码控制技
术（ECT）来增加编码视频信息的抗误码性能。
视频图像经过编码后，以视频流的形式在网络传输，很容易受到信道误码的影响而丢失数据，由于数据的丢失不但会影响当前帧，还会连续传递到以后的解码帧，导致错误的蔓延，和图像质量的严重恶化；
也可能由于网络拥塞，出现丢包。
两者都会降低解码后视频质量，严重情况下，由于找不到同步字造成解码失败。
因此必须采取一定措施解决这种问题。
流媒体视频传输中应用最多和最有效的措施是误码掩盖。
因为它不增加编码器端额外的开销，也不增加网络的延时，也不以牺牲码率为代价。
只是利用视频图像自身的相关性，用最匹配的相关像素进行插值，恢复图像。
如前所述，由于各种信道/网络错误，压缩视频数据在传输或存储过程中会被损坏或丢失。
虽然传输层提供了各种抗误码策略，但是除非重传可以无限制的使用（这对实时业务是不可接受的），在接收到的数据中会残留有误码和丢失，在解码端重建图像会引起较严重的失真。
受许多因素影响，例如信源编码、传输协议以及丢失的信息数量和种类等，误码引起的失真程度从暂时的质量下降到图像或视频信号完全不可恢复。
由于人眼视觉系统对视频信号中的高频成分不敏感，因而可通过对解码器端的重建图像进行后处理来减弱差错对图像质量造成的影响，这个后处理过程即为误码掩盖。
2.3.1视频图像误码的检测与定位技术
为减小差错的影响，首要步骤是检测误码和定位误码。
信道解码器和信源解码
器（视频解码器）都可以执行一定的误码检测任务。
在解码的不同阶段有不同的误码检测方法，一般来说，误码检测可在两个层面上进行:
传输层和视频解码层。
传输层上的误码检测是指在信道解码环节上检测传输误码;
而视频解码层上检测误码是指在视频解码环节上检测传输误码。
主要的误码检测方法有:
根据头信息检测；
根据校验码检测；
根据语法检测；
根据常识检测。
但是没有一种方法可以保证检测出所有差错。
实际系统常常将这几种方式结合起来检测误码。
2.3.2视频图像的误码掩盖技术
一旦能够检测到错误的存在，并且获知错误所在的位置，大量的办法可以用来
纠正错误或者掩盖错误。
错误隐藏技术不需要从编码器得到额外信息，只是利用视频信号在空间和时间上的冗余信息和人类视觉系统特性来隐藏出错的图像数据。
通过在解码器中加入额外
升级会员 