图像设计与视频后期技术研究Word格式.docx
《图像设计与视频后期技术研究Word格式.docx》由会员分享，可在线阅读，更多相关《图像设计与视频后期技术研究Word格式.docx（56页珍藏版）》请在冰点文库上搜索。
因此，时间滤波器形式、滤波周期确定方法、滤波效果评价标准是这一工作的三个组成部分，而这三个部分也构成了视频中雨雪移除处理过程的三个步骤。
二、提出了一种基于附加信息的抠图方法。
现有的抠图方法很少考虑视频中不连续区域的处理，基于降雪视频环境的光效，我们提出了一种利用额外背景信息进行降雪类半透明对象抠图处理的方法。
降雪环境的视频可以获得移除雪花前景后的背景信息，这一附加信息可以提供降雪前景在视频中区别于背景的突出特征。
我们通过在闭形式抠图算法中加入对背景信息的处理来获得对抠图过程的附加约束，使得闭形式抠图方法简化了求解过程中的未知量。
进一步地，利用视频中背景与前景的梯度差异来指导对雪花形成的不连续区域进行自动的三分图构造，从而实现了闭形式解抠图的方法在降雪视频中对雪花前景的抠图处理。
三、提出了一种基于层次化结构的颜色匹配方法。
现有的颜色匹配方法大多是对图像进行整体性的颜色分布测量，对场景组成复杂的图像之间的颜色匹配常会出现颜色扭曲的现象，而复杂场景图像的构成显然是由多个成分较单一的区域组成的，因而对复杂图像进行区域分解后再进行区域间颜色匹配是一个合理的处理方式。
我们利用层次化分割对图像进行区域分割并形成具有层次化结构的树状结构，通过定义树状结构之间的构成形式，对颜色匹配图像之间的区域特征相似性进行比较，以寻找目标图像与参考图像局部匹配的最佳区域。
在此基础上，我们利用颜色概率分布转移的方法在图像的不同区域上进行局部颜色匹配以实现保持目标图像视觉特征的目的。
关键词：
时间控制，降雨和降雪的想法，抠图的形式，基于附加信息的抠图，颜色匹配，颜色概率分布。
摘要1
目录3
§
１．１技术背景4
§
１．２技术现状6
１．２．１图像与视频的编辑合成6
１．２．２图像与视频的抠图8
１．２．３抠图与合成的技术10
１．２．４图像与视频的天气特征移除12
第二章光效的雨雪前景移除14
２．１引言15
２．２自然环境下雨和雪的光效16
２．２．１雪的光效分析16
２．２．２雨的光效分析17
２．２．３雨和雪的光效共性19
２．３时间滤波器的选用20
２．３．１滤波器的形式20
第三章降雪视频抠图24
３．１引言24
３．２相关的技术25
３．３基于降雪环境光效的估计25
第四章视频颜色匹配27
４．１颜色处理28
４．２相关的设计30
４．２．１颜色匹配技术31
４．２．２区域分割技术32
４．３相似性匹配33
４．３．１区域分割33
４．３．２相似性比较36
第五章总结与展望38
５．１本文研究内容总结38
５．２致谢39
参考文献40
第一章绪论
图像和视频的编辑与合成是图像和视频处理的一项重要的技术。
随着数字技术的发展，数字图像和视频在共业自动化、医疗诊断辅助、影视后期制作和家庭影音娱乐等领域，逐渐得到了广泛的应用。
传统的编辑工作主要目的是由用户从大量的视频片断中寻找合适的部分进行拼接而不涉及帧内容的直接操作，虽然近年提出的抠图技术可以精细地处理每帧图像的内容，并可以描述后续的合成过程，但这种方法需要采用手工交互的方法粗略确定原始图像中的前景区域或背景区域，然后提取出ａｌｐｈａ通道来精确描述前景与背景的区别，以构造下一步合成工作的材料；
传统的图像／视频合成过程是在拥有所需的高动态图像材料的前提下，由用户判断并手工调整或修改材料的属性，然后将不同的图像材料对应合并以得到全新的图像或视频，即使抠图技术也依然采取相同的处理过程。
因此，剪切编辑工作为融合生成提供所需的材料，在材料来源受限的情况下，剪切编辑工作的效率和效果对融合生成的过程和结果都产生巨大的影响。
编辑与合成是数字图像和视频中的基本操作，编辑是将任意形状的前景元素从图像或视频中抽取出来的过程；
合成是将已抽取出的前景合成到新的背景图像或视频中的过程。
这些技术最初是为电影的后期制作而开发的。
近几年来，随着数字图像和视频获取和制作设备的广泛应用，编辑与合成技术已经成为图像与视频特殊视觉效果制作和真实感图像生成上极为重要并且频繁使用的后处理手段。
在影视制作、视频会议、虚拟现实、增强现实、的视觉震撼和身临其境的感受。
近几年来，高票房收入的电影制作中大量使用了这些技术，如“变形金刚”、“黑客帝国＂、“哈利波特”和“蜘蛛侠”等影片。
由于图像和视频的编辑与合成技术的巨大应用潜力和重要的学术研究价值，这些技术和应用是当前计算机图形学、计算机视觉、图像与视频处理、机器学习等领域的一个极其活跃的研究热点，同时该技术涉及到了较多跨领域技术的交叉应用。
图像和视频的编辑与合成技术包括了当前图像与视频处理中的若干个研究热点，这些热点大都是与计算机相关的理论与应用中多个分支的交叉与综合。
计算机视觉中广泛应用的图像分割技术是图像和视频编辑的一个基础，而图像分割又涉及到了模式识别、机器学习等领域中的理论与算法。
图像的合成技术是当前在计算机图形学中受到极大关注的基于图像绘制技术的一个基础层次，为了实现具有真实感图像的生成，又涉及到了光学物理模型的表示与恢复问题。
§
１．１技术背景
影视后期是影视制作流程中的一个环节，是相对于前期拍摄阶段相对的概念。
这个阶段的主要任务是将影视作品中的各种元素有机地结合起来，编辑与合成特效等工作都在此阶段完成。
处理画面和创造特殊效果是在影视后期制作中广泛运用的两个方面，其中最常见的色调调整与画面合成就是两种典型的应用。
从电影诞生之初，就开始了影视后期特效的发展和研究。
图像的编辑与合成是摄影师很早就关注的一个问题。
最早出现的图像编辑合成处理是１８５７年进行的，首次利用多张摄影负片的叠加实现了图像的合成。
随着电影工业的发展，图像和视频的编辑与合成技术得到了进一步的发展和完善。
电影拍摄中经常需要将不同场景的图像合并成新的场景片段，由此促进了早期的双重曝光合成技术的出现。
这种技术在首次拍摄时遮蔽胶片的一部分以保持未使用的状态，然后在重新拍摄中遮蔽使用过的部分，以达到合成不同拍摄内容到同一图像场景中的目的。
随着电影制作技术的发展，在后期制作过程中的场景合成成为电影制作的一个重要方式。
在这一过程中，通常是将视觉面积较小的前景对象修正视觉效果后叠加到复杂的背景画面上。
因此，适于后期合成处理的视频前景对象的获取成为一个关键的处理步骤。
２０世纪６０年代中期开始，基于颜色差异法的光学抠图技术得到了广泛的应用。
这种技术将需要合成的前景放在特定颜色的背景幕前拍摄，通过滤色技术以得到不受光源等背景条件影响的理想前景，随后再根据合成效果要求对前景图像进行颜色等属性的修正并与背景进行叠加以实现场景合成的目的。
蓝屏（绿屏）前景抽取是这种技术的代表性方法，即使在当前最新的影视制作过程中，仍然得到了广泛的应用。
虽然蓝屏抠图技术实现简便且易于控制，但其颜色的限制和蓝色外溢问题使得应用范围受到了局限。
采用两个独立的胶卷同步对场景曝光的双胶卷技术可以避免上述问题。
这一技术的实现方法是采用分束偏光镜，将进入拍摄镜头的光线分别投射到具有不同滤镜的两个成像装置上，使得两个独立的胶卷具有不同光谱的同一场景图像。
通常两个胶卷分别负责记录前景颜色信息和抠图信息。
在背景无法控制的情况下，通常采用的抠图方法是１９１７年发明的技术。
这一技术要求特效人员在专用设备上手工勾勒出关键帧上的前景目标轮廓，然后进行逐帧的插值，并进一步的手工修正以得到需要的前景图像。
从２０世纪７０年代中期开始，随着计算机交互式图形系统的建立，计算机图形学得到了全面发展和广泛应用，并大量用于电影的后期制作过程。
数字技术的高速发展提供了全新的视觉表现手段，光学合成设备逐渐被计算机和专业软件所取代。
早期的数字抠图与合成方法仅仅直接模拟了光学技术的处理过程，而最新的数字技术可以增加额外的控制手段来调整处理过程中各个元素之间的相互关系，从而得到更逼真的视觉效果。
尽管数字设备的应用极大改善了后期制作的方式和效果，但光学合成的技术和原理并没有改变，数字设备的设计与使用仍然基于光学技术的实现方法。
数字设备的引入并没有使得后期合成的原理及过程产生本质上的变化，后期合成工作的过程可以用一个简单的实例说明。
拍摄于１９９６年的电影中的一帧合成画面所需的素材说明了合成制作的过程。
即用蓝屏技术提取前景，用图像生成背景，用其它手段制作难以实拍的视觉效果，最后用合成设备将多个元素合成拍摄到一个场景中。
此外，在现代电影制作中，导演经常基于表现手法的需要采用一些特殊的道具和设备进行拍摄以制作特殊的视觉效果，但这些拍摄方法通常需要对拍摄获取的图像和视频进行编辑与合成的处理以消除拍摄过程中产生的辅助设备的附加图像。
例如在通常的武侠电影拍摄中，“吊钢丝＂成为一种通用的武打效果拍摄手段，但在后期制作中，利用视频编辑的方法去除影片中钢丝残影就成为一个基本的后期制作要求。
在电影《黑客帝国》的拍摄中，导演甚至采用了更加复杂的万向支架作为演员移动的辅助设备，这就对后期处理的技术提出了更高的要求。
１．２技术现状
上一节主要介绍了影视后期编辑与合成技术的历史演化和实用价值。
在本节，我们主要讨论图像与视频的编辑与合成技术的研究现状以及相关的工作。
１．２．１图像与视频的编辑合成
数字合成技术是当代数字出版业与电影工业的核心技术，这一技术的发展是由电影制作业的技术人员和摄影师，计算机图形图像领域的研究人员以及其它行业的技术人员共同促进的。
在现代电影制作中，多个不同性质的摄影元素或拍摄镜头的合成已经成为常用的制作手段，从而合成技术也变得更加复杂而高效。
通常各个可分离的视觉元素在不同的时间和地点下以最便捷的方式进行拍摄，这样可允许演员的表演可以在舞台上迅速被获取，而消耗时间的复杂背景或模型效果可以在后期的可控条件下按导演意图加入到最终影片中。
在这一过程中，基于视觉元素的合成技术则提供了影片的基本生成质量和可用的单一影片，进一步的元素配置和编辑也是这一过程中需要考虑的问题。
从数字合成的数学理论基础的发展上看，数字合成技术的发展有三个主要的阶段：
１９７７年，首先创造了将局部透明的前景对象混合到不透明背景的合成方法。
这种方法首次采用了取值在０和１之间的口图像来指示前景图像的透明程度，并将乜图像作为彩色图像的一个单独通道从而提出了四通道图像的概念，即红、蓝、绿和ａ通道。
他们提出的这一方法被称做“数字抠像”。
１９８０年，发展出了一种递归的方法。
这种方法可以利用Ｑ通道将两幅局部不透明的图像合成为一幅局部不透明的图像，使得合成操作具有了更广泛的应用。
这一过程可以如下表示：
１９８４年，数字图像的合成过程进行归纳，引入了用数学语言描述合成操作的合成代数并提出了成体系的合成操作所需要的１２个合成算子。
他们通过引入前景和背景图像与对应ａ值的“预乘’’这种预乘处理使得相同的操作不仅可以应用到表示颜色的ＲＧＢ通道，也可以应用到０：
通道。
后来的工作证明了预乘对于许多的图像处理运算，如滤波和降采样都是非常重要的。
提供了合成两幅或多幅图像的方法，但在合成多幅图像时，合成过程必须按照多幅图像之间的深度关系顺序自底向上（从远到近的观察顺序）进行。
而递归可以遵循结合律按任意顺序进行合成。
在多幅图像合成的应用中，常有部分图像需要进行其它处理，这些处理通常是遵循分配律的一元运算，如旋转和缩放等操作。
此外，在多幅连续图像的处理中，可以减少恒定图像之间的合成工作量。
如多幅没有运动的前景图像先做合成，然后与变化的背景图像合成，这样可减少逐帧处理的计算量。
进一步提供了图像的四个通道同时处理的方法，方便了硬件上的加速处理设计。
已经将四通道图像的合成作为一个基本操作。
无论在光学合成方法上，还是在数字合成方法上，图像与视频的合成方法理论都以上述三个公式为基础，具有相同的操作元素。
一幅图像的合成过程需要有前景图像、背景图像、遮片三个输入数据图像。
图像合成操作包括三个步骤。
首先用遮片对前景进行比例变换，其次对背景用反转遮片进行比例变换，最后将进行过比例变换的前景与背景进行叠加得到合成图像。
由此得到的合成图像仍然需要进一步的调整，主要在于前景与背景图像边缘的过渡需要有自然的效果。
上述的图像合成方法不是混合两幅图像的唯一方法。
处理纯质的前景与背景的合成问题，但是某些种类的合成目标，例如环境氛围、光照现象，需要其它的合成方法以得到更真实的视觉效果。
例如其中一种比较常用的技术是筛滤操作，这种方法可以较为逼真的合成闪光、火焰等无遮蔽光源到新的背景上。
最近，提出了利用泊松方程插值求解进行图像合成的方法，这种方法不需要对前景进行精确的抠图处理，只需将包含前景图像的范围边界做为泊松方程的初始条件，以前景图像的梯度向量做为参考，即可将合成结果做为线性偏微分方程的结果进行求解。
同时，这种方法还具有颜色调整的作用，可以作为一种颜色校正的方法来使用。
但是这种方法对于边界条件十分敏感，在前景与背景边界条件相差较大的时候，会产生过度光滑的效果，导致边界模糊的现象。
在此基础上，优化边界条件的方法，他们采用动态规划的方法在前景的精确边界与用户提供的扩展区域边界之间的范围内寻找前景与背景最为相似的合成边界条件，以此来避免泊松方程求解造成的强色调渗透的问题。
此外，他们还设计了以此方法为应用的简便的用户交互界面，将两幅数字图像的合成操作简化为用户直接对图像区域的鼠标选择和拖曳。
泊松图像编辑方法扩展到了视频合成的应用上，利用一种优化的三维泊松方程求解算法加速视频合成中泊松方程求解过程并试图避免视频合成中产生的图像闪动问题。
此外，前景与背景的颜色匹配与光照效果的调整也是合成需要考虑的一个方面。
通常合成所需的前景与背景是在不同的光照条件下拍摄的，直接合成后会在视觉上有明显的不一致，因此合成图像的颜色校正是非常重要的一个处理步骤。
传统的电影工业中，这一过程需要后期制作人员逐帧进行手工的操作，需要制作人员同时具有绘画、雕刻等艺术素质，对光学物理知识的掌握和运用各种电影制作技术及工具的知识。
近年来，由于颜色转移与匹配，色调修正等技术在数字编辑技术中的广泛应用，这一方面的研究得到了较多的关注。
一种简单的非线性颜色匹配的方法是对颜色向量的多个分量分别进行直方图匹配，但这种方法不能处理颜色过渡丰富的图像之间的匹配。
有人提出了第一种广泛应用的颜色转移方法，这种方法通过在不同的颜色通道上匹配两幅图像像素的均值和方差来实现颜色校正。
同时，他们指出ＲＧＢ彩色空间是高度相关的，并不适合于颜色匹配处理，提出用彩色空间进行颜色处理以符合视觉的感知特征。
基于主成份分析方法，有人提出了一个统一描述彩色图像之间颜色转移和黑白图像彩色化的一致性框架。
但是上述方法的效果都依赖与两幅图像之间内容相似性，需要用户指定匹配块来克服匹配过程中产生的粒度问题。
有一种保持源图像梯度场一致的后处理方法，这种方法使用简化的高维概率密度函数转移技术来处理图像内容的变化。
虽然这些方法能自动对两幅图像的颜色进行匹配，但当图像内容组成复杂，色调变化剧烈时，就会产生明显的瑕疵。
最近，有人设计了一种交互方法来对图像的色调进行局部调整，这种方法关键在于根据用户的简单指定寻找色调变化保持一致的区域，但其并不是一种自动化的颜色匹配方案。
由上面的简单介绍可以看出，图像和视频合成技术是个复杂的综合过程，涉及到了软件和硬件的联合应用，涉及到了新技术、新方法和新理论的实践。
这一技术是由多种独立发展的技术交叉应用而产生的，其中多种组成技术都有其相对独立性。
作为图像和视频合成技术的一个预处理过程，近年来抠图技术被作为一个单独的过程得到了更多的关注。
１．２．２图像与视频的抠图
抠图就是对图像或视频中的前景对象的准确估计。
从介绍中可以看出，对于一些需要进行特效处理的电影，抠图是制作过程中的一个关键技术。
同时，随着数字图像的广泛应用，抠图也在图像编辑中起着重要的作用。
因此，近年来抠图技术得到了深入的研究和应用，针对图像和视频提出了多种不同的技术和系统以适应不同的应用环境来得到精确的遮片。
给定一张数字图像，抠图的目标是寻找最优的前景Ｆ和背景Ｂ的凸线性组合，其比例用表示，通常表示形式就是：
以单一的图像作为输入，ａ，Ｆ，Ｂ都是未知量，需要确定其在每一个像素上对应的值。
已知的信息只有三维颜色向量，，而Ｆ，Ｂ也是三维颜色向量，因此需要从三个已知量估计出七个未知量，从而抠图技术从本质上讲是个严重欠约束问题。
蓝屏抠图是在电影工业中出现较早的抠图方法，迄今仍然广泛应用在影视特效处理和数字图像处理等方面。
这种方法使用单色的背景来降低处理难度，其将前景目标放置在已知的纯色背景屏幕前进行拍摄，这样未知量书目将减少为四个。
但这仍然是一个约束不足的问题，为此，一些简单的限制和启发式方法被应用到这一过程中以简化问题的求解。
有人对这些简化的方法进行了详细的总结，其中一个经典的方法是Ⅵａｈｏｓ发明的颜色差异法。
颜色差异法假设前景颜色的红、绿、蓝分量互相成比例，用户通过调整蓝色与绿色之间的差异比例来获取遮片Ｑ值。
这一方法在某些情况下也会失效，而且会出现蓝色闪耀现象，即蓝色屏幕会把蓝色反射到前景物体上。
此外，这种方法的应用需要有经验的专业人员进行操作以调试理想的参数。
由于蓝屏抠图不能处理自然的数字图像，为了扩展抠图技术的应用范围以及提供用户友好的图像／视频编辑工具，近年来，自然图像抠图的方法得到了广泛的研究。
大多数新提出的抠图算法都需要用户提供一张三分图做为算法的初始计算条件，三分图将待处理图像分割为已知的前景和背景区域，未知区域三部分以简化计算过程。
这些方法大多数尝试用统计学的方法，利用前景和背景采样点颜色的差异来估计ａ值。
这些方法一般包括两个关键步骤。
一是在图像的求解区域附近采样已知的前景和背景颜色，然后利用某种统计模型建立前景与背景之间的差异模型；
二是构造前景遮片ａ值的重建模型，将先前建立的差异模型转换到遮片重建模型上。
尽管抠图是一个病态的问题，但图像相邻像素之间的强相关性可以减少部分处理的难度。
从统计角度来说，一幅图像中具有相似颜色的相邻像素通常具有相似的抠图参数。
在抠图过程中，这种特性的直接应用就是在未知像素的领域选择已知前景和背景像素做为采样点。
基于图像统计特征中的局部光滑性假设，这种采样方法将得到接近未知像素的真实前景与背景颜色，从而可以得到较好的遮片乜估计值。
采样结果的准确度对后续处理有直接的影响，典型的采样方法可以依据采样点拟合模型分为两大类：
非参数方法和参数化方法。
参数化方法通常将采样结果拟合为低阶的高斯模型，典型的代表有最早提出的方法，以及后来提出的贝叶斯抠图方法。
这些方法处理图像中光滑的区域和前后背景颜色区别较大的情况时效果较好，当颜色变化剧烈，分布不符合高斯模型时，这些方法会产生较大的误差。
由此一些方法采用了非参数化方法，典型的有提出的基于前景与背景典型采样的蓝屏抠图方法和Ｋｎｏｄ，以及用采样点的直方图估计概率分布函数的迭代抠图系统和类似的轻松抠图系统。
进一步地，为了提高采样点的有效性，有人提出了优化采样点的过程，并在柔性剪刀系统中得到了应用。
由于采样点误分类造成了某些抠图方法极大的应用限制，最近一些方法通过定义像素领域间局部统计的相似测度来进行抠图。
这些方法实际上是用间接建立遮片的梯度模型代替了直接在单个像素上估计Ｑ值。
由于相似测度是定义在图像局部的小领域上，计算涉及的像素总是具有高度的相关性，从而局部光滑的假设总是成立的。
另外，这些测度可以将结果中的遮片规范成局部光滑的状态。
这些都使基于相似测度的方法可以避免采样不连续造成的问题。
此类典型的方法有泊松抠图，随机行程抠图，短程线抠图，模糊抠图等。
其中泊松抠图通过对两边求微分得出遮片与源图像梯度的关系，然后进一步略去微小项后得出遮片梯度的近似估计方程，最后通过求解泊松方程来得到估计公式的最优解，此时满足给定边界条件的遮片估计值就是所要求的结果。
这几种方法都在某种程度上估计了前景和背景的颜色分布，执行效果都依赖于估计过程的准确度。
最近有些人提出的闭形式解抠图从图像的局部光滑假设推导出代价函数，并通过数学分析将前景与背景未知量消除，最终得到了一个可以通过稀疏线性方程组求解的仅关于Ｑ值的二次代价函数。
这种方法以图像微小局部内颜色的线性模型假设为基础，避免了对背景和前景颜色进行估计时精确度的影响。
随后在此基础上，Ｌ嘶ｎ等提出了一种可以自动抠图的光谱抠图方法，这是目前唯一一种无需用户提供三分图的全自动抠图方法。
进一步地，一些方法将前景和背景的颜色采样优化过程与相似测度定义过程结合起来进行抠图工作，前面介绍过的鲁棒抠图，轻松抠图和迭代抠图都属于这一类。
尽管视频抠图可以利用图像抠图的方法逐帧进行，并且连续的视频帧提供了更多的有用信息，但这仍是一个艰巨的工作。
其中主要难点在于如何高效处理庞大的数据量，保持时间一致性，从有限的时间分辨率中准确获取快速运动这三个方面。
当前已经有一些工作利用视频帧的连续性来处理这些难点，为高效处理大量数据，大部分方法先对视频帧进行二值分割以得到粗略的三分图，然后再应用抠图方法得到精确的遮片；
对于时间一致性，则通过时空优化，在时间轴上的特征约束下计算三分图；
而对于高速运动的信息，则依赖于用
升级会员 