硕士论文数字电影生产线上数字交换格式研究.docx

硕士论文数字电影生产线上数字交换格式研究.docx

《硕士论文数字电影生产线上数字交换格式研究.docx》由会员分享，可在线阅读，更多相关《硕士论文数字电影生产线上数字交换格式研究.docx（67页珍藏版）》请在冰点文库上搜索。

硕士论文数字电影生产线上数字交换格式研究

数字电影生产线上数字交换格式研究

摘要

随着计算机图形学（CG）技术的快速发展，三维CG制作被广泛地应用于影视动画制作中。

影视动画制作具有流程复杂、制作工具众多等特点，会造成制作流程中各环节相互耦合、数据难以互导等问题。

同时庞大的数据量也对灯光环节的制作造成了极大的压力。

针对上述问题，本文对数字电影生产线上数据交换格式进行了设计与实现。

为各个环节数据的导入导出设计了一款满足实际生产需求的数据格式。

为了减少数字电影生产线上数据交换的压力，本文将生产流程分为建模、布景、绑定和动画、材质以及灯光渲染这五个环节。

本文提出了一种数据交换格式可以实现结果数据在生产线各个环节间快速方便的交换。

在该数据交换格式中，建模环节导出的数据格式为模型数据，仅存储拓扑以及顶点属性；布景环节导入的是模型数据，导出的是每个模型所对应的空间坐标；绑定和动画导入的是模型数据，导出的是每个模型顶点动画序列；材质环节导入的是模型数据，导出为模型的质感shader、贴图以及UV；灯光渲染环节需要导入之前各个环节导出的结果数据，并完成最终图片序列的渲染。

为了实现该数据交换格式，本文对影视特效行业中的开源软件开发包进行了调研。

本文以Cortex为基础了实现了模型数据在模型环节的导入导出；实现了动画缓存的导出以及压缩存储；实现了基于opengl的快速缓存预览与大规模场景显示；实现了基于Renderman的动态渲染与远程渲染。

通过标准数据交换，完成了各个生产环节之间的独立协同工作。

并设计了全新了数字生产流程，加快了数字电影生产线的效率。

基于cortex的最终实现了标准数据交换格式在各个环节各个软件之间的导入导出与处理。

从而实现了三维CG制作各环节的分割。

借助于该数据交换格式，对于面片数量大于1亿的场景，提升数据导入速度95%以上，并通过自定义的渲染方式降低内存消耗90%左右；另外，我们还开发了基于缓存技术的动画播放技术，对于绑定数据较多的动画场景可以提升动画播放速度400%以上。

通过该制作流程在动画短片《杰克的伟大发明》中的示范应用，验证了其能较好的提高影片制作的生产效率和质量。

关键词数字电影数字交换格式特效制作电影生产线

RESEARCHONDATAEXCHANGEFORMAT

OFVFXPIPELINE

ABSTRACT

Withtherapiddevelopmentofcomputergraphics（CG）technology,CGproductionhasbeenwidelyusedinfilmandtelevisionanimation.VisualEffectsCGproductionwithcomplexprocesseswillresultinagreatdealofinterdependenceanddatamutualcoupling.Meanwhilethehugeamountofdataonthelightingdepartmentcausedgreatpressure.Tosolvetheseproblems,wedevelopedandimplementedadataexchangeformatonVFXpipeline.

ThroughthestudyofcurrentsituationofVFXproductioninChinaandtheVFXpipelineline,visualeffectspipelinecanbedividedintofivedepartmentswhicharemodeling,layout,setup&animation,materialandlighting&rendering.InaChinesecommonpipeline,eachdepartmentexchangesnotonlyresultingdatabutalsohugeamountofinternaldatawithotherdepartments.Dataexchangeformatwhichcanonlystoreandexchangeresultingdataisneeded.Inavfxpipelinewhichisbasedondataexchangeformatproposedinthispaper,onlyresultingdataisexchangedwithotherdepartments.Modelingdepartmentexportdataintomodelingdatawhichonlycontainsrawtopologyandvertexattributes,modelingdatawillbefurtherusedbytherestofdepartments;Transformmatrixdatawhichisassociatedwithcharacter’spositionisexportedfromlayoutdepartment;Vertexanimationsequenceisexportedfromsetup&animationdepartment.Materialdepartmentwillpaintobjects’surfacebasedonmodelingdataandexportshaderstolighting&renderingdepartment.Alltheexporteddatawillbeassembledinlighting&rendering.Afterlightsareset,theresultingimagecanberenderedbyrendernodes.

Afterresearchingonlotsofopensourcesoftware,wedevelopedasetofdataexchangeformatwhichisbasedonCortexVFXopensourceframeworktoachieveasegmentationofeverydepartmentofthepipelineandtoachieveamajorproductionsoftwarecompatiblewiththedataformat.Withthedataexchangeformat,weenhancelargescenedataimportingspeedby95%.Bycustomizingtherendering,wereducememoryconsumptionbyabout90%.Additionally,wealsodevelopedacache-basedanimationplaybacktechnologytoenhancetheplaybackspeedofanimationwhichhasheavysetupnodes400%ormore.Wehavetestedourdataexchangeformatthroughtheproductionoftheanimatedmoviecalled"GreatCreationbyJack".Theresultsshowthatourdataexchangeformatcanbebettertoimproveproductivityandquality.

KEYWORDSDigitalFilmDataExchangeFormatVFXProductionVFXPipeline

目录

第一章绪论1

1.1影视CG特效简介1

1.2本论文的主要研究内容6

1.3章节安排6

第二章数字电影生产线及数据交换格式概述8

2.1数字电影生产线环节介绍8

2.1.1建模9

2.1.2布景10

2.1.3绑定和动画10

2.1.4材质11

2.1.5灯光渲染12

2.2数字电影生产线各个环节接口12

2.2.1建模环节接口12

2.2.2布景环节接口14

2.2.3绑定和动画环节接口14

2.2.4材质环节接口15

2.2.5灯光环节接口16

2.3国内外数字电影生产线工作流程17

2.3.1国外数字电影生产线工作流程17

2.3.2国内数字电影生产线工作流程及问题21

第三章数字电影生产线上数据交换格式的设计23

3.1数据交换格式需求分析23

3.2数据格式设计24

3.2.1建模数据格式24

3.2.2布景数据格式29

3.2.3绑定和动画数据格式29

3.2.4材质数据格式33

3.2.5灯光渲染数据格式35

3.3基于数据交换格式的工作流程设计37

3.4本章小结39

第四章数据交换格式的实现40

4.1影视特效行业开源软件概述40

4.1.1Fbx免费开发包40

4.1.2Alembic开源软件包42

4.1.3Cortex开源软件包43

4.2Cortex简介与基类接口45

4.2.1文件存储层46

4.2.2内存数据层46

4.2.3操作层47

4.2.4数据转换层47

4.3建模数据格式47

4.3.1多模型数据导出48

4.3.2模型面朝向的检查与统一49

4.4布景数据格式50

4.5绑定和动画环节数据格式51

4.6材质环节数据格式52

4.6.1检索shadingEngine52

4.6.2赋予shadingEngine到临时模型53

4.6.3导出及解析rib53

4.6.4最终数据的写入54

4.7灯光渲染数据格式54

第五章总结与展望58

5.1全文总结58

5.1.1工程文件载入时间对比59

5.1.2内存消耗情况对比59

5.1.3动画播放效率对比59

5.1.4结语60

5.2未来展望60

第一章绪论

一.1影视CG特效简介

随着计算机图形学（ComputerGraphics，简称CG）技术的快速发展和广泛应用，三维CG制作被广泛地应用于影视动画制作中，CG技术几乎成为了“大片”的代名词。

例如2011年全国电影票房排行榜前5名——变形金刚3、功夫熊猫2、金陵十三钗、加勒比海盗4、龙门飞甲，无不是应用CG技术完成了大量影视特效的制作，尤其是功夫熊猫2，画面完全由CG技术制作而成。

国外使用CG技术完成影片特效制作可以追溯到上个世纪70年代。

在电影特效史诗巨作《星球大战》中，卢卡斯率先使用物理特效结合数字CG技术完成影片特效的制作。

Richard[1]讲述电影《星球大战》中特效制作的细节。

《星球大战I》中大量使用了物理特效。

物理特效值使用实体模型来拍摄特效的技术。

然而随着Ron[11]对计算机仿真技术的深入研究，CG技术在某些镜头的制作上可以取代物理特效。

RobertBridson[2]使用质点弹簧模型来模型布料的运动，使得CG制作的虚拟布料有了真实布料的感觉。

图1-1为该技术在《星球大战》中的应用。

图11星球大战中的虚拟角色[2]

为了可以让布料具有更高的细节以及更多更细碎的褶皱，Bridson[4]继续对质点弹簧的数学模型进行了改建。

图1-2为改进的技术在《哈利波特》电影中的应用。

可以看到衣服褶皱的精细程度相对于之前的影片有了进一步的提升，这也就意味着模型顶点数量有了进一步的提升。

图12《哈利波特》中布料仿真[4]

然而电影特效技术不止需要一种技术，三维渲染技术的快速发展也推动了影视CG制作的发展与成熟。

Cook[5]使用Reyes技术来绘制大规模的场景，并发布了Pixar’Renderman渲染器。

图1-3为使用Renderman绘制的皮克斯著名的跳跳灯。

图13皮克斯的跳跳灯[5]

然而上述图片的生成时间为8个小时，为了可以更快速的渲染。

Pellacini[6]等人借助硬件加速实现了准实时的重渲染。

然而随着场景规模的不断增加，即使使用了基于硬件加速的技术还是无法在短时间内处理如此庞大的场景数据。

图14基于硬件加速的渲染[6]

随着计算机性能的快速提升，使用计算机来解算流体成为了可能。

Froemling[7]、MichaelLentine[8]、FrankLosasso[9]等人使用计算流体力学的方法实现了海浪形态的模型，并且可以与虚拟角色进行交互。

然而流体力学仿真之后的数据一般为场数据，该数据格式将数值存储在三维网格上。

三维网格的分辨率大的可以到1k甚至更多，每个格子内要存储多种数值。

这种数据的存储和读取对计算机IO造成了巨大的压力。

图15《料理鼠王》中的海浪模拟[7]

然而海浪形态上的真实还无法呈现给观众一个真实的海浪，海浪在材质上的真实更需要科研人员进行攻关。

DouglasEnright[10]使用levelset的方法加快了海浪表面的查询算法，从而使光线跟踪算法渲染水体成为了可能。

海浪参与到影片的叙事也成了好莱坞电影中常见的场景。

随着计算机性能的再度提升与物理仿真技术的日益成熟，Sifakis[11]、Teran[12]、Blemker[13]、Irving[14]等人开始将计算量昂贵的有限元分析算法应用于肌肉、软组织的物理仿真方面。

图1-6为使用有限元分析解算的肌肉系统。

图16基于有限元的肌肉系统[12]

有限元技术为虚拟角色的制作提供更极大的便利。

基于该技术Sifakis对人脸表情进行更深入的研究。

Sifakis[15]使用与计算机视觉技术相结合的方法实现对人体面部表情的动画。

Mark[16]则采用特征点的方式驱动人物表情。

为了可以人虚拟人物有更真实的表情还需要使用次表面散射技术。

Habel[17][18]等人使用计算机图形学的方法来模拟光在半透明材质内的传播。

近年来，图形学技术的迅猛发展使得影视CG的制作水平有了进一步的提升。

ZacharyRepasky[19]、ChristopheHery[20]。

ChristianEisenacher[21]则使用光线跟踪的算法来处理大规模的场景。

完成了《勇敢传说》、《怪兽大学》以及《Frozen》等多部电影的制作。

杨恩慧[22]通过对各个国家影视制作方面论文的分析总结出数字CG技术在影视特效制作中的重大意义。

一.2国内外研究现状

纵观数字特效技术的发展，可以发现随着计算机硬件和计算机图形学算法的更新，数字电影需要处理和生成的数据也呈指数增长。

制作一部电影所需要的资产数据和处理环节也越来越多，每个环节在技术上也越来越独立和专业。

这就需要设计新的数字电影生产线来处理复杂的流程和庞大的数据。

国外也率先设计了新的数字电影生产线以及生产线上的数据交换格式。

实践证明，新的数字电影生产线和数据交换格式可以大幅提升电影制作的效率。

目前国外相应的三维CG制作技术已经非常成熟，如SonyPictureImageworks公司2007年在SIGGRAPH发表一篇文章[23]，详细介绍了他们在制作《冲浪企鹅》这部动画电影时如何将三维CG制作分成建模、动画、特效等多个环节，并描述了数据是如何在这条生产线上的各个环节之间进行交换和加工；JohnHaddon等人[24]使用Cortex搭建了三维CG制作生产线并用于进行数据的交换，最后成功的将其应用在电影《第九区》的制作中；工业光魔公司[25]采用统一自定义的数据格式存储并计算多种材质的动力学效果，包括毛发、肌肉、布料等等。

国内在三维CG制作方面相对起步较晚，现在正处于快速发展的阶段。

刘晓春[26]在2006年就对电影制作中的数字化工艺进行了深入研究，并将其与传统的电影制作工艺进行了详细的对比，但其更多的还是从传统电影制作工艺的角度来分析数字化工艺替代的方法；徐正则[28]在2007年以全CG动画电影《魔比斯环》为例介绍了此类电影的制作流程，但其并没有进一步研究每个步骤所需要的关键技术；除此以外，还有许多人对三维CG数字制作中的某项关键技术和软件进行了研究和介绍，如数据格式的转换[29]和GPU渲染器的应用[30]等等。

虽然三维CG数字制作技术已经成为了影视行业中的热门技术，但是目前国内大部分影视制作公司依然保留原有的小作坊式的以镜头为单位划分制作流程的方式。

由于这种方式造成制作中各环节之间不具有独立性，使得整个流程只能采用单一软件来完成影片制作，或每台工作站中需要安装大量软件，而其中绝大部分仅用于数据的转换工作，造成了电影制作公司制作成本的浪费。

而国外先进的三维CG数字制作流程又不符合国内制作人员的习惯，造成抵触情绪较大，难以得到推广和应用。

因此，本文将介绍我们与中影电影数字制作基地有限公司动画分公司和视觉特效分公司合作的课题中，设计的数字电影生产线上的数据交换格式。

其中重点介绍流程的规划、数据交换格式的定义和实现以及基于我们自定义格式的符合制作人员习惯的影片制作流程。

一.3本论文的主要研究内容

本论文主要研究了数字电影生产线上数据交换格式的设计与实现，以及基于数据交换格式的生产流程设计。

通过研究流水线各个环节数据的接口，从而确定存储每种数据的数据结构。

通过将原有流程使用数据交换格式进行切分从而简化制作流程，达到环节独立协同工作的目的。

经过简化的数字电影生产线包括建模、布景、绑定和动画、材质以及灯光渲染这5个环节。

各个环节生产出的数据分别为模型、变换矩阵、顶点动画序列、质感贴图以及最终渲染的图片序列。

本文使用开源软件完成数据交换格式的实现，并在实际生产项目中完成了测试和验证。

一.4章节安排

第一章主要介绍数字电影生产线国内外的研究现状。

国外数字电影特效的运用可以追溯到上个世纪70年代。

本文介绍了国外数字电影特效制作的发展历程与技术应用。

同时，也详细介绍了中国电影人在数字影视制作方面的探索。

第二章主要分析数字电影生产线各个环节的概述以及数据输入输出接口，并简要介绍了国外先进数字电影生产线的工作流程。

通过与国外先进生产线的比较，总结出目前国内影视CG制作流程上的缺陷。

并提出可能的解决方案。

第三章主要描述了数字电影生产线上数据交换格式的需求，根据需求对流水线上各个环节的数据格式进行了设计。

通过对国内实际制作现状的调研与国外生产线的参考，本文将生产流程分为建模、布景、绑定和动画、材质以及灯光渲染这五个环节。

每个环节都与其他环节只交换结果数据。

数据交换格式就是满足这一需求的数据存储格式。

建模环节导出的数据格式为模型数据，进存储拓扑以及顶点属性。

布景环节导入的是模型数据，导出的是每个模型所对应的空间坐标。

绑定和动画导入的是模型数据，导出的每个模型顶点动画序列。

材质环节环节的导入的是模型数据，导出的是模型的质感shader、贴图以及UV。

灯光渲染环节需要导入之前各个环节导出的结果数据，导出的是最终渲染的图片。

第四章主要描述了使用开源软件包Cortex对数据交换格式进行实现的细节。

在建模环节中，使用Cortex提供的底层数据结构存储多边形、细分曲面、曲线以及粒子的拓扑。

动画数据、材质数据则以CompoundObject的形式存储为Cortex对象。

通过对cortex导入导出接口的二次开发实现了数据交换格式与制作软件之间的数据交换。

第五章讲了数据交换格式在实际影片制作中所起的积极作用，并对全文进行了总结以及未来展望。

通过在短片《杰克的伟大发明》中的实际测试与使用，发现在内存使用、播放速度、加载速度等方面都有了大幅的性能提升。

该数据交换格式极大提高了数字电影制作效率。

第二章数字电影生产线及数据交换格式概述

二.1数字电影生产线环节介绍

徐正则将三维CG影视作品的制作流程划分为14个步骤[28]：

（1）“抛售”故事；

（2）写成开发文档；

（3）描绘故事板；

（4）为有天赋的配音演员录音；

（5）编辑们开始制作草图版的视频校审片；

（6）艺术部门创作视觉形象和整体感觉；

（7）塑造模型及其精确的轮廓，也就是建模；

（8）陪衬模型即绑定；

（9）镜头布局；

（10）制作镜头中的动画；

（11）为物品和角色添加光学属性；

（12）打灯光；

（13）渲染；

（14）剪辑完成最终版。

其中三维CG数字制作技术涉及到整个流程中的（7）~（13）共七个步骤，不仅仅工作量巨大，而且对影片质量起决定性作用。

根据实际情况和各个步骤之间的关联程度，本文将上述七个步骤简化为五个环节：

建模环节、布景环节，绑定和动画环节，材质环节，灯光渲染环节。

由于步骤（8）和（10）具有较大的相互依赖性，本文将其整合为一个环节考虑。

根据实际生产的需要，将灯光和渲染合并为一个环节。

五个环节的流程图如图2-1所示：

图21影视制作流程

图2-1中，建模环节是最基本的环节，它为之后的布景、绑定和材质环节提供数据。

布景使用建模数据来摆放角色的位置及运动，在某些情况下也需要使用绑定的数据来为角色添加简单的动画。

材质根据模型数据绘制贴图和质感设计。

绑定环节主要利用模型数据，为角色添加绑定节点和控制器。

如果材质在绑定环节之前已经完成的话，绑定环节也可以将材质导入进行制作。

布景环节完成的物体的走位会以transform矩阵的形式传输给动画环节。

动画师在布景环节的基础上进行精细动画的制作。

最终所有角色的动画数据和材质数据都传输给灯光渲染环节，进行灯光调整和最终的渲染输出。

二.1.1建模

作为整个制作流程的基础环节，建模环节根据设计稿制作出更精确、更精致的高精度模型。

Maya和max是该环节使用较多的两款软件。

Zbrush、mudbox等软件也被用来对精细的角色进行数字雕刻。

图2-2为在maya软件中进行建模的操作。

制作人员通过拖动图中的手柄来控制每个点的位置。

图22建模

二.1.2布景

布景环节使用建模环节生产的模型数据来摆放每个角色在舞台上的位置。

在布景环节也会为相关的角色添加较为简单的动画。

比如一个人从舞台左边入画从右边出画，制作人员将会把该角色从起始的位置移动至结束的位置，其中手、腿的动作则不需要在布景环节进行制作。

布景环节所确定的人物走位将会为动画环节提供参考。

二.1.3绑定和动画

该环节引用建模环节中的模型数据，并为其添加必要的绑定。

绑定是一组驱动虚拟角色运动的控制器。

控制器是指驱动模型运动的相关技术，包括骨骼、蒙皮动画系统、肌肉系统、形变系统等。

这些系统以模型和用户提供的一组参数为输入，经过运算之后得到一个变形之后的模型。

这个变形之后的模型就是动画环节需要输出的物体的动画。

图2-3为制作人员给角色添加绑定。

图中的球和锥表示树干的骨骼，环表示控制器。

图23绑定

动画师通过引用绑定人员为其添加的控制器，并在这些控制器上根据时间设置相关的数值，从而驱动模型完成相应的动作。

最终得到运动模型的动画数据。

同时动画环节也需要以布景的数据为参考。

这样可以兼顾