基于Kinect的动作捕捉系统设计与实现第12章.docx

1、基于Kinect的动作捕捉系统设计与实现第12章基于Kinect的动作捕捉系统设计与实现动作捕捉技术在电影特效制作、电脑动画制作、游戏制作、运动分析等领域发挥着重要作用。传统的动作捕捉系统存在价格昂贵、穿戴复杂、实时性差、对环境要求高等问题，很难被广泛应用。随着技术的创新，微软推出了无标记动作捕捉设备Kinect，该设备依靠低廉的价格和先进的骨骼跟踪算法有效地解决了以上问题，从而得到了广泛的应用。现有的基于Kinect的动作捕捉系统普遍存在着运动数据抖动、骨骼数据关节缺失、动作数据无法复用等不足。针对上述问题，本文主要研究以下内容：优化Kinect骨骼动作数据；将优化后的动作数据重定向到三维人

2、物模型，驱动模型模仿真人的动作；录制并保存动作脚本。在此基础上，设计并实现了基于Kinect的动作捕捉系统。首先，本文概述了动作捕捉技术与动作重定向技术国内外发展现状，通过分析各种动作捕捉系统的优缺点，分析了系统需求，在此基础上提出了基于Kinect的动作捕捉系统的总体方案。根据MVC设计模式，将系统分为数据采集层、数据交互中间件、数据处理层和UI界面层，其中数据处理层是系统的关键部分，包括骨骼数据优化模块、动作重定向模块和动作录制模块。然后，针对目前基于Kinect的动作捕捉系统存在的问题，本课题对人体单关节修复算法进行了改进，提出了丢失关节修复算法，以解决连续丢失多个关节点的问题；提出骨骼

3、动作平滑处理算法，以解决肢体末端关节抖动问题；使用基于正向运动学重定向算法，以解决模型驱动问题；研究DAE模型结构，为录制动作脚本的实现提供理论依据。其次，本文详细设计并实现了系统功能，包括用户界面、Kinect数据获取模块、骨骼数据优化模块、动作重定向模块、可视化模块和运动录制模块。最后，为验证基于Kinect的动作捕捉系统的可行性和正确性，对本文所做工作进行了测试和分析。测试结果表明，本文所做工作符合预期目标。第1章 绪论1.1 研究背景动作捕捉技术诞生前，在传统的三维动画、电影特效及游戏制作过程中，角色模型的动作效果基本都是由人工手动调整来完成1。手工调整模型对动画师的熟练要求高、效率低

4、、实时性差，影响制作周期。进入二十一世纪，随着计算机图形学技术的发展和动作捕捉技术的诞生，动作捕捉系统普遍应用到多媒体领域。动作捕捉系统不仅在电影特效和三维动画制作中被广泛应用，它在游戏界的优势也逐渐扩大。为了使游戏人物模型的动作更加贴近真人的动作，使用动作捕捉系统提取真人的动作数据，并驱动游戏人物模型运动，能让用户感觉到身临其境，增加了游戏的沉浸感。从技术角度可将动作捕捉系统分为两类，即光学式和非光学式动作捕捉系统。根据标记点能否主动发光，可将光学式动作捕捉系统分为主动式系统和被动式系统。非光学式动作捕捉系统又细为分电磁式、机械式以及惯性动作捕捉系统。上述这些动作捕捉系统都有一个共同点，即动

5、作表演者重要关节处需要布满标记点，这些标记点可以是光源或者传感器，表演示者在光线较好的场地进行动作表演，通过标记点来记录人体的运动数据2。目前光学动作捕捉系统在商业中应用最为广泛，但是其高昂的价格和对服装、场地、光线严格的要求让许多中小型电影公司无法承担。另外光学动作捕捉系统操作和调试复杂，并且每个光源标记点没有特定标号，在表演者运动过程中，肢体相互遮挡会造成光源点不能被识别，导致标记点错位，最终会导致模型的运动失真。这种情况需要后期进行修复，导致工作量大幅增加。最近几年，微软推出了无标记动作捕捉设备Kinect，该设备依靠低廉的价格和先进的骨骼跟踪算法让很多基于Kinect的动作捕捉系统应运

6、而生，表演者不用配带任何传感器即可完成动作捕捉过程。此外，Kinect对服装、场景以及光线没有严格要求。Kinect革命性的操作方式颠覆了传统，受到了用户和开发者的追捧。随着微软发布了开发工具包Kinect SDK For Windows，Kinect吸引了更多的开发者。虽然Kinect的空间定位性能仅适用于小成本电影制作、游戏开发、虚拟现实以及运动分析等领域中3，但Kinect以其低廉的价格和优秀的骨骼跟踪算法让基于Kinect的动作捕捉系统在开发成本、运行效果以及开发效率上达到平衡。本课题研究如何使用成本和精度较低的Kinect设备来进行动作捕捉系统的开发。1.2 国内外相关技术研究现状动

7、作捕捉系统主要完成两个功能，即捕捉动作数据和使用动作数据驱动模型。实现这两个功能需要用到动作捕捉技术和动作重定向技术，本节将概述这两个技术的国内外研究现状。1.2.1 动作捕捉技术在国外，动作捕捉技术最早可追溯到Fleischer于1915年发明的“Rotoscope”技术。该技术原理是连续拍摄一段真人的动作照片，将此照片作为动画的底样，动画师按照底样逐帧绘出动画底片4，格列佛游记和超人等早期的动画片均通过该方法制作而成。到了19世界70年代，动画制作开始使用计算机技术来完成，随后衍生出各种动作捕捉技术5，如光学式、机械式、电磁式动作捕捉技术。光学捕捉技术在电影特效公司工业光魔为星球大战系列电

8、影制作特效的过程中得到了很好的发展和提升，目前好莱坞大片基本都是采用这种技术来做动作特效，效果非常逼真。图1.1是猩球崛起使用光学式动作捕捉系统制作特效的场景。 图1.1 光学动作捕捉系统在猩球崛起中的应用随着MEMS（Micro-Electro-Mechanical System，微电子机械系统）技术的完善，惯性动作捕捉技术在欧美市场逐渐商业化6，美国的3Dsuit与荷兰的MVN是目前比较成功的商用惯性动作捕捉系统。3Dsuit通过传感器来定位人体关节位置，并逐帧记录运动数据，记录完成后将数据导出到计算机并绑定到模型相应的骨骼关节上7。MVN使用蓝牙直接将传感器标定的人体关节的实时位置数据返

9、回到计算机，可以做到在无摄像机的情况下实时驱动模型8。最近几年，随着技术的进一步发展，自由式无标记动作捕捉技术出现了。使用了该技术的代表有美国的LeapMotion和Kinect，LeapMotion用于手势捕捉，其原理是利用了两个高帧率灰度摄像头、三个红外发射器以及手势跟踪算法来获取手势。Kinect则用于人体骨骼跟踪，其原理是通过深度传感器来获取深度图像信息，再利用骨骼跟踪技术来追踪骨骼运动数据。在国内，中科院吴健康教授，浙江大学金文光副教授等人在研究人体动作捕捉相关技术。其中吴健康团队在国内最先推出惯性捕捉系统，并将其商业化9。吴健康团队研发的产品叫MMocap动作捕捉系统，并在三维动画

10、水浒传中首次使用，MMocap使用16个传感器来采集人体关节点信息，并通过蓝牙将数据返回到计算机中，利用贝叶斯网络算法和人体三维模型骨骼结构特点计算每个关节点的速度，加速度和位移等参数，并结合生物力学模型来驱动人物模型。金文光团队所研发的动作捕捉系统和吴教授产品类似，但系统利用了自主研发的姿态算法来驱动模型10，其传感器设备使用了加速度计和磁强计，成本有所降低，但是精准度和鲁棒性不强。1.2.2 动作重定向技术动作重定向是利用运动数据来驱动三维模型的一种技术。在电影或动画制作过程中，无法直接呈现的高难度动作或效果可以由动作重定向技术来完成，且效果逼真。如何将一个模型的运动轨迹映射到目标模型上，

11、同时保证目标模型运动的逼真性和动作一致性是动作重定向要解决的问题11。在国外，Thalman从人物三维模型建模入手，并结合模型特定动作的研究，提出使用虚拟网络来模拟人物模型来实现重定向12。Badler等人将关键帧技术参数化来完成模型底部的控制，并同时提出给人物模型添加骨骼来减少计算复杂度的方案13。Gleicher等人则使用B样条曲线，并结合骨骼关节点运动方程和时空约束条件来求取最优解，以此来提高被驱动模型运动的逼真性能14。在国内，杨熙年等人通过几何映射计算特定的关节点的位移偏移量，以此来解决不同骨骼长度的人物模型动作重定向的问题15。郭力等人则通过3Dmax将动作数据编辑成通用格式BVH

12、的动作脚本文件，再将此文件解析成OGRE能够识别的Skeleton骨骼数据文件来进行动作重定向16，但过程复杂，且不能进行实时重定向。李红岩等人为减少动作重定向过程的计算量，提出了雅克比矩阵的逆向运动学原理和正向运动学原理结合的运动仿真方法，以此来减少计算过程中的迭代次数17。王万良等人则提出了将低维数据高维化的方法，来转化Kinect输出的彩色图像数据，以此来匹配模板库中相似的动作片段数据，并将这些片段数据合成动画18，该方法鲁棒性虽然高，但却没有使用Kinect的深度图像数据和骨骼追踪算法，而采用彩色图像数据来匹配相似的动作，这种做法不仅效率低、实时性差，而且模型只能进行动作数据库中已有的

13、动作，限制较大。1.3 课题研究内容与意义1. 研究内容本课题来源于校企合作项目“重庆市XX区互动展馆开发项目”中的动作捕捉模块，该模块利用Kinect设计一个动作捕捉系统，将游客的动作映射到大屏幕中的模型上，让模型和游客做同样的动作，以此来增强展馆的互动性和趣味性。目前，该模块仍处于测试阶段。本课题主要完成基于Kinect的动作捕捉系统的设计与开发工作。根据一般项目开发标准，采用模块化和层次化的设计思想，结合Kinect动作捕捉技术和动作重定向技术，开发一个界面友好、稳定、实时性较好的动作捕捉系统。本课题的研究内容具体如下：(1) 研究当今动作捕捉系统的相关技术，概述国内外研究成果，并分析基

14、于Kinect的动作捕捉系统的现实需求和意义。(2) 完成基于Kinect的动作捕捉系统的需求分析，结合需求制定系统总体设计方案，并完成开发工具的选型分析。(3) 在需求分析的基础上，完成基于Kinect的动捕捉系统所使用的关键技术和算法的研究。关键技术内容具体包括骨骼追踪技术、3D人物模型建模技术、动作重定向技术；针对关节丢失问题和肢体末端抖动问题，完成相应算法的设计，为动作捕捉系统的设计奠定理论基础。(4) 根据总体方案，完成动作捕捉系统的各个功能模块的详细设计与实现，包括骨骼数据优化模块、可视化模块、动作重定向模块和运动录制模块的设计与实现。(5) 设计测试方案，搭建测试环境，对基于Ki

15、nect的动作捕捉系统进行测试与验证，分析测试结果并完成相关文档的撰写和整理。2. 研究意义本课题的研究领域囊括了诸如图像处理和分析、信号处理、模式识别等诸多学科，在很多领域有着广阔的应用前景和潜在的经济价值。(1) 在躯体康复和运动分析领域的应用。例如在体育训练或躯体康复训练中，利用Kinect动作捕捉技术，分析运动员或患者的动作，为教练或医生提供量化的运动数据。(2) 动画合成。在低成本的游戏和动画制作中使用Kinect动作捕捉系统，采集人体数据运作数据，加载到虚拟人物模型上，并驱动人物模型运动，大大减化了传统动画师的任务，并提高了虚拟人物动作的仿真度。(3) 虚拟现实。将Kinect动作

16、捕捉系统与虚拟现实技术结合，利用动作捕捉系统完成真人与虚拟场景的交互，让用户有身临其境的感觉。1.4 论文组织结构本文主要研究内容为基于Kinect的动作捕捉系统设计与实现，根据内容划分为六章，具体组织结构如下：第一章：绪论。阐述本课题的研究背景、发展现状，并对本课题的研究内容和意义进行概述，最后对本文的行文组织结构进行概述。第二章：系统的总体方案设计。首先分析比较目前常用的各种类型的动作捕捉技术，对无标记动作捕捉技术的优点和有标记动作捕捉技术的缺点进行阐述，进一步结合应用场景针对现有的基于Kinect的无标记动作捕捉系统的优缺点进行分析和总结，提出基于Kinect的动作捕捉系统的设计方案和体

17、系架构，最后完成相关开发工具的选型分析。第三章：系统相关技术和算法研究。基于系统方案设计，对系统所使用的算法和技术分别进行分析和研究。首先研究Kinect骨骼跟踪技术原理和骨骼数据结构。其次，在研究关节预测算法的基础上，针对Kinect骨骼关节丢失问题，对人体单关节修复算法提出了改进，针对骨骼关节末端抖动问题完成平滑处理算法的设计。最后，在研究带骨骼三维人物模型结构及其相关技术原理的基础上，完成动作重定向技术的研究。第四章：系统的详细设计与实现。结合系统方案设计与相关技术和算法的研究，设计系统的详细流程框图，并按模块完成系统功能设计和实现，包括界面设计、Kinect数据获取、骨骼数据优化模块、

18、动作重定向模块、可视化模块和运动录制模块。第五章：系统的测试与验证。分析并设计基于Kinect的动作捕捉系统的测试方案，搭建测试平台，设计测试目标，测试各功能模块正确性和有效性，并对测试结果进行分析。第六章：总结与展望。对本课题所做工作进行总结，并对基于Kinect的动作捕捉系统发展方向以及下一步工作进行展望。第2章 系统的总体方案设计本章首先对现存的各种动作捕捉技术的优缺点进行了比较分析，在此基础上对传统穿戴式动作捕捉技术缺点进行总结，并对无标记点自由式的动作捕捉技术优缺点进行分析和总结。结合应用场景分析，提出了现有的基于Kinect的无标记动作捕捉系统存在的问题。在上述分析的基础上提出了系

19、统的功能和性能需求。最后根据需求完成基于Kinect的动作捕捉系统的总体方案架构的设计，并对相关开发工具进行选型分析。 2.1 系统需求分析2.1.1 各种动作捕捉技术的比较分析动作捕捉技术根据有无标记可分为两类，即MBS（Marker Based Motion Capture Scheme，有标记的动作捕捉方案）和MLS（Markerless Motion Capture Scheme，无标记的动作捕捉方案）19。其中MBS包括光学式，电磁式，机械式以及惯性式动作捕捉技术，目前MLS只有基于Kinect的动作捕捉技术，它们的优缺点如表2.1所示。表2.1 各种动作捕捉技术对比分析动作捕捉技术

20、优点缺点光学式精度高受光线和场地影响，设备调试复杂，价格昂贵电磁式使用简单、鲁棒性和实时性好设备价格较高，易受磁场影响，精度不高，采样率较低，不利于快速动作的捕捉，线缆式的传感器连接对动作表演者形成束缚和障碍，不利于复杂动作的表演机械式精度高，采样频率高设备成本较高，连杆式结构和传感器线缆对表演者的动作约束和限制大，导致连贯的运动受到阻碍，难以实现真实动作的还原惯性式操作简单，空间不受限制设备成本高，空间定位不准确，传感器的自身重量以及线缆连接也会对动作表演形成一定的约束，部分传感器受磁场影响基于Kinect的动作捕捉技术完全无标记，成本极低，操作简单，不受环境影响设备本身的精度和可靠性较低，

21、表演者只能在很有限的空间内活动通过分析上述表格，将MBS的缺点总结如下：1. 动作采集者的着装有严格限制和要求，需要在身体各关节部位安装传感器等标记设备，导致运动受到阻碍，难以实现真实动作的还原。2. 设备昂贵而且操作复杂，受场景、光线等环境因素影响较大。相较于MLS，MBS的成本较高，其中光学动作捕捉系统和惯性动作捕捉系统对于一般电影公司来说，成本太高。并且这些设备在使用前要经过反复的调试，根据场地和光线来调节各种参数，稍有差池，就得重新进行拍摄。3. 后期处理复杂。由于肢体相互遮挡，导致标记点没有被捕捉到，会导致后期处理动作数据的工作量增大。基于Kinect的动作捕捉技术的主要优点是：表演

22、者着装不受限制，不用穿戴任何传感设备；Kinect内置的骨骼追踪技术受环境、光线影响不大；Kinect设备价格便宜。此外，Kinect SDK提供了各种开发接口，提高了开发效率，因此吸引了很多的开发人员。但是Kinect还有一些硬性的问题，比如表演者只能在有限的空间（大概3平方米左右）内活动；由于设备本身的精度和可靠性较低，目前基于Kinect的各种运动捕捉软件还无法实际应用于专业级的三维动画制作和电影特效制作中，只适合小成本游戏和动画制作以及运动分析领域。但随着技术的进步，硬件的发展，这些问题都会被解决，基于Kinect这一类无标的动作捕捉技术代表着未来动作捕捉技术的发展趋势。2.1.2 基

23、于Kinect动作捕捉系统应用场景和现存问题分析 基于Kinect的动作捕捉系统不仅广泛应用于小成本游戏、动画和电影制作中，它在运动分析领域和医学临床分析领域也有一席之地，如图2.1所示。它不仅可以帮助教练、运动员来提高和评估运动性能，还可以帮助肢体受伤病人进行肢体康复训练和康复状况评估。而MBS对光线和场地要求高，价格高昂，且需要在全身关节处布满传感器和线路，不利于用户进行正常的运动，因此上述这些场景对基于Kinect的动作捕捉系统有着迫切的需求。此外MBS在很多地方是无法替代MLS的，例如在重复性的运动分析实验中，MBS中的标记点可能会在测试过程中出现位移导致结果出现偏差，而基于Kinec

24、t的动作捕捉系统能避免这一误差20。 图2.1 基于Kinect动作捕捉技术在运动训练和肢体康复中的应用经过以上分析，基于Kinect的动捕捉系统除了在游戏、电影和动画领域中广泛使用，在运动分析领域、重复性动作实验领域中也有着不可替代的地位。因为Kinect无需在表演者身上安装传感器来标记关节部位，并且Kinect内置的骨骼跟踪算法速度快，在理想情况下关节定位比较准确。但是，目前基于Kinect捕捉系统还存在一些缺点，总结如下：1. 关节丢失。在实际环境中，由于肢体相互遮挡会造成身体部位分割不准确，造成部分关节点不能被定位，从而导致关节点丢失，造成人物模型运动失真。2. 抖动。因为设备本身精度

25、有限，定位的关节末端位置不太稳定，驱动模型时会导致模型部分关节抖动。3. 动作重定向过程，人物模型运动存在失真现象。除了关节丢失和抖动问题导致的模型运动失真问题，在重定向过程中可能因为模型和真人骨骼长度不一致而导致模型运动失真。4. 系统比较封闭。现有的基于Kinect的动作捕捉系统都是独立的，没有结合通用的平台，很难直接与其它应用进行交互。并且没有运动数据脚本输出的概念，驱动模型后运动数据便丢失，没有生成通用的动作数据脚本，无法复用动作数据，不利于动作捕捉系统的发展。针对上问题，需要用到以下关键技术：1. Kinect骨骼跟踪技术。从深度图像中截取人体深度信息，并利用人体部位分割算法，定位人

26、体关节点，为系统提供骨骼数据来源。2. 修复丢失关节的算法。人体肢体相互遮挡的情况下，导致于某些关节点位置信息缺失，需要利用算法把丢失的关节点信息给补上以解决关节丢失的问题。3. 运动数据平滑处理算法。解决骨骼运动数据抖动问题。4. 基于正向运动学的重定向算法。利用基于正向运动学的重定向算法将优化后的骨骼运动数据绑定到人物模型上，以解决模型运动失真问题。以上技术和算法将在第三章进行详细论述。另外，针对系统比较封闭的问题，本课题提出使用Unity3D插件开发技术，将系统以插件的形式与Unity3D进行无缝衔接，并使用Unity3D相关库函数将动作脚本以通用格式DAE（Digital Asset

27、Exchange，数据资源交流）保存，以解决动作数据无法复用的问题。2.1.3 基于Kinect动作捕捉系统需求分析本课题来源于“重庆市xx区互动展馆开发项目”，项目前期所研发的基于Kinect的动作捕捉系统功能比较单一，性能较差。经过前面的研究与分析，针对现有基于Kinect的动作系统所存在的问题，在系统前期模块的基础上添加新功能，使该系统适合运动分析、小成本动画和游戏开发等领域。本课题提出的基于Kinect的动作捕捉系统功能包括Kinect启动、模型导入、显示动作表演者图像信息、动作数据优化、动作重定向、动作录制输出等功能，如表2.2所示。表2.2 动作捕捉系统功能需求分析功能需求功能描述

28、Kinect启动启动Kinect，获取图像数据和骨骼数据模型导入向系统中添加目标人物模型，提供动作重定向对象显示动作表演者图像信息在界面上呈现动作表演者的各种图像信息，用户可以选择显示彩色、红外、深度图像信息和骨骼关节点图像信息动作数据优化为了保证的动作数据的平滑不失真，需要对丢失的关节数据进行补全处理，并对骨骼动作数据进行平滑处理动作重定向利用基于正向运动学的重定向算法将优化后的骨骼运动数据，绑定到人物模型上，使得运动数据能够驱动各种不同尺寸的人物模型进行不失真运动动作脚本录制并输出用户可以录制自己想表达的动作，生成动作脚本，便于进行运动分析或在其它Unity3D工程中使用另外在满足功能需求

29、的前提下，系统还应具备以下能力：稳定性，系统能够长时间稳定的运行；实时性，系统在骨骼数据优化和动作重定向阶段的处理应保持与Kinect输出的帧率同步，让模型和真人的运动一致，尽量减小时延；可扩展性，系统需采用模块化的方式以降低系统耦合度，方便维护和后期扩展改良。2.2 基于Kinect动作捕捉系统总体方案设计本课题根据Kinect，设计一种搭载在Unity3D平台上的动作捕捉系统，该系统能够进行无标记 采集人体动作，并对动作数据进行补全和平滑处理，保证动作数据的完整性和平滑性。在此基础上，通过动作重定向技术驱动人体目标模型进行与真人相同的运动，同时录制并导出动作脚本，以用于运动分析或者复用于其

30、它工程中。根据MVC（Model View Controller，模型、视图、控制器）模型将系统框架分为四层，如图2.2所示。图2.2 系统总体方案图这四层分别是数据采集层、数据交互中间件、数据处理层以及UI界面层。数据采集层主要负责从Kinect中获取各种图像信息和骨骼数据，并传递给数据处理层；数据交互中间件负责完成Unity3D平台与Kinect的数据交换工作；数据处理层负责数据的优化和处理，该层包括主程序、骨骼数据优化模块、动作重定向模块、可视化模块以及动作录制输出模块等，该层是本课题所设计系统的核心层；UI界面层为用户提供交互平台。这四层的具体内容如下。1. 数据采集层数据采集层为系统

31、提供图像信息和骨骼数据，图像信息主要包括彩色RGB图像信息，红外图像信息以及深度图像信息21。Kinect获取的每一帧数据都包括三种图像信息和骨骼数据，多帧这样的骨骼数据可形成动作数据。这四种数据信息中，深度图像信息是Kinect的精髓，包括了Kinect所扫描范围内的所有像素的三维位置信息，骨骼数据则是Kinect从深度图像中提取出来的。2. 数据交互中间件数据交互中间件为系统和Kinect SDK的数据交互提供桥梁作用。由于Unity3D不能直接与Kinect SDK交互，本课题复用了Carnegie Mellon大学提供的开源中间件kinectWrapper中的部分代码来实现系统数据交互

32、中间件22。3. 数据处理层数据处理层是本课题所设计系统的核心层，包括骨骼数据优化、动作重定向、图像数据的可视化以及动作脚本录制。该层的主要任务是从数据采集层获取数据，将数据进行分析和处理，完成数据优化、图像数据可视化、动作重定向工作和录制输出动作脚本等功能。在数据处理层中，骨骼数据优化模块负责将Kinect输出的骨骼数据逐帧优化，包括丢失关节修复和骨骼动作平滑处理，其中涉及到的丢失关节修复的算法和平滑处理算法将在第三章进行分析和阐述；动作重定向模块负责将优化过的骨骼数据实时重定向到人物模型上，并逐帧更新，让人物模型动起来；可视化模块负责将真人的运动图像呈现在界面上，方便用户采集运动数据；动作录制模块负责将动作数据逐帧保存到脚本文件中；主程序主要负责系统的运行，包括资源配置、窗口初始化、场景管理器配置以及驱动Kinect配置等功能。4. UI界面层