舞台三维仿真编排体感交互研究与设计.docx

舞台三维仿真编排体感交互研究与设计.docx

《舞台三维仿真编排体感交互研究与设计.docx》由会员分享，可在线阅读，更多相关《舞台三维仿真编排体感交互研究与设计.docx（6页珍藏版）》请在冰点文库上搜索。

舞台三维仿真编排体感交互研究与设计

舞台三维仿真编排体感交互研究与设计

　　根据我国文化创意产业和舞台综合呈现技术的需求，为解决传统舞美创编方式前期效果不直观，排演效率低下，操作系统交互方式单一，舞美编排操作复杂、不生动，及方案实施受外部条件约束等问题，本文提出了在三维虚拟场景中实现以体感控制的方式快速创意设计、实时效果呈现，以及实施辅助能力的数字表演智能体感编排技术，有效提高舞美设计的直观性、可靠性、方式多样性及高效性。

　　本研究的技术难点涉及体感技术、交互式舞台场景编辑、实时三维图像渲染、体感交互接口设计、虚拟现实技术与三维建模技术集成等。

　　现代数字技术的迅猛发展，舞台表演的艺术表现力被提升到了一个新的高度。

传统文艺表演中所有要素均已发生翻天覆地的变化，如表演元素、方式、手段等。

文艺表演各要素间的复杂关系要求艺术表演与数字技术完美结合，奠定数字表演技术的基础。

　　伴随社会物质文明与精神文明的不断发展，观众对文艺表演的要求不断提高，使得表演规模变得庞大，表演内容变得丰富，表演难度变得复杂，相应的艺术创编、排演等工作耗时自然也就越长。

传统的基于二维平面的文艺表演创编及排演方式在实践中已经逐渐不能满足表演艺术发展的需求，利用计算机仿真和虚拟现实技术辅助文艺表演的设计编排必将成为今后发展的趋势，数字表演与仿真领域也必将有广阔的应用前景。

　　研究的目的和意义

　　舞美设计是文艺表演中的重要环节，涉及布景、灯光、音效、服装等设计工作。

传统舞美设计的流程较为简单，首先观察表演场地、了解舞台设备情况，根据前期初步的创意构思，关联舞台的表演内容，绘制出设计方案草图，然后设计者对舞美设计效果进行讨论，以修改或者重绘设计方案草图。

即使设计者掌握精湛的绘画技巧，在二维平面空间绘制出的方案效果图终究难以表现出三维空间效果，与真实舞台所呈现出的效果之间存在一定的偏差。

在舞台搭建完成后，采用全人工实地排演的方式，舞美设计方案所缔造的舞台空间效果才能够完整呈现。

然后，根据实际舞美效果进行舞美设计方案的调整以获得最佳的演出效果。

　　国内外有关舞美设计及体感控制排演相关技术的研究尚属空白，这也是本研究意义所在。

基于现有的研究工作，以期国内的数字表演技术在智能创意平台、实时交互设计、三维显示系统等诸多方面取得建设性的突破。

舞美设计、体感交互接口设计、仿真开发等专业技术人员之间加强合作，共同提升数字表演的智能水平，进一步完善多领域交叉融合的数字表演技术体系，更好地服务于国内文化创意产业。

　　三维仿真编排体感交互关键技术研究――体感交互技术

　　伴随着高新科技的蓬勃发展，前沿科技体感交互技术应运而生，体感技术通过手势或者身体动作代替传统的遥控器来控制计算机，对软件应用的方式带来了重要的影响。

在虚拟交互过程中佩戴复杂动作捕捉设备是很有局限性的。

在体感交互里操作者不需要用户佩戴或手持任何东西，不用校准，也不用主机处理器做任何运算。

相比传统的动捕技术，在很大程度上降低了虚拟现实中动作捕捉技术的成本。

而操作者完全不需要额外地使用或佩戴复杂的捕捉设备，完全消除了人们对虚拟现实交互的紧张情绪，提升了操作的自由度，增强了整体的沉浸感，从而充分提高了体感交互的实用性和娱乐性。

　　体感交互是一种在虚拟现实环境下进行交互的新型操作方式，在操作三维仿真编排系统时可以完全利用Kinect完成体感交互，摆脱传统的鼠标键盘和复杂的动作捕捉设备，通过各种肢体动作就可以完成交互的操作。

对数字舞台编排来说，Kinect降低了体感技术使用的门槛，扩大了体感交互技术应用的范围，增加了虚拟现实表现的真实感，带来了一次全新的革命。

　　Kinect是基于OpenNI接口对其组建进行开发，虚拟平台可以利用达到15个捕捉节点以识别人体关节点的位置信息，从而追踪人体的动作，并将这些动作捕捉，分析、计算以及整装。

通过内部控件传输给计算机进行交互，进而计算机可以对这些关节点的位置信息进行进一步分析处理，以达到生动、自由的体感交互操作。

例如：

通过模拟医学手术的手势来对医学专业的学生进行培训和手术过程模拟、通过双手的抬举来达到物体的放大缩小、通过手势的变换隔空取物、通过手势的挥动来达到切换图片的功能等等。

　　深度信息的手势提取与识别研究

　　随着技术的发展，使用摄像头捕捉手势的计算机视觉技术成为了手势识别的主流方式。

与数据手套等设备相比，使用计算机视觉技术进行手势采集更加自然，便于使用。

使用计算机视觉技术进行手势采集后，需要对获得的图像进行手势分割，将手势从图像中分离出来。

手势分割的常用方法主要有增加限制法、肤色检测法等。

其中增加限制法通过佩戴有颜色的标志物或使用固定颜色的背景等对采集环境进行限制，从而通过特殊颜色进行手势分割。

这种方法降低了手势的自由性，但在采集精确度上有较大优势。

肤色检测法根据肤色在颜色空间分布的特点将图像转换到相应的颜色空间进行阈值分离。

使用肤色检测法可以直接从图像中分离出肤色的区域。

　　随着摄像机技术的发展，可以拍摄3D信息的摄像机进入人们的视线。

20世纪90年代出现的TOF（飞行时间法）摄像机通过计算光的飞行时间来测量拍摄物体的深度信息。

与传统2D摄像机相比，TOF摄像机可以很方便地区分出场景中的前景与后景，在目标识别与追踪方面具有独特的优势。

但TOF摄像机在应用时存在着价格昂贵、分辨率较低等缺点。

2010年微软推出了用于Xbox360的体感外设3D摄像机Kinect，使用结构光编码技术获取拍摄图像的深度信息。

Kinect的摄像部分包括一个RGB摄像头、一个红外摄像头和一个红外发射器。

红外发射器可以发出近红外激光，当激光照射到粗糙物体时会形成具有高度随机性的衍射斑点，称为激光散斑。

激光散斑会随着成像物体的距离不同而变换图案，当激光散斑照射到整个空间时即对空间进行了标记。

红外摄像头则接收空间标记，传递至Kinect内部的PS1080Soc图像处理器芯片。

图像处理器通过分析散斑图案获得的空间距离生成深度影像，并使用USB2.0协议传输至PC端。

相比TOF摄像机，Kinect价格低廉，拍摄分辨率可达640*480像素，而且由于使用了图像处理器芯片，不需要PC端额外的计算量，可以使PC端以较低的配置达到实时性的要求。

Kinect的这些特性使其成为了人体识别领域的热门工具。

基于Kinect的手势识别通常使用Kinect获取深度图，然后使用微软提供的KinectSDK进行人体骨架识别从而获得手势位置及动作意义，或根据深度信息过滤提取出手势部分深度图，再将其转换为平面图，使用2D手势识别的方式进行识别。

Kinect作为手势采集的工具，没有使用2D手势识别的方法，而是将深度图转换为三维点云，利用深度信息进行手势提取和识别分析，相比于2D手势识别有更多的优势。

　　跟踪骨骼及深度数据研究

　　深度数据（即UseDepth）流有三种级别，分别为640*480像素、320*240像素及80*60像素。

深度数据流以毫米为单位为传感器的视野范围内每个像素点（用X、Y坐标来确定）提供距离数据。

通过处理这些数据应用程序支持诸如跟踪用户表情或确定背景物体等功能。

在Initialize方法过程中，不同格式的数据是通过传递不同的参数值得到。

在获得深度数据方面有以下几种情况：

第一仅获取深度数据则每个像素的前12低位（0-11）包含了深度数据，剩下4位数据保留；第二种是获取深度数据及玩家序列数，则每个像素前3低位（0-2）包含了玩家序列数据，其余为深度数据。

其中0代表该位置的深度数据无效，这可能是该物体距离设备太近或太远。

NUI骨骼接口提供一组人身体上重要位置的点信息，在传感器范围内NUI骨骼可提供两个人站立姿势的位置和朝向信息。

在处理这些骨骼点时，出现两种情况即有效骨骼跟踪和无效骨骼跟踪。

在提供骨骼数据方面最先被传感器探测到的两个人就称为有效骨骼跟踪。

而随后进入传感器范围的人被无效骨骼跟踪。

而对于无效骨骼跟踪应用程序只能获取有限的数据，由此可见Kinect的骨骼跟踪引擎只能提供一个或两个人的完整骨骼数据。

　　三维仿真编排体感交互――核心技术

　　三维仿真舞台系统在传统舞台中融入了三维舞台场景设计制作、幻影成像和同步控制系统等技术。

　　实时渲染技术

　　利用实时渲染的支持体感的仿真引擎软件，内部自带强大的实时渲染功能，当舞美模型导入引擎后，引擎会对模型实时地渲染，渲染包括模型的纹理贴图和模型的阴影。

　　体感控制技术

　　体感控制系统平台实现自然体感交互控制，按照整体舞台表演的演出时序利用体感的方式来控制系统，如灯光的更迭，舞台场景的切换，舞美、道具的变化。

体感信息通过Kinect采集并传输给系统，系统处理和整装体感数据。

　　三维建模技术

　　利用3DMAX强大的模型建立功能，对真实舞台进行仿真模型建立，并通过插件程序ColladaMaxforStudio转换文件格式，导入引擎。

　　KinectForWindows架构研究

　　Kinect硬件、软件及应用程序之间的交互，我们可以了解Kinect传感器把图像数据、深度数据及音频数据通过USB传递给NUI库，应用程序通过NUIAPI获取这些数据。

　　KinectForWindows架构图

　　Kinect中有一个功能强大的感觉阵列，即数字视频摄像头。

该摄像头可以从事捕捉图片到识别颜色等多项工作。

而Kinect中的麦克风则可以在短时间内采集多次声音数据，以便把当前主要使用者和处在同一个封闭空间中的其他无关的人和或者外界其他声音区分开来。

Kinect不仅是一套硬件系统，它也必须通过软件支持来完成各种应用和操作。

特制的kinect软件已经帮助Kinect能够识别到人的脸部细节变化。

而在识别人体动作的时候，这个精度甚至可以达到4厘米左右。

一家以色列公司PrimeSense为微软提供了其三维测量技术，并应用于Kinect。

在PrimeSense公司的主页上提到其使用的是一种光编码（lightcoding）技术。

传统的TOF技术即TimeofFlight，可计算光线飞行的时间，先让装置发出脉冲光，并且在发射处接收目标物的反射光，藉由测量时间差算出目标物的距离。

　　Kinect接口调用数据信息命令于系统的设计方案

　　在研究分析了仿真编排的实际演出整体舞台演出效果后，我们制定了以体感交互的方式基于仿真引擎，通过kinectopenNI接口调用KINECT采集的人物动作数据，编排三维仿真歌剧舞台的演出。

　　首先PC的整个屏幕上划分为两部分，一部分是二维UI界面，另一部分是三维仿真歌剧舞台的虚拟空间，两部分都运行在仿真引擎下。

当前整体设计为通过kinectopenNI接口调用人体骨骼数据信息控制三维仿真编排系统。

kinect采集的人物骨骼数据信息中被利用的为头部、躯干、左臂、右臂。

编排系统分为两部分，一部分是二维命令选定体感交互控制，另一部分是三维剧场虚拟仿真体感交互执行命令控制。

三维仿真编排体感交互系统采用时间轴的排演形式。

在系统中屏幕最上方有一排二维UI，负责系统编排的命令选定。

操作方式为体感交互，由人体左臂动作控制。

另一部分的控制则是由右臂完成。

数字舞台动态展示。

　　本研究重点解决传统舞美创编方式存在的问题，旨在建立适用于立体数字舞台表演辅助创编和排演工作的智能系统，使设计者能够在三维虚拟场景下实现自然体感交互方式快速创意设计、快速效果呈现，从而提高舞美设计与排演的效率，使设计者因体感控制系统操作而更加沉浸于舞美编排任务本身，升级了传统引擎操作方法。

首先，研究分析虚拟现实领域中的实体建模和模型导入引擎方法，根据立体数字舞台表演的特殊性，提取出适用于立体数字舞台特定的实体建模和模型导入引擎方法；并深入研究体感交互方法，以及Kinect提取深度人体信息的方法，提取出适用于立体数字舞台编排体感控制方法，设计完成适用于数字舞台编排的体感交互接口。

然后，用3DMAX建模功能，对整体歌剧舞台，歌剧院及周边建筑进行实体建模，把建立好的舞台、舞美、道具模型等通过插件程序ColladaMaxforStudio转化为适用于引擎的DAE文件，进而导入系统引擎，通过体感外部设备Kinect采集体感数据，Kinect利用OpenNI接口将体感信息传输给3DVIA引擎，引擎的内置程序接收体感数据信息并存入系统。

在系统中重新整装体感数据信息，使体感数据信息适用于系统。

参照真实歌剧表演，在引擎内部对导入的舞美、道具模型进行编辑，通过中间键调用整装好的体感数据信息命令舞美、道具模型，从而实现体感控制数字舞美的排演。