Kinect体感交互技术.docx

Kinect体感交互技术.docx

《Kinect体感交互技术.docx》由会员分享，可在线阅读，更多相关《Kinect体感交互技术.docx（11页珍藏版）》请在冰点文库上搜索。

Kinect体感交互技术

现代通信理论与先进技术之Kinect体感交互技术

摘要：

本文通过查阅国内外相关文献，了解了人机交互技术尤其是可以实现高效人机交互的Kinect体感技术的发展方向，并以此为研究基础，综述了Kinect体感技术的理论基础和国内外应用现状，讨论了其广泛应用需要解决的技术难题，展望了其在人机交互领域的应用前景，得出了Kinect体感技术有利于推动人机交互的智能化进展，是人机交互改革的又一个新起点的结论。

关键词：

Kinect体感技术；人机交互；虚拟现实；人工智能

引言

继鼠标和多点触摸之后，体感交互被称之为“第三次人机交互革命的原点”。

人机体感交互的出现是人与机器对话方式回归自然的重要转折，体现了人们对“以人为中心”设计理念的不断追求。

人机交互[]（Human-ComputerInteraction,HCI）是研究人与计算机及其相互作用的技术，其研究目的在于利用所有可能的信息通道进行人机交流，提高交互的自然性和高效性。

目前人与计算机交互的方式只局限于鼠标与键盘，正是由于这种传输方式的单一性阻碍了人机交互的进一步发展，人机交互中输入输出效率之间的差距变的越来越大。

随着科学技术的高速发展，更高层次的人机交互理念对交互方式提出了巨大的需求，众多科研人员开始对新的交互技术的多通道界面展开研究，目前的研究内容主要是集中在手势输入、语音识别及感觉反馈等方面。

而kinect体感技术的出现为促进人机交互的发展具有重要意义，kinect作为新一代的体感设备，可以依靠实时捕捉使用者的动作、面部识别及语音识别就可以达到输入功能。

这一特性很好地填补了现有人机交互技术的缺陷，并且促使kinect体感技术成为人机交互领域的一个研究热点。

与传统输入设备不同的是，kinect设备可以实现直接用使用者的身体来控制终端，用这种最自然的方式与终端进行交互的特点贴近了人机交互对自然性的要求，kinect体感技术对人机交互理念的实现起到了重要的促进作用。

因此研究kinect体感技术在人机交互领域中的应用对其今后的发展具有很大的必要性。

1Kinect设备的基本介绍

Kinect[],[],[]是由微软公司开发的一款姿态传感输入设备，作为Xbox360外接的3D体感摄影机，利用即时动态捕捉、影像辨识、麦克风输入、语音辨识、社群互动等功能让用户摆脱传统输入设备的束缚，通过自己的肢体控制终端。

图1所示是Kinect设备的整体结构图。

Kinect设备的整体结构及功能：

1.1RGB摄像头

用来获取640X480的彩色图像，每秒钟最多获取30帧图像，根据在Kinect设备视野范围内移动的一个或两个人的图像进行骨骼追踪，可以追踪到人体上的20个节点。

1.23D深度传感器

分别为红外发射器和红外线COMS摄像机，用来侦测3D影像。

1.3数组式麦克风

与Microsoft.Speech的语音识别API集成，使用一个具有消除噪音和回波的四元麦克风组，能够把声源附近有效范围之内的各种信息捕捉到。

用于语音识别并具有降噪功能。

基于以上功能，Kinect设备不需要使用任何控制器，只需依靠实时捕捉使用者的3D动作、面部别和语音识别即可达到输入的功能[]。

图1Kinect整体结构图

2基于Kinect的人机交互的工作原理

2.1 Kinect传感

Kinect追踪处理流程的核心是一个无论周围环境的光照条件如何，都可以让Kinect感知世界的CMOS红外传感器。

该传感器通过黑白光谱的方式来感知环境：

纯黑代表无穷远，纯白代表无穷近。

黑白间的灰色地带对应物体到传感器的物理距离。

它收集视野范围内的每一点，并形成一幅代表周围环境的景深图像。

传感器以每秒30帧的速度生成景深图像流，实时3D地再现周围环境。

就像你玩pinpointimpression3D针模玩具一样，将你的手（或者脸，如果你愿意的话）按压在这种玩具上，就可以产生你身体某一部位的简单3D模型。

如图2所示。

图2 pinpointimpression3D针模玩具 

2.2寻找移动部位

Kinect需要做的下一件事是寻找图像中较可能是人体的移动物体，就像人眼下意识地聚焦在移动物体上那样。

接下来，Kinect会对景深图像进行像素级评估，来辨别人体的不同部位。

同时，这一过程必须以优化的预处理来缩短响应时间。

Kinect采用分割策略来将人体从背景环境中区分出来，即从噪音中提取出有用信号。

Kinect可以主动追踪最多两个玩家的全身骨架，或者被动追踪最多四名玩家的形体和位置。

在这一阶段，我们为每个被追踪的玩家在景深图像中创建了所谓的分割遮罩，这是一种将背景物体（比如椅子和宠物等）剔除后的景深图像（如图3）。

在后面的处理流程中仅仅传送分割遮罩的部分，以减轻体感计算量。

 图3Kinect追踪的骨架图

2.3Exemplar（模型）系统：

判断关节点

真正的“魔术”在这里发生。

分割化人的图像的每一个像素都被传送进一个辨别人体部位的机器学习系统中。

随后该系统将给出了某个特定像素属于哪个身体部位的可能性。

比如，一个像素有80%的几率属于脚，60%的几率属于腿，40%的几率属于胸部。

这时候并不是就把几率最大的可能性当作结果，而是将所有的这些可能性输入到Exemplar（模型）系统进行处理中并且等到最后阶段再做判断。

数以TB计的数据被输入到集群系统中来教会Kinect以像素级技术来辨认手、脚以及它看到的其他身体部位。

下图（如图4）就是我们用来训练和测试Exemplar的数据之一。

图4 训练和测试Exemplar的效果图 

2.4模型匹配：

生成骨架系统

处理流程的最后一步是使用之前阶段输出的结果，根据追踪到的20个关节点来生成一幅骨架系统。

Kinect会评估Exemplar输出的每一个可能的像素来确定关节点。

通过这种方式Kinect能够基于充分的信息最准确地评估人体实际所处位置如图5所示。

另外我们在模型匹配阶段还可以附加一些输出滤镜来平滑输出以及处理闭塞关节等特殊事件。

 图5生成的骨架图

3Kinect体感技术的国内外研究现状

Kinect传感器凭借其特性已经应用在医学、商业、计算机科学及机器人等很多领域，下面就其在相关领域的应用进行综述。

3.1Kinect在医学领域的应用研究

Kinect体感技术在医学领域的应用研究目前主要体现在临床医学、远程手术、医学教育和医学数据调查四个方面。

3.1.1临床医学

在临床手术中，有必要保持接受手术的病人周围的一切都是无菌的。

然而，在手术中，外科医生还需要从计算机上查看患者的临床影像资料，计算机不是无菌的。

传统的医生查看资料的方式既耗时又增加患者的感染几率。

而在手术过程中借助Kinect设备可以有效的缓解这一弊端。

由瑞士伯尼尔大学Michael.Tully教授等研究人员利用Kinect设备帮助医生解放了双手，医生无需像传统方式那样亲自接触患者的影像资料，只需要用手做出摆动就可以控制专为医疗图像浏览而设计的图像处理应用程序——OsiriXPACS[]（picturearchivingandcommunicationsystem：

医学影像存档与通信系统）。

该项研究利用Kinect非触摸的体感方式[]可以更符合手术过程中的无菌化操作的要求并能有效避免手术过程中的交叉感染。

国内西京医院骨科手术中也已经实现了使用Kinect设备体感控制患者的影像资料。

Kinect设备同样在多伦多新宁医院（SunnybrookHospital）得到了应用，它允许外科医生在手术过程中以不用手的姿势来操纵计算机屏幕上的核磁共振成像图像[]。

这项新技术使手术过程更容易并且节省了手术所需的时间，临床手术中Kinect体感技术的应用必将成为一种趋势。

3.1.2远程手术

远程手术是将虚拟现实技术与网络技术结合，可以使得医生根据传来的现场影像对远程的患者进行手术操作，其一举一动可转化为数字信息传递至远程患者处，控制当地的医疗器械的虚拟现实系统。

运程手术的技术目前尚未成熟，而Kinect体感技术的介入可以增加远程手术的可行性。

西雅图华盛顿大学Biorobotics实验室的Chizeck等让Kinect传感器在远程手术过程中为外科医生提供触觉反馈。

他们将PhantomOmni[]触觉设备与Kinect设备连接，提供电阻式的反馈，以Kinect体感技术帮助建立物体的3D模型，并将数据转换为触摸反馈。

这项研究实现了只要有卫星天线车的地方，医生就可以使用Kinect设备远程手术，因此可被广泛应用于救灾或者战场。

3.1.3医学教育

德国慕尼黑工业大学的一名学术研究员发明了一款命名为“Themagicmirror—魔镜”的设备。

它是专门为方便解剖课程的教学所设计的，系统能够制造一种镜像的幻觉，让使用者像是在身上开个“洞”，看到自己的内脏。

Kinect体感技术在现代医学教育中的研究，是现代医学教育方式的一个新的突破，若能得到实际应用则会对实现现代医学教育跨越式的发展具有十分重要的意义。

3.1.4医学数据调查明

尼苏达大学研究院的教授kolaosPapanikolopoulos及研究员们借助Kinect感应器观察并分析儿童的反常行为和动作，然后根据得到的客观数据衡量儿童的失调症状如孤独症、强迫症等，与以往的评估方式相比，这种基于Kinect体感技术观察和分析的方式会使得评估过程更简单数据也更真实。

3.2Kinect在商业领域的应用研究

Kinect凭借其出色的互动能力已经在商业方面得到了实际应用，如俄罗斯一家名为ARDoor的科技公司于2011年5月运用Kinect体感外设技术发明的一款“试衣魔镜”，当购物者站在这虚拟试衣镜前时，装置将自动显示试穿新衣以后的三维图像。

俄罗斯的高街时装品牌TopShop在自己的店中安装了这款“试衣魔镜”，俄罗斯的消费者们成为率先体验这一高科技所带来的便利的受惠者。

除了实际应用的成果以外，还有一些取得较好效果的研究成果，如黄康泉[]开发的CoolView视频会议系统中整合了Kinect设备的部分功能，实现了手势控制PPT、自动识别与会人员的举手发言请求及实时3D捕获与显示等功能，提高了视频会议的交互性和真实感，该系统的实现进一步论证了Kinect体感技术在视频会议中的实用价值以及对视频会议系统发展创新的积极现实意义。

3.3Kinect在科技助残领域的应用研究

残障人是一个特殊困难的弱势群体，如何使弱势人群无障碍地融入到社会生活当中一直都是各国关注的热点，Kinect体感技术的出现为推动这一改善事业的进展起到了积极的作用，并且由已经取得的研究成果体现出Kinect体感技术在改善残疾人生活状况方面有着十分重要的现实意义。

如德国康斯坦茨大学的Michael.Zollner[]等开发的视觉障碍导航辅助（NavigationalAidsfortheVisuallyImpaired，NAVI）系统就实现了帮助盲人导航的功能，他们将Kinect设备固定在一个头盔上，将连接到Arduino[]主板上的震动马达装在腰带上，再通过USB接口连接到背部的笔记本上，耳中戴有蓝牙耳机。

当Kinect扫描到前方有障碍物时，通过软件的解读，腰带中的马达会震动，并且会发出转向提醒。

与传统的导盲犬和手杖相比，这套系统能够在很远的距离提前提醒障碍物和方向，显示出了较强的实用性和有效性。

罗元[]等设计与实现的基于Kinect传感器的智能轮椅手势控制系统在智能轮椅研究方面取得了良好的进展，系统利用Kinect深度传感器所获取的图像深度信息实现手部从背景中的分割，并通过Hu矩[],[]基础上加入3个表达式，使不变矩包含更多细节特征，对手势目标进行识别，最后把得到的识别结果转换成控制指令通过Ad-Hoc网络传送给智能轮椅，实现运动控制。

这些项目都可以很好的服务于残障人士，促进残疾人生活状况改善事业的重要发展。

3.4Kinect在机器人领域的应用研究

麻省理工学院的一个名为Warwick移动机器人的团队，将Kinect设备和救援机器人结合到一起，设计出一款新的机器人—Kinectbot。

这个机器人利用Kinect传感器可以探测出人的存在，并且人们可以通过肢体动作和声音来控制这个机器人[]。

Kinectbot还能利用Kinect设备的画面捕捉技术，将自己“看到”的画面绘制成3D地图。

这款机器人的目的是应用于灾难现场的救援工作，不必需要过多的人力，或许只是一个两人小队就能完成这台机器人的操作。

虽然现在这个发明还没能应用到现实中，但按照这样的思路，未来的机器人随着灵敏度的提高，已经完全能够代替人类去勘探危险的区域，制作精细的3D地图了。

3.5Kinect在智能家居的应用研究

现在已经有很多人开始着手将Kinect应用于智能家居方面，目前已经有人设计了一种基于Kinect的智能家具系统。

它采用B/S架构，运用ZIGBEE，Wi-Fi和RS485等多种组网方式，来实现对各类家居设备的信息采集和指令控制，并通过家庭网关与数据库管理系统的数据库服务器进行实时数据交互。

在Web站点服务器中搭建应用ASP.NET技术的Web站点，采用ADO.NET技术与数据库服务器进行数据交互。

Web服务器通过访问数据库服务器可以获得实时的家居环境、状态等数据，用户可以通过Web站点访问并进行操控。

Web服务器将在Web页面上接收到的用户指令交递给数据库服务器，进行智能控制。

系统结构如图6所示。

图6智能家居系统

4总结

继鼠标和多点触摸技术之后，Kinect体感技术或将成为第三次人机交互革命的原点，不仅因为其全新的操作方式，更因为其背后所蕴含的创新精神。

得益于这种新的人机交互技术，人对机器的使用门槛在进一步降低，因为计算机已经越来越能读懂人在自然状态所传递的命令。

然而这项技术还很不成熟，有许多需要改进和完善的地方，如Kinect设备的识别只到人体头部、躯干和四肢，对于手指的识别还不灵敏；存在延迟和精度的问题；只能捕捉一些简单的动作；点击动作需引入其他设备等。

因此，Kinect体感技术的普适化征程才刚刚开始。

Kinect体感技术现在实际应用的领域还很局限，将其拓展到更多的领域是Kinect

体感技术未来发展的方向，如军事、勘探等。

其中的机遇很多，需要我们做的也很多，随着科学技术的发展，相信Kinect体感技术能够克服实践应用中的困难，并在人机交互领域的应用中得到更广泛、更深入的应用，发挥越来越重要的作用。

参考文献