3D动态人体模式识别技术研究.docx

1、3D动态人体模式识别技术研究3D动态人体模式识别技术研究1、项目来源及选题依据本项目为学生自选题目项目。本项目属于计算机视觉学科的基础研究，由本项目组独立完成，旨在研究运动物体的模式识别技术。计算机视觉既是工程领域也是科学领域中的一个富有挑战性的重要研究方向。计算机视觉是一门综合性的学科，它涉及计算机科学、信号处理、物理学、应用数学和统计学，神经生理学和认知科学等多个学科领域，吸引了大批研究者投身其中。一些发达国家，如美国把对计算机视觉的研究列为对经济和科学有广泛影响的科学和工程中的重大基本问题，即所谓的重大挑战（grand challenge）。目前它在多个工程领域均有成功的应用，是制造业、

2、检验、文档分析、医疗诊断，和军事等领域中各种智能、自主系统中不可分割的一部分。模式识别就是当把认识对象能够分类成几个概念时，将被观测的模式与这些概念中的一类进行对应的处理。这种概念称为类或者种类。为实现模式识别的机械，首先必须考虑从识别对象测量（提取）出某种特征量的方法。当今信息化时代的快速发展对计算机视觉提出了越来越高的要求。三维模型具有比二维图像更丰富的信息，利用三维信息是实现目标识别的另一有效途径。基于三维数据的识别方法，在计算机视觉领域已经被广泛研究。有的研究者通过分析三维模型数据的分布特征，提出了整体分离的方法，结合物体特点，实现了各区域的准确裁减。然而，在某些识别问题中，信息的提取

3、有时并不一定是在静态条件下。因此，三维动态识别技术也应运而生。动态识别是相对于静态识别提出的一个新概念，旨在对运动物体进行三维识别。由于运动物体的特征较静态物体更难以捕捉，因而，动态识别技术的关键问题就是如何快速准确提取运动物体的特征并构造有效的识别方法，它对提取、重建和识别算法的快速性和有效性提出了更高的要求。本课题在研究三维人体目标的动态特征的基础上，旨在建立一个三维动态人体模式识别系统，它将完成对一个运动的人体进行有效识别的功能。该系统可广泛应用于医学、运动员测量分析、军事目标判定、计算机图形学和计算机辅助设计中。另外，该技术还有较大的推广空间，在这个技术基础之上，改变被测物体后也可在诸

4、如制造业和建筑界等多个领域得到应用，如三维机械系统动态识别及三维建筑动态识别系统等。2、选题过程中已经阅读的文献资料，以及各项准备工作（如计算、实验等）已完成知识储备如下：数学：空间解析几何及线性代数；复变函数；数学物理方程程序设计：C+；C# 算法理论：计算机视觉完成第一轮学习 这个阶段里，项目组利用matlab软件进行了人体轮廓提取的仿真实验，初步实现了人体的轮廓提取功能。另外，针对运动的视频分析部分，项目组已经建立了一个合理的人体刚体模型，为人体运动分析奠定了良好的基础。3、国内外同类课题研究现状运动信息处理始于上世纪70年代。那时，确定图像上移动向量的分布（光流），即图像间的映射关系是

5、主要的研究课题。虽然在图像间由特征的对应关系能够获得映射关系，但在对应时需要伴随着搜索和处理的大量计算。因此，作为利用图像间差分计算移动向量的方法，提出时空梯度法。该方法是在运动图像编码的研究中发现的，并由Horn与Shunk等对其进行了公式化。时空梯度法将移动向量进行线性约束，但只凭该约束并不能直接确定移动的向量，还需要其他的一些约束。针对此又提出其他的各种约束办法。人体是一个非刚体运动模型。但在处理较大幅度的运动时，人体往往可以被近似为一个多节点的刚体模型。1979年，Ullman等提出，如果假设所研究的对象是刚体，就能够从图像间的对应关系恢复对象物体的三维结构和三维运动。很长时间以来，针

6、对人体的运动分析都是建立人体刚体模型进行估计，具体说来就是通过安装在人体关节处的光点的运动，对人体的结构和运动进行估计。然而，由于人体结构较为复杂，即便采取自下而上的处理方法也是很困难的。因此，大多采用预先假定人体模型知识的自下而上的处理方法，难点主要体现在下面两点：（1）不易提取有效的图像测量特征；（2）人体的姿势是一个高维空间，基于全局搜索和匹配的方法计算量太大。近年来，研究者分别从人体模型、图像特征以及搜索策略等角度讨论了基于视频的三维人体运动跟踪问题。D M Gavrila与L S Davis 等人利用多个已定的摄像机对全身运动进行跟踪。他们使用距离图来匹配模型与边界特征，并采用分解搜

7、索空间的方法进行姿态估计。Deutscher J,Blake,A,Reid I等人采用例子滤波算法在多摄像机下实现对人体三维运动的跟踪，并使用模拟退火算法来减少对粒子数目的需求。C Bregler与J Malik等人采用类似Lucas&Kanade光流估计的方法来跟踪身体各个部分。C Sminchisescu与B Triggs提出使用Covariance Scaled Sampling 结合局部优化的方法从单视频中跟踪人体运动。这些算法在可控环境下实现了简单的人体三维运动的跟踪。但是它们存在的共有问题是：（1）假设简单背景或者人穿着紧身衣；（2）无法实现自动初始化和自动从错误中恢复；（3）无法

8、处理错误累积以及光照变化等环境因素的影响；（4）计算复杂度较高。进入20世纪90年代，有人提出了将时空梯度法和人体的机器人模型相结合的动作估计法，以及通过模型的逐次匹配的人体姿势估计法等一系列方法，希望能够将其作为新的运动捕获的人体运动图像分析技术。对于动态图像的分析以及最后识别运动目标,目前主要通过两个途径来实现。一种途径是模仿人眼成像及识别物体的机理，让计算机从获得的二维连续图像序列中提炼出运动目标，并从中重构出三维物体的可视部分以达到识别物体的目的。虽然在这一方面的研究取得了一些进展，但是由于其它方面的研究滞后以及计算机的固有缺陷(例如，计算机系统普遍地采用二维逻辑，而人眼成像及识别物体

9、不仅仅是二维的)，使得通过这一途径完全还原及识别运动目标的研究进展缓慢。另一途径是图像法识别运动目标。图像法识别运动参数的基本原理是将物体用成像头(红外或可见光等)摄入后形成的图像信号序列送入计算机，经过对图像的预处理、特征提取、目标识别后，在连续图像序列中进行特征点匹配，进而解出目标物体的运动参数，实现对目标物体的搜索、识别和跟踪。一旦完成对目标及其运动参数的识别，就可以由伺服机构完成下一步的决策和处理。图像法识别是从输入图像和目标物体两个方面入手，通过对输入图像序列的处理，使其与目标样本库中的图像进行匹配，以达到识别目标的目的。该方法也存在着缺陷，比如，样本库可能非常大，不利于实时跟踪和处

10、理。4、详细阐述所选课题的目的和意义计算机视觉主要的诀窍在于从图像或图像序列中获取对世界的描述。毫无疑问，这是很有使用价值的。摄取图像通常不带破坏性，是安全的。它又是一件不费力的事，现在的成本也不昂贵。用户希望从图像中获取的描述对不同的应用可能性相差很大。例如，一种称为从运动求取结构的技术可以从图像序列中获取所见物体的描述以及摄像机的运动规律。娱乐产业中人们利用这种技术来构造建筑物的三维模型，此时人们关注结构而忽略运动信息。这些模型可以应用到实际建筑物无法使用的场合，如火灾、爆炸等场合。只要利用数量很少的一组照片就可以构造出好的、简单准确的、令人信服的模型。而用这种技术来控制移动机器人时，人们

11、一般关注运动，而将结构舍弃。这是因为，一般仅知道机器人工作的某些方面。而并不知道机器人在这个区域的准确位置。可以从固定在机器人上摄像机的运动信息中确定机器人的位置。计算机视觉还有许多其他方面的重要应用，其中之一是医学图像的处理与理解。人们可以设计软件系统来增强图像，或鉴别重要的现象或事件，或通过成像获得可视化信息。另一种应用是：检验人们对物体拍摄的图像，以便确定它们是否符合规定。第三种应用是卫星图像的理解。这既可用于军事目的，如编制程序来确定进来有没有与军事有关的现象在给定的地区内发生，或估计轰炸所引起的损害，也可运用于民用的目的。第四个应用是对收集的图片加以组织与结构化。和其他计算机视觉技术

12、一样，三维人体动态识别技术也广泛用于制造业、医学工程、检验、文档等多个领域。另外，该项目中间生成的三维重建模型可作为计算机图形学三维人体模型二次开发素材，动态特征捕捉也为3D图像处理带来方便，可以说带来了一种新的三维动画设计手段。而在识别检测领域，医学三维识别系统可以看做这项技术在这个领域中的推广。最后还可以在加强快速捕捉检测技术的情况下作为电子警察系统中的交通肇事检测。总之，这个技术的研究具备广泛的前景，拥有很大的实用价值。5、根据选题所要完成的工作和预期成果及成果形式所要完成的论文工作:1、 理论工作（1） 获得摄像机内外参数为获得真实的三维场景与视频序列的映射关系正确，必须首先求解出摄像

13、机的内外参数，实现摄像机自定标。另外，为提高准确性，也利用了真实场景中已存直线、平面的特殊的位置关系作为约束条件，估计单应性矩阵。（2） 人体检测算法针对视频图像的噪声和背景问题，经过定标的摄像机系统应可以完成对人体的检测，通过背景差等方法抽出身体图像，使用一个矩形框对其标定。这个算法中应该包含比例分割、部位确定和模型区域匹配功能。（3） 运动跟踪算法为定量把握人的动作，引入表示身体结构与位置/姿势的模型。对于从图像中所抽出的身体图像，通过匹配身体结构模型来决定位置与姿势。从连续图像间的变化可以推断位置/姿势的变化。（4） 运动识别算法作为动作的识别方法，可采取隐马尔科夫模型和运动动作进行识别

14、的研究，同时也提出了对模式识别方法扩展后得到的一些方法。然而，由于运动图像的信息量大，对捕捉特征要求高，故多采取跟踪方法。一般而言，对于线性系统，总能通过推理的方式实现运动分析，例如线性动态模型的卡尔曼滤波方法。2、 系统实现（1） 利用视频实现人体检测，在复杂背景中分离人体及人体区域匹配（2） 建立人体模型，本项目采取多关节的刚体模型，配合蒙皮骨骼动画实现运动捕捉（3） 以XNA和托管Direct 3D作为开发工具，实现运动动画计算机模拟（4） 运用matlab进行模式识别研究并在系统中实现模式识别功能（5） 实现远程控制云台的硬件平台及其软件控制本课题最终成果如下：建立一个运动识别系统，该

15、系统可以对人体进行跟踪检测，并有效识别待测人体项目完成后发表核心期刊水平以上论文一篇，内容具体涉及本项目的实施过程中遇到的各种问题及解决方案，以及项目的更进一步的发展展望和项目意义。同时，拟申请专利一项。6、拟采用的研究方案和要解决的关键技术问题（一）项目内容及具体方案（1）基本工作原理本系统总体思路为，首先通过双目视觉系统采集两个二维视频流，在经过简单预处理后，对优化后的二维视频流进行特征判定。特征判定后将这些特征数据对比与标准人体模型在系统中重建一个三维动态人体模型，通过识别其预先存在与否决定输出匹配信息或继续学习，最后完成整个系统功能。本系统工作框图见下：（2）工作功能概述信息采集系统：

16、图像方面，本项目采用多点视觉系统，将一个三维实体投影到多个摄像机当中，后期处理为三维立体模型。另外，面对一个新的待学习人体，还需输入个人基本信息作为识别依据。预处理：将采集的二维图像组或视频流经过噪声消除、边缘处理和归一化处理。这样的二维视频处理有助于筛选人体图景，为后续操作做好准备三维标准人体模型：数据库中按照成年男女分别建立两个标准人体模型。该模型包含后续的静态特征和动态特征。静态特征：即个人外形轮廓、身高、体型等与个人当前运动状态无关的变量。这个特征的提取有动态采集和静态采集两种，分别对应于视频或图片输入。动态特征：即一个人的姿势特征。动态特征含义广泛，本项目针对走路、站立、坐姿三种基本

17、姿势分别建立三个动态特征标准动作姿势库，判断和识别时也仅仅针对这三个特征进行匹配识别。静态特征捕捉：本系统利用多摄像头及其几何位置恢复三维空间坐标。具体说来，三维空间中一个点会在每个摄像头所在平面留下投影，利用这些投影及相关数据可恢复空间坐标信息，并重建三维静态曲面。这些曲面贴在标准人体模型中达到重建三维静态人体模型目的。动态特征捕捉：将人体按照关节划分为多个多边形区域，在摄像中跟踪每个区域的变化情况，去掉无关数据后作为这个人的动态特征并在标准动态特征的基础上修改相应的值，最终获得个人的动态特征捕捉。三维重建：综合两个部分的三维模型特征，系统将实现一个人的完整三维重建，这样的三维模型包括一个人

18、的外形特征、走路常见姿态、站姿和坐姿的常见形态。完成后这些数据存入缓存备用。数据管理：本项目需要对个人静态特征、动态特征和基本信息进行有效管理，建立支持动态三维模型的存储、查找、调用、修改等操作的数据库。匹配识别：将待测物体重建完毕后，搜索三维模型库，找到可匹配的模型后返回此人个人基本信息，如姓名等。若找不到匹配目标，则可确定此人未被预先学习过，要求输入个人信息后存入数据库中。（二）技术路线（1）身体图像的抽取 由于在差分图像里除人体轮廓外还有因噪声二产生的各种区域，需要区分。小的噪声可以通过预先对图像实施平滑处理，对差分图像反复实施缩小与扩大来消除，通过以上操作来抽出身体图像。之后，从中找出

19、头与手脚等的身体各部位。这里，直接利用皮肤颜色找到脸和手的位置。在身体站立时，直接利用比例关系确定各部位位置。（2）身体的结构、位置、姿势和动作模型本项目中，表示身体结构的模型为多关节模型，即通常所说的人体刚体模型（3）姿势的推断 通过使图像上的身体图像与模型匹配，推断身体的姿势的问题使用前项的身体模型可进行合理描述。在身体的位置/姿势参数中，先给出最上位的父以外的部位位置向量，推断所有姿势参数和最上位的父的位置向量，推断方法大体而言有基于探索的推断法和机遇对应连接的逆推断法。总体而言，这样的跟踪问题完全可以视为一个推理问题。（4）动作的推断 如果在视频的每个帧里使模型与身体图像进行匹配，作为

20、结果可以进行跟踪，获得姿势参数的时间序列。但是，对每个镇进行匹配需要很大的计算量，另一方面，姿势的变化部分可以进行简单的推断。因此，如果只对跟踪开始的帧进行的计算量大的模型匹配，而在图像间按帧的顺序累积推断姿势变化量，跟踪就变得很容易了。这样一来，在身体模型与身体一致时，给出身体的位置/姿势参数，此时的问题就是求解表示位置与姿势变化量的运动参数。（5）人体的识别 根据以上信息，可大体确定人体动作模型及运动姿势/动作，利用聚类分析即可返回该被测人体的运动状态。结合其外形特征和运动习惯，建立特征向量，从而达到对人体的识别。这里要提下针对外形进行的识别方法。由于目标是三维的，故不可直接采取二维的模式识别手段。在这里，可采取类似于放射迭代的技术，将三维物体转化为一组组二维图像进行识别，降低识别维数。