基于ARM嵌入式的人机交互手势识别技术.docx

基于ARM嵌入式的人机交互手势识别技术.docx

《基于ARM嵌入式的人机交互手势识别技术.docx》由会员分享，可在线阅读，更多相关《基于ARM嵌入式的人机交互手势识别技术.docx（10页珍藏版）》请在冰点文库上搜索。

基于ARM嵌入式的人机交互手势识别技术

基于ARM嵌入式人机交互的研究与应用之阿布丰王创作

时间：

二O二一年七月二十九日

院（系）名称

信息工程学院

专业名称

光电信息工程

学生姓名

熊凤华

学生学号

1101021065

2014年10月26日

摘要

人机交互过程中获得人的举措是一个关键,为了实现手部姿态的实时跟踪控制,分析了手形及手部的运动形式和特点,研究设计了一种基于嵌入式系统的手部姿态跟踪控制系统.所研究实现的手部姿态跟踪控制系统能够较好地实现手姿态的跟踪,出了一种在单摄像头条件下基于嵌入式系统的手势识别方法.通过拟合手势图的外接多边形,找出其所对应的手势缺陷图,并建立手势与手势缺陷图的一一映射,利用手势缺陷图的特征来匹配和识别分歧的手势.算法还将手势的跟踪与识别有机地统一起来,通过预测下一帧中手势呈现的粗略位置年夜年夜降低识别步伐的计算量.该算法在实际应用的嵌入式平台下,能快速、准确地实现手势的识别,能够满足实时人机交互的要求.该系统采纳ARM9架构和Linux实时把持系统作为开发平台,设计开发了系统的应用法式,通过静态手势识别算法,实现了连续手姿态的识别,具有较高的实时性.

关键词：

；手势识别；手势缺陷图；嵌入式系统；人机交互

Abstract

Thekeypointinhuman—computerinteractionprocessistoobtainthemovementofthepeople．Thispaperanalyzestheshapeandthemovementcharacteristicsofthehand.forrealizingthehandgesturerecognitionandcontrolintime．Andthenthehandgesturetrackingcontrolsystembasedonembeddedsystemisdesigned．Thispaperproposednovel|real-timegesturerecognitionapproachbasedonembeddedsystemtocapturethemotionofhandgesturewithsinglecamera．Theproposedapproachfoundoutitscorrespondingdefectmapbyfittingtheexternalpolygongraphicsgestures,andestablishedgesturesanddefectmapsofmappingandthenmatchedthecharacteristicsofgesturesusingdefectmap．Italsocombinedhandtrackingwithgesturerecognition,reducingtheamountofcalculationbypredictingtheapproximatepositionofhandinthenextframe．Experimentalresultsshowthattheproposedmethodcallworkefficientlyandaccuratelyunderembeddedplatform,andthusitcanmeettherequirementsfromreal—timevision—basedhuman-computerinteractio．ThissystemappliestheARM9architectureandreal—timeoperatingsystemofLinuxasasoftwaredevelopmentplatform,andthentheapplicationprogramsofthesystemaredesigned．Meanwhilethecontinuoushandgestureisidentified,throughusingdynamichandgesturerecognitionalgorithms．Thesystemdesignedinthispapercanachieveabettertrackingofhandgestures,andthesystemhasthehighreal—timeperformance．

Keywords:

：

；gesturerecognition；convexitydefect；embeddedsystem；HCI（Human-Computerinteraction）

引言1

1ARM嵌入式平台简介2

2手姿态跟踪设备控制系统模型的建立2

2.1手姿态的建模与输入3

2．2控制系统模型3

3嵌入式系统软件实现关键技术4

3.1系统软件总体结构4

3．2手姿态跟踪应用法式4

3．3手姿态识别算法5

4结束语7

参考文献8

引言

人机交互一般是指人与计算机系统的交互,通常是通过计算机系系统的输入,输出设备,以有效的方式来实现的,嵌入式系统作为以应用为中心、以计算机技术为基础,软件硬件可裁剪,适应应用系统对功能、可靠性、本钱、体积、功耗严格要求的专用计算机系统,其人机交互的实现同样需要硬件的支持和相应的软件协同来完成.而本文将只对基于ARM的手势识他人机交互系统进行介绍.手势交互是人机交互领域近年来的研究热点,特别是利用摄像头来实现敌手势信息的非接触性捕捉.并由计算机进行分析理解,然后完成交互任务,由于其自然和符合人自身行为习惯的交互方式而备受青睐.手势的形态在交互过程中的变动以及周围环境的干扰城市影响到手势的识别和理解．因此手势识别是计算机视觉和人机交互领域中的重要问题,如何将这种交互方式更好地在嵌入式系统中应用更是—个富有挑战性的工作.

基于视觉的手势识别过程通常分为四个步伐,即分割、表示、识别和应用.手势识别算法的关键和难点是分割和识别两个步伐.现有算法在这两个步伐通常都有计算量年夜、时同复杂度高的特点,而嵌入式设备又受到资源和计算能力的限制.要能够做到基于嵌入式系统的实时手势交互,就有需要对传统的手势识别算法进行改进.

本文在单摄像头条件下,在手势跟踪的相关工作基础上,提出了一种基于手势结构特征的手势识别方法,使之满足嵌入式系统中的人机交互对实时性、准确性及连续性的要求.本文使用了计算量小且性能高的Camshift算法作为跟踪算法uJ.并将其跟踪结果作为手势识另外参考因子,这样可以年夜年夜减少手势识另外工作量；手势的识别则采纳了手势跟踪结果与手势形态结构特征相结合的处置方法.将手势跟踪的结果作为参考因子,可以除去图像中与手势无关的布景图像．利用手势形态结构特征使到手势识别工作不是敌手势边缘的每个点进行处理,转而敌手势的外接多边形进行处置.这两种方法相结合不单使识别工作的计算量年夜年夜降低,敌手势识另外精确度也有所提高,而且不需要对各种手势进行训练就可以完成识别工作,使得识别更加方便和简洁.

1ARM嵌入式平台简介

嵌入式系统[23融合了微电子、计算机科学、通信和电子工程等多种技术,广泛应用于航天、航空、仪器仪表、工业控制、通信、信息家电等各个科技领域和日常生活的每个角落,本文以基于ARM的嵌入式Linux把持系统作为系统开发平台.作为嵌入式系统的核心——嵌入式处置器ARM,我们采纳三星公司的$3C2440,这是一款以ARM920T为核心的32位RISC处置器,具有低价格、低功耗、高性能等特点.嵌入式Linux[3‘43是嵌入式把持系统的一个新成员,其最年夜特点是源代码公开,用户可以任意修改以满足自己的应用；遵从GPL,无须为每例应用缴纳许可证费；有年夜量的应用软件以及免费的开发工具；有庞年夜的开发人员群体,软件的开发和维护本钱很低；具有优秀的网络功能；运行稳定；内核精悍,运行所需资源少,十分适合嵌入式应用.

2手姿态跟踪设备控制系统模型的建立

手势不单由骨胳肌肉驱动,而且还受人的信念、意识的驱使,它是涉及到人的思维活动的高级行为,从用户发生手势到系统“感知”手势的过程,手的姿态是手势的暗示形式,用户的把持意图是用户要完成任务的内容,即用户心理活动（概念手势）,经过运动控制（变换）,用手势运动表达.经由跟踪设备将手的运动变换为系统的输入信息.如图1所示.

图1手姿态跟踪系统框图

2.1手姿态的建模与输入

手势的语法信息是通过手的构形、手的运动变动来传递.人手是一个多肢节系统,随着关节的运动,手的形状在不竭变动,这种变动可以通过指段和关节的状态空间位置的变动来描述酯],即建立手的几何模型和运动学模型.根据手部运动的特点,本文选择每个手指设置2～3个传感器,分别用来丈量手指关节的转动.

2．2控制系统模型

嵌入式控制系统软件平台应包括：

嵌入式实时把持系统、硬件驱动法式、图形库与运行环境、实时数据库管理与通信、人机界面和用户应用法式.本控制系统的总体设计由收集传输单位和控制单位2部份组成,如图2所示.信号收集传输单位是由传感器收集数据,然后将收集到的数据传送给A／D模块,经串口模块发送到控制单位,控制单位接收数据后由ARM嵌入式把持系统的控制法式进行数据处置,最后实现上位机的手姿态跟踪硅示.

图2控制系统模型

3嵌入式系统软件实现关键技术

3.1系统软件总体结构

控制系统软件由主法式／子法式、中断子法式组成.主法式／子法式主要包括手姿态信号收集设备及ARM的硬件初始化法式、信号处置法式、控制法式、输出法式等.整个软件的设计思路是基于2条线索：

在纵向上,函数的层级调用采纳传递被把持对象数据结构的指针方式进行；在横向上,将对象分类,提取共性,建立对象实体,各实体均由指针指向.

3．2手姿态跟踪应用法式

根据系统的信号量进行软件编程,为了提高法式的可移植性,为将来该系统功能扩展预留空间,整个软件系统采纳分模块、分条理的方法设计,采纳汇编语言实现对寄存器的读／写以及对中断的控制,并为上层的开发提供灵活的接口.上层采纳C语言编写,通过调用底层函数来间接对硬件资源进行把持.这样编写法式使整个系统结构清晰,法式可移植性和可扩展性增强,而且占用硬件资源少,为系统功能的扩展和进一步开发预留充沛的空间.

图3主法式流程图

整个软件系统由主法式、手势识别功能模块子法式、中断服务子法式和手姿态输出子法式等组成.主法式负责整个系统的协调和控制工作,通过调用分歧的子法式来实现分歧的功能,主法式流程如图3所示.上电后首先进行设备的初始化,包括存储器映射与仓库的初始化、硬件的初级初始化、向量表的拷贝以及其他与C运行环境相关的修改等,以减少系统的启动损耗.由于系统应用法式需要工作在分歧的模式中,而分歧的模式具有分歧的仓库寄存器（SP）用于保管仓库指针,因此初始化分歧工作模式的仓库指针是必需的,在c库的初始化过程

中使用user—initial—stack—heap（）函数初始化堆及仓库,为了使我们自己已设置的堆及仓库有效,必需重写user—initial—stack—heap（）函数对C运行初始化修改,主代码如下：

{struct—initiaLstackheap—config；

Config．heap—base=（unsignedint）bottom_of_heap；

Config．stack_base—SP；

returneonfig；}

初始化后设置判断点保管CPSR以及PC值,调用手姿态识别子法式进行手姿态识别判断,在执行循环的过程中,如果有异常发生,ARM核读取相应中断向量表的内容,分析内容,最终法式跳转至中断服务子法式入口,执行中断服务子法式,中断服务子法式执行结束后,法式返回到被异常中断的地址处继续执行主法式,进行下一个手姿态的跟踪识别.

3．3手姿态识别算法

3．3．1模板匹配算法[6]

SCG神经网络能够有效地进行静态手势识别,从而完成手势分割.手势分割构成可能的手势集合,将集合中所有可能的手势经静态时间规整算法预处置后,用该文提出的模板匹配法进行手势识别.模板匹配法是利用预界说的模板门限向量G和相关度运算,敌手势进行筛选,完成静态手势的识别.具体做法如下：

设已识别出手势的开始状态S和结束状态e,它们分别对应手势集合S和手势集合E,寄存具有相同开始点和结束点的所有手势标号.模板门限向量G的初值为G..若A=S

E≠

ɸ,将A中元素{a0,a1⋯．an）按从小到年夜顺序排序,取元素口.,并依据以下方法计算其相关度m.

Z=X—Y

（1）

矩阵X为从静态手势训练库中抽取的‰的样本值,矩阵y由经静态时间规整后的a0的中间特征数据构成.设它们的行列数分别为r和f,则相关度m为：

M=f（Z,G）

（2）

其中

这里的函数g（）用于计算矩阵Z的每一行与模板门限向量G的偏差.最终把每一行偏差的最年夜值求平均值,即得出所求的‰的相关度m.以此类推,计算A中所有元素的相关度,分别与模板允许的最年夜偏差值硼比力,从所有满足要求的手势中选取最优手势作为输出结果.

3．3．2静态手姿态识别

图4静态识别算法流程图

主法式中调用的手姿态识别子法式采纳了静态手势识别算法,静态手势需用一段时间内手的空间特征的一组丈量序列值来暗示,手势的特征数据通过装置于手上的传感器获得,首先进行特征数据的预处置,将数据分为手指数据（弯曲、旋转）和手掌数据（旋转、位移）2种.这2种数据在数学建模方面是一致的,具有相同的处置方法.以手指数据为例：

将手指特征值输入SCG神经网络,用于识别手势的开始状态s和结束状态e,并同时记录7z个中间数据向量.接下来通过静态时间规整算法,将手势中间数据规整到固定长度,再利用模板匹配算法,处置手势集合S和集合E,进行静态手势的识别,输出识别结果.当2组数据的识别全部完成后,完成以后静态手势的识别,并将结果反馈给上位机虚拟环境,控制虚拟环境做出相应的响应,如图4所示.

4结束语

本文针对人机交互领域基于视频手势在嵌入式系统上的实时交互任务提甘j一种快速、计算量小的手势识别方法.它结合了基于模型与基于表观方法的特点．是建立在对目标对象一手势的理解基础上．通过识别静态手势实现了手势的跟踪与识别.与传统的手势识别系统分歧,它在注重识别效果的同时还要注重算法的计算复杂度.通过使用手势轮廓缺陷图作为手势识另外特征结构．不单年夜年夜减少了计算量．由于缺陷图是从

整体结构刻画手势的结构．所以它还增强了手势识另外鲁棒性.实验标明本文提出的方法可以满足交互的实时性要求,能很好地用于手势交互的应用系统.结合静态手势识别与嵌入式系统的特点,设计实现了一种静态手姿态跟踪设备.根据系统的总体构架和设计思想,给出了系统软硬件的设计和实现,系统已开发完成,基本到达各项预定指标要求.

参考文献

[1]曾芬芳．3D交互输入新技术——手势识别[J]．信息与控制,2001,30（7）：

719-720．

[2]黄志武．基于ARM的嵌入式系统开发[J]．孝感学院学报,2007,27（3）：

60-60．

[3]毛文字．基于嵌入式的Linux的应用法式开发[J]．中国科技信息,2007,15：

106—106．

[4]王乾,何波．基于嵌入式I．inux的打印控制系统的设计口],微计算机信息,2007（23）：

101—102．

[5]焦圣品．虚拟现实中基于手势的交互技术[D]．上海：

上海交通年夜学博士论文,1999．

[6]曾芬芳．虚拟现实技术[M]．上海：

上海交通年夜学出书社,1997．

.

时间：

二O二一年七月二十九日