目标跟踪算法的研究.docx

目标跟踪算法的研究.docx

《目标跟踪算法的研究.docx》由会员分享，可在线阅读，更多相关《目标跟踪算法的研究.docx（28页珍藏版）》请在冰点文库上搜索。

目标跟踪算法的研究

Documentserialnumber【UU89WT-UU98YT-UU8CB-UUUT-UUT108】

目标跟踪算法的研究

摘要

图像序列目标跟踪是计算机视觉中的经典问题，它是指在一组图像序列中，根据所需目标模型，实时确定图像中目标所在位置的过程。

它最初吸引了军方的关注，逐渐被应用于电视制导炸弹、火控系统等军用备中。

序列图像运动目标跟踪是通过对传感器拍摄到的图像序列进行分析，计算出目标在每帧图像上的位置。

它是计算机视觉系统的核心，是一项融合了图像处理、模式识别、人工只能和自动控制等领域先进成果的高技术课题，在航天、监控、生物医学和机器人技术等多种领域都有广泛应用。

因此，非常有必要研究运动目标的跟踪。

本论文就图像的单目标跟踪问题，本文重点研究了帧间差分法和背景去除法等目标检测方法，研究了模板相关匹配跟踪算法主要是：

最小均方误差函数（MES），最小平均绝对差值函数（MAD）和最大匹配像素统计（MPC）的跟踪算法。

在跟踪过程中，由于跟踪设备与目标的相对运动,视野中的目标可能出现大小、形状、姿态等变化,加上外界环境中的各种干扰,所要跟踪的目标和目标所在的场景都发生了变化,有可能丢失跟踪目标。

为了保证跟踪的稳定性和正确性,需要对模板图像进行自适应更新。

由于目标运动有一定得规律，可以采取轨迹预测以提高跟踪精度，本文采用了线性预测法。

对比分析了相关匹配算法的跟踪精度和跟踪速度；对比不采用模板更新和模板跟新的跟踪进度和差别，实验表明，跟踪算法加上轨迹预测及模板跟新在很大程度上提高了跟踪帧数，提高了跟踪精度，具有一定的抗噪声性能。

关键词：

目标跟踪，目标检测，轨迹预测，模板更新

ABSTRACT

Targettracking,imagesequenceisaclassiccomputervisionproblems,itisdefinedasasetofimagesequences,inaccordancewithrequirementsofthetargetmodel,real-timeimagestodeterminethelocationofthetargetprocess.Itinitiallyattractedtheconcernofthemilitaryhasgraduallybeenappliedtotelevision-guidedbombs,firecontrolsystemsformilitarypreparation.Movingtargettrackingsensoristakenthroughtheimagesequenceanalysis,tocalculatethetargetimageineachframeposition.Itisthecoreofcomputervisionsystemisacombinationofimageprocessing,patternrecognition,artificialonlyandtheresultsofautomaticcontrolinareassuchasadvancedhigh-techissuesintheaerospace,control,biomedicalandroboticsfields,etc.Therearewidelyused.Thus,itisnecessarytostudythetrackingofmovingtargets.

Inthispaper,theimageofthesingle-targettrackingproblem,researchthetargetdetectionmethodismainlybasedoninter-framedifferenceandbackgroundremovalmethodtodetectthetargetinpreparationfortargettracking.Templatematchingtrackingalgorithmis:

thesmallestmeansquareerrorfunction（MES）,thesmallestmeanabsolutedifferencefunction（MAD）andthemaximummatchingpixelstatistics（MPC）ofthetrackingalgorithm.Inthetrackingprocess,duetotherelativecameramovementwiththegoal,thegoalofvisionmayoccurinsize,shape,gesture,suchaschangesintheexternalenvironmentcombinedwiththevariouskindsofinterference,aswellasovertime,totrackwherethegoalsandobjectivesscenechangeshavetakenplace,itispossibletotrackthetargetislost.Inordertoensurethestabilityandtrackingaccuracy,theneedforadaptivetemplateimageupdate.Sincethegoalofmovementmustbethelawoftheforecasttrackcouldtaketoimprovethetrackingprecision,thisarticleusesthesquareofthelinearpredictionmethodandpredictionmethod.

Analysisoftherelevantmatchingalgorithmtotrackthetrackingaccuracyandspeed;contrastdonotusetemplatesandtemplateupdateswiththenewtrackingtheprogressanddifferencesintheexperimentprovedthatthetrackingalgorithmwithtrajectorypredictionandtemplatestoalargeextentwiththenewframetoimprovetracking,Improvedtrackingaccuracy,whichhasstronganti-noiseperformance.

Keywords:

Targettracking，TargetDetection，TrajectoryPrediction，

TemplateUpdate

第1章绪论

本章首先讨论了目标跟踪的研究背景和意义；介绍了目标跟踪在国内外的研究现状；接着讨论了目标跟踪研究中面临的困难和待解决的问题；最后介绍了本文的主要工作和总体结构。

课题研究背景和意义

运动目标跟踪在军事、智能监控、人机界面、虚拟现实、运动分析等许多领域有着广泛的应用前景，在科学和工程中有着重要的研究价值，吸引了国内外越来越多研究者的兴趣。

图像序列中的运动目标跟踪，就是在各帧图像中检测出各个独立运动的目标，或是用户感兴趣的运动区域（如人体、车辆等），并且提取目标的位置信息，得到各个目标的运动轨迹。

其实质是通过对传感器获取的图像序列进行分析，得到目标在每帧图像中的位置、速度及加速度等特征参数。

图1-1目标跟踪原理图

国内外学者对目标跟踪算法进行了大量深入的研究，取得了令人瞩目的研究成果。

但是，现有的目标跟踪算法大多受限于特定的应用背景，跟踪算法还有待于进一步研究和深化，研究一种具有鲁棒性和实时性、适用性强的目标跟踪方法依然面临着巨大挑战。

目前，运动目标跟踪算法的主要难点有：

复杂背景下的运动目标提取、目标之间的相互遮挡以及目标与背景之间的遮挡、阴影处理、多摄像机的数据融合等。

尤其是遮挡和阴影问题，它们普遍存在于现实环境中，严重影响跟踪算法的可靠性和适用性。

本文重点研究了序列图像的几种常用跟踪方法。

国内外研究现状

目标跟踪就是通过对摄像机获得的图像序列进行分析，计算出目标在每帧图像上的二维位置坐标，并根据不同的特征值，将图像序列中不同帧之间同一运动目标关联起来，得到各个运动目标完整的运动轨迹，即在连续的图像序列中建立运动目标的对应关系。

目前，国内外学者提出了许多不同的跟踪算法和跟踪系统，可以按照不同的划分依据对跟踪算法进行不同的分类：

就跟踪对象而言，可以分为车辆跟踪、人体跟踪或人体部分跟踪（如跟踪手、脸、头和脚等身体部分）等；就跟踪目标个数而言，可以分为单目标跟踪和多目标跟踪；就跟踪视角而言，可以分为单摄像机的单一视角、多摄像机的多视角和全方位视角；还可以通过摄像机类型（红外摄像机、可见光摄像机）、摄像机状态（运动、固定）、跟踪空间（二维、三维）和跟踪环境（室内、室外）等方面来进行分类。

[2]

针对不同的研究对象有不同的跟踪算法，主要有以下几种跟踪算法：

1）基于特征的跟踪

为了实现目标跟踪，没有必要跟踪整个目标区域，只要跟踪目标的某些显着特征，就可以实现对整个运动目标的跟踪。

这些显着特征可以是目标的质心，也可以是目标上的任意一点，只要这些特征具有高度的稳定性，不易受外界因素如光照强度变化、噪声等因素的干扰，对目标大小、位置、方位不敏感即可。

为了提高跟踪的鲁棒性，往往不只选一个特征，而是选一组特征，在一般情况下，可利用的特征有：

角点、直边缘等局部特征和质心、表面积和惯量矩等全局特征，在实际应用中，采用什么特征主要取决于目标具有哪些特征以及算法实现的具体要求。

基于特征的目标跟踪方法利用跟踪特征点位置的变化来跟踪目标，首先，从图像序列中提取目标的显着特征，如拐点、质心或有明显标记区域对应的点、线、曲线等；然后在连续图像帧之间寻找特征的对应关系，即进行特征匹配，最后计算运动信息，从而通过对特征的跟踪来完成对整个目标的跟踪。

Polana将每个行人用一个矩形框封闭起来，封闭框的质心被选作跟踪的特征，在跟踪过程中，如果两人出现相互遮挡的情况，只要能区分质心的速度，就能成功地完成人体跟踪。

这种方法的优点是：

即使场景中出现部分遮挡情况，只要目标的一些特征可见，仍可以保持对运动目标的跟踪。

由于只跟踪已选择的显着特征，上一帧目标的特征在下一帧图像中的可能匹配数目大大小于相关跟踪算法，处理的数据量小，并且由于特征的精心选取，使得在光照和目标几何形状发生变化时，也能进行目标跟踪，具有一定的鲁棒性。

特征的选取对整个跟踪算法十分重要，关系到整个跟踪系统的可靠性和跟踪精度，它应具有对目标大小、位置、方向和照度变化不敏感的特点，如灰度局部极大值点、跟踪。

其不足是要求独立而准确地初始化边界，而这在实际应用中往往很难实现。

2）基于相关的跟踪

相关跟踪法，又叫模板匹配法，其主要思想是：

将目标的基准图像（模板）在实时图像中以不同的偏移值进行位移，然后根据一定的相似性度量准则对每一个偏移值下重叠的两个图像进行处理，计算两者的相关值，根据最大相关值确定实时图像中目标的位置。

简单地说，就是在当前帧中寻找与上一帧目标相关性最大的区域。

相关跟踪法具有很强的噪声抑制能力，可以在很小的信噪比条件下工作，它具有对有关目标的知识要求甚少、定位精度高、跟踪距离远、可靠性高和较强的局部抗干扰能力等优点，而且计算简单，易于编程和硬化。

由于它只利用图像间的灰度相关性作为区域相似性的判断依据，对几何和灰度畸变十分敏感，光照强度变化或目标运动姿态发生变化等都将对算法产生较大的影响，计算量偏大。

而且往往不能充分利用目标的几何特性，易产生积累误差，它适用于实时图像与参考图的产生条件较为一致，目标尺寸变化很小，景物与目标的相关性不强的场合。

3）基于运动估计的跟踪

基于运动估计的跟踪方法是利用图像序列中目标的运动信息来对目标进行跟踪的一种方法。

运动信息又称为光流，基于光流估计的方法，利用了灰度的变化信息，首先，从图像序列的灰度变化中计算速度场，一般需要计算灰度的一阶导数和二阶导数；然后利用一些约束条件从速度场中估计运动参数和物体结构。

光流方法又分局部光流法和全局光流法，局部光流法能够准确的反映出运动边缘处的运动信息，但是对于图像中的弱纹理区域不敏感；全局光流法能够得到每个像素处的光流，但是对于运动边界处的光流变化不敏感。

由于噪声、多光源、阴影和遮挡等原因，使得计算出的光流分布不是十分可靠和准确，实际景物中的速

度场不一定总是与图像中的直观速度场有唯一对应关系，且偏导数计算会加重噪声水平，计算复杂，使得基于光流的方法在实际应用中常常不稳定。

尽管目标跟踪算法可以大致分为上述几类，但是这些方法并不是孤立的，在进行目标跟踪时，为了保证跟踪的可靠性和准确性，常常混合使用几种算法以得到更好的跟踪效果。

本文的具体结构安排

第一章绪论，详细阐述了目标跟踪的研究背景和意义，总结了国内外研究的发展现状，讨论了目前目标跟踪存在的困难和不足，指出了本文重点解决的问题。

第二章主要研究了帧间差分法、时间差分法和背景去除法及算法和各自的适用范围。

第三章匹配方法和目标搜索算法，重点用最小平均绝对差值函数（MAD）做了跟踪算法实现跟踪。

第四章模板更新，由于目标的大小在变化及拍摄设备姿态的变化等导致目标变化，因此必须采取模板更新，已保证跟踪精度。

第2章运动目标检测

目前，已经有许多标准的算法用于运动目标检测，它们具有不同的效果和复杂度。

在实际应用中，运动目标的提取通常不是采用单一的检测算法，而是对某一算法进行改进或是综合运用几种算法以求达到更好的效果。

无论采用哪种目标检测算法，都应该满足以下几个条件：

能够准确地从图像序列中检测出运动目标；操作简便、快捷以及适应实时系统的要求；对天气、光照等环境变化不敏感，且对于摄像机振动或由其它情况引起的噪声有很好的鲁棒性；所需要的先验信息越少越好。

运动检测主要有三种方法：

光流法、时间差分法和背景去除法。

光流法在摄像机运动的条件下也能检测出独立的运动目标，然而大多数的光流计算相当复杂，不能够用于实时处理。

时间差分检测法对于运动环境具有较强的自适应性，但一般不能完全提取出所有相关区域的像素点，在运动实体中容易产生空洞现象。

背景去除法适用于固定摄像机的情形，它先为背景建立背景模型，通过将当前图像帧和背景模型进行比较，确定出亮度变化较大的区域，即认为是前景区域。

这种方法计算速度很快，可以获得完整的运动区域，但对于场景中光照条件和噪声比较敏感，在实际应用中需要采用一定的算法维护和更新背景模型，以适应环境的变化。

[10]

本章首先简单概述了目标检测算法，然后详细介绍了本文使用的自适应背景去除算法，接着针对阴影对目标检测的影响，本文从色彩和光照不变性的角度，分析和讨论了阴影的特性，提出了一个新的可用于阴影去除的算法，提高了阴影去除率，最后介绍了噪声处理和区域标记方法。

检测算法及概述

运动目标检测就是对包含运动信息的图像序列进行适当地处理，从而去除静止的背景，检测出运动目标及其携带的运动信息，并对这些运动信息进行整合，得到关键参数，为视觉系统的后续阶段提供可靠的数据源。

运动目标的检测原则是要尽可能保留那些对视觉检测有重要意义的特征信息，同时最大限度地摒弃那些对运动目标检测无用的冗余信息。

人们总是希望有一个通用的运动检测算法，能适用于各种环境，在各种场景中都能很好地工作。

但是，在实际应用中，由于动态场景的光照变化、阴影、目标之间的遮挡现象以及摄像机的抖动等问题的存在，要得到一个通用的运动目标检测算法是十分困难的，研究者不得不在算法的复杂度、可靠性以及实时性等方面综合考虑。

目前，研究人员已经在这方面做了大量的研究，提出了许多方法。

下面简单介绍目前常用的几种方法：

连续帧间差分法是将连续两帧进行比较，从中提取出运动目标的信息，基本运算过程如图2-1所示，

图2-1连续帧间差分法的示意图

首先，利用公式2-1计算第k帧图像与第k-1帧图像之间的差别，得到差分后的图像

;

（2-1）

其中：

，

为连续两帧图像，

为帧间图像。

然后对差分后图像Dk使用图像分割算法（公式2-2）进行二值化处理，即认为当差分图像中某一像素的差大于设定的闭值时，则认为该像素是前景像素（检测到的目标），反之则认为是背景像素;

（2-2）

按照上面介绍的连续帧间差分方法，我们对室外的运动目标进行了检测实验，实验结果如下图所示。

由于本图帧之间的变化很小，因此选取相邻几帧来做

（a）（b）

（c）

图2-2采用连续帧间差分法的效果图

连续帧间差分方法在动态环境下的自适应性是很强的，但是这样分割出来的区域实际上是物体前后两个位置的“或”区域，比物体实际所在的区域要大。

采用连续帧间差分方法检测目标时，需要考虑如何选择合适的时间间隔。

[9]一般时间间隔依赖于所监视的物体的运动速度。

对快速运动的物体，需要选择较小的时间差，如果选择得不合适，最坏情况下目标在前后两帧图像中没有重叠，造成被检测为两个分开的物体;而对慢速运动的物体，应该选择较大的时间差，如果选择得不适当，最坏情况下目标在前后两帧图像中几乎完全重叠，根本检测不到物体。

针对这些问题有许多的改进方法，例如提出三帧差图像法，利用三帧图像计算出两个差分图像，再令对应像素相乘。

这种方法检测运动目标仍然存在不完整问题

Lipton等利用两帧差分法从实际视频图像中检测出运动目标，进而用于目标的分类与跟踪；一个改进的方法是利用三帧差分来代替两帧差分，如VSAM使用一种自适应背景减除与三帧差分相结合的混合算法；为了提高差分法的性能，Jain提出了累积图像差分法.

帧间差分法其主要优点是：

算法实现简单、复杂度低、实时性高，由于相邻帧的时间间隔较短，对场景光照的变化不太敏感，受阴影的影响也不是很大，时间差分法对动态环境有较好的适应性。

[1]

然而，在实际应用中目标检测的结果往往不太令人满意，其主要问题是：

当目标表面存在像素均匀的大区域时，时间差分法将在目标的上述区域产生“空洞”而使目标被过度分割成多个区域，只能检测出运动目标的一部分；另外由于目标的运动，前一帧中被目标遮挡的背景部分在当前帧中将暴露出来，使得这部分背景也被认为是运动区域；同时这种方法所检测到的运动区域的大小与目标的运动速度有关，目标运动速度越大，检测出的区域就比实际的区域越大，而当目标运动很缓慢时，往往检测到的区域很小，甚至无法检测到目标的运动。

背景去除法是目前运动目标检测中最常用的一种方法，它是利用当前帧图像和背景图像（参考帧图像）的差分来检测运动区域的一种技术，即将当前帧图像与背景图像相减，若差值大于某一阈值，则认为此像素点为运动目标上的一点，阈值大小决定了检测算法的灵敏度。

[4]

在背景去除法中，背景图像的选取直接关系到最终检测结果的准确性。

在理想情况下，即背景图像是完全静止的，而且具有运动目标的图像除了运动区域的像素值发生了变化，其余属于背景的部分保持不变。

背景去除法可以简单地表示为：

=

（2-3）

（2-4）

式中

（i,j）表示背景图像。

当前帧图像（a）背景图像（b）

背景去除后的目标（c）

图2-3采用背景差分法的效果图

与时间差分法相比，背景去除法能够提供比较完整的运动目标信息，得到较准确的目标图像，而且速度快，能适应实时系统的要求。

但随着时间的推移，对光照和外部条件造成的场景变化比较敏感，会出现许多噪声点，影响目标检测结果。

在实际应用中，场景中的背景很复杂，存在各种各样的干扰，而且背景随着时间不断变化，所以适用于整个图像序列的理想背景是不存在的，因此使用背景去除法的主要困难在于背景模型的建立和维护。

一般来说，背景模型需满足以下要求：

1）能适应背景随时间的缓慢变化，如一天当中不同时间里的光照变化；

2）能适应背景物体的变化，如场景中移入新的物体，背景中的物体移出场景等变化；

3）背景模型能描述背景中的一些较大扰动，如树叶晃动、日光灯闪烁等；

4）能适应光照亮度的突变；

5）能够消除前景物体的阴影；

6）能够处理前景物体与背景相似的情况，如人体衣服的颜色与背景中某个物体的颜色相似。

对于这些问题，可能的解决办法是：

不断更新背景模型，使得背景模型具有自适应的功能，解决背景物体发生变化的影响和光照渐变的影响；对于室外树叶的摆动、日光灯的闪烁等情况，可以建立多模的背景模型，如利用混合高斯模型对背景像素建模；对于前景和背景颜色相似的，可以利用能够测量深度的摄像机捕获图像以及图像中对应于各像素点的深度信息；虽然阴影使得像素点的强度变化比较大，但是其色度信息几乎保持不变，可以利用色度信息把阴影从前景中消除。

目前许多研究人员致力于背景模型的研究，希望能够减少动态场景对于准确检测的影响。

主要有基于统计的模型（高斯模型）和基于预测的方法（卡尔曼滤波、维纳滤波等）。

如Haritaoglu等利用最大、最小强度值和最大时间差分值为场景中的每个像素进行统计建模，并且进行周期性的背景更新；McKenna等利用像素色彩和梯度信息相结合方法来建立自适应背景模型。

光流是运动物体被观测面上的像素点运动产生的瞬时速度场，它包含了物体三维表面结构和动态行为的重要信息。

一般情况下，光流由相机运动、场景中目标的运动或两者的同时运动产生的。

当场景中有独立的运动目标时，通过光流分析可以确定运动目标的数目、运动速度、目标距离和目标的表面结构。

光流研究已经在环境建模、目标检测与跟踪以及视频事件分析中得到了广泛的应用。

光流计算方法大致可以分为三类：

基于匹配的方法、基于频域的方法和基于梯度的方法。

[9]

光流法的基本原理是：

给图像中的每一个像素点赋予一个速度矢量，形成一个图像运动场，在运动的一个特定时刻，图像上的一点对应三维物体上的某一点，这种对应关系可由投影关系得到，根据各个像素点的速度矢量特征，可以对图像进行动态分析。

如果图像中没有运动目标，则光流矢量在整个图像区域是连续变化的，当物体和图像背景存在相对运动时，运动物体所形成的速度矢量必然和背景速度矢量不同，从而检测出运动物体的位置。

设图像上的点（x,y）在时刻t的亮度为f（x,y,t），经过时间Δt后对应点的亮度

值为f（x+Δx,y+Δy,t+Δt），当Δt→0时，可以认为亮度不变，于是有：

f（x,y,t）=f（x+Δx,y+Δy,t+Δt）（2-5）

上式用泰勒公式展开得：

（2-6）

由于Δt→0，因此忽略二阶无穷小项，得：

（2-7）

所以：

（2-8）

即：

（2-9）

其中，

分别为x和y方向的光流分量。

式（2-9）给出了光流计算的一个方程，又称为光流约束方程（OpticalFlowConstraintEquation）。

光流约束方程对每一个像素点来说都是一个含有两个变量的方程，