基于计算机视觉的行人检测技术的发展.pdf

基于计算机视觉的行人检测技术的发展.pdf

《基于计算机视觉的行人检测技术的发展.pdf》由会员分享，可在线阅读，更多相关《基于计算机视觉的行人检测技术的发展.pdf（4页珍藏版）》请在冰点文库上搜索。

25651引言对行人进行检测是将来的智能车辆辅助驾驶系统所必需的，它能有效地辅助在市区环境中驾驶车辆的驾驶员及时地对外界环境做出反应，避免碰撞行人。

因此行人检测问题近年来越来越受到国内外相关学者的重视。

人们从外界环境获取信息，一般是通过视觉、触觉、听觉、嗅觉等感觉器官来进行的，其中75%80%的信息是由人的眼睛，即通过视觉来获取的。

人们利用视觉从自己周围收集大量的信息，并进行处理，然后根据处理结果采取行动。

对于检测技术来说，视觉是非常重要的。

过去，用于检测行人的技术有光束法、微波法和栅门法，但它们都只能用在特定的地方，如建筑物狭窄的入口处。

而计算机视觉方法跟传统的方法相比，它能获得大量的有用信息，能方便及时地检测交通流中的一般参数，对于感知环境来讲计算机视觉已是一种不可或缺的最有效的方式，并能应用在实时系统中。

在行车道路检测、车辆跟踪、障碍物（车辆、行人等）检测方面，计算机视觉都起着非常重要的作用。

国内外目前设计智能车辆感知系统一般都采用以计算机视觉为主的技术路线，如意大利帕尔码大学信息工程系就曾开发了一种智能原型车辆ARGO，它的一个主要功能就是用于行人检测，这个系统就是基于计算机视觉来对行人不同的姿势、位置和服饰进行定位的。

2行人检测技术概述典型的行人检测步骤包括两个阶段：

运动分割阶段和目标识别分类阶段。

常用的两种运动分割的方法是光流法和帧差法。

光流分割所依据的是图像中每一种不同的运动可用一组映射参数正确表达，因此可通过把具有同样映射参数的光流矢量分为一类的方法来完成分割过程。

光流法的优点是能检测独立运动的对象，不需预先知道场景的任何信息，并且还可用于摄像机运动情况下的行人检测。

显然，分割结果的精确性依赖于计算的光流场的精确性，而准确地计算光流场一直是一个难以解决的问题，在运动目标的边界及纹理较弱的区域，光流的计算结果误差通常较大。

解决这一问题的一种方法是同时进行计算和分割。

另一种常用的方法是帧差法，它通过计算帧间图像像素间的偏差，再通过阈值来找出运动的区域。

它适合于动态变化的环境，但不能完整地分割运动对象，不利于进一步的对象分析与识别。

还有就是采用将当收稿日期：

2004-08-03。

基金项目：

国家自然科学基金项目（60134010）。

作者简介：

李斌（1981-），男，江西乐安人，硕士生，研究方向为图像分析与理解、计算机视觉；史忠科，男，教授，博士生导师，研究方向为系统工程和控制理论、智能交通系统。

基于计算机视觉的行人检测技术的发展李斌，史忠科（西北工业大学自动化学院，陕西西安，710072）摘要：

智能车辆作为智能交通系统的关键技术，是许多高新技术综合集成的载体。

智能车辆的一个非常重要的研究课题就是在城市道路交通环境下如何避免行人被车辆碰撞。

总结了基于计算机视觉的行人检测的现有的主要技术，针对摄像机在交通视频监控系统中的静止情况，以及在智能车辆上的运动情况下的行人检测算法及其性能进行了评述和比较，并分析了当前行人检测技术的研究现状，指出了存在的问题和研究前景。

关键词：

智能车辆;视频监控系统;计算机视觉;行人检测中图法分类号：

TP391文献标识码：

A文章编号：

1000-7024（2005）10-2565-04DevelopmentofpedestriandetectionbasedoncomputervisionLIBin,SHIZhong-ke（CollegeofAutomation,NorthwesternPolytechnicalUniversity,Xian710072,China）Abstract：

Beingthekeytechnologyofintelligenttransportationsystem,intelligentvehicleistheintegratedcarrierofmuchmoderntech-nology.Averyimportantissueinthefieldofintelligentvehicleistopreventpedestriansfrombeinghitbyvehiclesunderurbanroadtrafficcircumstances.Someimportantpedestriandetectionmethodsbasedoncomputervision,particularlywhenthevideocameraisstationaryinthevideosurveillancesystemandmovingontheintelligentvehicle,areanalyzedandcompared.Recentresearchstatus,theexistingproblemsandtheprospectinthisareaarealsodescribed.Keywords：

intelligentvehicle;videosurveillancesystem;computervision;pedestriandetection2005年10月计算机工程与设计Oct.2005第26卷第10期Vol.26No.10ComputerEngineeringandDesign2566前帧和背景图像相减的办法，背景图像用卡尔曼滤波器来更新，以适应外部光照条件的变化。

帧差的结果一般需要进一步加以修正，才能接近物体的实际轮廓。

研究能适应各种条件的鲁棒性强的运动分割方法，仍然是一个有挑战性的课题。

运动分割是交通场景中行人检测的第1步，它是从背景中分离出前景目标（行人）。

在分割阶段，感兴趣的区域RegionsofInterest（ROI）基于特征准则被分割出来。

首先，依靠寻找行人特定的特征（例如纵向的对称性和边缘的强存在性）的主动视觉技术，允许选择包含行人的感兴趣的区域；然后，对这些候选区域通过采用基于自动主体的应用的轮廓检测技术来证明行人实际存在的有效性。

行人检测有5个分割特征，第1个就是行人在不同姿态下的二维亮度模板1，它是一个非常流行的分割特征。

但一般情况下，这个特征只用在限制性较强的场景中，例如视频监控系统中，并不适合用在室外车辆驾驶环境中。

第2个分割特征是深度信息1,2。

基于这种特征的算法快速而且简单，然而，其性能取决于摄像机立体标定的质量和左/右特征点的对应程度；第3个特征是目标的对称性。

一般地，我们能够假设行人轮廓是对称的，而典型的交通场景中的背景是不对称的，这样就能检测到ROI。

这个特征在行人轮廓大小变化的情况下也是不变的，然而，它不能够对行人出现任意姿势时起到很好的作用；第4个特征是视频帧间背景的相似性，它能通过跟踪技术来定位前景目标；第5个特征是轮廓/尺寸大小约束，当基于这种分割特征的方法不能非常成功地从背景中区分出行人的时候，一般与其它特征相结合。

识别分类阶段则是要从其它目标中区分出行人，主要通过行人特定的特征匹配方法，或者通过一般的分类方法，例如支持向量机、神经网络、后验检测（多项式分类器和多层感知器）等来决定ROIs中是否包含行人。

在分类问题中有一些因素需要考虑：

例如行人衣服与背景的混合；行人可能戴帽子、携带物品；行人可能突然变换方向；行人可能面对着镜头，也可能与镜头成一个斜的角度，等等。

行人检测按检测方法分大致可分为采用立体视觉的方法、轮廓检测的方法、运动检测的方法、神经网络的方法，而更多的是采用两种或多种方法结合的方法，然而在视频交通监控系统和智能车辆应用中只有一些系统证明是成功的。

按检测行人的方式来分有摄像机静止情况下的行人检测和摄像机运动情况下的行人检测，下面将着重对这后两种情况下的行人检测技术进行分析和讨论。

3摄像机静止情况下的行人检测在室外场景中，即使摄像机是静止的，基于视觉的行人检测也是一项非常具有挑战性的任务。

在这种情况下，摄像机通常安装在路边正上方尽可能高的地方来获取交通的综合图像信息，以便在进行视频场景捕捉的过程中减少行人与车辆或行人之间的遮挡。

它对行人的检测主要用在高级视频交通监控系统中，原理如图1所示。

目前，国外已出现了许多交通图像监控的实际系统。

如MIT的“传感器森林”系统，它将分布在多个点上的摄像机和处理器组合起来，能利用跟踪取得的数据，构造监控区域的粗略模型，对运动目标进行分类，并能学习不同类对象的运动模式，发现异常现象等。

类似的系统还有卡内基梅隆大学的多传感器协作视频监控系统、康奈尔的在线视频监控事件检测和分类工程及ESPRITII工程中基于模型的VIEWS视觉系统等。

摄像机静止情况下的行人检测最常用的技术是通过直接分类实现的。

分类过程中需要从各类目标中提取出特征或者为每类找到一个合适的模板。

在这方面，国外已经进行了大量研究，国内却比较少。

下面介绍在摄像机静止情况下的现有的行人检测常用的方法。

3.1基于人体模型方法一般的三维模型是把物体考虑成轴状，用圆柱来近似物体的外形20。

MarrD提出了一种分层构造的模型。

该模型将人的身体用一个圆柱来近似，它由头、驱体、手、足所组成，而头、驱体、手、足也用圆柱来近似，这种方法具有一种顺序细化的构造。

由于各个部分都用圆柱来近似，所造成的误差较大，所以一般也会采用锥面来近似。

还有活动轮廓模型（又称Snakes模型）和骨架模型。

基于活动轮廓模型4,5的分割过程是指活动轮廓在模拟的外力（外部能量）和内力（内能）作用下向物体边缘靠近的过程，外力推动活动轮廓向着物体边缘运动，而内力保持活动轮廓的光滑性和拓扑性，到达平衡位置时（对应于能量最小）的活动轮廓将会收敛到所要检测的物体边缘。

由于这种方法同时考虑了几何约束条件以及与图像数据、轮廓形状有关的能量最小等约束条件，所以能得到较令人满意的分割效果。

如MichaelJ考虑到人在运动时轮廓会发生连续的变形6，所以使用活动变形模型来检测和跟踪实际交通场景中运动的行人，并用骨架模型来恢复人体。

还有基于行人的步行节奏模型，如MoriH使用行人的步行节奏作为其符号模式来对行人进行检测15，因为行人的步行节奏基本不受时间、天气、阳光、阴影和距离的影响，而且与行人所穿的衣服也是独立无关的。

但这种方法必须要有两个假设：

第1，行人的双腿必须是可见的；第2，行人必须是运动的。

它对于图像中仅含有一两个运动的行人时，效果较好，而对于行人是静止不动的或场景中有许多行人的时候是失效的。

Chia-JungPai通过图像处理技术来进行行人检测和跟踪7，它将行人模型和行人的步行节奏综合起来使用，通过融合这些被视觉系统捕捉到的空间和时间信息，能得到非常准确的结果。

CurioC通过建立人的几个特定步态模型19，可以识别过街道的行人，它以行人的运动节奏作为分类的特征。

ViolaP结合图像的亮度信息和运动信息8，建立了行人的鲁棒模型，仅通过一个检测器扫描图像序列中的连续两帧图像，利用运动和外表信息来检测运动的行人。

另外MasoudO对行人也进行了建模9，将行人划定在矩形框中，并确定其动态行为，并用卡尔曼滤波方法估计行人的各项参数。

由于它使用了多个静止的摄像机来摄取灰度图像，因此可以有效地减轻行人与车辆、行人与行人之图1高级视频交通监控系统的流程图像输入预处理特征模式抽取识别或对照检测与跟踪结果标准模式或样板2567间的遮挡问题。

3.2基于模板匹配方法由于人是高度非刚性物体，其轮廓大小、穿着、衣服的颜色和纹理有着很强的易变性。

OrenM利用可训练的小波模板在单幅图像中提取行人的前、后投影来检测复杂场景中的人并进行匹配3。

它首先对输入图像进行小波变换，采用小波变换来提取特征，然后使用支持向量机的方法来实现其分类过程。

这种检测模式仅仅使用了轮廓信息，容易产生很大的误检率，因为经常有许多物体，比如树、街道标志等，它们的特征都与行人的特征很相似。

3.3基于特征的方法JakubSegen在进行行人的角点特征提取时21，改进了传统的直接在亮度区域中计算或检测图像的所有边缘的角点特征提取方法，它仅对图像中的一些主要边缘进行检测，不对整个图像进行二次亮度计算，因而检测的准确度有所提高并且处理速度也有所加快。

另外还有一些其它的方法，譬如基于运动的分割，可是这些方法都不能很好地解决遮挡问题。

4摄像机运动情况下的行人检测车载视觉系统对于辅助驾驶员无论是在高速公路还是在市区道路上驾驶都有相当重要的作用。

因为当摄像机安装在运动的车辆上，采集的图像是时变的，所以一些附加的问题就需要考虑了，如光照的变化，特别是在市区环境中还必须考虑复杂的背景（包括建筑物、车辆、路标、信号灯等）。

以下是摄像机运动情况下的行人检测的一些研究方法。

4.1基于轮廓的模板匹配方法基于轮廓的模板匹配方法能够对静止和运动的行人进行检测和识别。

由于行人穿着的变化和天气的变化导致了行人外表特征的变化，所以不能采用颜色或纹理作为其特征，而其轮廓特征对于检测有着较为鲁棒的特性。

HashiyamaT建立了一个通过使用基于行人轮廓的模板匹配技术方法来快速和稳定地检测运动行人的系统15。

它对安装在运动车辆上的摄像机所获取的图像序列，使用一定量的模板来捕捉运动行人轮廓的变化。

但是该系统的计算量太大，因为这种方法不得不考虑包含背景区域的完整图像，而且它在杂乱的背景区域中可能还会出现大量的漏检测和误检测现象，因为行人轮廓模板可能没有包含足够的信息。

GavrilaDM等人提出了一个基于模板匹配的行人实时检测的算法16。

它主要由两部分构成：

第1是层次模板的离线计算；第2是在线的输入帧和存储模板之间由粗到精的匹配过程。

它为了能够在实时环境中使用，非常需要消除背景来减少误差。

由此，提出了一种主动背景差法，用帧差来消除影响模板匹配效果的运动背景，这运动背景是由于摄像机的运动而产生的。

但因为当行人靠近摄像机时，其轮廓会有很大的变化，所以这种方法在行人靠近车辆的时候就失效了。

还有学者采用行人的轮廓模型和一个有效的凝聚跟踪器来获得检测结果9，跟踪在轮廓模型参数（包括Eu-clid变换参数和变形参数）的高维空间中实现，凝聚跟踪器采用在准随机点上采样，从而提高了它的鲁棒性。

4.2基于立体视觉的方法立体视觉技术对于短、中途距离（1040m）的行人检测是比较稳定的。

ZhaoL使用双目视觉2，即采用两个摄像机进行复杂场景下的行人检测。

该方法采用立体视觉分割算法来将行人从背景中提取出来，然后用神经网络的方法来进行目标分类，因为神经网络是分类工具中最强有力的工具之一。

它的不足就是当行人所穿衣服颜色与背景着色相似或者当两个行人彼此靠得太近时，就不能通过轮廓和立体信息进行准确分割。

ElzeinH讨论了一个用于智能车辆设计方面的基于视觉的行人检测算法18。

这种算法的输入是从安装在车辆上的摄像机获得的视频数据。

它先对视频帧进行小波变换，然后使用多尺度模板匹配来确定帧中是否包含行人信息并对行人进行定位。

HeiseleB根据从运动摄像机拍摄的彩色序列图像对运动的行人进行检测和识别19。

它首先对每幅图像依据其颜色特征进行聚类分块，然后采用实时立体算法检测和跟踪可能包含行人的图像区域，最后基于行人的脚的特定运动模式使用时滞神经网络的分裂式聚类算法来对行人进行分类。

这种方法要求假设行人的双腿必须是可见的，而且只能检测运动的行人，对于静止不动的行人检测是失效的。

LiangZhao针对运动摄像机下的复杂场景中的行人检测问题，提出了一种基于视觉分割和基于神经网络识别的快速和鲁棒的算法20。

该算法具体可分为3步：

首先，利用不同的间断性将图像分割成包含候选目标的子图像；其次，将包含候选目标的子图像进一步合并、分裂成子图像以满足行人大小和轮廓的约束；最后，利用候选子图像的亮度梯度作为可以训练的神经网络的输入对行人进行检测。

利用此方法能检测不同姿势、不同轮廓大小、不同衣服和不同遮挡程度下的行人，并且它对光照和背景的变化有较好的鲁棒性。

BlythePT利用包含二维图像特征的运动交通流来识别场景中的运动目标21。

它通过处理运动摄像机获得的序列图像，在图像平面中实现基于点特征匹配和运动分割。

它可以检测到低速行走的行人，其准确率能达到90%。

GavrilaDM提出了一个行人轮廓的层次结构1，并设计出了一个在道路环境中基于视觉并通过统计技术方法来检测和定位行人的系统。

它首先采用视觉技术寻找行人特定的特征，例如垂直对称性和边缘的强存在性，允许选择可能包含行人的感兴趣的区域；然后使用卡尔曼滤波估计器在这些区域中估计行人的位置。

这种方法能够识别不同姿势、不同位置和穿不同衣服的行人，并且不受行人运动与否的限制。

4.3基于模型的方法KamijoS利用时空马尔科夫随机场模型（S-TMRF模型）进行行人的检测与跟踪23。

这种模型是解决时空图像分割的二维MRF模型的扩展。

它不仅对刚性物体，如车辆，而且能对弹性物体即非刚性物体，如行人，进行有效检测与跟踪，它还能有效地解决行人与车辆、行人与行人之间的遮挡问题。

5研究前景虽然计算机视觉技术取得了长足进步，但它还存在一些明显的局限性。

就目前发展水平来看，计算机视觉的可靠性尚需进一步提高。

例如，当车辆与行人、行人与行人之间相互遮挡程度较为严重时，它的可靠性将会大大下降甚至无法进行可靠的识别。

尽管视频图像中的行人检测还是一个难题，特别是对于摄像机在运动的情况下的检测，但对于从事智能2568交通系统和计算机视觉研究的科学工作者来说仍具有极大的吸引力。

近年来提出的大部分算法都是在许多约束条件存在的前提下实现的，然而要更加可靠和准确地检测和跟踪行人，就需要选择更加有效的多维特征，并对行人的其它运动（如跑、跳等）行为进行理解。

另外可对行人的各种特征（外围轮廓、关键特征点、面积、位置）进行综合处理，避免依据单一特征和遮挡问题而造成的错误检测与跟踪。

例如在提取角点特征的同时提取边缘信息，这样可增加目标的信息，相应地增加匹配精确度。

通过采用多维特征进行准确和可靠的ROI分割后可以大大提高行人检测和跟踪的准确度。

另外将各种不同方法结合起来使用亦可能得到较为理想的效果，例如将活动轮廓模型与光流模型相结合对非刚性物体（行人）进行检测与跟踪。

6结论随着世界智能交通系统的不断发展，智能车辆的研究也会越来越深入，可以预见对城市道路交通环境下的行人检测与跟踪在未来的几年内会有一个持续稳定的研究和发展过程。

参考文献:

1GavrilaDM,GiebelJ.Shape-basedpedestriandetectionandlocalizationJ.IEEEIntelligentVehicleSymposium,2002,

（1）:

8-14.2ZhaoL,ThorpeCE.Stereoandneuralnetwork-basedpedestriandetectionJ.IEEETransonIntelligentTransportationSystems,2000,1（3）:

148-154.3OrenM,PapageorgionC,SinbaP,etal.PedestriandetectionusingwavelettemplatesC.IEEEProconComputerVisionandPatternRecognition,1997.193-199.4SullivanMJ,RichardsCA,SmithCE,etal.PedestriantrackingfromastationarycamerausingactivedeformablemodelsC.ProceedingsofIntelligentVehicles95Symposium,1995.90-95.5LeymarieF,LevineMD.Trackingdeformableobjectsinthepla-neusinganactivecontourmodelJ.IEEETransonPAMI,1993,15（6）:

617-634.6王亮,胡卫明,谭铁牛.人运动的视觉分析综述J.计算机学报,2002,（3）:

225-237.7PaiChiaJung,TyanHsiaoRong,LiangYuMing,etal.Pedes-triandetectionandtrackingatcrossroadsC.ProceedingsInter-nationalConference,2003,

（2）:

14-17.8ViolaP,JonesMJ,SnowD.DetectingpedestrianusingpatternsofmotionandappearanceC.ComputerVision,2003.734-741.9MasoudO,PapanikolopoulosNP.Robustpedestriantrackingusingamodel-basedapproachC.IntelligentTransportationSystem,1997.38-343.10CurioC,EdelbrunnerJ,KalinkeT,etal.Walkingpedestrianre-cognitionJ.IntelligentTransportationSystems,IEEETransac-tions,2000,1（3）:

155-163.11PapageorgiouC,PoggioT.TrainablepedestriandetectionC.ImageProcessing,1999.35-39.12XidongYuan,LuYeanJye,SemaanSarraf.AcomputervisionsystemformeasurementofpedestrianvolumeC.ControlandPowerEngineering,1993.1046-1049.13FangY,YamadaK,NinomiyaY,etal.Comparisonbetweenin-frared-image-basedandvisible-image-basedapproachesforpe-destriandetectionC.IntelligentVehiclesSymposium,2003.505-510.14MoriH,CharkariNM,MatsushitaT.On-linevehicleandpedes-triandetectionbasedonsignpatternJ.IndustrialElectronics,IEEETransactions,1994,41（8）:

384-391.15HashiyamaT,MochizukiD,YanoY,etal.Activeframesubtrac-tionforpedestriandetectionfromimagesofmovingcameraC.Systems,ManandCybernetics,2003.480-485.16GavrilaDM,PhilominV.RealtimeobjectdetectionforsmartvehicleC.ComputerVision,1999.87-93.17PhilominV,DuraiswamiR,DavisL.PedestriantrackingfromamovingvehicleC.IntelligentVehiclesSymposium,2000.350-355.18ElzeinH,LakshmananS.WattaP.Amotionandshape-basedpe-destriandetectionalgorithmC.Intel