基于视频的车型识别解析.docx

基于视频的车型识别解析.docx

《基于视频的车型识别解析.docx》由会员分享，可在线阅读，更多相关《基于视频的车型识别解析.docx（31页珍藏版）》请在冰点文库上搜索。

基于视频的车型识别解析

基于视频的车型识别

摘要

本文介绍了基于视频和图像处理的自动车型识别方法，详细阐述了利用数字图像处理及模式识别技术的原理和方法。

首先采用背景差分法提取运动目标车辆。

然后对图像序列进行灰度化、平滑去噪、边缘检测、边缘提取等一系列图像处理过程。

最终采用模板匹配的方法识别车型。

此种方法内存占用量小，实时性好。

通过本文的研究，初步探索了数字图像处理与模式识别在车型识别系统中的应用途径和方法，为以后进一步的实现基于视频的交通检测系统的打下了基础。

关键词:

背景差分；边缘检测；模板匹配；车型识别

VEHICLERECOGNITIONBASEDONVIDEOSEQUENCES

ABSTRACT

Thispaperintroducestheautomaticvehiclerecognitionbasedonvideosequencesandimageprogressingandillustratestheprincipleandmethodofusingdigitalimageprogressingandpatternrecognition.First,itusesbackgrounddifferencemethodtofindoutthecandidatevehicle.Second,itusesthemethodbasedongrayingimagesequences,smoothdenoising,backgrounddifferencemethod,edgedetection,edgeextractionandsoonaseriesofimageprocessingtoprocesstheimage.Finally,itrecognizesthevehiclesthroughthemethodoftemplatematching.Thiskindofmethodtakesuplittlememoryandgoodreal-time.Theresearchinthispaperexploresdigitalimageprocessingandpatternrecognitionapplicationinvehiclerecognitionsystemapproachesandmethods,layingthefoundationfortherealizationoftrafficdetectionsystembasedonvideointhefuture.

KEYWORDS:

BackgroundDifferenceMethod,EdgeDetection,TemplateMatching,VehicleRecognition

前言

随着交通拥挤和堵塞等各种问题的日益突出，以及计算机技术的不断发展，智能交通系统[1]（IntelligentTransportationSystem，简称ITS）得到了越来越广泛的应用，并在欧、美等发达国家广泛得到应用，而在我国的应用尚处于探索研究的起步阶段。

车辆检测、跟踪和车型识别是ITS应用领域中的重要分支，也是目前相对薄弱的技术环节。

同其他车型识别方法相比，基于图像识别的车型识别技术有其多种优势。

基于图像的车型识别融合了图像处理、计算机视觉、模式识别等技术，它能够自动、实时地对车辆进行检测和分类，可以作为交通收费、管理、调度和统计的依据。

本论文在分析了各种车辆识别技术的基础上，综合视频、图像处理和模式识别技术来实现车辆的分类。

1.车型识别技术的发展现状

1.1电子标签识别法

现阶段国外不停车收费（ETC）采用最多的是基于无线通讯技术。

电子标签是用来记录车辆本身的信息包括车辆账号、车辆类型、车主、车牌号等。

当车辆通过安装在收费通道内的收费设备时，通过电子标签和阅读器之间的微波通讯，实现信息的交换，并进行CRC校验，最后通过收费系统与车主的银行实行定期清算。

因为车辆存在掉换车载电子标签进行作弊的可能，收费站等场所需要额外安装监控设备，增加了基建投入。

因此该方法在国内应用较少。

1.2电磁感应线圈识别法

预先在公路下面铺设一个通有高频电流的线圈，由于车辆的材质大部分是金属，当车辆从感应线圈上面通过时，会在线圈内部产生涡流而使线圈电感量减小。

不同车型的底盘结构和铁磁物质分布的有所不同，由于电流变化引起的磁场的变化也不同，因此可以根据感应曲线的不同而区分不同类型的车辆，进而得到具体的车型。

该方法的优点是准确率较高、不受气候影响且成本不太高。

同时还能检测各车型的车流量及占有率等交通参数，电磁感应线圈法需要把线圈埋入地下，受车辆的挤压容易损坏，寿命较短，维护时需要破坏路面，维护成本较高。

1.3红外探测法

红外探测法是利用布置在车道两侧红外阵列检测器，当车辆经过装置时，根据汽车不同部位对发射装置的不同阻挡作用，采集车辆的侧面几何数据，然后通过这些数据与车型数据库中的数据比较后判断出车型，从而实现车型的自动分

类。

在该系统中水平和垂直排列的红外发射接收点非常多，有几十甚至几百对，

这就保证了系统可以采集到足够多的数据，这些数据包括车头高度、车长、轴数、轮距等特征数据，这些信息可以比较完整、细致地描绘出车辆的外轮廓及局部典型特征，使系统达到一个较高的识别率。

该方法优点是识别率较高，缺点是硬件结构复杂，维护成本高，在实际中难以推广。

此外还有一种基于超声波的车型检测方法，其原理和红外检测法是类似的。

1.4车牌识别法

车牌识别法是一种通过识别车牌间接识别车型的方法。

首先从摄像机获取的汽车牌照图像中识别出车牌号和车牌颜色，然后到车辆数据库中去检索与此车牌号相对应的车型，最终得到车辆的类型。

该方法对硬件要求不高，安装起来也灵活方便，但需要事先对每一辆车建立包含各种信息的车辆数据库，而且图像必须保证车牌清晰，在实际应用中还受到遮挡、光照等的限制。

这种方法要建立在可靠的车牌识别算法的基础之上，也可以把它归到下面将要叙述的基于图像的车型识别方法中。

1.5基于视频图像的车型识别

国内外利用视频图像进行车型识别[2]的研究很多，因为数字图像能够提供很多有用的信息，利用一定的算法得到许多车辆的信息，然后依据这些车辆特征进而得到具体的车型。

相比于其它的车型识别方法，利用图像来识别有其自身的特点:

首先数字图像含有的信息比较丰富，只要是保证特征提取算法的有效性，即可得到较高的车型识别率。

另外硬件安装非常简单，只需一个摄像机或者数码相机安装在路边，利用视频信号线和主机相连。

并且利用该方法无需破坏路面，维护起来非常方便。

本文对以视频图像为基础的车型分类算法进行了系统的研究，根据目前的车型识别研究中特征提取，识别算法，车辆分类等基本方法，提出了自己的改进方案。

系统框图如下:

图1-1系统流程图

Fig.1-1Systemflowchart

如图1-1所示，首先通过CCD摄像机采集车辆的视频信息，并通过背景差分法对采集的图像进行区域分割，从而得到运动车辆的图像，对车辆的图像进行图像处理工作，如，去噪、锐化、边缘检测、水平竖直填充。

最后对处理过的车辆图像进行模板匹配，识别车型。

2.车辆区域的分割方法

2.1车辆视频检测技术介绍

通过上一章我们知道基于图像的车型识别技术中，图像的预处理工作是该项技术的一项基础环节。

图像预处理质量的好坏直接影响到后续特征提取的精度，进而对车型识别的精度产生影响。

在这一章中详细介绍车辆区域分割方法。

在过去的时间里，人们对于用计算机实现运动汽车的自动检测[3]和识别提出了各种各样的方法。

运动汽车与空中飞机、水上船艇等一样，都属于运动目标，运动汽车的检测和识别属于运动目标的检测和识别，是计算机视觉研究的一个重要领域。

计算机视觉[4]是研究用计算机来模拟生物视觉功能的科学与技术，众所周知，在人类感知外界获取的信息中，有约80%来自于视觉，如何理解和应用视觉图像信息，是计算机视觉的主要研究内容。

对于一个交通场景图像序列，我们可以很容易的说出有没有诸如交通堵塞、跨道行驶、闯红灯等交通事件的发生，而对于计算机来说要做到这些则存在许多的困难，它涉及到计算机视觉中的一些基本问题，例如运动目标的检测、目标识别、立体视觉匹配、图像理解等。

基于视频的交通参数检测是计算机视觉的一个重要研究方向。

在视频运动检测中，目标的分割在实际应用时是非常必要的一个步骤，它可以把感兴趣的物体部分给大致的提取出来。

目前，实际运用的车辆视频检测技术大致可以分为如下三类:

背景差分、光流场理论以及帧间差分。

2.1.1背景差分法

当背景保持不变或者变化相对较小、运动目标与背景的灰度差异较大时，常常采用背景差分法，背景差分法的原理是这样的：

首先采集视频序列中不包括前景运动物体的一帧图像作为背景图像，然后利用当前帧与背景图像进行差分运算的方法来检测运动的目标。

背景差分法印版用于背景比较固定的情况下，对运动物体的检测效果比较好，而且实现起来比较简单，计算量非常小，而且能够比较完整的分割出运动物体，比如说目标车辆。

而在实际应用中，由于摄像机震动、光照强度变化、噪声等作用，背景需要适时更新。

如何有效地建立背景模型成为了背景差分的关键。

针对摄像头的抖动导致的两幅图像的不匹配，进而差分后导致含有的噪声较多，目前最常用的方法是通过匹配法来估计两幅图像的评议量∆X和∆Y。

针对光照变化导致的误差，一般处理方法是建立合适的光照变化模型，适时钢芯背景图像。

本课题没有考虑变化的复杂背景下的车型识别，而是针对固定背景的研究。

利用背景差分法进行运动目标检测时，最主要的环节是获取稳定可靠的背景图像，因此，需要背景更新算法获取实时背景图像。

一个好的背景更新方法应能适应诸如目标停止在场景中，场景中有目标运动，光线等外界干扰因素的影响。

在理想情况下，背景图像中不包含运动物体，获得差分图像就是无噪声的，且仅包含运动目标的图像。

然而在实际工程中需要快速准确的建立一个背景模型，并更新此模型。

这是背景差分法的关键，也是其难点。

2.1.2光流法

光流法的原理是对光流场进行估算进而实现运动目标的检测和分割。

光流场的计算最初是由美国学者Horn和Schunck在1981年推导出来的。

两人推到灰度图像光流场计算公式是建立在相邻图像之间的时间差小，且其图像中灰度变化也小的基础上的。

光流是指亮度模式引起的表观运动，是运动目标的三位速度矢量在成像平面上的投影，并且可以表示出运动目标在图像位置中的实时变化。

光流法检测运动目标的基本原理是图像中的每一个像素点都对应一个速度矢量，在运动的每一刻，二维图像上的点和三维物体上的点是一一对应的，这可以通过投影关系得到。

每一个像素都对应一个速度矢量，整个图像就对应一个运动场，而根据各个像素点的速度矢量特征，可以对图像进行动态分析。

当运动物体通过图像背景是，运动物体产生的速度矢量必然和邻域背景（在没有运动物体时）的速度矢量不同，从而检测出运动物体的位置。

但是在实际应用中受到噪声、多个光源、阴影、遮挡等因素的影响，光流场的分布并不十分精确。

一般的光流法只考虑图像中运动物体产生的光流，而不考虑摄像机的运动产生的光流。

当两者都考虑时，其算法更加复杂，计算量相对较大，并且易受噪声的干扰，不能用于实时性要求非常高的场合。

2.1.3帧间差分法

帧间差分法也属于背景差分法的一种，只不过是把视频图像其中的一帧作为背景来做差分运算。

帧间差分法也是运动目标检测中常用的一种方法。

其基本原理是：

连续的图像系列中，选取两个相邻帧，然后进行像素的帧间差分运算，碎后进行阈值化处理来提取图像的运动区域。

因为运动物体的变化体现在图像上就是部分像素灰度值的变化，而限速值没有发生变化的部分。

我们认为该区域内没有运动目标。

所以只要比较序列图像对应像素的差别，就能检测出运动目标，为后续的目标分割打下基础。

帧间差分法受环境影响比较小，比较适合动态变化的环境，但是利用此方法会损失很多目标信息，而且如果运动目标的整体灰度值相差不大时，两帧图像目标重合的部分将不能被检测出来，而且在目标内部容易产生空洞现象，当然也就不能完整的分割出车辆区域。

2.2用背景差分法分离车辆

尽管背景差分法[5]自身存在缺点，但因为技术已经比较完善，我们选用一种基于最优化的方法来提取背景可以适当避免此类缺点，所以，我们依旧选用背景差分法来进行目标车辆分离。

对于静止背景下的运动目标检测[6]，其基本流程如图2-1所示。

图2-1静止背景下运动目标检测流程图

Fig.2-1Staticbackgroundmotiondetectionflowchart

从图2.1所示中可以看到，基于静止背景下的运动目标检测主要分为3个部分：

预处理、背景恢复和运动目标提取。

下面分别介绍这几个部分的内容：

预处理：

目的是在分割前去除噪声的影响。

去除噪声的方法有很多种，例如平均值滤波和中值滤波。

背景恢复：

视频序列帧间有很强的相关性，仅仅利用单帧的信息进行处理容易产生错误，更好的方法是联合多帧信息进行分析，基于这一思想，可以根据各个坐标处像素在整个序列中的统计信息对运动场景的背景进行回复。

运动目标提取：

利用恢复的场景以及当前帧的信息，分割出所有运动目标的近似区域。

2.2.1背景恢复

由于视频序列记录了视频目标在一段时间内的运动和变化信息，因此理想的信息分离方法是在较长的时间范围内对数据进行分析并充分利用帧间的相关信息。

基于这样一种思路，我们可以对各个像素点沿时间轴的变化规律进行分析，并根据统计规律在整个序列中挑选合适的点对背景进行恢复。

我们定义图像序列为I（x,y,i）,其中x、y代表空间坐标，i代表帧数（i=1……N），N为序列帧数。

序列的亮度分量为IL（x,y,i）、则视频帧间差（ChangDetectionMask，CDM）反应了相邻帧之间的灰度变化：

d,ifd≥T

CDM（x,y,i）=,d=|IL（x,y,i+1）-IL（x,y,i）|（2.1）

0,ifd＜T

其中，阈值T被用来去除噪声。

对固定的坐标（x,y），CDM（x,y,i）可以表示为帧数i的函数，它记录了在位置（x,y）处像素点沿时间轴的变化曲线。

可以根据CDM（x,y,i）是否大于零将这条曲线分段，并将其中被检测到的静止部分用集合{Sj（x,y）,1≤j≤M}表示，如所示，其中，Sj的起点和终点分别是STj和ENj。

下一步，在每一个位置（x,y）对应的{Sj}集合中，挑选最长的静止分段并记录该分段中点的对应帧号为M（x,y）。

最后，第M（x,y）帧处的点被用来填充视频背景中的相应位置，该逻辑可以用下面的公式描述：

M（x,y）=（ST（x,y）+EN（x,y））∕2

B（x,y）=I（x,y,M（x,y））（2.2）

其中，ST（x,y）和EN（x,y）是对应于最长静止分段的起点和终点，B（x,y）为重建的视频背景。

这一方法的基本假设是在视频序列中，运动物体不会始终站在某一点不动，而必定会移开，使背景显露出来。

CDM（x,y,i）

............FrameNumberi

S1SjSM

STjENj

图2-2亮度帧差图沿时间轴的变化函数

Fig.2-2Changesinthefunctionofthebrightnessoftheframedifferencemapalongthetimeaxis

2.2.2基于静止背景的运动目标提取

在恢复场景背景之后，可以在每一帧和背景之间用减法运算得到亮度分量的背景帧差图IDL：

d,ifd≥T

IDL（x,y,i）=,d=|IL（x,y,i）-BL（x,y）|（2.3）

0,ifd＜T

其中，BL是背景的亮度分量。

该方法可以很好的对运动目标进行分割。

图2-3汽车序列图

Fig.2-3Sequencesofvehicle

如图2-3所示，此四张图片为车辆行驶过程中通过CCD摄像机时所拍摄视频的四帧，通过采用上述的背景差分算法，对图像序列进行处理，便可得到其背景图像。

图2-4背景图像

Fig.2-4Background

如图2-4所示，为应用背景差分法得到的背景图像。

由于每帧图像都存在噪声而且在拍摄过程中摄像机会抖动，因此图像中有部分区域存在模糊现象，但整体而言，基本能提取出可用的背景。

3.图象的处理技术

CCD摄像机获取的视频序列图像中或多或少都会存在噪声，其来源十多个方面，有来自本系统的外部干扰（如电磁波或经电源窜进系统内部的外部噪声），也有来自系统内部的干扰（如摄像机的热噪声，电器机械运动产生的抖动噪声等内部噪声），图像中噪声的存在势必会对运动目标的检测精度产生较大的影响，严重时可导致后续的识别、测速等过程产生严重偏差或错误，因此应对图像中可能存在的噪声作有效的评估，并作相应的图像处理[7]。

3.1图像灰度化

灰度图（Grayscale）是指只含亮度信息，不含色彩信息的图像，就像我们平时看到亮度由暗到明的黑白电照片一样，亮度变化是连续的。

因此，要表示灰度图，就需要把亮度值进行量化，通常划分为0~255共256个级别，0最暗（全黑），255最亮（全白），即灰度图仅能表现256种颜色（灰度）。

从摄像头中采集的图像一般为彩色图像，但由于灰度图在实时处理系统中的优越性，在实际应用中通常将其转化为灰度图。

灰度化就是使彩色的R，G，B分量值相等的过程，处理方法主要有以下3种:

（1）最大值法:

使R.G,B的值等于3值中最大的一个，即

R=G=B=max（R,G,B）（3.1）

最大值法会形成亮度很高的灰度图像。

（2）平均值法:

使R,G,B的值等于3值的平均值，即

R=G=B=（R+G+B）/3（3.2）

平均值法形成灰度图像在我们开来会有失真的现象。

（3）加权平均值法:

根据某标准给R，G.，B指定不同的权值后加权平均，即

R=G=B=（αR十βG十γB）/3（3.3）

其中，α、β、γ分别是R，G，B的权值。

由于人眼对绿色的敏感度最好，对红色的敏感度次之，对蓝色的敏感度最低，因此使。

β>α>γ将得到合理的灰度图像。

在实际应用当中，通常取a=0.30，β=0.59，γ=0.11时，能得到最合理的灰调图像，即

R=G=B=0.30R+0.59G+0.11B（3.4）

灰度处理效果如图3-1所示：

图3-1汽车RGB转灰度图

Fig.3-1RGBtograyscale

3.2图象的平滑

通过摄像头采集视频序列图像的过程中，不可避免地存在外部和内部的干扰。

因此，图像中往往会出现一些不规则的随机噪声，这将影响图像质量。

外部干扰主要有人为干扰、共振、雨雪等天气原因，内部干扰是元器件因温度和磨损度引起的。

随机噪声恶化了图像的质量，使图像模糊，特征淹没，会直接影响到下一步的图像处理。

要想获得清晰地车辆图像首先要对采集的图像进行去噪处理，去除其存在的高频噪声。

消除图像随机噪声常采用图像平滑的方法，也称之为滤波。

目的是改善图像质量和抽取对象特征，常用的去噪方法有两种：

邻域平均法和中值滤波。

3.2.1高斯平滑滤波处理

高斯滤波，根据高斯函数的形状来选择模板权值，该方法对于去除服从正态分布的噪声效果较好。

二维高斯函数为:

（3.5）

其中分布参数σ决定了高斯滤波器宽度，二维高斯函数具有旋转对称性，即滤波器在各个方向上的平滑程度是相同的。

另外，高斯函数是单值函数，这表明高斯滤波器用像素邻域的加权均值来代替该点的像素值时，每一邻域像素点权值是随该点与中心点的距离单调变化的。

空域高斯平滑滤波的实质是加权均值滤波方法，可以表达为:

（3.6）

其中W（m,n）为权值系数，高斯滤波器窗口为（2K+1）

（2L+1）。

3.2.2邻域平均法

针对系统图像中经常出现的高斯噪声一般采取邻域平均的去噪方法。

邻域平均法的图像平滑处理的数学表达式为:

（3.7）

其中:

M为邻域S内所包含的像素总数；S为事先已经确定的邻域（邻域内包括（x,y））。

例如半径为

的邻域表示为:

S={（x-1,y-1）（x-1,y）（x-1,y+1）（x,y-1）,（x,y）（x,y+1）,（x+1,y-1）,（x+1,y）（x+1,y+1）}（3.8）

为了方便地叙述上面所说的“将原图中的每一点的灰度和它周围八个点的灰度相加，然后除以9，作为新图中对应点的灰度”这一操作，我们采用如下的表示方法：

（3.9）

这种表示方法有点像矩阵，我们称其为模板（template）。

中间的点表示中心元素，即用哪个元素做为处理后的元素。

而这样往往会导致图像变得模糊，特别是边沿和细节处且其邻域越大越模糊。

当然通过采用不同的模板可以得到不同的效果，这要根据具体的图像处理要求来确定。

图3-2随机噪声邻域平均法

Fig.3-2Randomnoisewithneighborhoodaveragemethod

图3.3椒盐噪声邻域平均法

Fig.3-3Saltnoisewithneighborhoodaveragemethod

如图3-2和图3-3所示为使用邻域平均法处理的汽车图像。

从处理结果可以看出：

邻域平均法虽然能够有效的去除随机噪声，但是会严重影响图片的质量，使图片变得模糊；在处理椒盐噪声时，基本没有处理效果而且还会使图片质量下降。

3.2.3中值滤波

中值滤波是一种非线性的信号处理方法，与其对应的中值滤波器也是一种非线性的滤波器。

中值滤波在衰减噪声的同时不会使图像的边界模糊，这也是中值滤波得到广泛应用的原因。

本文应用该方法主要是在图像预处理环节，因此可以不用考虑其不适合处理多细节图像中的缺点。

中值滤波去除噪声的效果依赖于2个要素：

领域的空间范围和中值计算中涉及的像素数。

一般说来，小于滤波器面积一半的亮或暗的物体基本上会被滤除，而较大的物体几乎会原封不动地保存下来。

因此，中值滤波器的空间尺寸必须根据现有的问题来进行调整。

较简单的模板是

的方形（注:

此处的n通常是奇数），计算时将使用到所有的

个像素点。

如图3.4所示，以像素P5为中心点的3

3领域（一般为3

3或5

5的方形领域），然后将领域中的各个像素P1，P2……Pn的灰度值进行排序，取其中间值作为中心点像素灰度的新值，这里的领域通常被称为窗口，当窗口在图像中上下左右进行移动后，利用中值滤波算法可以很好地对图像进行平滑处理。

图3.4中值滤波

Fig.3-4Medianfiltering

具体步骤如下:

a）读取模板中P1，P2……P9像素点对应的灰度值；

b）将这9个灰度值从低到高排序；

c）求中间值，则P5的新值即为该值；

中值滤波的输出像素是由窗口的中间值决定的，因而中值滤波对极限像素值（与周围像素灰度值差别较大的像素）远不如平均值那么敏感，从而可以消除孤立的噪声点，又可以使图像产生较少的模糊。

二维情况下的中值滤波可定义为:

（3.10）

图3-5随机噪声中值滤波

Fig.3-5Randomnoisewithmedianfiltering

图3-6椒盐噪声中值滤波

Fig.3-6Saltnoisewithmedianfiltering

如图3-5和图3-6所