车牌定位与识别Word文档下载推荐.docx
《车牌定位与识别Word文档下载推荐.docx》由会员分享，可在线阅读，更多相关《车牌定位与识别Word文档下载推荐.docx（17页珍藏版）》请在冰点文库上搜索。
从科学著作的角度讲，不得不提起Draghici[Dra97]所作的工作，一个包含关于全局阈与图像放大方面许多有帮助的建议的广泛性的研究。
车牌检测涉及到了各种各样的方法，包括过滤策略和特征匹配方法。
为了关注的过滤问题我们提出了数学形态学的方法[MarGar02,AlbMos04],基于小波量方法[WenYin98],和梯度高技术为基础[Dra97].至于特征匹配为基础Hegt[HegHay98]提出一种基于角落模板匹配的方法，而Kamatetal.提出一种基于霍夫变换的高效的车牌检测方法[KamGan95];
霍夫变换也被Yanamuraetal.应
用[YanGot03]。
车牌检测作为一个相关的问题已经解决掉了[NaiTsu99],有时也使用降维方法[KhaKey98].
-------------------------------------------
1Imaviss.r.l.:
2伦敦拥堵费成立于2003年,是一个由230个闭路电视摄像头组成的系统,以保证覆盖整个伦敦区域。
（见（11/06访问））
3新加坡是第一个引入自动定价系统的城市，时间为1998年，
（见http:
//www.lta.gov.sg/motoring_matters/index_motoring_erp.htm（11/06访问））
4http:
//www.infrastrutturetrasporti.it/（01/07访问）
5（visitedon11/06）
6（visitedon11/06）
7http:
//www.platerecognition.info（visitedon11/06）
8关于这个系统的介绍可以在找到（visitedon10/06）
特设距离措施有时用作图案匹配识别来解决识别问题[ShaGlu04];
在一些应用程序中实例学习被应用于提高模拟字符的实例模型的数量，在这方面经常用到神经网络[Dra97,NijBru95]。
[CuiHua98]提议了一个基于利用视频序列信息的非常有意思的工作。
基于SVM分类器的方法最近被提出，主要用于模拟字符外观变化；
例如[ZheHe06],或者[CheYan06],后者将SVMs应用于中国车牌。
1.2文档结构
这份报告被组织如下，第二节概述了一个可行的LPR系统，第三节描述了关于车牌识别的一系列的图像处理的操作，第四节描述了数字识别问题和总结我们的研究成果，第五节是留给最后的讨论。
2概述一个可行的LPR系统
一个自动LPR系统通常是由以下部分组成:
1.车牌增强和检测
2.字符分割
3.字符识别
4.随着时间慢慢集成
1-3部分是常见的OCR系统[JunKim04]，第四部分通常被自动LPR系统用来提高性能和减少错误分类的数量。
这个报告重点介绍步骤1和3。
文档的其余部分中,我们将会给出我们详细的分析。
图1描述了LPR系统主要的组成元素：
在右边显示的为识别阶段，每一个对应于一个软件模块，硬件系统设计中遇到的问题将不再本文中提及，我们总结这一节讨论两个可能严重影响图像质量的两个硬件问题：
（1）选择使用红外线（IR）设备
（2）设置相机的快门速度。
图1一个自动LPR系统的素描，成像设备（相机和适当的照明）获得一个场景的图像，在右边的为识别软件的各个阶段（见文本）。
在第一个试验中我们用的是视频监控的一个普通相机获取的图像；
这套设备不允许我们晚上获取图像。
为此,我们考虑使用一个红外照明器。
人类的眼睛无法捕捉红外光，但是大多数摄像机却可以；
红外线可以用来照亮场景允许晚上时间进行监视。
因为对于我们的视觉系统而言红外线不包含任何可见的颜色，所以通过这种摄像机获取到的图像是单色的。
为了提高获取到的图像的质量可以在光学元器件上安装一个红外滤光片：
它只允许红外光线通过。
红外设备非常有用，尤其是因为现在的车牌制造中通常包括回射材料。
这种材料返回光给发光源，从而增强图像的对比度。
这种效果在夜间会更好的体现。
为此，在采用红外设备之后,处理晚上的图像实际上比白天的图像容易得多。
快门速度的设定与应用领域的联系是非常紧密的，因为它取决于被观测车的车速。
为避免模糊，特别是当车在高速移动中，照相机的快门速度应该是快的，例如它可以被设置为1/1000s。
在缓慢移动的交通中，或者当相机在一个较低的位置和车辆在接近相机的角度，快门速度则不需要那么快。
1/500的快门速度可以应付64km/h的车速，1/250可以应付8km/h的车速。
3.图像预处理和车牌检测
这个车牌检测阶段旨在从一个图像中识别车牌区域。
通常包括图像预处理或车牌增强阶段（这有助于提高车板区域的信号和减弱其他区域的信号）和实际车牌检测阶段。
如果车牌增强是非常有成效的话，车牌检测将是微不足道的。
这一阶段的困难性与实际应用联系紧密。
在许多情况下可以假设图像中除了车以外只包含很少的数据量（它是自动支付通行费的情况），因此汽车板可能是图像的唯一的高频区域。
在其它情况下，例如对于街道监控来说将不会清楚车牌出现的准确位置，背景可能很复杂，因此定位将会变的困难。
为了得到满意的性能将先验信息用于应用程序和系统位置是非常有帮助的。
并且，比通用的文本检测系统还多（见[JunKim04]关于这个主题的一个调查），自动车牌检测可以依靠大量的先验信息：
汽车板是用来被阅读，因此字体与背景通常有良好的对比度（产生明显的边界），所用字体通常是简单的，数字包括在一个矩形或正方形框里，通常在是对齐一行或两行。
车牌的颜色、字体和大小取决于汽车所在的国家。
在我们的实验中,我们专注于意大利的车牌，但值得注意的是,一些欧洲汽车牌之间的同质性。
图2显示的示例图片是为了我们的可行性研究和用于训练阶段所获取的。
在剩余的部分，在简单的描述初步测试情况之后，我们将描述用于增强的数学形态滤波器，和接下来的检测和分割的步骤。
图2。
示例图像用于实验评估板检测的算法
3.1初步研究
基于边缘的方法，尽管过去应用的成功（见，例[ParFed97]并引用自它），但似乎并不适合我们的应用程序。
他们假设车牌有较强的边缘从而在高强度的滤波中可以存留下来，而图像的其它部分则不会。
在真实的日光下的城市环境中这并不总是可行的。
图3显示数字检测失败的例子，它获取到了一个附近的边缘。
左边我们显示在明亮灯光引起是我阴影存在的情况下获取的结果。
在右边我们看到由于运动模糊导致的定位质量降低。
图3：
边缘检测检测数字轮廓失败；
在左边的阴影的存在（采集边缘失败）；
在右边的运动模糊的存在（丢失边缘）。
图4：
上面一行：
通过局部分析获得的结果寻找高对比度区域;
下面一行：
通过一种双阈值获得的结果（见文章）
另一个常用的方法是基于分析和定位高对比度区域的（见，例[KwaWaw02]or[Dre97]）。
在我们的实验中我们实现了一个局部的1d过滤器，这个过滤器可以实现遵循一个主方向上的局部突变（例如图像列）。
这个想法是这样的，在自然图像中灰度值在很小的区域中从黑色变化到白色是很罕见的，通常这种现象出现在书写作品和标志中。
这种方法的主要缺点是这样的区域在作为我们程序的主要场景的城市地区中是相当常见的（由于交通标志,广告,汽车标志,等等）。
同时，这种分析调整起来非常困难，如果周围分析出错，则车牌将无法定位。
图4（上），显示了一个这样的例子：
由于光照和牌子的类型数字是相当分散的。
获取到的区域（右图）缺乏一致性。
最后，我们尝试像图像阈值这样简单的技术。
在简单的情况下,他们是有效的。
但是在许多情况下并不适用。
图4（下）展示了一个由于动态模糊失败的例子，右边图像上的红色区域对应的像素灰度值高于阈值T1，蓝色区域的像素灰度值低于阈值T2，由于动态模糊产生的中间灰色阴影进而导致数字不能被清晰的检测到。
3.2用数学形态学进行车牌增强
通过[MarGar02]提出的数学形态学的方法我们得到了满意的结果，该方法是基于形态学算子--tophat的使用，可以被表示为：
D（i,j）=|I（i,j）–C（i,j）|；
C表示图像的形态学闭运算，形态学闭运算将通过一个适当直径的圆形结构元素将图像中的字符消除（见，图5，中）。
如果我们用最初的图像减去我们处理后的图像我们将得到一张对滤波不敏感的区域被剔除和高频区域（包括车牌数字）明显的图像（图5，右）。
图5：
从左到右，原始图像，形态学闭运算的结果，最初的图像减去我们处理后的图像,i.e.，区别前面的两张图片。
用于闭运算的结构元素的大小应该被设置或估算的与字体的大小相称。
图6显示应用不断增长的圆形算子处理同一图像的效果。
在左边的图像背景很干净，但字符太细而且支离破碎。
该输出将使分割困难。
右边的图像字符粗且清晰易辨，但是在闭运算过程中产生严重的平滑进而导致背景凌乱，这可能增加在板定位阶段的错误定位的数量。
中央的图片显示了两种情况的良好折衷。
图6。
不同直径结构元素的影响。
结构元素的大小直接决定字符的粗细，它可以在系统的矫正阶段设定。
手动提取系统可视化的车牌例子并且评估字符的粗细。
大小的选择不是那么重要（结果的平滑性降低）。
最后只得注意的是，最初的图像减去闭运算处理后的图像的操作是假设车牌有一个干净的背景和黑色的前景，比如现代的意大利汽车牌和我们所知到的欧洲的所有车牌。
在相反的情况下可以用开运算取代闭运算。
对于普通系统应该设计两个过滤器的组合。
3.3车牌检测
检测汽车车牌区域以及增强字符，用上一节提到的方法处理整张图像，然后我们执行一个多尺度区域的搜索，寻找满足以下函数的局部最大值：
M（i,j）=Σp∈RD（p）。
在一个给定的地区内多个匹配被收缩为单个匹配。
这个阶段的错误信息的数量可以通过选择适当的视图区域进行控制：
系统应该被设计为可以限制场景中标志、广告、或者其他文字区域的数量。
同时，运用简单几何启发式在图形地方用错误信息进行快速的过滤。
因为一个典型的应用程序被假定为24小时工作的，所以除了有足够可以看见车牌的照明外不假定其他的光源。
我们的第一个实验用传统相机获取的图像进行。
当我们开始使用夜间图像，我们的系统配备有红外线照明和红外摄像机过滤器。
作为一个副产品，我们发现有很多错误的检测被减少了。
整体构架的图像处理系统从硬件更新以后没有发生变化。
值得注意的是,为了提高效率和允许实时处理，可以利用时间相干性，同时，在汽车板已经检测到后，在接下来的帧，可能被简单的跟踪过程所限制。
3.4车牌数字分割
一旦定位到车牌，我们应用一个简单的算法寻找每个数字，寻找相减之后获得的二值图像的连通区域（见图7）。
为了剔除不符合数字的连通分支，我们采用基于每个组件的延伸系数和其主方向的分析启发法。
图7:
连通区域模块的输出（为获得一个清晰的图像，作为输入的图像的分辨率比通常的高）
图8：
一个运行原型的定位和分割模块，左边的两位数没有被分开。
基于图像的质量和视角，分割后的输出可能包含错误（数字组被合并在一个子区域内，或者一个数字分成两个或两个以上的区域）。
图8显示我们的一个验证序列的分割输出：
在左边数字6和2由于来那个数字的上边连接在一起所以被分割到一个区域。
下一帧（右边显示的）得到了正确的分割。
分割结果的质量与以下问题密切相关：
·
车牌增强阶段对结构元素的大小的选取；
车牌二值化时阈值的选取；
照相机和车牌之间的相对角度；
图像质量；
第二个问题与第一个是密切相关的，一个适当的增强使我们获得对于阈值参数的选择不太敏感的图像。
系统视野的选定，这对于任何图像处理的系统来说都是至关重要的。
既然这样应该小心摄像机光轴和车牌平面切线的夹角别太大，来限制远景失真的影响。
最后，图像的质量与合适的采集和照明设备的选择有关。
最后值得我们注意的是，无论何时它都可能是先验信息（例如预期的数字的数量）和时间连续（例如，数字跟踪，车牌跟踪）。
3.5板定位整体表现
总体定位性能，包括本文中没有提到的车牌追踪模块，对于可见的车牌大概是100%。
老车（车牌通常不反光）或者脏的车牌，这些对于人都无法看清的车牌的定位是非常困难的。
意大利交通规则要求，车牌必须可以辨识否则车主将会被罚钱。
4字符识别
一旦检测到的字符，通过SVM二元分类器架构进行字符识别[Vap98]。
我们建造一个结合None‐vs‐all[RifKla04]binaryclassifiers的多级分类器。
4.1系统的培训和调优
培训和验证阶段已经通过一个相对少量的数据完成一个训练集。
为简单起见，自从实验在意大利进行以来，我们只考虑意大利汽车车牌。
训练和验证集通过少量的（大约选择10辆以便所有的数字都出现）不同年代的（包括1985和1994之间发布的汽车牌的类型）车辆获得。
在一天之中不同的时间获取序列。
车牌检测和数字分割见第三节。
示例图像自动被裁剪出包含数字的区域。
获取的图像手动标识丢弃检测和分割错误。
这个过程的最后我们得到一个数据集,其中包含对于每个数字的例子集。
表1显示了用于训练和验证的数据集的基数。
注意到有少量字符丢失：
这是因为意大利的汽车牌不包含字母I、O、Q、U。
表1：
培训+验证集基数
使用的数据来自于图像处理阶段，特别是每个像素编码图像做差后的结果。
我们重新调节所有图片到一个共同的大小，15x20象素（见图9示例图片），矢量化图像内容获取大小300的区域的矢量。
图9：
在分割阶段的结束获取的数字样本用作输入字符识别
我们通过一个线性的核心字符和非字符的问题训练二元分类器。
我们也同时考虑其他内核函数，但是没有在价格较低的速度有意义的表现增加。
选择SVM作为分类算法的是因为即使在有很少的训练数据时也具有很好的泛化性能，并且事实上他们容易训练和调整。
并且，测试函数是十分有效的，作为一个权衡支持向量之和（SV）。
就我们而言SV的数量比用于所有分类问题的总训练集要少的多（见表3）。
我们会想一下每个线性SVM的测试函数是：
对于给定的二元问题的决策函数通过计算f（x）获得。
就我们而言我们采集所有分类器的实际输出，并且降序排列他们。
关联输入数据的数据在分类器得分排名表中排第一。
在验证阶段我们调整了正则化参数C以便获得命中率和误判率的良好地折中，在对应的平等的出错率选择C。
我们在参数C=【1:
50】的范围进行交叉验证，超出此范围将受到过度拟合和过度平滑的影响。
我们选择了一个单元的步骤，因为分类器的性能受参数的变化影响不大。
所有的one-vs-all分类机显示当C接近10时性能最佳。
表2显示最优的C和训练和验证时得到的误差。
显示结果是10组训练和测试的数据集的平均值。
作为替代选择我们认为模板匹配策略肯定是更快的。
不幸的是在实际应用中外观变化程度相当的高。
植入这样的变化到模板匹配方法中将导致更复杂的描述和匹配，并且将丢失效率。
相反地，用SVM方法我们塑造视图点，收集一套几何和光照变化适当的例子。
表2：
最优参数C（通过交叉验证选择）和相应的训练和验证误差。
表3：
SV的数量（训练数据的总数量是5355）
4.2识别结果
可行性研究的最后的实验阶段在于我们用由Imavis/Promelit安装在意大利、米兰、奇尼塞洛巴尔萨莫主要街道的系统采集到得测试集测试我们的分类架构。
同样的训练集，这个训练集已经被纯手工的标记检查识别性能。
表4显示了使用测试集的大小，表5显示得到的结果。
在这个特定的应用程序中排名策略允许我们提高单一的二进制分类器的分类性能。
总体结果大概是96%。
时间相干性的结果是用来进一步提高性能。
实现在本文中描述的模块的系统在MinisteryofTransport要求的的水平下执行。
表4：
测试集的基数用于产生表5的混淆矩阵
5．讨论和公开问题
我们描述的是被安装在意大利的自动车牌识别系统的可行性研究报告中进行的实验。
在这个研究中获得的原型模块是基于当代图像处理水平和统计学习方法的。
他们考虑到性能和鲁棒性两个问题。
所提出的解决方案是简单而整洁的，并且是基于最小化参数调优的。
识别完全基于在系统在识别阶段的例子。
一个基于本文中描述的方法的系统被Imavis/Promelit安装在意大利、米兰、奇尼塞洛巴尔萨莫主要街道上。
安装后的系统作为一个真实世界的原型来测试解决方案的有效性。
系统测试显示，系统的关键一步是车牌的定位。
最高的不确定性的来源来自于在某些情况下正确检测和定位车牌的困难。
大多数遭遇的困境来自于质量差，老的，或者采光不足的车牌图像。
感谢现在使用的车牌识别技术，即使在困难的条件下一旦车牌被定位将会是高分辨率的（见表5）。
升级会员 