汽车牌照识别系统毕业设计.docx

1、汽车牌照识别系统毕业设计中文摘要随着城市交通管理现代化水平的提高，建立在车辆牌照识别基础上的交通信号自适应控制系统、智能交通监控系统、GPS车辆管理及导航系统、智能化交通管理系统应运而生。由于汽车牌照是机动车辆管理的主要标志符号之一，因此对车辆牌照识别系统的研究就尤为重要，该研究的核心是提高车牌识别准确性，这就需要识别算法能够对环境光照条件，拍摄位置和车辆行驶速度等因素的影响有较大的鲁棒性，并能够满足实时性的要求。本文设计的主要内容包括：运用MATLAB仿真软件对后台图像进行高速，准确的处理。主要工作是利用BP神经网络算法对牌照的字符识别进行了研究。在牌照的定位之前，本文首先运用不同于当下传统

2、的方法，而是结合当前比较热门的BP神经网络来对图像进行预处理，得到了比较突出的牌照信息。然后结合牌照自身的一些固有特征，用形态学的方法进行了车牌区域的准确定位；对定位得到的车牌，再次结合牌照内部细节特征，对车牌进行投影，从而得到了车牌较为完整的分割;最后在车牌字符识别阶段，以现今比较流行的神经网络为理论基础，在原有的神经网络算法基础上进行有效改进。仿真结果表明本算法在车牌识别中具有明显的优势。本文研究内容的创新性体现在以下三个方面：(1)车牌定位阶段，采用一个改进的自适应PCNN神经网络对图像进行预处理可以得到一个细节丰富，边缘完整的二值图像，随后基于牌照固有特征，结合一种新的形态学方法，可以

3、得到多个车牌候选区域：(2)车牌字符分割阶段，为了满足算法实时性的要求，对畸变车牌进行预处理时，采用字符的行特征来描述本文的倾斜校正算法，之后，基于改进的投影特征图对字符图像分割；(3)字符识别阶段，为了提高算法的准确性，采用改进的BP神经网络。关键词：数字图像处理 车牌识别 字符识别 神经网络An Arithmetic Research Based On Neural Network for Car License Plate RecognitionAbstractWith the rapid development of domestic traffic management, these

4、 systems that are based on the license plate recognition appeared at the right moment, such as the traffic signal automation management system, intelligent traffic monitor system, GPS, automation parking toll system, and intelligence traffic system, . Because license plate is a important part of veh

5、icle management system, so the research of license plate system is particularly important .The core of arithmetic of license plate system is how to improve the recognition, so it requires recognition algorithm has great robustness for the impact of light conditions of the environment and taken the p

6、osition and vehicle speed it also can satisfy the timely requirement.In this paper, my work is focused on the image processing based on MATLAB emulator. Three problems were analyzed, which are license locating, segmentation and character recognition. Before license locating, artificial neural networ

7、k (ANN) is adopted to handle the image, then the information of license plate is obtained in evidence. To locate the license plate, the inherent features of license plate being used, and then use mathematical morphology to locate the license plate accurately; According to the inside features of loca

8、ting license plate, the plate-area is pop out by project the license plate; The last step is characters recognition, ANN is the key tool in recognition. An improved neural network is designed to segment the characters. The whole license plate recognition is achieved through those steps. The result o

9、f emulator proves that my arithmetic would be able to improve the rate of recognition, effectively.My work has three innovations. Firstly, An improved and automatic PCNN neural network is used to dispose the image, and A binary image is gained, which has an abundant details, intact edges, then T get

10、 lots of candidate areas of license plate, based on the inside features of license plate and a new mathematics morphology. Secondly, when the change image is handled, an arithmetic based on the line features of characters is used, and then segment the image of characters based on improved project fe

11、atures. Thirdly, I improve on BP neural network to improve the rate of recognition.KEY WORDS: Digital Image Processing License Plate Recognition Character Recognition Neural Network.第一章 绪论20世纪90年代以来，伴随着我国经济的快速腾飞，国民经济的高速发展，机动车辆规模及数量大幅度增加，与此同时，公路上违章违规的车辆也屡见不鲜，由此造成的交通事故、环境污染屡见不鲜，鉴于此，城市交通管理现代化水平的提高势在必行，

12、迫切需要采用高科技手段来实时监控和检测路上行驶的车辆，以加强交通管理水平。针对这种情况，管理部门已经着手进行诸如交通信号自适应控制系统、智能交通监控系统、GPS车辆管理及导航系统、停车场自动收费系统、汽车牌照自动识别等智能化交通管理系统的研制。由于汽车牌照是机动车辆管理的主要标志符号之一，因此车辆牌照识别系统的研究就显得愈加重要。该系统的应用要求对车牌正确识别具有较高的识别率。这就需要该系统能够对环境光照条件，拍摄位置和车辆行驶速度等因素的影响有较大的鲁棒性，并能够满足实时性的要求。1.1选题的背景和意义鉴于交通管理的现状，智能交通系统 (Intelligent Transportation

13、Systems，ITSs)的研究正在如火如荼的开展，目前的研究表明：ITSs可以帮助提高交通管理的机动性和交通安全，通过使用这些先进的技术，也提高了交通管理的效率。ITSS由16种基础技术知识系统构成l，这些系统又被分为：智能基础设施系统和智能车辆系统。LPR技术隶属于于智能交通系统，也是车辆自动识别技术 (automatic vehicle identification，AVL)的重要组成部分，它在现代交通监管及管理中发挥着越来越大的作用。LPR被认为是智能基础设施系统的核心构成，例如电子收费系统(收费站，负费停车场)，高速公路，和交通监管上的人工管理系统。此外，由于日益增长的安全需求，使得

14、车辆识别技术变得极为重要，为了监控身份未知的车辆进入一些隐私领域，上述提到的系统也可被用于车辆进出控制系统。LPR的任务是处理、分析摄取的汽车图像，用以自动识别汽车牌号。在不影响汽车状态的情况下，大部分LPR系统的工作由计算机自动完成，从而可降低工作复杂度。已有的LPR技术或多或少都还存在某些缺陷，尤其是在实时性和识别率方面不够成熟。本文的研究是希望通过算法深入探讨，建立基于算法的实际系统，在固定的交通路口或收费站口，配合已安装的视频监视系统，在接收视频的后台实时的对前方或后方运行的汽车进行车辆牌照检查。当发现违章车辆闯关或排放大量污物、灰尘时，通过采集该汽车的静态视频图片，并将其资料纳入后台

15、处理，实现实时的车辆信息管理，从而既达到了省时、省力的效果，提高了交通管理的现代化、智能化水平，又减轻交通管理、环境监护部门的压力。因此，本课题的研究对于提高城市交通管理水平，维护城市环境清洁，加快交通管理，环境保护现代化步伐具有很重要的实际使用价值。1.2车牌识别的技术研究一个LPR系统通常包括前端视频采集设备，照明设备，基于DSP的硬件图像处理平台，终端计算机系统，识别软件，后台数据LPR系统中，外围摄像系统把采集到的视频信息，经由一个高速的网络传输系统，把图像交由后台的视频图像处理平台进行处理，处理的结果根据实际需要与终端平台，数据库，或其它输入输出外设进行互连。在整个系统中，核心的部分

16、是基于软件算法实现的图像处理模块。硬件参考图如图1-1：图1-1汽车牌照识别系统硬件构成根据图1-1，车牌自动识别的算法主要分成三个步骤:车牌定位、字符分割、字符识别。目前这三方面的研究情况大致如下：1.2.1车牌定位技术在对实际车牌区域定位之前，需要进行相应的预处理。这些预处理包括边缘检测、二值化、灰度均衡化和对比度处理等等。预处理的效果对随后的定位处理有很大的影响，因此选择可靠的预处理算法也是非常重要的。为了快速、准确、可靠地定位出车牌位置，学者们提出了许多定位算法，大部分定位算法是基于车牌所具有的特征来进行的。目前所利用的车牌特征主要分为空域特征和变换域特征两大类其中空域特征主要有：（1

17、）车牌区域内的边缘灰度直方图统计特征，车牌区域内的边缘灰度直方图具有两个明显且分离的分布中心，可以较好地提取边缘。（2）车牌区域的灰度分布特征，穿过车牌的水平直线其灰度呈现连续的峰、谷、峰的分布，具有纹理特征。（3）车牌区域水平或垂直投影特征，车牌区域水平或垂直灰度投影呈现连续的峰、谷、峰的分布。（4）车牌的颜色特征，即车牌字符和背景为几种固定的颜色组合。（5）车牌的几何特征，即车牌的高、宽以及高宽比，应在一定的范围内。（6）车牌形状特征，字符排列格式特征。车牌有矩形边框，字符位于矩形框中，且有间隔，并且每个字符的高宽和字符间的间隔满足一定的条件。目前车牌变换域特征被利用的较少，主要是频谱特征

18、，即对图像做行或列的DFT变换，其频谱图中包含了车牌的位置信息。车牌定位方法涉及到的具体方法有：区域生长法，构造灰度模型法，二值图像的数学形态学运算法，灰度图像的数学形态学运算法，自适应边界搜索法，DFT变换法，模糊聚类法等。1.2.2字符分割技术车辆牌照字符分割是指将车牌区域分割成单个的字符区域，以便后续字符识别算法对单个字符进行处理，其难点是对粘连、断裂字符的分割。字符分割常采用垂直投影法2实现。由于字符块在竖直方向上的投影，必然在字符间或字符内的间隙处取得局部最小值，因此字符的正确分割位置应该在上述局部最小值附近，并且这个位置应满足车牌字符的书写格式、字符尺寸限制和其它一些条件。在理论上

19、，利用垂直投影法对断裂字符进行分割应具有较好效果；但是对于字符区域连接紧密的字符的分割利用投影法可能效果比较差，可以利用模板的方法或者回溯的方法来进行处理。1.2.3字符识别技术目前用于车牌字符识别中的算法主要有基于模板匹配的方法、基于特征匹配的方法以及基于人工神经网络的方法。（1）基于模板匹配的字符识别的基本过程是：首先对待识别字符进行二值化并将其尺寸大小归一化为字符数据库中模板的大小，然后与所有的模板进行匹配，最后选最佳匹配作为结果。但是字符大小、方向、字体的变化以及噪声都将严重地影响模板匹配的正确率。在实际应用中，为提高正确率，往往必须使用多个模板进行匹配，而处理时间则随着模板个数的增加

20、而增加。基于关键点的模板匹配算法对传统的模板匹配算法做出改进，此算法先对待识别字符进行关键点提取，即对字符进行拓扑分析以得到边符边缘的关键点，然后对关键点去噪，最后再确定字符的分类。使用关键点进行模板匹配有效地减少了模板中象素点的个数，只利用字符的关键点进行模板匹配，既提高了识别速度，又具有较高的识别率。（2）基于特征匹配的字符识别方法是:提取字符的相关特征，然后利用这些特征来进行字符匹配，选择最接近匹配结果。基于特征匹配的算法效率比模板匹配算法效果更好，但是特征的正确提取比较困难。（3）近年来，人工神经网络以其抗噪声、容错、自适应、自学习能力强，融合预处理和识别于一体，识别速度快等特点受到人

21、们重视，在字符识别技术中得到了广泛应用。在许多系统中，其字符识别均采用了人工神经网络方法。用人工神经网络进行字符识别主要有两种方法：一种方法是先对待识别字符进行特征提取，然后用所获得的特征来训练神经网络分类器。这种网络的识别效果与字符特征的提取有关，而字符特征的提取比较困难。另一种方法则充分利用神经网络的特点，不进行特征提取，直接把待处理图像输入网络，由网络自动实现特征提取直至识别，这种网络信息处理量很大，但是随着DSP和计算机硬件性能/价格比的提高，其性能将会进一步得到改善。我国车牌识别系统技术相对他国的车牌识别系统来讲，其需求和难度更大3，原因是：1.我国车牌的字符种类较多。我国汽车牌照的

22、构成除了常规的英文字母和数字外，还有汉字，而汉字的识别和字母与数字的识别有很大的不同，从而增加了识别的难度。2.我国汽车牌照的类型众多。对应于不同用途和车型的车辆，我国规定了军车，警车，摩托车，农用运输车，货车，普通车等牌照格式。3.我国车牌本身的种类较多。对应于不同类型的牌照，我国汽车牌照的底色有蓝、黄、黑、白等多种颜色，字符颜色有黑、红、白等。4.牌照的质量无法得到保证。由于我国交通管理相对不太严格，经常会出现牌照被污损，字符模糊不清的车辆上路，这样的车牌对光线的散射性不好，会影响识别的准确率。现阶段，国外对汽车牌照识别的研究，较为著名的有以色列HI-TECH公司的 SEE/CARSYST

23、EM系列，新加坡OPTASIA公司的VLPRS系列都是比较成熟的产品。但是其中的VLPRS产品主要适合新加坡的车牌，而HI-TECH公司的SEE/CARSYSTEM有多种变形的产品来分别适应某一个国家的车牌，其中包括对我们中国大陆的车牌进行识别，但是这些产品都存在着一定的缺陷，特别是这些产品都不能很好的支持我们内地车牌中的汉字。另外日本，加拿大、德国、意大利、英国等各个西方发达国家都有适合本国车牌的识别系统。国内在上个世纪90年代开始了车牌识别的研究。目前比较成熟的产品有中科院自动化研究所汉王公司的“汉王眼”，它采用CMOS摄像头+DSP+MPU组成一个高速运行的硬件平台，C帕S摄像头直接输出

24、数字信号，可方便地与DSP连接；用DSP+MPU代替工控机，可充分利用DSP在图像处理方面的速度优势和单片机工作可靠的优点，使图像处理成为一个完整的系统。“汉王眼”的核心技术是光学字符识别(OCR)，这项技术可以对摄像机、扫描仪等设备采集的图像数据进行自动处理，识别图像中的文字符号，并存入计算机智能交通管理系统用于交通管理。同时，各大高校如西安交通大学的图像处理和识别研究室、上海交通大学的计算机科学和工程系、清华大学人工智能国家重点实验室、浙江大学的自动化系等也做过类似的相关研究。目前的国外科研机构正试图通过揭示人的文字识别的机制，进而希望建立在这个基础上来进行文字识别理论的研究和技术的开发。

25、目前离线的文字字符识别产品已大量问世，有代表性的国内外系统和研究小组有：美国的Expervision的PTK(Recognition Cool Kits)和纽约州立大学Bufalo分校的Cedar研究中心，加拿大 Conordia大学的Cenparmi实验室，日本东芝的Textreader。同时，构成字符的识别理论中的一个重要分支是对我们汉字识别的研究，1996年美国IBM公司的Casey和Nagy发表了一篇关于用模本匹配法识别1000个印刷体汉字的汉字识别文章拉开了对汉字识别研究的帷幕，之后，我国、日本和加拿大分别掀起了研究汉字识别的浪潮。1.3本文研究的内容由于神经网络具有较强的自组织学习

26、能力、容错性、鲁棒性及非线性处理等优点，所以本文选择了神经网络技术作为研究的主要方法，在此基础上，详细研究了车牌识别算法的实现方法，主要包括车辆牌照的分割与提取和车牌字符的识别。其中车牌字符的识别又包括了字符的分割与提取和字符识别两部分。本文车牌识别的步骤为:图像预处理、车牌定位、字符分割、BP网络训练、字符识别等几个部分。其主要安排如下：1.第二章首先介绍车牌预处理及定位与分割的基础知识，包括图像预处理的知识、车牌定位算法、Radon倾斜矫正知识等。2.第三章介绍汽车牌照字符分割方法。通过研究几种传统的车牌定位方法及相应的算法，最后提出本系统采用的方法：基于一个改进的自适应PCNN神经网络来

27、进行边缘检测，随后结合数学形态学的操作来进行车牌定位。3.第四章介绍对车牌进行定位分割和字符归一化的方法。首先介绍并比较几种典型的校正车牌的方法并分析其不足之处，然后提出本系统采用的一种改进后的倾斜校正车牌方法。之后用投影特征图得到分割后的字符，为了方便下步的处理，本文随后采用了字符归一化的技术。4.第五章介绍字符识别算法。考虑到传统的串行，无学习功能的机械式计算方法的缺陷，本文采用了具有大规模并行处理和分布式信息存储，良好的自适应，自学习能力的改进即人工神经网络，使得该法成为本文进行字符识别所使用的主要方法。5.最后，对本文的工作进行总结，并指出不足和需要进一步改进的地方。第二章 车牌预处理

28、及定位与分割算法研究2.1图像预处理采集的车牌图像在进行定位、分割、识别之前需要对原图像预处理，这是因为一些诸如车牌本身问题及拍摄环境条件等因素的影响，导致图片模糊，无法直接进行车牌的定位及后续的处理工作。因此在进行车牌定位之前，都会对采集的原图像进行必要的预处理，比如图像格式转换、平滑去噪处理、几何变换等。通过图像的预处理，可以使车牌的主要特征更加突出，便于更好的提取车牌。2.1.1灰度化通过摄像头采集的车牌原始图像都是彩色图像。彩色图像包含大量的颜色信息，它的每个像素都包含三个不同的颜色分量R、G、B，占用的存储空间比较大，对其进行处理时会降低系统的执行速度。灰度图只含亮度信息不含颜色信息

29、，其中亮度值量化为256。灰度图进行算法处理相对简单，处理灰度图像的速度会比处理彩色空间的图像快很多，因此常常将彩色图像进行灰度处理后再做下一步的算法分析。常规的灰度化转换方法为：首先将原始图像从RGB空间转化YCbCr 空间，Y分量包含亮度信息，Cb分量包含色度信息，Cr分量包含饱和度信息，然后仅提取Y分量即生成灰度图。进行灰度转换时使用如公式(2-1)：Y = 0.299 R + 0.58G +0.114B(2-1)灰度化效果如图 2-1 所示。 （a）原图 （b）灰度化处理后图 2-1 灰度化处理前后对比2.1.2 二值化彩色图片转换成灰度图片后，灰度值是介于0到255之间的数值，为了方

30、便识别，还会对灰度图进行二值化，大于阈值以上的值取1，小于阈值的值取0，阈值的选择是车牌图像二值化的关键步骤，通常有全局阈值和局部阈值。全局阈值的二值化算法是指在整幅图像中使用一个统一的阈值对灰度图像进行二值化，当图像背景比较单一时，采用全局阈值进行图像处理一般可得到比较满意的结果，并且算法较简单易于实现。局部阈值的二值化算法是指在整幅图像中使用多个阈值对灰度图像进行二值化，主要针对照明不均匀、背景灰度变化较大的图像，根据像素的坐标位置关系自动确定不同阈值，由像素的灰度值和该像素点周围的像素局部特性来确定像素的阈值进行二值化。二值化效果如图2-2所示图 2-2 二值化处理2.1.3均值滤波滤波

31、是一种对图像进行增强的算法，通过对图像进行滤波处理可以实现图像的光滑、锐化。均值滤波是一种非线性的图形滤波器，它的原理是基于排序统计理论的一种能有效抑制噪声的信号处理技术，就是把数字图像或数字序列中一点的值用该点的一个邻域中各点值的中值代替，让周围的像素值接近的中间值，从而消除孤立的噪声点。图 2-3 显示了对加入了椒盐噪声的图片进行均值滤波后的效果。（a）均值滤波前 （b） 均值滤波后图 2-3 均值滤波前后对比2.1.4形态学预处理数学形态学形成于1964年，法国巴黎矿业学院G.Matheron和其学生J.Serra从事铁矿核的定量岩石学分析，提出了该理论4。它是一门建立在严格数学理论基础

32、上的学科，其基本思想和方法对图像处理的理论和技术产生了重大的影响。近年来，数学形态学的应用已经覆盖了图像处理的所有领域，包括文字识别、医学图像、视觉检测、工业检测、材料科学等。数学形态学图像处理是一种邻域运算，将这种邻域称作结构元素，在每个像素位置上，结构元素与对应的区域进行运算，结果作为输出图像的对应像素。数学形态学的运算对象主要是二值图像。数学形态学运算的效果由结构元素的大小和逻辑运算决定，通常有膨胀运算、腐蚀运算、开运算和闭运算。(1)膨胀运算膨胀的原理是把与物体接触的全部背景点合并到该物体中，使边界向外扩张的过程，通熟易懂地理解就是可以对图像进行变粗。定义结构A被结构B腐蚀表示为AB，数学形式可表示为： (2-2)膨胀运算效果如图 2-4 所示 图 2-4 膨胀处理(2)腐蚀运算腐蚀的原理是消除边界点，使图像的边界向内收缩，具有收缩图像的作用。简单地讲就是用结构元素对一幅图像进行某种操作，通过这种操作可以消除图像内部不相关的细节。定义结构A 被结构B腐蚀表示为AB，数学形式可表示为： (2-3)(3)开运算该运算是先进行腐蚀运算再进行膨胀运算的结合过程，作用是可以消除图