基于自编码神经网络重构的车牌字符识别.docx
《基于自编码神经网络重构的车牌字符识别.docx》由会员分享，可在线阅读，更多相关《基于自编码神经网络重构的车牌字符识别.docx（25页珍藏版）》请在冰点文库上搜索。
基于自编码神经网络重构的车牌字符识别
河南科技学院新科学院
2012届本科毕业论文
基于神经网络的车牌数字识别
学生姓名：
胡文涛
所在系别：
信息工程
所学专业：
信息工程
导师姓名：
余周、张志霞
完成时间：
2012.5.10
基于神经网络的车牌数字识别
摘要
随着城市交通管理现代化水平的提高，建立在车牌照识别基础上的交通信号自适应控制系统、智能交通监控系统、GPS车辆管理以及导航系统、停场自动收费系统、智能化交通管理系统应运而生。
由于车牌照是机动车辆管理的主要标志符号之一，因此，对车牌照数字识别系统的研究也就尤为重要，该设计的核心是提高车牌识别率，这需要识别算法能够对环境光照条件，拍摄位和车辆行驶速度等因素的影响有较大的鲁棒性，并能够满足实时性的要求。
本文运用不同于现今传统的方法，而是结合当前比较热门的神经网络来对图像进行预处理，得到了比较突出的车牌信息。
然后结合车牌照自身的一些固有特征，进行了车牌区域的准定位；对定位得到的车牌，再次结合车牌照内部细节特征，对车牌进行投影，而得到了车牌比较完整的分割。
最后在车牌字符识别阶段，以现今比较流行神经网络为理论基础，有效的设计出一个改进的神经网络识别算法。
结果表明采用本文提出的通过神经网络从车牌数字处理到最后识别的算法能够有效地提高车牌识别率。
关键词：
数字图像处理，车牌识别，字符识别，神经网络
Basedonneuralnetworkoflicenseplatenumberrecognition
Abstract
Withtherapiddevelopmentofdomestictrafficmanagement,therearealotofsystems，includingtrafficsignalautomationmanagementsystem，intelligencetrafficmonitorsystem，GPS，automationparkingtollsystem，andintelligencetrafficsystem，whicharcapplytothepracticebasedonthelicenseplaterecognition．Becauselicenseplateisaimportantpartofvehiclemanagementsystem，therefore，itisnecessarytoresearchlicenseplatesystem．Thecoreofarithmeticoflicenseplatesystemishowtoimprovetherecognition，andthisneedstoadapttheenvironment,light，locationthespeedofcars，andtherequirementofrapidprocessing．
Iadoptartificialneuralnetwork（ANN）topreprocesstheimage。
ThenIgettheinformationoflicenseplateinevidence．Tolocatethelicenseplate．Iusetheinherentfeaturesoflicenseplate．andthenusemathematicalmorphologytolocatethelicenseplateaccurately；accordingtotheinsidefeaturesoflocatinglicenseplate，Ipoptheplate-areaoutbyprojectthelicenseplate；Thelaststepischaractersrecognition，ANNisthekeytoolinrecognition．SoIdesignanimprovedneuralnetworktosegmentthecharacters．1getthewholelicenseplaterecognitionthroughthesesteps．Theresultofemulatorprovesthatmyarithmeticcanimprovetherateofrecognitioneffectively．
KEYWORDS：
DigitalImageProcessing,LicensePlateRecognition,CharacterRecognition，NeuralNetwork．
目录
1绪论1
1.1论文研究的背景与意义1
1.2论文研究的现状及分析1
1.3论文研究的主要内容2
2.车牌定位与提取2
2.1数字图像处理2
2.1.1车牌字符预处理2
2.1.2图像增强3
2.1.3中值滤波4
2.2车牌定位方法4
2.2.1二值化处理及统一背景色5
2.3车牌照几何位置的调整6
3车牌照字符分割及特征提取6
3.1字符分割的模板匹配法7
3.2字符图像归一化处理7
3.3车牌字符的特征提取7
4基于多个自编码神经网络的重构识别方案8
4.1自编码神经网络理论8
4.1.1自编码神经网络的预训练9
4.1.2自编码神经网络的展开与微调11
4.2基于多个自编码神经网络的车牌字符重构识别方案12
4.3实验分析与结论13
结束语16
参考文献17
致谢18
1绪论
1.1论文研究的背景与意义
智能交通管理系统是二十一世纪以来道路交通管理的发展趋势，随着高速公路的不断发展和车辆管理体制的不断完善，为以图像识别为基础的智能交通管理系统进入实际应用领域提供了契机。
在智能交通管理系统中，汽车牌照识别系统是一个核心的发展方向，汽车牌照识别（1icenseplaterecognition简称LPR）系统是一种能够自动实时地检测车辆经过和识别汽车牌照字符的智能系统，它具有广泛的应用前景。
车牌识别系统作为智能交通的核心，在高速公路、城市道路和停车场等项目管理中占有了举足轻重的作用，因而，车牌识别的研究具有极其重要的现实意义。
LPR所涉及的研究方向较多，其主要有数字图像处理、模式识别、神经网络等。
近年来基于神经网络的车牌识别系统得到快速的发展，并取得了良好的实用效果。
车牌字符有统一的规格，经过一系列算法和技术处理之后，会造成字符的断裂和粘连，而神经网络技术采用模拟生物神经网络模型，能较好的实现人类存储知识及处理信息的机能，使系统可以模拟人类思维，对需要解决的问题进行记忆、联想和推理，从而能较好的解决车牌字符识别中缺损和粘连的字符；此外，神经网络可以免去传统方法中繁重枯燥易出错的数据分析和数学建模工作，可以并行处理，大大提高识别速度，因此基于神经网络的车牌数字识别技术对车牌字符的识别效率更高，更迅速，对智能交通管理系统具有深远的影响和意义。
1.2论文研究的现状及分析
目前国内外有许多学者对车牌识别技术进行着深入广泛的研究，提出了很多新颖快速的方法。
小波变换车牌定位法、边缘图像的车牌定位法、自适应滤波算法等等。
针对识别实时性不能满足的问题，有人提出采用分布式计算机进行处理，但由于该方法所涉及的系统交互过于复杂，实施难度大，代价高，目前的条件还无法采用。
准确快速的定位车牌是LPR系统的难点，在实际应用中，车辆图像中的噪声、光照均匀程度以及复杂多变的背景都会加大车牌定位的难度。
现有大量技术和算法可供字符识别使用，如小波变换DFT（DiscreteFourierTransform）、DCT（DiscreteCosineTransform）等信号处理技术，同时形态学理论、神经网络和遗传算法也得到一定程度的研究应用。
有研究表明：
神经网络、模糊理论和遗传算法的综合使用在字符识别中能取得较好的识别结果。
其中，神经网络免去了传统方法中繁重枯燥易出错的数据分析和数学建模工作，可以并行处理，很大程度上提高识别效果，因此受到众多学者的关注。
1.3论文研究的主要内容
由于车牌字符识别技术涉及到了数字图像处理、机器视觉、模式识别、神经网络等方面的知识，并且神经网络具有较强的自组织学习能力、容错性、鲁棒性及非线性处理等优点，所以本文的主要内容是对数码相机拍摄的二维车牌图像进行基于神经网络的车牌数字识别系统的研究，并重点研究神经网络技术在车牌自动识别系统中的应用[4]。
在此基础上，对车牌数字识别算法的实现方法主要包括车牌定位和字符分割、特征提取、神经网络分类器等模块进行了较详细的研究，各个阶段的详细设计方案如图1。
图1车牌字符识别设计方案
2.车牌定位与提取
2.1数字图像处理
本文采用到的数字图像技术涉及到了图像灰度化、灰度变换、图像增强和图像边缘检测等，下面逐讨论。
2.1.1车牌字符预处理
在对字符样本进行特征提取前，首先进行彩色图像灰度化、亮度归一化和尺度归一化处理。
灰度化是采用三色等权灰度处理方法；尺度归一化采用双线性差值法来完成图像尺寸的缩放；亮度归一化方法是通过对图像的灰度直方图进行修正，使图像达到规定的均值和方差，进而完成图像的亮度归一化。
本文中，规定的均值和方差分别为120和100。
车牌字符预处理的目的主要是使各种不同条件获得的车牌图像能够在识别时处在一种比较稳定平衡的条件下，以利于提高识别效果。
汽车牌照中的字符主要由有限汉字、字母和数字组成，采用固定的印刷体格式。
由于下列主客观原因会使车牌字符发生畸变，从而造成识别上的困难。
（1）光照、气候引起的车牌图像上字符光照不均。
（2）车牌本身污损造成的字符笔画不清和字符间粘连。
（3）汽车行驶速度较快，使拍摄出的车牌字符产生变形、模糊不清。
（4）牌照本身具有不同的颜色，有蓝底白字、黄底黑字、白底红字、白底黑字和黑底白字等几种类型。
（5）拍摄角度及拍摄点的高度、路面的倾斜等情况造成了车牌图像的倾斜。
因此，为提高牌照的字符识别率，有必要设计一个高效的预处理算法，对以上各种原因造成的字符畸变进行统一的处理，以便得到较为清晰的待识别的单个字符。
2.1.2图像增强
对于上述第一条，由于白天与夜晚、晴天与阴天的光线强度存在很大的差异，在某些情况下拍摄的车牌照会出现对比度不足的现象，使得图像细节分辨不清，严重干扰字符的识别效果。
因此对于这类车牌照必须进行图像增强，而这种图像增强处理应尽可能的避免对正常的牌照产生干扰，因此可采用基于点运算的图像增强方法，即是对图像的灰度级进行变换。
使图像对比度得到一定的调整，从而达到图像增强的目的[11]。
其中，以直方图均衡法实验效果最为理想，他不仅使光照不均的牌照变得清晰，而且对正常车牌照进行同样的处理后也能够得到较清晰的结果。
直方图均衡法是把已知灰度概率分布的图像，经过转换最终演变成具有均匀灰度概率分布的图像。
假设一幅图像的象素总数为N，分为L个灰度级，用NK代表灰度级为
出现的频数，于是第k个灰度级出现的频率为：
，0≤
≤1，k=0,1,2…,L-1。
各灰度直方图均衡离散变换公式：
=
=
=
（1）
因此，可根据原图像的直方图统计量，求得均衡后各象素灰度变换的值。
处
理前后的车牌照灰度图比较如下图2所示。
（a）处理前的牌照灰度图（b）处理后的牌照灰度图
图2车牌照灰度图
2.1.3中值滤波
为了抑制噪声，通常我们会采用低通滤波，但由于边缘轮廓也包含有大量的高频信息，所以低通滤波在过滤噪声的同时，也使得边界变模糊，为了在过滤噪声的同时，还能很好的保护边缘轮廓信息，用了中值滤波的方法。
中值滤波是一种非线性滤波，它能在滤除噪声的同时很好地保持图像边缘。
它把以某像素为中心的小窗口内的所有像素的灰度按从小到大排序，取排序结果的中间值作为该像素的灰度值。
为方便，中值滤波通常取奇数像素的窗口，中值滤波的性质如下：
①不影响斜坡信号，连续个数小于窗口长度一半的脉冲受到抑制，三角波信号顶部变平；②中值滤波的输出与输入噪声的密度分布有关；③中值滤波频谱特性起伏不大，信号频谱基本保持不变。
中值滤波的窗口形状和尺寸对滤波效果影响比较大，应根据不同的图像内容和不同的要求加以选择。
常用的中值滤波有线形、方形、圆形、十字形等。
由于车牌图像包含有尖顶角物体，所以这里采用的中值滤波的窗口为十字型窗口。
这样它可以很好的保护车牌区域的水平和竖直纹理。
在图3中含有噪声的牌照图像（a）经过中值滤波后得到效果很好的图（b）。
图像经过中值处理后不仅消除了噪声，对应的灰度直方图更加平滑。
（a）含噪声的原图（b）中值滤波后的图
图3中值滤波前后对照图
2.2车牌定位方法
车牌定位的原理是根据车牌的特征确定车牌的位置，并将其提取出来。
车
牌定位是车牌识别系统的关键点。
车牌定位的准确与否直接影响到后面的步骤，所以，车牌定位在车牌识别系统中具有重要的地位[10]。
车牌定位方法的出发点是通过车牌区域的特征来判断车牌，所利用的车牌
的特征主要包括：
（1）车牌区域的灰度分布特征，穿过车牌的水平直线其灰度呈现连续的峰、
谷、峰的分布。
（2）车牌区域水平或垂直投影特征。
车牌区域水平或垂直投影呈现连续的峰、谷、峰的分布。
（3）车牌形状特征和字符排列格式特征。
车牌有矩形边框，字符位于矩形框中且有间隔。
（4）颜色特征，现有车牌有四种类型：
小型汽车的蓝底白字车牌，大型汽车的黄底黑字车牌，军警车的白底黑字车牌，国外驻华使馆用的黑底白字车牌。
其中蓝底白字车牌和黑底白字车牌的二值化结果是黑底白字，黄底黑字车牌和白底黑字车牌的二值化结果是白底黑字。
车牌定位就是从含有车牌的车牌图像中提取出车牌区域。
基于边缘检测和垂直纹理特征的车牌定位方法的算法：
先对图像进行灰度化，灰度拉伸，均衡，再将Sobel检测模板在汽车图像土移动并在每个位置上计算对应中心象素的梯度值，最终得到梯度图像。
在得到边缘图像后，就可以通过明暗相间纹理得到组成车牌区域的四条边缘直线段的参数，从而实现对该区域的定位。
在进行边界检测时，本文采用Sobel检测算子。
因为Sobel算子检测出的边缘可以使图像的区域子图像边缘非常明显，且车牌区域的长方形边缘比较突出。
2.2.1二值化处理及统一背景色
对牌照的灰度图像进行直方图均衡和Wiener滤波处理后，可以采用全局动态阈值法进行二值化。
使用迭代法求阈值，其基本思想是：
先计算图像灰度直方图，选择图像灰度范围的中值作为初始阈值r。
（设共有L级灰度），再按下列公式进行迭代：
=K
（2）
其中，
是灰度为l的象素个数。
迭代一直进行到
结束，结束时的
为最终分割阈值T。
取K经验值0.6。
此方法对于各类牌照图像有较好的适应性。
在二值图像中，象素点仅用0或1表示。
处理后的二值图像由于车牌照本身原有颜色的不同，会区分成为黑底白字和白底黑字2种。
为此，需要将所有车牌照图像都统一成某一种情况，例如都统一成黑底白字的二值图像。
假定某牌照图像中字符象素点所占比例为
，背景像素点所占比例为
，则必有0<
<
<1且
+
=1，也就是说背景像素点所占比例仍是
>50%，而字符象素点所占比例
<50%。
因此可统计某车牌二值图像中白色象素点所占比例r，如果r<50%则说明该车牌的二值图像为黑底白字，不需要变换；如果r>50%则说明该车牌的二值图像为白底黑字，对该图像进行反转，即将原来的白色象素点1变成黑色0，原来的黑色象素点0变成白色像素1，这样处理后所有牌照都统一成为了黑底白字二值图像了。
2.3车牌照几何位置的调整
由于拍摄角度等原因造成了车牌图像倾斜，应必须给予校正，否则将无法进行单个字符正确的分割，字符识别的误差率将会上升。
但是若以某个固定的经验值对所有的车牌照统一进行旋转处理，又会使原本正常的车牌照倾斜，导致新的错误。
因此有必要针对特定的牌照图像提取其倾斜角度，再加以相对应的旋转处理。
如何从车牌照中提取其倾斜度，是预处理过程中的一个大难点。
采用hough变换的方法，实验室校正的准确率能达到99％，证明此方案是可行的。
hough变换是变换域提取直线的方法。
将直线上点的坐标变换到过0点的直线的系数域，巧妙运用了共线与直线相交的关系，使直线的提取问题转换为计数问题，优点是受直线中的间隙和噪音影响较小。
使用hough变换提取边缘直线后，就可以提取出车牌照的倾斜度了。
对于Oxy平面上给定的一条直线y=ux+v，（其中，u和v分别是直线的斜率和直线的截距），对应于一个数对（u,v），反之，给定的一个数对（u,v）则对应于一条直线：
y=ux+v，即：
在Oxy平面上有一条直线：
y=ux+v，那就和Oxy平面上的一个点（u,v）相对应。
同理，在Oxy平面上的一条直线v=-xu+y和在Oxy平面上有一个点（x,y）也是一一对应的。
如果在Oxy平面上有一条直线y=ux+v，其上面的每个点都对应于Ouv平面上的一条直线，这些直线相交于一点，利用这个重要性质则可以检测共线点。
由于直线的斜率有可能会接近无穷大，为使变换域有意义，需要采用直线方程的法线式表示：
其中，p是直线到坐标原点的距离，
直线法线与X轴的夹角。
于是在极坐标上的一点对应了在Oxy平面坐标上的一条直线，而Oxy平面坐标上的一点对应于极坐标上的一条曲线。
而且易知：
Ozy平面坐标上的共线点所对应极坐标上的所有曲线应相交于一点，且由于Oxy平面坐标上一条直线上的各点都对应于极坐标上的一点，若对过这一点的曲线进行计数，结果会是比较大的数据。
通过这一原理，可以很方便的提取出图像上的直线。
在提取车牌倾斜度时，应先对所有列进行扫描，提取出所有第一次从0到1的可能边界点，再进行Hough变换，得到的直线的倾斜度即为所求值[14]。
3车牌照字符分割及特征提取
字符分割的任务就是把车牌图像中的每个字符从整个图像中分割出来，使其成为单个字符[1]。
字符分割是字符识别的基础，字符分割的质量直接影响到字符识别的效果。
字符分割之前，首先要进行图像的二值化，然后再进行字符分割，从而分割出一个个具体的二值图表示的字符图像点阵，作为单字符识别的输入数据。
字符切割是车牌定位和字符识别的桥梁，只有从车牌图像中准确的切割出单个车牌字符出来．并进行归一化，才能为之后的神经网络识别做好准备[1]。
字符分割常用算法主要有水平投影法、模板匹配法、聚类分析法。
3.1字符分割的模板匹配法
车牌字符分割的模板匹配算法具有自适应性强，可以获得最优的分割效果。
具体内容：
根据字符串的结构和尺寸特征来设计了车牌字符串模板，该模板在车牌区域滑动匹配进行分类，并结合最大类间方差判决准则，确定最佳匹配位置，分割车牌字符[2]。
3.2字符图像归一化处理
由于英文字母和数字笔划、结构简单，字符分割后，字母和数字清晰可见但汉字特别是各个省份的代名词，大都结构复杂，再加上拍摄距离的影响，使得汉字太小，不易分辨。
所以，需要进行尺寸规范化处理，即把汉字尺寸变换成同一大小、字符位置（旋转、平移）纠正，文字笔划粗细变换等文字图形的规格化处理。
规范化有位置规范化，尺寸（大小）规范化，笔划粗细规范化三种。
3.3车牌字符的特征提取
目前，在大多数的车牌数字识别算法中，进行数字识别时先要对车牌字符进行二值化处理的。
实际中，由于光照、噪声等的影响，二值化后很可能会导致车牌字符图像信息的损失，给识别带来不便。
以往的研究表明，Gabor滤波器能对字符的噪声、变形、断裂、模糊、尺度变化以及亮度不均匀等图像的干扰有较好的抑制作用，适合于车牌字符这样低质量字符的特征提取[13]。
故本文方案之一是采用Gabor滤波器直接对预处理后的灰度字符图像进行特征提取，把得到不同方向、不同尺度上的滤波结果输入自编码神经网络中进行识别实验。
本文选取的Gabor核函数为
exp
（3）
其中:
是空间域像素位置坐标；λ是正弦载波波长；
是Gabor滤波器的方向；
是高斯函数沿x轴和y轴的均方差。
对于一幅图像I（z），其Gabor滤波结果F（z）可以表示为图像I（z）和Gabor滤波器的卷积结果。
图4为车牌字符Gabor特征提取流程，为了减少自编码神经网络的输入神经元个数，在Gabor滤波完成后先对滤波结果进行下采样处理，然后再将4个方向的下采样结果级联，最后得到用于识别的车牌字符Gabor特征[15]。
图4车牌字符Gabor特征提取过程
4基于多个自编码神经网络的重构识别方案
4.1自编码神经网络理论
图5是自编码神经网络构成示意图。
其思想是构造具有多个隐含层的深度神经网络，网络的输入是0到1间的数据,输出是输入的估计，整个网络呈对称结构,中心层神经元个数最少。
这样，网络经过训练可以得到一组权值系数，通过这组权值系数可将输入数据表达成低维形式；同时，由这一组权值系数也可以从低维形式重构出高维数据[5]。
图5自编码神经网络构成
4.1.1自编码神经网络的预训练
预训练部分是由几个独立的RBM构成堆栈，而RBM是BM（BoltzmannMachine）的一种特殊连接方式。
RBM的网络构成如图6所示，它只有可见层和隐含层两层神经元，且隐含层神经元间无连接。
H
W
V
图6RBM网络构成
其中：
H代表二元隐含层状态，V代表可见层数据。
BM的权值调整公式为：
（4）
式中：
为在第t步时神经元I，j间的连接权值；
为学习速率；T为网络温度；
为正向平均关联；
为反向平均关联。
在RBM中，平均关联即可见层神经元的输出和隐含层神经元输出的乘积。
将η和T统一合并成系数
，权值调整公式变为：
（5）
其中
可以看成是迭代步长。
RBM的权值训练学习过程如图7所示，从t=0开始更新隐含层神经元状态,接着再更新可见层神经元状态，然后得到重构数据，此时t=1。
用重构数据再次更新隐含层神经元状态，这样就完成一次RBM训练。
然后再从t=0开始重复前述训练，当完成一个RBM训练后就得到相应的权值，权值调整量公为:
（6）
T=0输入数据T=1重建数据
图7RBM的学习过程
其中j代表隐层神经元，i代表可见层神经元
按照上述方式进行多次训练，将最后一次正向训练完成后的输出，输入下一个RBM进行训练。
4.1.2自编码神经网络的展开与微调
得到独立的RBM后，将其展开，即将各个RBM连接得到自编码神经网络，如图8所示。
上述预训练所得到的权值，将作为整个自编码神经网络的初始权值，参与整个网络的微调训练。
图8自编码神经网络的展开
在预训练中得到的初始权值的基础上，对自编码神经网络权值做进一步调整，主要采用以交叉熵（crossentropy）为目标函数的BP算法完成网络的微调训练。
交叉熵是用来度量两个概率分布间的差异性的，它是一个非负数，两个分布越相似，其值越小。
原始的交叉熵定义为:
D
（7）
式中:
x为随机变量;q（x）为已知概率分布;p（x）为估计概率分布。
对于随机变量x，当用q（x）估计p（x）时，通过调整受x影响的p（x）来最小化交叉熵D
，用于自编码神经网络权值调整的BP算法交叉熵函数形式为：
（8）
式中:
为目标概率分布;
为实际概率分布。
升级会员 