基于双目视觉的无人驾驶汽车道路识别技术研究.pdf

基于双目视觉的无人驾驶汽车道路识别技术研究.pdf

《基于双目视觉的无人驾驶汽车道路识别技术研究.pdf》由会员分享，可在线阅读，更多相关《基于双目视觉的无人驾驶汽车道路识别技术研究.pdf（85页珍藏版）》请在冰点文库上搜索。

分类号：

密级：

UDC：

编号：

201321202050河北工业大学硕士学位论文基于双目视觉的无人驾驶汽车道路识别技术研究基于双目视觉的无人驾驶汽车道路识别技术研究论文作者：

201321202050学生类别：

全日制学科门类：

工学硕士学科专业：

机械工程指导教师：

职称：

DissertationSubmittedtoHebeiUniversityofTechnologyforTheMasterDegreeofMechanicalEngineeringRESEARCHONROADRECOGNITIONTECHNOLOGYOFUNMANNEDVEHICLEBASEDONBINOCULARVISIONMarch2016I摘要随着社会汽车保有量的大幅增加，带来的交通压力及安全问题日益突出，由此无人驾驶汽车的研究应运而生，且成为当前世界各国的热门研究领域。

基于双目视觉进行环境识别的无人驾驶汽车在该领域占据重要地位。

本文针对双目视觉无人驾驶汽车道路识别中的关键技术进行了研究，主要涉及摄像头图像的畸变校正、采集图像的预处理、车道线识别、模糊控制、真伪障碍物判断及障碍物距离的识别等内容。

本文选用LabVIEW与NIVision两款软件作为程序编写平台，完成了文中较为复杂的计算和图像处理任务。

在准备工作中对采集原图完成了“图像兴趣区域提取、畸变校正、图像灰度化、图像滤波、图像二值化”等研究。

通过Hough变换结合本文原创算法，成功实现了将任何弯曲程度的车道线实时转化为五次多项式方程，该算法不仅适用于实线车道线，也适用于虚线车道线，识别速度极快，准确率极高。

利于后续模糊控制及障碍物识别中路面区域提取的研究。

通过模糊控制结合提取到的行驶车道中心曲线方程，可将车辆行驶方向与道路方向间的偏差量在最短时间内减小或消除，保证了车辆沿车道中心行驶的要求。

经过本文仿真实验，控制过程平稳可靠且效率极高。

针对道路上随时出现的障碍物，本文成功解决了判断路面上障碍物是否具有危险性及计算危险性障碍物距离的问题。

利用获取的左、右车道线曲线方程提取出行驶车道的路面，排除了道路两旁物体的干扰，通过单应性矩阵可计算障碍物是否具有危险性，通过简化投影矩阵可计算出障碍物的距离。

关于障碍物分析的方法也是本文的创新之处，识别效果准确可靠。

本文针对上述研究内容分别编写了相应程序，通过对目标图像的实时分析处理，整体实现了本文研究的目标，证明了本文关于道路识别算法的可行性。

关键词：

双目视觉无人驾驶LabVIEW车道线检测模糊控制障碍物分析IIABSTRACTWiththesharpincreaseincarownershipinthecommunity,andthisphenomenonhasbroughtmoreandmoreserioustrafficpressureandsafetyissues.Therefore,thestudyofdriverlesscarscameintobeing,andbecometheworldstopresearcharea.Unmannedvehiclesforenvironmentalrecognitionthroughbinocularvision,playsanimportantroleinthisarea.Inthispaper,thekeytechnologieswerestudied,whichisbelongedtobinocularvisiondriverlesscarsroadRecognition,Mainlyrelatedtothecameraimagedistortioncorrection,imagepreprocessing,lanerecognition,fuzzycontrol,identifyobstaclesandbarrierstojudgethedistance.BothLabVIEWandNIVisionsoftwareasaprogrammingplatforminthispaper,theycompletethecomplexcalculationandimageprocessing.Inthepreparatoryworkforthecompletionoftheacquisitionoftheoriginalimageregionofinterestextraction,distortioncorrection,imagegraying,imagefilteringandotherresearch.ThroughtheHoughtransformandtheoriginalalgorithm,thispaperrealizesthereal-timetransformationoflanelineswithanydegreeofcurvaturetothefivedegreepolynomialequation,thisalgorithmisnotonlysuitableforthesolidlane,alsoappliestothedottedlane,therecognitionspeedisextremelyfastandtheaccuracyrateisextremelyhigh.Thisequationisbeneficialtothestudyoftheextractionofthemiddlesurfaceareaofthefuzzycontrolandobstaclerecognition.Fuzzycontrolandlanecentercurveequation,canreduceoreliminatethevehicletravelingdirectionandthedeviationbetweenthedirectionoftheroadintheshortestpossibletimetoensurethatthevehicletravelingalongthelanecenterrequirements.Throughthissimulation,smoothcontrolprocessextremelyefficientandreliable.Realizedthejudgmentofthedangerousobstaclesandthecalculationofthedistanceofdangerousobstacles.Byusingtheknownleftandrightlanecurveequations,theroadsurfaceisextracted,andtheinterferenceoftheobjectsonbothsidesoftheroadisruledout,theobstaclesarecalculatedbyusingthesingle-stressmatrix,andthedistancebetweentheobstaclescanbecalculatedbysimplifyingtheprojectionmatrix.Themethodofobstacleanalysisistheinnovationofthispaper,therecognitionresultisaccurateandreliable.IIIInthispaper,thecontentsofthesestudieswerepreparedcorrespondingprogram,throughreal-timeanalysisofthetargetimageprocessing,thesuccessfulimplementationoftheinitialobjectivesofthisstudy,thispaperprovesthefeasibilityofroadrecognitionalgorithm.KEYWORDS:

binocularvisionunmannedvehiclesLabVIEWlanelinedetectionfuzzycontrolobstacleanalysisIVV目录第一章绪论.11.1研究背景及意义.11.1.1研究背景.11.1.2研究意义.21.2国内外研究现状.31.2.1国外研究现状.31.2.2国内研究现状.51.3本文主要研究内容及章节安排.71.3.1本文主要研究内容.71.3.2本文章节安排.91.4本章小结.9第二章双目视觉的原理及图像校正.112.1双目视觉的原理.112.2图像校正.132.2.1图像采集.132.2.2畸变校正.142.3本章小结.17第三章车道线检测.193.1图像预处理.193.1.1图像兴趣区域提取.193.1.2图像灰度化.203.1.3图像滤波.213.1.4图像二值化.213.2车道线识别及拟合方程.233.2.1Hough变换检测车道线.233.2.2提取车道中心线曲线方程.263.2.3车道线识别及拟合曲线方程实验.303.3本章小结.33第四章模糊控制在道路行驶中的应用.35VI4.1控制理论概述.354.2模糊控制理论.354.2.1模糊控制理论概述.354.2.2模糊控制器组成.364.2.3模糊控制器设计.374.2.4模糊控制器实验仿真.414.3本章小结.42第五章道路障碍物检测.455.1摄像机标定.455.1.1坐标系建立.455.1.2基于线性模型的摄像机投影矩阵标定.475.1.3标定实验及结果分析.515.1.4单应性矩阵标定.545.1.5单应性矩阵求解实验.555.2真伪障碍物判断及真障碍物距离计算.565.2.1行驶车道的路面提取.565.2.2真伪障碍物判断.575.2.3真障碍物距离计算.615.3本章小结.63第六章结论.656.1全文总结.656.2工作展望.66参考文献.67附录A.71攻读学位期间所取得的相关科研成果.75河北工业大学硕士学位论文1第一章绪论世界上第一辆汽车是德国人卡尔本茨（18441929）在1885年10月制造完成的，从此奠定了汽车设计的基调。

他在1886年1月29日向德国专利局提交了汽车发明专利的申请，故这一天被公认为是世界汽车的诞生日1。

汽车行业经历了130余年的发展，不断地改进、创新，凝聚了人类的匠心和智慧，并得益于石油、金属、化工、塑料、机械设备、道路网、电子技术与金融等多行业的支撑，带动了汽车业的发展，让汽车成为当今这样广泛应用于社会生产、生活多领域的交通运输工具2。

无人驾驶汽车是汽车行业发展到现在的最新技术成果，它主要指通过计算机、各种传感器及其他技术设备，使汽车在没有驾驶员主动控制和持续监测下也能够安全行驶的机动车辆3。

道路识别是无人驾驶汽车最基本也是最主要的功能，如何准确并且快速地检测道路信息成为了无人驾驶研究最热门的领域之一。

目前世界上普遍采用视觉传感器、红外、超声波和激光雷达进行道路信息的采集4。

红外和超声波采集信息比较单一，无法充分感知道路环境。

激光雷达使用较为普遍，但其成像质量参差不齐，远距离且成像质量较好的激光雷达的售价非常高昂，维护复杂，研究成本大，不利于进行道路识别的初步研究。

基于双目机器视觉处理的道路识别能够将两个摄像头采集到的信息进行合并处理，模拟人眼对环境的立体识别，可采集到的信息量比较全面，且成本较小5，故本文采取双目视觉对无人驾驶汽车的道路信息识别进行研究。

1.1研究背景及意义1.1.1研究背景1.1.1研究背景从70年代开始，全世界汽车总量几乎每隔15年翻一倍，2013年全球汽车产量达到8738万辆，2014年世界汽车总量达到了12亿辆。

就中国而言，2014年全年，我国机动车数量新增1707万辆，全国机动车保有量达到2.64亿辆，其中汽车数量为1.54亿辆，较2013年增长19.89%。

如此快速增长的汽车数量，带来的是更加拥堵的交通及越来越多的安全问题。

据2015年11月15日联合国道路交通数据显示全球道路交通事故每年致死125万人，并且这个数字在逐年增长。

大量交通拥堵和交通事故的产生，很大程度上是由于驾驶者驾驶习惯不好、驾驶经验不足。

为解决因汽车带来的上述问题，许多发达国家相继投入大量人力物力和财力开展智能交通领域的研究，其中基于双目视觉的无人驾驶汽车道路识别技术研究2无人驾驶汽车成为了该领域研究中的重要组成部分。

在驾驶过程中，驾驶者可利用眼睛获取90%以上的环境信息，包含道路标志、交通信号、车道线、周围车辆情况和前方障碍物等。

双目机器视觉能够模仿人类的双眼，从两个视角采集道路图像，相对于其他传感器，双目视觉传感器有如下优点6：

（1）激光雷达、超声波传感器采集数据信息的周期较长，很难实时为快速行驶的车辆提供道路信息，然而，随着计算机图像采集处理技术的迅猛发展，视觉传感器采集和处理图像的周期很短，普通设备的采集速率可达几十帧每秒。

（2）双目机器视觉通过双摄像头分视角采集图像，信息含量丰富，比激光雷达和超声波传感器采集的道路信息更加准确，可提高道路检测的正确率。

（3）激光雷达、超声波传感器采用主动发射脉冲信号，然后通过接收并分析反射脉冲来检测物体距离，所以在多个设备一起工作的情况下，设备与设备间存在相互干扰的可能性，相反，视觉采集的方式是被动接收光线信息，没有相互干扰的情况。

（4）维护费用比较低，还可以提供实时录像，供专家事后分析，并且视频信号可以通过多种方式传输，为监控中心提供当前车辆状况。

正是由于视觉传感器相较于其他几种传感器在采集信息量和采集速率上具有的较大优势，所以它在无人驾驶汽车技术的研究中起到了关键作用。

基于机器视觉的无人驾驶汽车技术已成为欧美、日、德等国家加紧研究的领域，并取得了一定的研究成果，我国在这方面起步较晚，在技术水平上与上述国家有较大差距。

1.1.2研究意义1.1.2研究意义无人驾驶汽车技术可以改变一百多年来以人为中心的驾驶方式，让汽车有自己的“意识”，成为一种纯粹的自主交通工具，减少了人的参与程度，大大增加了行驶过程中人的自由性。

国外实验已经证明：

无人驾驶汽车技术相较于人类的驾驶，在操控的精准性、时效性及安全性等方面拥有巨大优势，并且绝对不会产生人类驾驶过程中的错误。

所以无人驾驶汽车技术能够很大程度降低全世界因交通事故造成的人员伤亡数量，避免由此产生的巨额花费。

就国内来说，参照公安部于2014年初公布的道路交通安全事故统计数据能够看出：

2013年全年造成人员伤亡的道路交通安全事故达到20万起以上，其中有6万余人死亡，需要接受救治的伤者达到20多万。

据估算，由事故产生的直接和间接损失，至少达到300亿元7，而无人驾驶汽车技术的出现将会把这个损失大大降低。

根据美国得克萨斯州道路安全研究所公布的美国交通研究结果进行类推分析，中国驾驶者每年由于道路拥堵造成的时间浪费高达12亿小时，汽油浪费总量达到20亿河北工业大学硕士学位论文3升以上8。

基于精准的定位导航路径规划，无人驾驶汽车可以采取最优化的路径，有效避开道路拥堵路段，减少了道路拥堵的发生。

据谷歌研究显示：

无人驾驶汽车能够使行驶过程中花费的时间和消耗的能源减少50%，汽车数量可随之减少50%。

随着科技的不断进步，无人驾驶汽车的作用进一步放大，除私家车、生产用车和公共交通部门外，无人驾驶汽车逐步在军事领域崭露头角，美国国防部计划在2025年前完成一半军事车辆可无人驾驶的目标9。

正是因为无人驾驶汽车即将在交通领域发挥的巨大作用，使得相关研究一直处于科研领域的热点，国外技术的封锁加之国内研究机构的屈指可数，使得国内无人驾驶汽车技术发展缓慢。

本文旨在以独创算法实现无人驾驶汽车道路识别方向的研究，为国内无人驾驶汽车技术的发展注入新鲜元素。

1.2国内外研究现状1.2.1国外研究现状1.2.1国外研究现状由于一些发达国家的汽车工业起步较早，很早就意识到了无人驾驶汽车在未来生产、生活及军事上的重要性，比较早地投入大批资金及人力开展无人驾驶汽车的研究，并且获得了较为丰硕的成果。

（1）美国：

美国在20世纪五十年代开启了对无人驾驶汽车领域的探索，并于八十年代初期，该领域技术获得迅猛发展，随后美国陆军便与美国国防高级研究计划局展开合作，进行了自主地面车辆项目。

卡耐基梅隆大学于1995年成功制造出了Navlab-V无人驾驶汽车10，该车通过摄像机采集道路信息，利用激光雷达识别障碍物，成功实现了贯穿美国东、西部的无人驾驶测试。

美国国防部门于九十年代末着手进行DEMO项目无人驾驶汽车的研制，总共研发出十代DEMO无人驾驶汽车。

从2004年到2007年，美国国防研究计划局举行了三届无人驾驶汽车赛事，目的是考验无人驾驶汽车在较为复杂的条件下自动行驶的能力。

2004年3月在美国莫哈维沙漠举行了首届DARPA竞赛，共有15组队伍参赛，比赛中获胜的是行驶距离最远的卡耐基梅隆大学的Sandstorm团队11。

目前，谷歌在无人驾驶汽车研究领域技术最为成熟，最具有代表性的是GoogleX实验室研发的自动驾驶汽车GoogleDriverlessCar。

谷歌工程人员研制了7辆测试车，其中6辆是丰田普锐斯，1辆是奥迪TT12，目前正在测试，行驶里程达到320万公里。

这些车辆配备多摄像机、激光雷达、红外线传感器、GPS导航模块和车轮角度编码器等设备，通过摄像机和激光雷达来感知道路状况，通过GPS导航模块结合谷歌地图实现前方道路的路径规划。

测试的7年中，谷歌无人驾驶汽车仅发生了18次轻微事故，基于双目视觉的无人驾驶汽车道路识别技术研究4均无人受伤，仅2016年2月14日的事故，无人驾驶汽车与一辆公交车发生轻微碰撞，谷歌首次承认无人驾驶汽车有一定的责任。

在美国内华达州允许无人车上路的三个月后，政府为Google无人车颁发了一张合法牌照13。

谷歌最新无人驾驶汽Self-DrivingCar如图1.1所示，其双摄像头安装在两侧的后视镜前方：

图1.1谷歌无人驾驶汽车

（2）英国：

第一辆无人驾驶汽车于2015年2月亮相，被称为LutzPathfinder。

由英国公司RDMGroup设计和制造，可续航8小时，最高时速24km/h，搭载了包括全景相机、激光成像部件、定位雷达在内的22个传感器。

经过长期测试后，伦敦政府正式给出了无人车合法上路的许可。

LutzPathfinder如图1.2所示：

图1.2LutzPathfinder无人驾驶汽车（3）法国：

INRIA公司花费十年时间成功研制出无人车，命名为Cycab。

该车使用类似巡航导弹制导的全球定位技术，配备了称为“实时跟踪GPS”的精密GPS技术，实际定位精度可达9毫米以内14。

这款无人驾驶汽车还装备了激光雷达，用来躲避前方行驶路面上的障碍物。

此外，该车配有双摄像头，可以识别道路交通标识。

每河北工业大学硕士学位论文5辆无人车均可通过互联网相互通信，充分做到车辆间的数据共享。

（4）德国：

位于汉堡的Ibeo公司于2007年4月11日展出了一款无人驾驶汽车，这款车由帕萨特改造而成，车身配有6台LUX激光传感器，车内安装有CCD摄像机、计算机和GPS导航模块等设备。

在行驶时，GPS全球定位系统可实时获得无人车的精准坐标，前后车灯处的激光雷达实时感应车辆四周190米内的交通情况，进而可以通过计算机建立周围环境的三维道路模型15。

除此之外，通过摄像机还可以识别道路交通标志，进一步保证了车辆行驶的规范性和安全性。

固定于后备箱内的计算机能够对接收到的大量数据进行汇总和分析，然后依照计算结果实时向控制设备发送相关的行驶命令。

（5）日本：

三菱汽车公司研发的DriverSupportSystem（DSS）系统。

系统硬件由车辆传感器，摄像机及报警装置组成。

该系统利用摄像头获取的车道线，来判定机动车是否开始偏离本车道，以提醒驾驶员按照规定的路线行驶。

此外，本田、日产、丰田三家整车厂商已经于2013年分别发布了旗下正在开发的无人驾驶汽车。

1.2.2国内研究现状1.2.2国内研究现状我国基于视觉的无人驾驶汽车研究起步较晚，并且由于国外相关技术的保密，研发过程比较艰难，虽然取得了一定的研究成果，但和发达国家相比还存在着较大差距。

上世纪八十年代，包括国防科技大学、北京理工大学在内的5家院校合作研制出了ATB-1（AutonomousTestBed-1）无人驾驶汽车，这是国内首辆能够自主行驶的实验样车，在1996年的演示中，其行驶速度可以达到21km/h。

ATB-2无人车在之后五年中研制成功，与ATB-1相比，其功能得到了很大提升，直线车速最高可以达到75.6km/h，白天越野状态下车速可达到24km/h。

2005年，ATB-3研制成功，ATB-3的道路感知和路径追踪能力得到进一步增强。

自八十年代末，清华大学开始研发THMR系列无人驾驶汽车16。

其中第3代汽车实现了自动跟踪车道，第4代配备了激光雷达、CCD摄像机、GPS定位导航模块等设备，并且在2003年具有了快速辨识车道线及规避障碍物的功能。

THMR-5由7座道奇改装而成，由四台IPC工控机组成，分别具有激光测距、数据通信、定位导航和行驶操控四部分作用。

由两台计算机构成控制中心，分管视觉信息处理和行驶控制，THMR-5无人驾驶汽车如图1.3所示：

基于双目视觉的无人驾驶汽车道路识别技术研究6图1.3清华大学THMR-5无人驾驶汽车吉林大学自九十年代开展无人驾驶汽车技术的研究，短短几年内便研发了JUTIV系列的4代无人驾驶汽车17。

JUTIV-3使用二维视觉跟踪技术，将路面上的白色引导线看做路径导航的参照物，实现自主行驶，并且还具有自动泊车功能。

JUTIV-4无人驾驶汽车安装有CCD摄像机、3D激光成像仪等多种设备，利用人工智能和最优控制理论实现路径识别与跟踪。

九十年代末，清华大学进行了CITAVT系列无人驾驶汽车技术的研究18，CITAVT-4无人驾驶汽车可以完成在结构化道路中的行驶，该车使用两台CCD摄像机辨识道路，经测试辨识效果较为准确。

在此基础上，国防科技大学开展了更深层次的研究，并于2011年成功研制出基于红旗汽车的HQ3无人驾驶汽车，在当年7月，HQ3无人驾驶汽车实现了从湖南长沙到湖北武汉高速路段的行驶，全程286km，用时202分钟，最高车速170km/h，HQ3如图1.4所示：

图1.4红旗HQ3无人驾驶汽车百度的无人驾驶汽车技术处于国内较高水平，其无人驾驶汽车项目开始于2013年，由百度研究院主导研制。

该项目是国内唯一一家通过ISO26262国际标准的全自动驾驶研究项目，其核心技术是“百度汽车大脑”，包含高精度地图、定位、感知、智能决策和控制四个模块。

其无人驾驶汽车装配有全景相机、激光雷达、全球卫