智能车辆环境感知技术介绍.ppt

资源描述

智能车辆环境感知技术介绍.ppt

《智能车辆环境感知技术介绍.ppt》由会员分享，可在线阅读，更多相关《智能车辆环境感知技术介绍.ppt（87页珍藏版）》请在冰点文库上搜索。

智能车辆环境感知技术介绍.ppt

智能车辆环境感知技术EnvironmentPerceptionTechnologyofIntelligentVehicle,引言Introduction当前，从陆地到天空，从海洋到宇宙，人们正在开发各种各样的智能化载运工具为人类的文明发展服务。

实现地面车辆的智能化乃至无人驾驶是车辆工程领域追求的最高目标。

智能车辆研究在很多领域能够体现一个国家的科学技术水平和综合国力。

中国应该在智能车辆研究领域对世界有所发明、有所贡献。

车辆工程学科领域的全体师生员工应该努力成为我国智能车辆研究的主力军。

第一章智能车辆概述Introduction一、智能车辆定义-Definition基于自身和外部信息，能够确认当前位置、规划目标路线、控制自身按规划路线行驶、安全准时到达目的地的机动车辆。

自身具有驾驶员的部份、全部或尚不具备的驾驶行为能力的机动车辆。

二、智能车辆功能-Function1.能够确认自身的当前位置，根据行驶目标及途中情况，规划、修改行车路线。

2.能够可靠识别行车路线，并可通过自动转向控制使自身按规定路线准确稳定行驶。

3.行驶过程中，能够可靠实现车速调节、车距保持、换道、超车等各种必要基本操作。

4.能够确保行驶安全，按时到达目的地,5.能够适应不同的行驶环境。

三、智能车辆研究意义-Significans1.减少交通事故智能车辆是解决因驾驶员人为因素引起的道路交通安全问题的根本途径。

2.提高运输效率智能车辆能缩短行车间距，增加道路容量，防止交通堵塞，提高平均车速，改善燃油经济性，减少环境污染。

3.完成特殊作业智能车辆能够在易燃、易爆、有毒、抢险、宇航等危险环境下替代驾驶员完成特殊作业。

4.国防军事应用智能车辆在侦查、演习、排雷、防化、作战、反恐等军事领域有着潜在的广泛应用前景。

四、智能车辆构成-Construction,1.车辆自检监控系统该系统通过实时获取和处理车辆状况传感器的输入信息如电压、电流、温度、压力、油耗、转向、制动、加速、停车、排放等，诊断车辆驾驶是否处于危险状态或具有潜在的危险，并将诊断结果信息提供给驾驶员或车辆自动控制系统，以便为做出正确的车辆控制决策提供依据。

2.车辆行驶环境信息获取系统该系统基于车辆自身传感信息获取系统、通用技术平台和通信信息系统，获取车辆外部周边物体状态、公路状态、天气、车流、电子地图、停车场等信息，并将这些信息提供给驾驶员或车辆自动控制系统。

3.车道状态数据处理系统该过程对所输入的各种车载及道路传感器的数据进行有效处理，为车辆控制过程提供车辆所在车道、车辆在车道上的位置、车辆与车道的距离偏差及方位偏差等信息。

4.车辆辅助驾驶接口系统该系统提供了驾驶员可以用于启动、监视和终止车辆自动控制操作的接口。

该接口可接收驾驶员控制请求、车辆行驶环境、车辆自检、车辆控制状态反馈等信息，对车辆控制方式作出选择，并将选择结果提供给车辆控制过程或需要此信息的其它过程。

5.车辆控制系统该系统提供各种水平的车辆控制功能。

它通过接收车辆控制方式选择、车辆自检、车辆自身及周边车辆行驶状态、车辆行驶环境等信息，为实现车道跟踪、车距保持、换道、巡航、定位停车等功能提供各种必要的基本操作。

6.智能车辆系统构成示意图,五、智能车辆关健技术-Keytechnology环境感知技术（EnvironmentPerception）路径规划技术（PathPlan）导航控制技术（NavigationControl）避障防撞技术（ObstacleDetection&Avoidance）信息通讯技术（InformationCommunication）乘员安保技术（PassengerSafety）人机交互技术（Human-machineCommunication）状态监测技术（ConditionMonitoring）调度管理技术（Accommodating&Management）,第二章智能车辆环境感知技术概述IntroductiontoE.P.Technology一、环境感知目的-Purpose通过性：

基于自身行驶性能和共识规则，能实时、可靠、准确识别并规划出可保证规范、安全、迅速到达目的地的行驶路径；安全性：

在行驶过程中，能够实时、准确识别出行驶路径周边对行驶安全可能存在安全隐患的物体，为自身采取必要操作以避免发生交通安全事故；经济性：

为提高车辆高效、经济地行驶提供参考依据；平顺性：

为车辆平顺行驶提供参考依据；,二、环境感知对象-Target行驶路径：

对于结构化道路而言，包括行车线、道路边缘、道路隔离物、恶劣路况的识别。

对于非结构化道路而言，包括车辆欲行驶前方路面环境状况的识别和可行驶路径的确认；周边物体：

包括车辆、行人、地面上可能影响车辆通过性、安全性的其它各种移动或静止物体的识别；各种交通标志的识别；驾驶状态：

包括驾驶员驾驶精神状态、车辆自身行驶状态的识别；驾驶环境：

包括路面状况、道路交通拥堵情况、天气状况的识别。

三、环境感知方法-Method1.视觉传感：

基于机器视觉获取车辆周边环境两维或三维图像信息，通过图像分析识别技术对行驶环境进行感知。

车载单目视觉运动物体检测,优点：

信息量丰富、实时性好、体积小、能耗低。

缺点：

易受光照环境影响、三维信息测量精度较低。

车载双目立体视觉越野环境感知,2.激光传感：

基于激光雷达获取车辆周边环境两维或三维距离信息，通过距离分析识别技术对行驶环境进行感知。

车载线扫描激光雷达检测前方障碍物,车载三维激光雷达环境感知,优点：

能够直接获取物体三维距离信息、测量精度高、对光照环境变化不敏感。

缺点：

无法感知无距离差异的平面内目标信息、体积较大、价格昂贵、不便于车载集成。

3.微波传感：

基于微波雷达获取车辆周边环境两维或三维距离信息，通过距离分析识别技术对行驶环境进行感知。

优点：

能够以较高精度直接获取物体三维距离信息、对光照环境变化不敏感、实时性好、体积较小。

缺点：

无法感知无距离差异的平面内目标信息、国外成熟产品对我国禁运而难以获得。

4.通讯传感：

基于无线、网络等近、远程通讯技术获取车辆行驶周边环境信息。

优点：

能够获取其它传感手段难以实现的宏观行驶环境信息、可实现车辆间信息共享、对环境干扰不敏感。

缺点：

可用于车辆自主导航控制的信息不够直接、实时性不高、无法感知周边车辆外其它物体信息。

5.融合传感：

运用多种不同传感手段获取车辆周边环境多种不同形式信息，通过多信息融合对行驶环境进行感知。

优点：

能够获取丰富的周边环境信息、具有优良的环境适应能力、为安全快速自主导航提供可靠保障。

缺点：

感知系统过于复杂、难于集成、造价昂贵、实用性差。

第三章视觉系统概述IntroductiontoVisionSystem一、系统构成-Systemconfiguration一套完整的视觉系统通常包括CCD、镜头、图像卡、计算机等，系统构成如下图所示。

景物,镜头,CCD,计算机,图像卡,计算机视觉系统构成,构成计算机视觉系统的主要部件,二、成像原理-Imagingprinciple镜头经过聚焦将目标景物根据小孔成像原理投射到CCD电荷耦合靶面器件上；,智能车辆视觉成像原理示意图,CCD电荷耦合靶面由多个阵列式光电耦合元件构成，其能根据光照强弱产生不同强度的电流，然后电流被转换为当量电压；图像采集卡能够逐行逐列地将每个光电耦合元件产生的电压模拟信号经过A/D转换将其转换成数字信号并传输给计算机；,CCD光电耦合元件及图像采集卡,计算机通过应用软件生成目标景物的数字图像，正是由于景物图像的数字化，才使得计算机能够进行各种图像处理、分析和识别。

目标景物的数字图像,三、主要参数-Keyspecification像素点：

每个光电耦合元件产生的电压信号经过A/D转换将其转换成数字信号形成一个像素，由于光电耦合元件按行列依次排列，其信号的数字转换也按相同顺序依次进行，转换结果数据被计算机按两维数组（x,y）形式加以存储，数组下标值x代表该像素所在行位置，y代表该像素所在列位置，因此一对数组（x,y）对应一个像素点；灰度值：

景物明暗程度经光电耦合元件产生电压模拟信号并经过A/D转换生成当量数字信号，通常CCD采用的是8bitA/D转换，因此各像素点明暗程度分为0-225共256个等级，0代表该像素点最暗，255代表该像素点最亮，因此像素点（x,y）的具体数值大小也称为该像素点的灰度值或灰度级；,像素点及灰度值概念示意图,分辨率：

显然，CCD电荷耦合靶面光电耦合元件构成的行列多少直接影响对景物成像的精细程度，通常将光电耦合元件构成的行列多少称为其成像分辨率。

对相应的数字图像而言，图像分辨率体现为在两维数组（x,y）的大小。

例如，1024（H）1024（V）CCD的分辨率显然要高于512（H）584（V）CCD的分辨率。

高分辨率CCD虽然可以获取更为精细的图像，但由于像素点的大量增加，也会严重降低图像处理的实时性。

对于智能车辆环境感知而言，通常640（H）480（V）的分辨率已能满足要求。

帧频：

CCD在1s时间内连续获取数字图像的帧数，其直接表示出CCD获取图像的速度，是影响视觉环境感知动态响应能力的主要因素。

高速CCD能够有效提高图像处理实时性，但其价格较高。

对于能车辆环境感知应用而言，通常30-100帧/秒速度的CCD性价比较高。

物理光圈：

光圈机构设置在镜头上，通过手动或电动控制其开闭程度，进而控制外界光照投射到CCD电荷耦合镜面的强度大小，显然光圈设定的大小直接影响景物成像的明暗程度。

镜头上设置的机械式光圈可称之为物理光圈。

通常物理光圈参数在1-16之间，该值越小，代表光圈开度越大，通常称之为大光圈，反之亦然。

因此当景物光照很强时，应选择数值大的小光圈；当景物光照很暗时，应选择数值小的大光圈。

光圈选择应有利于增强目标与背景的灰度对比度。

光圈适中光圈过大光圈过小,电子光圈：

在CCD内部，通过电路可以控制外界光照投射到CCD电荷耦合镜面的时间长短，进而达到光照强度大小的控制目的，通常也称其为电子快门。

电子光圈参数需经过程序设定调节。

电子光圈对于变光照条件下实现在线实时视觉环境感知具有重要应用价值。

需要提及的是，电子光圈的大小影响CCD图像获取速度。

物理光圈相同、外界光照不同时电子光圈调节效果,焦距：

焦距是指镜头景物聚焦点到成像平面即透镜中心的距离，通常用f表示，单位为mm，如8mm、12mm、16mm、25mm等。

焦距长短与景物成像大小成正比，对同一物体，焦距越长，其成像越大，焦距越短，成像越小。

镜头焦距与视场角成反比，焦距越长，视场角越小，焦距越短，视场角越大。

镜头通常标有焦距值，此外，许多CCD用镜头也具有通过手动微调焦距的功能。

不同焦距功能示意图,视场角：

视场角决定CCD成像视野范围，其大小与镜头焦距和CCD成像靶面尺寸大小有关，如前图所示。

通常成像靶面为长宽比为4:

3的矩形，所以可用该矩形对角线长度为底边、镜头焦距为高组成一等腰三角形，计算其顶角就是视场角，如前图所示。

如果分别用矩形的两个边计算该角，则有水平视场角和垂直视场角之分。

镜头焦距和视场角是一一对应的，而且是相互矛盾的。

焦距小，则视场角大，视野范围大，但距离远的物体成像不清晰；反之，焦距大，则视场角小，视野范围小，但距离远的物体成像清晰。

因此，应根据环境感知目标具体情况进行折中估算选择合适焦距和视场角的镜头。

俯仰角：

智能车辆视觉系统性能除与前面所述各内部参数相关外，还与其在车辆上安装的俯仰角度、离地高度及相对车体位置等外部参数有关。

俯仰角不仅使目标图像产生透视畸变，且影响视觉视野。

俯仰角越大、图像透视畸变越严重，视野越小；反之亦然，如下图所示。

俯仰角产生透视畸变示意图,实际车道线状态,象平面中车道线状态,透视畸变使物体成像产生形变，有时需要通过比较繁琐的重建方法才能恢复目标真实形态，往往会降低识别目标的实时性，如下图所示。

安装高度：

智能车辆为保证行驶安全，需要对前方路面环境预前识别，这意味着视觉的视野中心与车辆应具有一定距离，通常将其称为预瞄距离。

智能车辆视觉系统的预瞄距离与行驶速度。

车速越高，所需的预瞄距离越远，车速与预瞄距离之间的关系：

Dpreview=V（m/s）（1.21.4）（s）当车速100km/h时，约需40-80米。

显然、视觉系统安装俯仰角和安装高度影响预瞄距离。

在俯仰角相同时，安装高度越高，视野范围越大，预瞄距离越远。

另外，安装高度越高，图像因车体振动引起的失真越严重，常常给图像识别带来困难。

有效视野：

对一特定CCD，其分辨率是固定不变的。

但如其安装俯仰角、高度不同，其成像视野会不同，则所获取图像对同一景物分辨的精细程度也不同，该种描述真实景物精确程度的分辨能力可称为其实际分辨率。

具体而言，实际分辨率是指实际景物空间中的每单位长度对应图像中的像素点个数。

视野范围越大，实际分辨率越低。

有时，实际分辨率并不是越高越好，实际分辨率越高，对噪声的敏感性也越强。

因此，实际分辨率的选择要根据实际情况经试验加以确定。

以下图为例，左图实际分辨率远高于右图，但对于道路边界识别而言，右图像有利于识别道路边界，左图像却易导致误识别。

究其原因，道路边界是宏观、大视野内道路特征。

当视野较小时，道路自然边界特征反而不明显，易受其它非边界信息干扰而产生误检。

“高”分辨率道路图像,“低”分辨率道路图像,颜色：

CCD图像有黑白和彩色之分。

黑白CCD图像各像素点仅反映成像景物的明暗即灰度特征，而彩色CCD图像各像素点则能反映成像景物的红、绿、蓝三色强度信息。

对智能车辆环境感知而言，在某些特定环境下，利用彩色图像有利于目标物体的感知识别，如下图所示。

利用唇色特征识别说话状态利用植物颜色特征识别路径,第四章视觉图像预处理技术简介ImagePre-processingTechnology一、图像获取-Imagegrab对于智能车辆视觉环境感知而言，图像获取应通过合理选择和确定前章所述各种视觉系统内外部参数，以便为目标图像的有效可靠感知辨识提供有利条件。

由于有些参数在一些性能上的相互制约性，针对不同环境景物，相关参数的确定并没有统一的的标准，通常需要经过试验或依赖已有经验，但应遵循以下几点共性原则：

所获取图像中的被辨识目标应尽可能清晰、直观；尽可能提高被辨识目标与整幅图像像素点的比例；图像应尽可能增强被辨识目标与背景的灰度反差；图像获取速度应能满足车辆控制的动态响应能力；,马路边界反差不强石块边界反差不强比较理想,汽车像素过少眼部像素过少比较理想,车辆尾部结构模糊直线产生弯曲失真比较理想,二、图像预处理-Imagepre-process为了实现对视觉图像中的目标进行有效、准确识别，通常需要对图像进行预处理。

图像预处理包括图像去噪、边缘增强、灰度拉伸、图像分割、形态学处理等。

预处理技术应用是否正确，在很大程度上影响图像识别效果。

1.图像去噪（Noisereduction）图像在生成和传输过程中，受输入转换器件及周围环境影响，常含有各种各样的噪声。

为尽可能减少噪声干扰，常需要对图像先进行去噪处理。

图像噪声滤除可在空间域对图像像素灰度值直接进行平滑运算处理，算法比较简单，实时性好，常用的方法有图像平均法、邻域平均法、自适应平滑滤波、高斯滤波和中值滤波等。

原始图象经过平滑滤波后的图像,中值滤波对图像细节辨识作用明显，但会降低图像处理速度，对车辆导航快速环境感知而言，常忽略此项环节。

2.边缘增强（Edgeenhancement）由于许多景物具有明显的的边缘特征，因此在处理该类图像时，常常希望能突出其边缘信息，由此产生了各种边缘增强图像预处理算法。

常用的边缘增强算子有Robert算子、Sobel算子、Prewitt算子等。

以比较经典的Sobel算子为例，其算法的本质是采用了一阶差分算子，离散Sobel算子定义为下式：

梯度值大小可通过下式得到：

梯度方向是在灰度值变化最大的方向上，计算公式为：

Sobel算子的本质是反映了相邻或相距一定距离的像素点的灰度差异特征。

以车道线图像为例，路面像素点的灰度值比较接近，经过Sobel算子，这种接近程度转化成近似零的很小值。

车道线边界与道路其它部分应该具有一定灰度差异，经Sobel算子处理，这种差异被放大强化，使边界特征更为明显，从而有利于排除噪声干扰，实现车道线的有效、可靠识别。

换言之，只有当像素点灰度值具有阶越或近似阶越变化趋势时，Sobel算子才具有实际应用意义。

原始图象Sobel算子边缘增强效果,3.对比度增强（Grayratioenlargement）在一些数字图像中，感兴趣目标的灰度特征值变化范围很小，与背景灰度值难以区分。

通过扩展感兴趣目标灰度特征的对比度，可以提高目标识别准确性，该种图像预处理方法称为对比度增强，也称为灰度拉伸。

对比度增强常采用直方图锥形拉伸算法。

灰度直方图是灰度值的函数，其横坐标表示像素的灰度级别，纵坐标是该灰度级出现的概率即像素点个数。

直方图锥形拉伸算法的基本思想是将图像直方图均匀的灰度轴按灰度分布不均匀插值，即在灰度分布高的区域插值较多，灰度分布低的区域插值较少，然后对插值后的灰度轴按插值点均匀化，从而实现直方图非均匀拉伸。

由于大多数图像的直方图呈单峰或多峰状，这样在直方图峰值处拉伸幅度会比其它区域大，拉伸幅度分布呈锥形，因此称为直方图锥形拉伸，如下图所示。

拉伸后图像的直方图,插值后图像直方图,原图像直方图,如果一幅图像灰度整体较暗或较亮而导致目标难以分割，可以采用灰度拉伸功能来改善图像品质，如以下应用案例。

原始图像,对比度增强后图像,例如前左图，整体灰度值较高，即灰度值较高的像素点较多，它们分布在一个较窄的灰度级范围内。

例如，图像中车道线和附近路面灰度很接近，假设车道线灰度值为245255之间，而附近路面灰度值在235245之间，这样我们很难确定出一个合适的阈值将车道线和路面有效分离。

因为，在灰度值间隔为10的区间内有很多车道线与附近路面像素点，稍有不慎，就有可能误分很多点。

为此，可将按灰度值10间隔内分布的点分散到例如40的间隔内，比如将245-255间隔内的像素点变为215-255区间分布，这相当于把原区间各像素点灰度值进行范围扩展即进行拉伸。

同样235-245区间各像素点灰度值拉伸至175-215区间。

由于分布区间扩大，当选择阈值分割时，会大大减少阈值选择不够精确时误分割点的数量，提高分割的准确性。

例如，原车道线上灰度值为245的像素点为100个，如果采用246阈值分割，这100个点将被误认为是路面。

灰度拉伸后，灰度为215的点可能会减少到25个，这时采用216分割阈值，则误分点数会大为降低。

4.图像分割（Imagesegmentation）图像分割：

在视觉环境感知中，图像处理的根本目的是将感兴趣的目标与背景有效分割，从而实现目标物体辨识。

因此，图像分割是图像理解与分析的基础。

图像分割方法有很多种，如灰度阈值法、边缘检测法、像素分类法、神经网络法、模糊集合法等。

基于在图像中同一种性质物体具有相同或相似的灰度概率最大原理，因此可采用灰度级的差别来分割图像中的各个物体，这类分割方法称为阈值法。

利用阈值对图像进行分割时，关键是找到能将物体和背景有效分割的阈值。

阈值法计算简单，运算效率高，在图像分割中被广泛应用。

二值化：

通过阈值分割，可将图像二值化。

二值化后图像各像素只有两个灰度级（0，1）。

图像二值化能去除一些无用信息，进一步突出目标特征，有利于目标的辨识。

设图象灰度级G（0,1,2,），二值化可表示为：

选择不同的阈值t，将会产生不同的二值化图象。

固定全局阈值：

当背景与目标灰度相差较大但各自比较均匀时，设定一合适的全局固定阈值即可获得满意分割效果。

动态全局阈值：

通常，图像背景与目标的各自灰度值并不一定均匀恒定，且它们间的灰度反差强度对整个图像而言也不一定固定不变，因此采用固定全局阈值在图像中某一区域分割效果可能良好，但在其它区域分割效果不一定理想。

另外，对于多变环境下的动态图像处理来说，这些不确定性可能会变得更为明显。

显然，对智能车辆视觉环境感知，由于光照、背景的多变性，即使是识别跟踪同一目标，也不可能始终采用一个固定不变的全局阈值实现目标与背景的有效分割，必须考虑采用合适动态阈值自动在线选取算法，才能提高其自主导航环境感知的鲁棒性。

全局自动阈值选取方法主要有：

直方图法、类间方差法、矩不变法、最佳熵法、极小误差法等。

在诸多该类算法的应用过程中，应注意每种算法都并非尽善尽美，它们均各自具有其局限性，应用前只有通过实际工况应用试验才能确认所选算法的合理性。

从上面的直方图中可以看出，接近最高灰度值255的像素点个数和接近次高灰度值150的像素点个数形成了图像像素点分布的两个峰值，两峰间谷底处的灰度值约为240。

对前述案例，显然用灰度值240即可将目标与背景有效分离。

因此，采用直方图法分割的关键是设法在直方图中找到两峰值间的谷底所对应的灰度值做为图像分割的阈值。

从统计学的角度出发，目标和背景各自的灰度物理特性接近且相应的像素点个数在图像中的分布概率应该最高，因此形成直方图中的两个峰值点，即不属于目标也不属于背景的像素点其分布概率应最低，理论上应为零。

因此，直方图法常以概率密度分布函数作为分析工具。

在实际应用中，由于图像的复杂性，图像的直方图常会出现多峰多谷现象，这给该方法的应用带来一定局限性。

因为不恰当的谷底认定，可能造成要么将目标点归为背景，要么将背景点认定为目标。

由于分割阈值选取不当，其结果必然是要么损失掉有用的部分目标信息，要么在目标信息中增加了有害的噪声。

因此，当出现多峰多谷现象时，通常要采取分段插值和滤波等方法进行必要的数据处理以保证分割阈值获取的有效性。

多峰多谷直方图阈值法示意图,原始图像直方图法分割结果,b.类间方差法：

通常，图像中同类物体像素点灰度特性差异不大，但不同类物体间灰度差异则比较明显。

方差是灰度分布均匀性的一种度量，方差值越大，说明构成图像的两部分差别越大，当部分目标错分为背景或部分背景错分为目标，都会导致两部分差别变小。

如果将各种不同阈值分割后形成的背景和目标方差差值进行比较，显然该值最大的分割是错分概率最小的分割，该方差即为类间最大方差。

一维最大类间方差分割法具有较好的实时性，在图像质量较好和背景变化比较稳定的情况下，采用该种方法通常都会取得较令人满意的分割效果。

具体而言，如果图像基于其直方图的灰度分为1-L级，在1-L级间选择一分割阈值K，这样目标图像各像素点的灰度级为C0=K-L级，背景图像各像素点的灰度级为C11-K。

在各个灰度级内，分别计算目标和背景灰度方差并求取二者差值。

然后，求取方差差值的最大值，则对应该最大值的灰度级K即可作为目标和背景分割的最佳阈值K*。