视觉传感器在智能网联汽车中的应用教案.docx

上传人:b****0 文档编号:17132647 上传时间:2023-07-22 格式:DOCX 页数:22 大小:223.48KB
下载 相关 举报
视觉传感器在智能网联汽车中的应用教案.docx_第1页
第1页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第2页
第2页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第3页
第3页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第4页
第4页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第5页
第5页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第6页
第6页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第7页
第7页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第8页
第8页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第9页
第9页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第10页
第10页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第11页
第11页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第12页
第12页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第13页
第13页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第14页
第14页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第15页
第15页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第16页
第16页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第17页
第17页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第18页
第18页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第19页
第19页 / 共22页
视觉传感器在智能网联汽车中的应用教案.docx_第20页
第20页 / 共22页
亲,该文档总共22页,到这儿已超出免费预览范围,如果喜欢就下载吧!
下载资源
资源描述

视觉传感器在智能网联汽车中的应用教案.docx

《视觉传感器在智能网联汽车中的应用教案.docx》由会员分享,可在线阅读,更多相关《视觉传感器在智能网联汽车中的应用教案.docx(22页珍藏版)》请在冰点文库上搜索。

视觉传感器在智能网联汽车中的应用教案.docx

视觉传感器在智能网联汽车中的应用教案

课堂教学设计表

授课日期

2019年月日

授课学时

2学时

√理论实践

章名称

第2章视觉传感器在智能网联汽车中的应用

节名称

1.视觉传感器概述

2.视觉传感器在智能网联汽车中的应用

3.视觉传感器的原理和特点

4.智能网联汽车领域图像处理方法及应用

目的与

要求

1.掌握视觉传感器的种类;

2.掌握视觉传感器在智能网联汽车中的应用

3.了解视觉传感器的原理和特点及智能网联汽车领域图像处理方法及应用

教学内容

1.视觉传感器概述

2.视觉传感器在智能网联汽车中的应用

3.视觉传感器的原理和特点

4.智能网联汽车领域图像处理方法及应用

重点与

难点

1.视觉传感器概述

2.视觉传感器在智能网联汽车中的应用

授课方式

理论讲解与视频演示相结合

课外作业

阅读智能网联汽车相关资料

课堂小结

审批意见

签字:

年月日

备注

1.教师所编制的教案由所在教研室主任审批;

2.教研室主任编制的教案由所在二级学院院长(或者专业带头人)审批;

3.二级学院院长编制的教案,有所属专业的教研室主任审批。

板书设计

说明:

任课教师可根据黑板的屏数自行进行板书设计。

教学内容

目的、要求、方法、手段、时间分配、板书预案等

【导言】

要实现汽车的自动驾驶功能,必须使汽车具有环境感知功能,充分了解和认识环境,视觉传感器便是实现汽车环境感知功能的重要手段。

【内容讲授】

§2-1视觉传感器概述

一、概述

视觉传感器是整个机器视觉系统信息的直接来源,主要有一个或两个图形传感器组成,有时还要配光投射器及其他辅助设备。

视觉系统的主要功用是要获取足够的机器视觉系统要处理的最原始图像。

什么是视觉传感器?

利用光学原件和甩像装置,获取外部环境和图像信息的仪器。

通过对拍摄到的图像进行处理,来计算对象物的特征量(面积、重心、长度、位置等),视觉传感器不是一个独立工作的视觉设备,它常被安装在其他机器上协同发挥作用,它的主要作用是收集各类视觉信息,再将这些信息传输给其他设备完成视频采集工作。

二、视觉传感器结构及工作原理

1.视觉传感器结构

视觉和图像传感器通常主要有像素感光元件,转换元件和转换电路组成

(1)像素感光元件感受从被测物体传过来的光;

(2)转换元件就将像素感光元件输出量,转换为电量参数,所以传感元件又称为变换器。

(3)转换电路是将上述电量参数,转换成电,然后送给其他的控制电路或显示电路等。

2.视觉传感器的组成

视觉传感器是整个系统信息的直接来源,主要由专业相机、图像采集卡、PC机、数字信号处理器、控制器,执行机构组成。

3.视觉传感器的基本原理:

视觉传感器具有从一整幅图像,捕获光线的数以千计的像素,以像素数量表示;图像的清晰和细腻程度,通常用分辨率来衡量,一套完整的视觉传系统,会配备一个或多个视觉传感器,使用前需要对视觉传感设备进行设置,设置的目的是明确视觉传感器应该获取的图像的要求,在捕获图像之后,视觉传感器将其与内存存储的基准图像进行比较,以作出分析并作出判断。

三、视觉传感器分类

1.电荷耦合元件(Charge-coupledDevice,CCD):

它是视觉传感器的感知核心,是一种半导体器件,能把光线转变成电荷,即,通过模数转换器芯片,把光学影像转化为数字信号。

2.互补性氧化金属半导体COMS:

主要是利用硅和锗这两种元素制成的半导体,使其在CMOS上共存着,带N和P级的半导体,这两个互补效应所产生的电流,即可被处理芯片记录,和解读成影像;

CCD型图像传感器噪声低,以很暗的环境条件下,性能依旧良好;

COMS型图像传感器质量高,可用低压电源驱动且外围电路简单。

§2-2视觉传感器在智能网联汽车中的应用

•随着电子化、信息化与人工智能技术的发展,小型化和嵌入式的视觉传感器得到了广泛应用,人们可以从车载摄像头中获得更智能的结果,即通过摄像头的视场,感知驾驶环境。

•智能驾驶汽车的视觉传感器可实现车道偏离警告、前方碰撞预警、行人碰撞预警、交通标志识别、盲点监控、驾驶人注意力监控、全景停车、停车辅助和车道保持辅助等功能。

•以特斯拉为例

•特斯拉Autopilot2.0L2级(如图2-15所示)智能驾驶汽车拥有三个前视摄像头,三个后视摄像头,两个侧视摄像头,12个超声波雷达和一个安装在车身上的前毫米波雷达。

1.车道偏离预警

请说说车道偏离警告系统的原理是什么?

当车道偏离系统打开时,摄像头将持续监测环境,在各种气候、光照条件下并通过图像处理识别车道线,感知道路几何形状并获得当前车道中的车辆位置参数,结合车辆状态传感器获得车速、转向灯状态、转向盘转角等车辆动态参数,通过车道偏离评估算法评估车道偏离的可能性(根据转向盘的方向、车辆的速度、车辆与车道的角度来估算偏离时间),必要时通过声音、仪表显示、转向盘/座椅震动等人机交互方式提醒驾驶车辆异常偏离车道时,传感器将及时收集车辆数据和驾驶人的操作状态,然后由控制器发出警报信号,为驾驶人提供更多的反应时间。

•车道偏离预警系统组成主要有:

①图像处理模块

②防抱死制动系统控制模块

③动力转向控制模块

④仪表盘

⑤方向盘模块

⑥车身控制模块/网关模块

⑦动力传动系统控制模块

•2.汽车防碰撞预警系统

•汽车防撞预警系统主要用于协助驾驶员避免高速、低速追尾,高速中无意识偏离车道,与行人碰撞等重大交通事故。

•汽车防碰撞系统工作原理:

基于摄像头/雷达或多种传感器组合方式,检测前方障碍物并评估碰撞风险,根据风险等级进行各级预警,直至主动制动等方式提醒驾驶人或者主动控制车辆,避免碰撞事故发生。

请说说汽车防撞预警系统的原理是什么?

请回答汽车防撞预警系统有哪些功能?

3.交通标志识别(说说交通标志识别功能有哪些)

•车辆安全系统的交通标志识别系统通过特征识别算法,利用前置摄像头组合模式识别道路上的交通标志,提示警告或自动调整车辆运行状态,从而提高车辆的安全性和合规性,提醒驾驶员注意前方的交通标志。

交通标志分为警告标志、禁止标志、指示标志

•可采用的视觉分类识别方法主要包括:

基于不同距离的模板匹配识别方法、大量数据样本的机器学习识别方法、粒子群优化和遗传算法等智能算法的识别方法等。

•根据交通标志颜色和形状的确定,我们可以进一步对三种不同的交通标志进行分类,并将颜色形状分类的结果作为交通标志检测和识别的先验知识。

4.盲点监测(盲点监测系统的原理是什么)

•盲点监测系统又称并线辅助系统,主要功能是扫除后视镜盲区并通过侧方摄像头或雷达将车左右后视镜盲区内的影像显示在车内。

由于车辆后视镜中有一个视觉盲区,因此在换道前无法看到盲区中的车辆。

如果盲区内有超车车辆,则会发生车道碰撞,在大雨、雾天、夜间光线暗淡的情况下,更难看到后面的车辆,换道更危险。

5.驾驶人监控系统

•驾驶人监控系统包括疲劳监控、驾驶行为监控、注意力监控等,是一种基于驾驶员生理反应特性的驾驶员疲劳监测预警技术。

通过不断检测驾驶员的驾驶习惯,使驾驶人保持安全驾驶所需的注意力,以及在自动驾驶和人工驾驶切换过程中,保证驾驶人由足够时间接管车辆。

•两种类型:

•一种是间接式监控,即通过驾驶人对车辆的操纵判断驾驶人是否处于正常驾驶状态;

•一种是直接式监控,即通过摄像头对驾驶人的视线、面部状态等进行跟踪,判断驾驶人状态是否满足安全驾驶需求。

简述驾驶员注意力监控系统的工作原理

6.车道保持辅助系统

•车道保持辅助系统是智能驾驶辅助系统之一,基于车道偏离警告系统控制制动和转向控制协调装置,通常进入车道保持状态要求最低限速为60km/h。

当检测到车辆即将偏离车道线时,向转向电机发出指令,以纠正车辆的行驶方向。

(视频演示)

7.汽车辅助

•泊车辅助是用于停车或倒车的安全辅助装置,有手动和自动两种类型。

•主流的泊车辅助系统是由倒车摄像头和汽车监视器组成。

8.全景停车

•汽车环绕全景图像停车辅助系统包括多个安装在汽车周围的摄像头、图像采集组件、视频合成/处理组件、数字图像处理组件和车辆显示器。

这些装置可以同时采集车辆周围的图像,对图像处理单元进行变形恢复→视图转换→图像拼接→图像增强,最终形成车辆360°全景仰视图。

9.红外夜视系统

•汽车夜视系统采用红外线技术,结构由红外摄像头和挡风玻璃上的灯光显示系统两部分组成。

•安装这种夜视系统后,驾驶员可以像白天一样透过灯光显示系统看到道路的行驶条件。

当两辆车相遇时,可以大大减少对车前驾驶员的视力刺激,也可以提高驾驶员在雾中辨别的能力。

什么是主动红外夜视技术?

什么是被动红外夜视技术

 

大众汽车红外夜视系统视频演示

10.智能照明系统

•智能照明系统可以调整灯光满足驾驶人与前视摄像头的照明需求,同时摄像头可以感知环境进一步控制前照灯的光形、光强等变化。

•未来智能照明系统不仅能够主动辅助驾驶人更好地看见环境,还能通过智能化技术辅助驾驶人或者自动驾驶系统更好地理解环境。

•为了适应汽车自动驾驶和数字化的趋势,智能视觉传感器系统正逐步取代部分现代汽车照明系统,例如:

奔驰几何多光束LED大灯。

•在新的照明系统中,软件用于处理传感器信号、检测和识别车辆周围的物体、建立三维环境和跟踪物体的运动,例如,采用四线激光雷达、超声波传感器、红外视觉感知等技术,将灯具的照明功能转化为外部照明通信接口。

在自动驾驶模式下行驶中检测到潜在危险时,利用前大灯的投射技术可以改变光束的形状,并对其他车辆或行人发出警告。

§2-3视觉传感器的原理与特点

1.单目视觉传感器的原理和特点

•原理:

先识别后测距,首先通过图像匹配对图像进行识别,然后根据图像的大小和高度进一步估计障碍物和车辆移动时间。

•作用:

单目摄像头是自动驾驶车辆系统中最重要的传感器之一,通过车道线检测和车辆检测,可以实现车道保持和自适应巡航功能。

•优点:

成本低、帧速率高、信息丰富、检测距离远

•缺点:

易受光照、气候等环境影响,缺乏目标距离等深度信息,对目标素的的测量也有一定影响。

•目前的ADAS可识别40米~120米的范围,未来将达到200米或更多。

单目摄像头的视角越宽,可以检测到的精确距离长度越短,视角越窄,检测到的距离越长。

多传感器融合:

由于单目摄像头存在依赖大量训练样本、特征提取过程难以观测和调整等问题,摄像头测距精度远低于激光雷达和多普勒雷达。

在实际应用中,需要结合激光雷达和多普勒雷达等其他传感器进行探测,这些传感器在各自的约束条件下能够发挥各自最优的性能,各类传感器的融合将大大提高目标检测的精度。

单一的摄像头由于镜头角度、探测范围和精度有所不同,在实际应用中也经常采用组合的单目摄像头来实现不同的环境检测。

①长焦摄像头和短焦摄像头组合的方式,提供远距离精确探测和近距离大探测范围的综合检测;

②四个鱼眼摄像头分别布置在车辆的前后左右,通过图像拼接提供环视功能

2.双目视觉传感器的原理和特点

工作原理:

先对物体与本车距离进行测量,然后再对物体进行识别。

•在距离测量阶段,先利用视差直接测量物体与汽车之间的距离,原理与人眼相似。

当两只眼睛注视同一物体时,会有视差,分别闭上左右眼看物体时,会发现感觉位移,这种位移大小可以用来测量目标物体的距离。

•在目标识别阶段,双目摄像头仍然使用与单目视觉相同的特征提取和机器学习算法来进一步识别目标。

双目视觉传感器的原理和特点:

双目仿生学原理:

通过校准后的双目摄像头获得同步曝光图像,然后计算得到二维图像像素的三维深度信息。

利用视觉计算原理,可以计算出拍摄场景中物体的三维空间位置信息。

在此基础,可以实现环境感知、体感、建模和行为识别等多种应用。

与单目摄像头相比,双目摄像头更适用于获取单目摄像头无法准确识别的信息。

双目摄像头由于自身的测距原理,会要求两个镜头之间的误差越小越好。

如果两个镜头的误差都大于5%,那么识别过程中调整的算法难度就会大得多,不能保证测距确定性。

双目摄像头的优点有哪些?

•双目摄像头可以在不识别目标的情况下获得深度距离数据。

•双目摄像头在20米范围内测距精度较高,随着距离的增加,可以通过高像素摄像头和较好的算法提升测距性能。

•双目摄像头间距越小,测距镜头间距越小,检测距离越近;尽头间距越大,检测距离越远,同时标定和安装难度越大。

•缺点:

安装要求高、受工作环境温度影响(双目摄像头本身的安装要求很高,例如,摄像头之间的距离在10~20cm之间,这个距离需要非常精确,因为它直接关系到测距精度。

由于汽车所处的环境复杂多变,工作环境温度要求在-40~85度之间,传统器材必然存在热胀冷缩问题,这将影响两个摄像头透镜之间的距离。

•在实际应用中,双目摄像头可以获取点晕数量远多于激光雷达,但是要强大的算法适配才能进一步作出分类、识别和目标跟踪,同时也需要具有较强计算力的嵌入式芯片,才能使其优势得到发挥

卡尔飞思智能小车双目摄像头路由寻径识别应用。

3.红外夜视视觉传感器的原理和特点

原理:

基于红外热成像原理,通过能够透过红外辐射的红外光学系统,将视场内景物的红外辐射聚焦到红外探测器上,红外探测器再将强弱不等的辐射信号转换成相应的电信号,然后经过放大和视频处理,形成可供人眼观察的视频图像,如左下图所示。

红外线:

通常指波长从0.78-1000um的电磁波,红外波段的短波段与可将光的红光部分相邻,长波段与微波相接,如右下图所示。

【自然界中一切温度高于绝对零度的物体,每时每刻都会向外辐射红外线。

红外线辐射的物理本质是热辐射,夜视一种电磁波。

红外线是从物质内部发射出来的,产生红外线的根源是物质内部分子运动。

红外线与电磁频谱的可见光一样,以光速传播,遵守同样的反射、折射、衍射和偏振等定律,因此其成像的原理与前面介绍的视觉传感器完全一样。

红外夜视可以分为主动和被动两种类型。

•被动红外夜视技术,利用目标发出的红外线形成环境的热图像。

•主动红外夜视技术,通过主动向外发射强红外线,再由反射光学系统的物镜组接收,在红外成像管的光电阴极表面形成被测目标的红外图像

【红外夜视系统是视觉传感器一个独特的分支,图像处理算法在处理远红外夜视图像过程中依然能够发挥作用,因此红外夜视系统能够像可见光摄像头一样,获取环境中的目标大小和距离等信息,对光照不足条件下对基于可见光的视觉传感器的应用是一种有效补充。

4.多视觉传感器的组合应用

•在汽车智能驾驶中,通过不同焦距和不同仰角的多个单目摄像头,可以获得不同位置的交通标志、信号灯和各种道路标志的检测和识别能力。

•例如,在长焦摄像头的成像中,100米处的交通灯足够大,100米处的交通标志上的数字也清晰可见。

而在短焦距摄像头的成像中,100米处的交通标志上的数字是完全不清楚的,但是却能够获得近距离更广范围的环境信息。

因此多个单目视觉传感器的组合方案在智能网联汽车领域也得到了广泛的应用

•三目摄像头划分为25°视场、50°视场、150°视场,25°视场用于检测前车道线、交通灯,50°视场负责一般的道路状况监测,150°视场用于检测平行车道、行人和非机动车行驶的状况。

•仅仅通过环视或二维视觉很难满足复杂环境感知的需求,对多维立体视觉的需求会越来越突出。

•在汽车智能驾驶中,通过不同焦距和不同仰角的摄像头,可以获得不同位置的交通标志、信号灯和各种道路标志的检测和识别能力。

•【汽车驾驶的动态环境是不断变化的,正确而充分地理解环境是智能网联汽车感知系统面临的重要挑战。

•随着智能驾驶水平的提高,对车上传感器的数量和要求也会增加。

如何通过各类传感器的组合实现对环境变化的适应和感知,是视觉传感器及图像算法领域面临的挑战。

§2-4智能网联汽车领域图像处理方法

1.计算机视觉技术原理

•智能网联汽车中使用的图像处理方法算法主要来源于计算机视觉中的图像处理技术。

【传统的计算机视觉识别过程大致可分为图像输入、预处理、特征提取、特征分类、匹配和完全识别,包括各关键领域的技术研究,如:

输入图像噪声的平滑、对比度增强和边缘检测信号的预处理、分类识别结果的再处理等算法。

在智能网联汽车应用领域中,图像识别主要用于车牌、道路边界、车道线、交通信号、交通标志、车联/行人等交通参与者、自由行使空间等对象的感知。

计算机视觉技术原理:

视觉传感器将通过数字化的图像对环境信息编码,编码的目的是使信息可以被计算机处理。

典型的图像编码格式有灰度、RGB、CMYK等,根据颜色编码、图像属性、分辨率、压缩方式等特征,一些标准的图像格式如BMP、JPG(JPEG)、PNG、TIF、GIF、PCX、TGA、EXIF、FXP等被定义,用于标准化和结构化图像的存储,以及在网络、各类操作系统和算法中的传播与使用图像

图像特征的提取

•原理:

图像是一种矩阵式的点存储方式,通常由统计学等方法对图像矩阵进行转换,获取可用于计算机处理的特征信息。

特征提取的过程在信息处理中是一种对数据进行降维的处理方式,目的是找出待识别的各类目标在图像中的典型特征,并通过计算机算法及数据结构描述图像中的特征点,进而就可以通过特征描述判断特征是否匹配,判断当前图像中是否存在待识别目标,以及待识别目标在图像中的位置。

【智能网联汽车中涉及的图像处理算法就是在结构化的图像信息提取其中包含的环境特征。

机器视觉算法的基本步骤包含图像数据的解码、图像特征的提取、识别图像中的目标。

图像处理算法包括传统的机器视觉,以及基于人工神经网络的深度学习等技术。

人工图像特征

•优势:

直观、可分析

•缺点:

需要对图像中的结构化信息有深入的理解,并能构建可直观区分又能通过数字处理方法提取的特征。

典型的人工图像特征有:

SIFT特征、HOG特征、Haar-like特征等

【请说说SIFT特征、HOG特征、Haar-like特征各有哪些特征?

•SIFT特征:

尺度不变特征变换(Scale-InvariantFeatureTransform,SIFT)在不同的尺度空间搜索特征点及其方向,获取图像中的目标特征。

SIFT所查找到的特征点是不因光照、仿射变换和噪声等因素而变化的突出点,如角点、边缘点、暗区的亮点及亮区的暗点等。

•HOG特征:

方向梯度直方图(HistogramofOrientedGradient,HOG)特征通过计算和统计图像局部区域的梯度方向直方图来构成特征。

HOG特征被广泛应用于图像识别中,尤其在行人检测中获得了极大的成功。

•Haar-like特征:

haar-like特征由边缘特征、线性特征、中心特征和对角线特征构成,这三类特征组合成特征模板。

特征模板内有白色和黑色两种矩形,并定义该模板的特征值为白色矩形像素和减去黑色矩形像素和。

Haar-like特征值反映了图像的灰度变化情况。

在实际应用中,还需要考虑相关算法的计算效率和特征描述的普适性等,所以一些评价特征的性能指标被提出来,如:

特征对旋转、尺度缩放、亮度变化的不变性,特征对视角变化、仿射变换、噪声的稳定性;另外在实际应用中,根据特征点提取方法和特征点描述方法的不同,又有满足各类不同功能、性能要求的特征提取方法被细分,如SIFT、SURF、FAST、HOG、ORB、LBP等。

2.图像识别算法在智能网联汽车领域的典型应用

(1)车道检测

•车道检测的目标:

主要是检测车道的形状和车辆在车道上的位置,车道的形状包括宽度和曲率等几何参数,车辆位置包括车辆和道路的横向偏移和偏航角。

•基于视觉的车道检测的方法包括:

1基于霍夫变换的车道线检测

2基于仿射变换的车道线检测

3基于边缘点拟合的车道线检测

•车道线跟踪的原理:

车辆行驶的过程是处于连续位移过程,相应的车道变化也是连续变化的,图像中两帧前后车道线斜率相差不大,位置距离也不会太远,因此可以通过比较前后两帧来控制车道线的斜率,在先前检测到的车道线区域附近进行限定。

车道线跟踪的作用:

预测道路特征在下一帧图像中的位置,在较小的范围内检测道路特征,并提高效率

•【车道线在检测时很容易丢失,为了保证检测精度,使用跟踪算法可以提高检测速度和精度。

•跟踪的作用是预测道路特征在下一帧图像中的位置,在较小的范围内检测道路特征,并提高效率。

如图所示,如果在预测范围内未检测到道路特征,则使用估计或参考上一帧特征的位置。

如果连续帧未检测到道路特征,则启动全图像道路特征检测。

车道状态需要考虑车道位置、速度、横摆角和车辆行驶角度之间的关系。

跟踪算法一方面保证了为后续检测缩小了搜索范围,另一方面也保证了在摄像头遮挡、车道线不清晰时检测的连续性和稳定性。

2.语义分割

•语义分割是指图像处理算法试图从语义上理解图像中每个像素的角色,该物体是汽车还是其他分类的物体,除了识别人、路、车、树等,我们还必须确定每个物体的边缘,需要使用语义分割模型来对物体做出像素级的分割,并通过语义形式提供物体的特征和位置等信息。

语义分割的原理:

语义分割是无人车驾驶的核心算法技术,车载摄像头或者激光雷达探查到图像后输入到神经网络中,后台计算机可以自动将图像分割归类,以避让行人和车辆等障碍。

•原始图像经过深度学习网络进行逐层特征提取、像素级分割、特征识别、语义标注等过程,实现对图像中各类目标的识别、分类、语义信息标注,为智能网联汽车更丰富功能的实现,提供更多、更全面的环境信息。

3.立体视觉与场景流

•立体视觉是双眼观察景物能分辨物体远近形态的感觉。

•立体视觉的目的在于重构场景的三维几何信息。

•立体视觉的主要应用领域:

1自动测绘中的航空图片的解释

2自主车的导引及避障

3人类立体视觉的功能模拟。

•场景流是空间中场景运动形成的三维运动场。

立体视觉的实现方式

1利用双目视觉传感器建立三维描述,直接获取距离信息的方法。

这是一种主动模式立体视觉方法,深度图由双目摄像头获取。

根据已知深度图,通过数值逼近重建地表信息,并根据模型建立场景中的物体描述,实现基于图像的环境理解功能。

2利用一幅图像提供的信息来推断三维形状的方法。

根据场景中的灰度变化结合光学成像的透视原理和统计假设到处物体的轮廓和表面推断出物体的形状。

3利用两个或多个图像在不同视点或不同时间提供的信息,重建三维结构的方法。

4.视觉里程计算法

•视觉里程计算法的一个非常重要的特点是它只关心局部运动,而且大部分时间是指两个时刻之间的运动。

当以一定的时间间隔采样时,可以估计运动物体在每个时间间隔内的运动。

由于该估计值受噪声的影响,故将前一时刻的估计误差加入后一时刻的运动,会产生误差累计。

5.目标跟踪

•目标跟踪是指系统跟踪特定场景中感兴趣的一个或多个特定对象的过程,目标跟踪在无人驾驶领域很重要,一方面可以提高后续检测的准确性,另一方面能够对目标的运动状态进行跟踪。

•根据观测模型,目标跟踪算法可分为两类:

生成算法和判别算法。

1生成算法利用生成模型来描述目标表面特征,并使重构误差最小化来搜索目标;

2判别算法又称检测跟踪算法,通过区分待识别目标和道路、天空等背景,将待识别目标提取并进行跟踪。

简介

1.视觉传感器就是智能网联汽车的眼睛,拥有和人一样的视觉能力。

基于视觉传感器的交通标志检测、道路检测、行人检测和障碍物检测,等车辆驾驶视觉辅助系统,可以降低驾驶员的劳动强度,提高行驶安全性,减少交通事故。

2.在汽车中应用

行车环境的感知主要依靠视觉技术感知车辆行驶时的道路信息、路况信息和驾驶员状态。

其中道路信息主要是指车外的静态信息,包括车道线、道路边沿、交通指示标志和信号灯等

展开阅读全文
相关资源
猜你喜欢
相关搜索
资源标签

当前位置:首页 > 经管营销 > 经济市场

copyright@ 2008-2023 冰点文库 网站版权所有

经营许可证编号:鄂ICP备19020893号-2