户外环境下基于混合视觉系统的移动机器人可通行区域识别研究Word下载.docx

户外环境下基于混合视觉系统的移动机器人可通行区域识别研究Word下载.docx

《户外环境下基于混合视觉系统的移动机器人可通行区域识别研究Word下载.docx》由会员分享，可在线阅读，更多相关《户外环境下基于混合视觉系统的移动机器人可通行区域识别研究Word下载.docx（69页珍藏版）》请在冰点文库上搜索。

2.2.2全向视觉系统的标定 17

2.3本章小结 21

第三章前方可通行区域的识别及在全景图像中的映射 22

3.1基于双目视觉系统的可通行区域识别 22

3.2全向-双目混合视觉系统的共同视场确定 24

3.2.1左图像坐标系到世界坐标系的映射 24

3.2.2世界坐标系到全景图像坐标系的映射 29

3.3前方可通行区域识别结果及在全景图像中的映射 31

3.3.1前方可通行区域识别结果 31

3.3.2在全景图像中的映射结果 34

3.4本章小结 35

第四章基于全向视觉系统的周围环境可通行区域识别 36

4.1超像素处理 36

第I页

4.1.1超像素分割算法选择 36

4.1.2PreemptiveSLIC 38

4.2特征提取 40

4.2.1特征选择 40

4.2.2LBP特征 41

4.2.3WLD算子 43

4.3机器学习算法 45

4.3.1机器学习算法选择 45

4.3.2SVM算法 46

4.4多方向可通行区域识别结果与误差分析 47

4.5本章小结 50

第五章总结与展望 52

5.1课题工作总结 52

5.2下一步工作 53

致谢 54

参考文献 55

作者在校期间获得的学术成果及奖励情况 59

表 目 录

表2.1Bumblebee2摄像机参数 10

表2.2Prosilica摄像机参数 11

表2.3左摄像机内部参数 15

表2.4左摄像机外部参数 17

表2.5全向视觉系统初次标定参数 19

表2.6迭代计算后得到的全向视觉系统参数 20

表2.7全向视觉系统最终标定参数 20

表4.1WLD比较窗口 43

图 目 录

图1.1几种典型机器人 1

图1.2两类典型危险 2

图1.3基于混合视觉系统的可通行区域识别方法框图 6

图2.1全向移动机器人 9

图2.2Bumblebee双目视觉系统 9

图2.3全向视觉系统原理图 10

图2.4镜面相机组合示意图 11

图2.5全向视觉系统 12

图2.6传感器的安装位置 13

图2.7左摄像机采集的棋盘格图像 14

图2.8左图像角点提取 14

图2.9左图像角点重投影误差图 15

图2.10在标定板上建立X-Y-Z坐标系 16

图2.11单有效视点结构光线图 17

图2.12全向视觉系统采集的棋盘格图像 18

图2.13全景图像角点提取 19

图2.14全景图像角点重投影误差图 20

图2.15摄像机外部参数测量位置 21

图3.1U-V视差检测原理图 23

图3.2左图像到全景图像的映射关系 24

图3.3左图像坐标系与世界坐标系关系图 25

图3.4左图像坐标系到世界坐标系的映射关系 25

图3.5摄像机针孔透视成像模型 26

图3.6三角测量原理图 27

图3.7世界坐标系到全景图像坐标系的映射关系 29

图3.8全向视觉系统成像模型 30

图3.9全景图像畸变 31

图3.10双目视觉左图像 32

图3.11双目视觉视差图 33

图3.12前方可通行区域识别结果 33

图3.13可通行区域在全景图像上的映射结果 34

图4.1SLIC与PreemptiveSLIC分割效果比较 38

图4.2种子点个数对分割效果的影响 39

图4.3权值对分割效果的影响 40

图4.4基本LBP纹理图 41

图4.5几种圆域LBP特征提取示意图 42

图4.6WLD纹理图 44

图4.7360°

方向可通行区域识别结果 49

第VI页

摘要

识别周围环境的可通行性是移动机器人路径规划的关键问题，不仅需要识别前方的可通行区域，也要对其它方向的可通行区域做出判别。

本文结合双目视觉系统的视差信息和全向视觉系统的全景图像信息，提出了基于混合视觉系统的

360°

环境可通行区域识别方法，为实现机器人在复杂户外环境下的自主运行奠定了基础。

首先，根据自主识别前方可通行区域的需求，选择了Bumblebee双目视觉系统。

针对全向视觉系统的参数标定问题，选择了双曲线型反射镜面与Prosilica摄像机组成全向视觉系统。

为了使混合视觉系统得到较大的共同视场，将双目视觉系统置于全向视觉系统前方，一并搭载于全向移动机器人平台上。

其次，通过ELAS匹配算法得出双目视觉的视差信息，基于U-V视差算法实现机器人前方可通行区域的识别。

为了将识别结果映射到全景图像中，本文提出了基于坐标转换的图像映射方法，引入世界坐标系为媒介，建立左图像坐标系到全景图像坐标系的映射模型。

并通过相应的MATLAB标定工具箱计算出模型参数。

再次，本文选择了SVM算法在全景图像中以前方可通行区域和不可通行区域的特征和标签为样本进行机器学习。

为了提高算法效率，本文先通过Preemptive

SLIC算法对图像进行超像素分割，进而分别基于LBP和WLD两种局部纹理特征进行训练分类，识别周围360°

环境的可通行区域。

最后，在户外校园环境中开展了一系列的实验，结果表明，本文提出的方法有效扩大了机器人对可通行区域的识别范围，为机器人的路径规划能力提供了更丰富的环境感知信息。

主题词：

全向移动机器人；

双目—全向混合视觉系统；

可通行区域识别；

图像映射；

机器学习

第i页

ABSTRACT

Formobilerobotsincomplexoutdoorenvironments,recognizingthetraversableregionisthekeyproblemofrouteplanning.Itneedstorecognizethetraversableregionnotonlyinfrontoftherobot,butalsoineverydirectionaroundit.Combiningtheparallaxinformationofbinocularvisionsystemandthepanoramicimageinformationofomnidirectionalvisionsystem,thispaperproposesbinocular-omnidirectionalhybridvisionsystemtorecognizetraversableregionin360°

environmentsaroundtherobot,whichlayafoundationforrobots’autonomousnavigationinoutdoorenvironments.

Firstly,inordertorecognizethetraversableregioninfrontoftherobotautonomously,wechoosetheBumblebeebinocularsensor.Forcalibratingtheparametersofomnidirectionalvisionsystemeasily,wechoosehyperbolicmirrorandfixitwithaProsilicaindustrialcameratobeaomnidirectionalvisionsystem.Aimingtogetalargeenoughcommonfieldofview,wefixthebinocularvisionsysteminfrontoftheomnidirectionalvisionsysteminanomnidirectionalmobilerobot.

Then,withtheElasmatchingalgorithm,theparallaxofthebinocularvisionsystemcanbecomputed,andthetraversableregioninfrontoftherobotcanberecognizedbyU-Vparallaxalgorithm.Formappingtheresulttopanoramicimage,thispaperproposestheimagemappingmethodbasedoncoordinatesystemconversion.Byaworldcoordinatesystem,themappingrelationshipbetweentheleftimagecoordinatesystemandthepanoramicimagecoordinatesystemscanbecomputed.TheparametersofthecoordinateconversioncanbecomputedbyMATLABcalibrationtoolbox.

Andthen,SVMalgorithmischosenformachinelearningwiththesampleoffeatureandlabeloftraversableregionandintraverbleregioniffrontoftherobot.Inordertoimprovetheefficiencyofthealgorithm,thepanoramicimageissegmentedbyPreemptiveSLICalgorithm.ThenLBPfeatureandWLDfeaturearechosenforclassification,sothatthetraversableregionin360°

environmentscanberecognized.

Finally,aseriesofexperimentsinoutdoorenvironmentsareperformed.Theresultsshowthatthealgorithmcanexpandtherangeoftraversableregiondection,andmoreperceptioninformationcanbeprovidedforrobots’routeplanning.

KeyWords:

Omnidirectionalmobilerobot,Binocular-omnidirectionalhybridvisionsystem,Traversableregionrecognition,Imagemapping,Machinelearning

第ii页

第一章绪论

1.1课题研究背景及意义

智能移动机器人指的是能够自主移动并执行给定任务的机器人，它包含了环境感知、动作决策和行为控制等方面的技术。

近年来，随着传感器技术、计算机技术、人工智能等领域的发展，智能移动机器人已得到广泛应用，除了应用于传统工业领域外，还广泛用于军事、航天、救援等新兴领域。

经过国内外众多智能移动机器人开发团队几十年的研究，已经在众多应用领域得到了丰硕的成果。

例如，由iRobot公司研制的救援机器人PackBot继参与9.11事件的救援任务后，又参与了伊拉克和阿富汗战场的排爆、侦查等危险任务。

美国国家航天局先后研发了“勇气号”、“机遇号”和“好奇号”等一系列火星车，在外星球探测领域获得了巨大成功，为人类探索太空计划做出了重大贡献。

由波士顿动力学工程公司专门为美军研制的负重机器人“BigDog”是一种高机动能力的四足机器人，它可以在崎岖不平的地面上快速奔跑，同为波士顿动力学工程公司研制的双足机器人“Atlas”是最先进的仿人机器人，“BigDog”和“Atlas”为美军的战场机器人计划奠定了基础。

由iRobot公司研制的Roomba等系列家庭清洁机器人，能够实现完全自主的吸尘、拖地等任务，并能够进行自动充电，是机器人进入民用领域的典型代表。

由国防科大团队研制的无人汽车红旗HQ3已完成了从长沙到武汉高速公路的无人驾驶任务，是智能交通领域的重大突破。

（a）救援机器人PackBot （b）火星车“好奇号” （c）负重机器人“BigDog”

（d）仿人机器人“Atlas” （e）扫地机器人“Roomba” （f）国防科大无人车HQ3图1.1几种典型机器人

从这些应用领域的需求可以看出，移动机器人的安全通行能力是其执行任务的关键。

然而户外环境复杂多变，机器人本身受机械结构限制，可通行范围十分有限，因此，判别可通行区域的能力就成为实现机器人自主运行的最基本能力之一，也是国内外机器人研究领域所面临的重大挑战之一。

机器人在户外非结构化环境中运行时可能遇到各种各样的危险环境，导致机器人被卡住甚至遭到损坏。

它可能遇到的危险环境主要分为几何危险和非几何危险两类[1]。

几何危险

非几何危险

图1.2两类典型危险

非几何危险是由于地形的粘度、密度等因素发生改变而导致机器人难以移动，如沙地、沼泽、积水等，此类危险可以通过地形分类的方法进行识别，在本文中不做详细讨论。

几何危险是由于几何障碍物的存在而导致机器人无法通行，如墙壁、土堆、岩石等，此类障碍物如果不避开有可能对机器人造成损坏，因此研究机器人对几何危险的识别方法有着极为重要的意义。

本文将对机器人识别周围几何危险的方法展开研究。

对于几何危险的判别，目前较为主流的方法有基于激光数据[2]的判别方法和基于视觉信息[3]的判别方法。

其中激光传感器具有体积小、精度高等优点，因此常用于对精度要求较高的定位、建图任务。

然而由于它存在扫描范围有限、对光线反射敏感等缺陷，在户外环境中的判别准确度较差，又由于本文中无需建图，因此不使用激光数据。

视觉传感器能够得到以像素为单位的视觉图像，为机器人提供较为丰富的场景信息，便于进行以像素为单位的图像处理以及混合视觉系统的信息融合。

虽然

此类传感器具有数据量大、易受环境影响等缺点，但可以通过设计相应的图像处理算法减弱环境因素的影响。

综合来看，视觉传感器可以满足可通行区域识别的要求，因此本文选择基于视觉信息的判别方法进行研究。

常见的视觉传感器有单目视觉传感器[4]、双目视觉传感器[5]和全向视觉传感器[6]等。

户外环境下存在前方无法通行或周围环境复杂难以自由转弯等情况，因此不仅需要机器人感知其前方的可通行区域，也需要感知其周围360°

环境的可通行区域，才能使机器人及时做出合理的路径规划。

双目视觉传感器集成了两个CCD摄像机，模拟人的两只眼睛进行信息采集。

相比于单目视觉系统，它得到的信息更为丰富，能够直接生成视差信息。

由左右图像产生的视差信息，可以检测出几何障碍物的位置，得到不含几何危险的可通行区域。

然而双目视觉系统的作用范围有限，仅能判别出机器人前方的可通行区域，为满足本文应用需求，还需要增加其它传感器，以获得周围各方向的视觉信息。

在主流的视觉传感器中，仅有全向视觉系统能够很好的捕捉到周围360°

环境的视觉信息，得到的全景图像便于进行图像处理与信息融合。

因此，可以将全向视觉系统和双目视觉系统结合使用，以实现对机器人周围360°

环境可通行区域的自主识别。

1.2课题研究现状和发展趋势

1.2.1混合视觉系统

虽然视觉传感器能够直接获得丰富的环境信息，但单一的视觉系统在识别任务中往往无法满足需求，为了扩大识别范围和提高识别精度，经常将单目、双目和全向等多种视觉系统混合使用。

目前，双目-全向混合视觉系统的使用较为少见，而单目-全向混合视觉系统在移动机器人领域已逐渐发展成熟。

卢惠民[8]等在用于足球机器人目标定位的全向视觉系统的基础上，增加了单目视觉传感器，弥补了全向视觉识别精度方面的不足，优化了目标识别与定位算法。

文章给出了适用于单目视觉传感器的标定方法及两个视觉系统的信息融合方法。

杨鹏[9]等针对足球机器人快速识别定位目标的需求，融合单目视觉与全景图像信息，基于图像坐标转换方法和反正切法在单一视觉中实现目标定位，并以blob面积为条件对两种视觉信息进行融合，从而实现对足球的跟踪定位。

张学习[10]等在卢惠民所提方法的基础上，在机器人的底盘处增加了六个摄像机，构建多传感器混合视觉系统，有效扩大了机器人的视野范围，提高了机器人的目标识别的精度。

全向视觉和单目视觉的信息处理都是在机器人自带的处理器中完成的，为了不增加处理器的计算负担，六个嵌入式摄像机在下位机中进行信

息处理。

何炳蔚[11]等提出通过对极几何关系确定单目-全向混合视觉系统的共同视场，并对场景进行SIFT特征提取，以SIFT向量夹角为约束条件进行初次匹配，再通过外极线约束进行误差修正，从而完成场景的3维重建。

Kä

ppeler[12]等针对足球机器人目标识别滞后而导致的丢球问题，结合单目视觉与全向视觉提取目标特征，通过三角测量原理进行三维目标定位，可实现目标的实时跟踪定位。

1.2.2图像分类相关技术

（1）机器学习方法

本文先自主识别出前方可通行区域，再以此为样本识别出其它方向的可通行区域，是一种基于机器学习的图像分类问题。

机器学习是一种基于概率统计的预测算法。

其主要思想是让计算机模拟人的思维进行学习，该思想于20世纪五十年代被提出，如今已逐渐发展成熟，形成了决策树算法、随机森林算法、人工神经网络算法、SVM算法、Boosting与Bagging算法、关联规则算法、贝叶斯学习算法、EM算法等主流学习算法[13,14]。

决策树算法模拟从树根到子叶的分裂模型进行预测，根据分裂属性和剪枝方法的选择，可以对决策树的平衡进行控制，该算法基于自顶向下的贪婪算法进行分类。

随机森林算法是由多个决策树组成的分类预测模型，每一个决策树都会给出一个分类标签，根据统计所有决策树的投票结果决定每一个输入量最终所属的类别。

人工神经网络算法是模拟生物学中神经元互连模型的算法，构建输入层、隐藏层、输出层神经元模型，通过样本学习调整连接阈值得到预测模型。

SVM算法与神经网络算法较为类似，都是通过样本学习训练出分类器，但SVM只选择部分区分能力较强的支持向量，通过学习找出最优分类面，实现分类间隔最大化，此算法对二分类问题更加适用。

Boosting和Bagging算法是将一系列的预测函数以一定的方式组合起来，从而提高学习算法的精度和性能。

关联规则算法对数据集中多个变量的关系进行分析，仅仅是基于数据本身的规律总结，不需要任何先验知识和主观假定，算法目标就是产生支持度和可信度大于给定的最小值的强规则。

贝叶斯算法是一种基于先验概率和条件概率的估计模型，在贝叶斯规则判别中，有多个潜在的规则同时起作用决定分类结果。

EM算法是在极大似然估计时针对数据不完全问题的一种求解方法，它基于对数据的观察，挖掘出潜在数据，完成计算的简化和极大化模拟。

（2）图像特征

图像特征提取是图像分类的基础，根据分类任务的需要，所选择的特征不同。

常见的有基于颜色特征的图像分类、基于形状特征的图像分类和基于纹理特征的

图像分类。

l颜色特征

颜色特征是最直观的特征，对尺寸变化等因素具有较强的鲁棒性。

Greg等[15]提出颜色一致向量的方法，不仅对各颜色的像素个数进行统计，也对颜色值的分别进行了分析，根据颜色分布的连续性，将图像分为一致和不一致两类。

常用的方法包括颜色直方图、颜色矩和颜色熵等。

何清法等[16]针对传统的颜色特征不具有空间分布信息的缺点，提出了多分辨率分块主色法，同时融合了相关反馈技术对空间颜色索引效果进行优化。

韦娜[17]等提出了颜色关联图方法，在传统颜色直方图方法的基础上，增加了图像的空间信息。

l形状特征

形状特征是另一种重要的图像特征，既可以用外部边界来描述一个区域，也可以用内部特征描述一个区域。

其中边界描述子可以用区域周长、傅里叶描述子和统计矩等方法表示。

区域描述子可以用区域面积、区域致密性、二维函数矩等方式对区域内部特性进行描述。

姚玉荣等[18]对亮度图像进行小波模极大值变化，得到多尺度图像，并通过七个不变矩提取边界特征。

柳伯超等[19]提出了一种基于区域中心分布的形状特征描述方法，以二值图像的区域中心为圆心，统计各环内的像素点个数，该特征具有较好的旋转和平移不变性。

F.Mahmoudi等[20]提出了基于边缘方向相关图的特征描述方法，它基于方向和相邻边界的相关性进行分类。

l纹理特征

纹理特征是一种区域属性，是对像素的空间分布的一种描述模式。

常用的纹理特征包括灰度共生矩阵、Tamura纹理特征、自回归纹理模型、基于小波变换的纹理特征等。

Pun等[21]提出了基于Log‐polar的图像纹理特征算法，它将图像通过平移不变的小波进行处理，得到具有旋转不变性的图像特征。

张志安等[22]提出一种基于纹理和空间分布的特征的图像检索方法，通过改进的快速小波直方图算法提取子区域的小波直方图，并提取小波信息熵和三阶中心矩。

Li等[23]提出了通过对子区域上颜色和纹理特征的训练，得到二维多分辨率的HMM（HiddenMarkovModel）。

1.3 课题研究主要内容

1.3.1主要内容和创新点

由1.1节所述的应用背景，本文需要实现机器人自主识别周围360°

方向的可通行区域，以便进行合理的路径规划。

在无先验知识的情况下，本文首先使用双目立体视觉系统，