视觉里程计在移动机器人中的应用.docx
《视觉里程计在移动机器人中的应用.docx》由会员分享，可在线阅读，更多相关《视觉里程计在移动机器人中的应用.docx（64页珍藏版）》请在冰点文库上搜索。
毕业设计（论文）
视觉里程计在移动机器人中的应用
系 别 自动化工程系专 业 自动化
班级学号 5060103
学生姓名 林振飞
指导教师 高原
2010年6月16日
东北大学秦皇岛分校毕业设计（论文）
第II
页
视觉里程计在移动机器人中的应用
摘 要
移动机器人要想在未知环境中实现自主导航要求其具备定位和地图构建能力，而定位是机器人导航最基本的环节。
里程计法是移动机器人导航技术中最常用的定位方法。
近年来，随着计算机视觉技术的发展，其在机器人定位领域的使用得到不断深化。
通过对单摄像机得到的图像序列进行计算的视觉里程计技术可以作为传统里程计的重要补充，获得更为精确的定位信息。
本文提出了一种单目视觉里程计的实现方法。
该视觉里程计的实现利用固定在机器人车体上的单个摄像机完成。
首先，通过实验，比较了Harris（强角点）和SIFT（尺度不变特征变换）提取及匹配算法，并采用SIFT方法来提取相邻图像帧间的特征点匹配点对。
再讨论了摄像机标定的相关原理和实现方法，使用张正友标定方法将图像坐标系与世界坐标系关联，并得到摄像机参数。
最后介绍了单目视觉里程计的实现思想及基本矩阵、本质矩阵的相关内容，阐述了根据坐标变换求解相邻图像帧间的坐标系变换关系，获得机器人车体的移动距离和旋转角度的方法。
关键词：
移动机器人；定位；视觉里程计；单目视觉
VisualOdometryforMobileRobot
Abstract
Author：
LinZhenfeiTutor：
GaoYuan
TheabilitiesoflocalizationandmappingareveryimportantforRobotautonomousnavigationinunknownenvironment.LocalizationisthebasisforMobileRobotsnavigation.Odometermethodisthemostcommonmethodformobilerobotnavigation.Recently,withthedevelopmentofcomputervision,visionbasedlocalizationtechniquesofMobileRobotsaredevelopingrapidly.VisualOdometerfromseriesimageframeshasbeendescribedasanimportantassistantofconventionalodometertoobtainmoreaccurateresultofnavigationandlocalization.
Inthispaper,therealizationofaMonocularvisionodometerisproposed.ItneedsonlyonecamerawhichmountedontheMobileRobot.Firstly,throughtheexperiment,comparedwithHarrisandSIFTextractionandmatchingalgorithms,weadoptSIFTalgorithmtoextractmatchingpointpairsbetweentheseriesimageframes.Then,theprinciplesandimplementationmethodsofcalibrationhadbeendiscussed.ThroughtheZhangcalibrationmethod,weobtaintherelationshipofcoordinatesystembetweenimageandrealworld,figureoutthecameraparameters.Finally,therealizationideas,theFundamentalmatrixandtheEssentialmatrixofmonocularvisualodometerwereintroduced,weelaboratethesolutionofcoordinatetransformationbetweentheserieseimageframes,accesstheestimationofthedistanceandrotationanglesoftherobotbody.
Keywords:
mobilerobot;location;VisualOdometry;Monocularvision;
东北大学秦皇岛分校毕业设计（论文）
第V
页
目 录
1绪论 1
1.1研究的背景及意义 1
1.2国内外研究现状 2
1.3本文主要工作 4
2图像特征点的提取与匹配 6
2.1数字图像的基本概念 6
2.1.1图像颜色模式 6
2.1.2数字图像表示 6
2.2特征点的提取方法概述 7
2.3Harris角点检测算法 8
2.3.1Harris角点检测算法原理 8
2.3.2Harris角点检测算法实验结果 9
2.4SIFT角点检测算法 10
2.4.1宽基线特征匹配概述 10
2.4.2图像多尺度表示 11
2.4.3SIFT角点检测算法原理 12
2.4.4SIFT角点检测算法实验结果 15
2.5特征点的匹配 17
2.5.1特征点的匹配方法概述 17
2.5.2Harris特征点匹配 18
2.5.3SIFT特征点的匹配 19
3摄像机标定技术 21
3.1摄像机标定的原理 21
3.1.1透视投影 21
3.1.2刚体变换 22
3.1.3计算机视觉中的几个坐标系及相互关系 23
3.2摄像机标定方法的分类 26
3.2.1Tsai标定方法 27
3.2.2张正友标定方法 28
4单目视觉里程计模型的建立 31
4.1关于运动图像的检测问题 31
4.2单目视觉里程计实现思想 32
4.3车体里程信息获取方法 34
4.3.1基本矩阵F 34
4.3.2本质矩阵E 34
4.3.3里程信息的获取及结果分析 35
结 论 37
致 谢 38
参考文献 39
附 录 41
附录A 摄像机标定代码 41
附录B 英文文献及中文翻译 45
东北大学秦皇岛分校毕业设计（论文）
第2
页
1 绪论
1.1研究的背景及意义
移动机器人是机器人学中的一个重要分支，早在60年代，人们就已经开始了移动机器人的研究。
其主要目标是研究在复杂环境下机器人的实时控制问题，涉及到任务规划、运动控制与导航、目标识别与定位、机器视觉、多传感器信息处理与融合以及系统集成等多项关键技术。
随着技术的发展和应用领域的不断扩展，移动机器人正朝着多功能化、智能化、大众化的方向发展[1]。
作为传感器、执行器、运动规划密切结合的活动载体，移动机器人具有广泛的应用前景和商业价值，其研究也越来越受到人们的重视。
要实现机器人的自主导航就要解决三个问题，即：
WhereamI?
WhereamIgoing?
HowshouldIgetthere?
这第一个问题就是移动机器人的自定位[2]。
只有确定了自己的位置，机器人才能够谈得上完成其它的功能。
因此机器人定位问题有着显而易见的重要性。
图1.1沙地场景行使状况
里程计法是移动机器人导航技术中最为广泛采用的定位方法。
传统里程计是基于对车轮旋转次数或角速度信息的测定来估计运行距离，但这种方式存在着很大的缺陷，特别在一些特殊环境下（如地面松软，摩擦力弱，或是颠簸） ，如图1.1。
此外，在战场环境下,GPS信号也会因为干扰等原因而变得不可靠,而工作在月表的月球车则完全没有GPS信息的辅助[3] [4]。
传统里程计就有可能出现较大偏差，甚至导致定位任务的
失败。
因此，里程计的改进也就成为研究的一个热点。
现在很多里程计的改进都是关于提高传统里程计的精度，主要通过在传统里程计的设计上加入一些误差消除的办法，或是定期纠正偏差来提高精度，去除测量错误，但特殊环境的影响还是无法去除，仅是精度的提高或是修正非线型累计误差。
随着计算机视觉技术的发展，基于视觉的机器人定位方法由于信息量大、适应范围广而受到人们的普遍重视，已经成为机器人导航技术的研究热点。
所以视觉里程计一经提出就受到广泛的关注。
视觉里程计是介于相对定位和绝对定位之间的一种辅助定位方法。
利用机器人摄像机采集到的立体序列图像，通过特征提取、特征匹配与跟踪和运动估计得出机器人自身的运动参数（即位姿（x,y,q）），由于类似于里程计的航位推算，所以这种基于图像信息的自运动估计方法被称之为视觉里程计（Visualodometry）定位技术。
与其他传感器相比，视觉里程计主要有以下优点：
1、它依靠视觉输入信息，因此不存在因编码器读数不准、传感器精度降低或惯导漂移等因素造成的误差。
2、无需场景及运动的先验信息。
3、结合车轮编码器及惯导设备定期校正误差，可获得更精确的车体定位，是传统方法的有效补充。
4、它是VSLAM（视觉同时定位与地图重建）等基于视觉的复杂导航算法的前期基础。
5、采用被动视觉传感器，信息量大，结构简单，功耗小。
1.2国内外研究现状
早在1976年，HansMoravecandDonaldGennery使用特征跟踪算法发明了“斯坦福推车”（StanfordCart）——第一架具有视觉能力而且能够自动导航的移动机器人，如图1.2。
这可以看做视觉里程计的雏形。
自那时以来，许多研究机构开始探索用更先进的视觉传感器技术去指导机器人移动。
到了19世纪80年代，Matthies在卡耐基梅隆大学继续就这一问题进行研究，并提出了视觉里程计的概念并进行了室内短距离的实验，取得了良好的效果。
视觉里程计
东北大学秦皇岛分校毕业设计（论文）
第4
页
技术主要有基于特征（feature）的离散处理方法和基于光流（opticalflow）的连续处理方法。
而对应的图像序列可以单目或双目立体序列。
早期的研究主要是基于光流场的，利用
摄像机拍摄的时间序列图像来估计光流。
当摄像机与场景目标间有相对运动时，在图像平面上所观察到的亮度模式运动称为光流，或者说物体带光学特征部位的移动投影到图像平面上就形成了光流。
根据光流可以恢复场景中物体的运动和形状参数。
1996年Amidi在卡耐基梅隆大学无人直升机项目中开发了基于光流场的视觉里程计定位导航系统。
视觉里程计利用高速的帧频和低延迟技术来估计直升机的位置信息和速度信息。
J.Campbell同样利用光流场技术，结合OpenCV计算机视觉库，采用单目摄像机得到机器人运动时在环境中的位置和方向信息。
但它的前提条件是假设地面平坦，相机相对于机器人和地面是固定的。
然而，在实际应用中，由于遮挡性、多光源、透明性和噪声等原因，使得光流场基本方程的灰度守恒假设条件达不到满足，不能求解出正确的光流场，同时大多数的光流计算方法相当复杂，计算量巨大。
因此，本文没有就光流法这种方法进行进一步的探讨。
基于特征的方法思路是从相邻时刻的两帧或多帧图像中提取诸如角点、直线等特征，建立特征对应关系，根据这些特征对应估计机器人的运动。
目前已提出了多种采用单目或双目的视觉里程计算法。
这些算法的主要区别在于特征跟踪及运动估计的方法不同。
其中，Nister等人分别采用单目和双目，设计了一种实时视觉里程计系统，采用Harris算法进行角点检测，并采用了一些相关加速和优化技术（如MMX、非极大值抑制等）选择特征点，对应在局部区域使用饱和值来限定点的数目，从而使得特征点在图像上的分布比较均匀。
利用视差约束和一致性约束来减少误配点，提出了结合随机抽样一致性（RANSAC）算法的五点法和三点法进行运动估计。
Nister等人对该视觉里程计系统进行了室外实验，包括树木、小路和草场等环境，并与差分全球定位系统（DGPS）进行了对比，实验表明效果良好，并指出双目系统能取得比单目系统更可靠，精确和方便的结果。
Zhiwei Zhu等人针对Nister系统中对离群点敏感，对于长距离移动效果不佳等问题进行了改进，运用3D相关技术减小三维重建误差，并利用离群点移除技术减少离群点数目，尽量减小漂移误差。
结合
Kalman滤波算法将视觉里程计信息与IMU和GPS进行融改进的系统在室内和室外均具有更高的精度和更强的鲁棒性。
美国JPL实验室的YangCheng等人在SSTB-Lite漫游者平台上经过反复实验认为视觉里程计在简单地形下的性能和航位推算方法一样好，
页
而复杂地形下则远优位推算方法。
该视觉里程计算法已成功应用于2004年登陆火星的
“勇气号”和“机遇号”其具体实现步骤与Nister的方法相似。
图1.3给出了勇气号火星漫游者模型。
图1.2斯坦福推车
图1.3勇气号火星漫游者
在国内，对视觉里程计的研究近年来也越来越多。
哈尔滨工业大学崔平远等人以月球车为背景设计了一种视觉里程计，更强调了多种鲁棒运动估计方法的综合运用，并在一个虚拟月球表面的三维场景中进行了实验，效果良好。
浙江大学吴功伟[5]等提出了基于视差空间的双目视觉里程计算法，能很好的反映机器人运动轨迹。
彭勃等设计了基于Harris角点检测的双目立体视觉里程计，在仿真环境实验和室外真实环境实验中，均得到了较精确的结果。
东北大学秦皇岛分校毕业设计（论文）
第7
页
1.3本文主要工作
本文是基于视觉里程计的机器人定位研究的基础性工作，因此定题目为视觉里程计在移动机器人中的应用。
本设计以安装在移动机器人上的摄像机获取的相邻帧图像为研究对象，侧重于对相邻帧图像上特征点的提取匹配算法，及摄像机标定方法的研究，并进行了必要的实验以验证算法的正确性和有效性。
本文的各部分内容安排具体如下：
第1部分绪论，首先介绍了选题的背景，阐述了视觉里程较于传统传感器的优点和国内外的研究现状。
并介绍了本文主要内容以及结构安排。
第2部分，从数字图像的基本概念入手，详细介绍了特征点的提取算法和匹配算法的基本原理，并给出了Harris算法的特征提取匹配和SIFT算法的特征提取匹配的实验结果。
第3部分，首先介绍了摄像机标定的基本几何原理和计算机视觉中的几个坐标系间的相互关系，然后对摄像机标定方法进行了概述并详细阐述了张正友标定方法。
第4部分，给出了本文的视觉里程计算法的实现框图，讨论了单目视觉里程计的实现思想。
通过介绍基本矩阵和本质矩阵，提出了一种视觉里程计的实现方法。
最后，对全文进行了总结，并对课题的前景进行了展望。
2图像特征点的提取与匹配
2.1数字图像的基本概念
2.1.1图像颜色模式
图像中有五颜六色的色彩，最常用的两种彩色模式为RGB模式和CMYK模式，还有HSL和YUV等模式。
RGB模式是数字图像处理的主要表示方式。
RGB模式中，任何颜色都有红（Red）、绿（Green）、蓝（Blue）三种基本颜色按不同比例混合得到，红、绿、蓝被称为三原色，简称RGB三原色。
如果用x1,x2,x3表示R、G、B颜色分量的位数，则可以表示的颜色数为2（x1+x2+x3）个。
图像用基于位置坐标的三维函数来表示：
f（x,y,z）={fred（x,y,z）,fgreen（x,y,z）,fblue（x,y,z）}
（2.1）
其中f（x,y,z）表示空间坐标为（x,y,z）位置点的颜色，fred、fgreen、fblue分别代表
该位置点的红、绿、蓝三种原色的颜色分量，它们都是空间的连续函数，即连续空间的每一点都有一个精确值与之对应。
如果只考虑二维平面图像，则每一点只有个坐标值，因此上式可简化为：
f（x,y）={fred（x,y）,fgreen（x,y）,fblue（x,y）}
（2.2）
图像还有黑白图像，所谓黑白图像，就是图像中每一点的红绿蓝三原色分量值都相等，
即：
fred
=fgreen=
fblue 对于黑白图像，f（x,y）表示（x,y）位置处的灰度值
。
（亮度值）。
CMYK（青、紫红、黄、黑）模式多用于印刷业。
另外颜色还可以通过色调（Hue）、饱和度（Saturation）和亮度（Luminance）的差别而表示出来，这种方法称为HSL，其中色调表示基本的纯色，饱和度的值表示颜色中掺入白光的比例，亮度的值
则表示颜色中掺入黑色的比例。
YUV方法基本特征是把亮度信号和色度信号分离开，
Y代表亮度，U、V是两个彩色分量，表示色差，一般是蓝红色的相对值。
2.1.2数字图像表示
数字图像是以离散形式表示的，一般采用矩阵的形式。
é
ê
ê
g=ê
ê
g0,0
g1,0
.
.
.
g0,1
g1,1
.
.
.
...
...
g0,n-1ù
ú
g1,n-1ú
.
. ú
. ú
（2.3）
êëgm-1,0
gm-1,1
...
gm-1,n-1úû
数字图像矩阵表示形式与真实图像很相似，还可以通过比如傅立叶变换将图像的表示由“空间域” 变换到“频率域”。
在空间域内表示像素点不同位置（x,y）处的灰度
值，而在频率域内则表示在不同频率中的振幅谱（傅立叶谱）。
频率域的表示对数字图像处理很重要，因为经过变换后，矩阵中许多值是零值或数值很小，这意味着可以将数据信息进行压缩以便于更有效的存储和传递。
其次是许多图像处理运算过程在频率域中更容易进行，比如滤波。
一幅数字图像是一个二维阵列，阵列元素值称为灰度值或强度值．实际上，图像在量化成数字图像前是一个连续强度函数的集合，场景信息就包含在这些强度值
中．图像强度通常被量化成256个不同灰度级，对某些应用来说，也常有32、64、128或512个灰度级的情况，在医疗领域里甚至使用高达4096（12bits）个灰度级。
很明显，灰度级越高，图像质量越好，但所需的内存也越大。
2.2特征点的提取方法概述
为了有效地进行视觉里程计的计算，首先需要在图像对内选取一些特征点，而且为了使这些特征点能够在匹配后得到较为精确的三维世界坐标系下的坐标。
它们应该是图像中纹理比较丰富的区域，而且对亮度、尺度、旋转等都有较好的不变性。
特征点是指图像中某些具有与其周围点有显著不同之处的点。
学者们提出了许多特征点抽取算法，根据其定义，可以大致将这些算法分成以下几类：
第一类使用非线性滤波的方法，典型的有SUSAN角点检测（SUSAN
ComerDetector）。
这种方法把每个像素与包含它的一块局部区域关联起来，这块区域里
东北大学秦皇岛分校毕业设计（论文）
第8
页
的其它像素与该像素具有相似的亮度。
SUSAN角点检测法是对这块区域进行极小化，利用统计特性决定该像素的属性，即角点、边上的点还是面上的点。
第二类方法基于曲率的方法，往往需要首先进行边界抽取，然后用曲率信息来找出特征点。
基于曲率的方法定位精度比较高，但是计算比较复杂，速度较慢。
第三类方法检测图像的灰度变化率来确定角点，其典型算法如Harris角点，该方法使用图像的一阶差分，计算每个像素点的平均平方梯度矩阵。
通过特征值分析，计算角点响应。
该方法使用滑动窗口，适合于矩阵运算，效率很高。
定位精度可以达到亚像素，对噪声抑制良好。
同时还可以给出角点处的曲率及角点方向等信息。
在图像的亮度发生变化，或者平移、旋转之后，Harris角点响应仍然能保持不变[6]。
在上述这三种方法的基础上，为了达到特征点尺度不变的目的，学术界又提出了基于尺度空间不变的特征点检测方法。
文中将首先介绍了上述方法中比较常用的Harris
角点检测方法，然后通过分析尺度不变性原理，着重介绍SIFT尺度不变特征检测算法，并比较两者在尺度变化下的匹配效果。
2.3Harris角点检测算法
2.3.1Harris角点检测算法原理
Harris角点检测是C.Harris和M.J.Stephens[7]在1988年提出的一种特征点提取算子。
Harris算法是在Moravec算法基础上提出的。
Moravec角点检测算法的思想是：
在图像中设计一个局部检测窗口，当该窗口沿各个方向做微小移动时，考察窗口的平均能量变化，当该能量变化值超过设定的阈值时，就将窗口的中心像素点提取为角点，记像素点（x,y）的灰度为I（x,y），在给定亮度平移量（u,v）的情况下，定义能量函数E如下：
E（u,v）=åw（x,y）[I（x+u,y+u）-I（x,y）]2
x,y
（2.4）
其中I（x,y）表示图像灰度值。
w（x,y）为窗口函数，它有两种基本的表达形式：
窗
口内为1窗口外为0或高斯函数。
当u,v较小时，通过泰勒展开，能量函数可以近似为：
êú
E（u,v）=[u,v]Méuù
v
（2.5）
ëû
东北大学秦皇岛分校毕业设计（论文）
第11
页
é
I
2
其中M=åw（x,y）ê x
IxIyù
I
y
ú
x,y
êëIxIy
2úû
定义角点响应函数为：
R=detM-k（traceM）2
（2.6）
其中：
detM
取0.04~0.06。
=l1l2，traceM=l1+l2。
l1l2为M的特征值。
k是经验常数，通常
R由M的特征值决定，它在平坦区域绝对值较小，在边缘区域是绝对值较大的负数，在角点处是绝对值较大的正数。
因此，当R为局部极大值且大于给定阈值时的位置即为角点。
Harris算法是一种有效的点特征提取算子，其优点如下：
1、计算简单：
Harris算法中只用到灰度的一阶差分以及滤波，操作简单。
2、提取的特征点均匀而且合理：
Harris算法对图像中的每个点都计算其特征值，然后在邻域中选择最优点。
3、可以定量的提取特征点：
Harris算子最后一部是所有的局部极值点进行排序，所以可以根据需要提取一定数量的最优点。
4、Harris算法在计算时只用到了图像数据的一阶导数，因此对图像旋转，亮度变化，视角变化和噪声影响具有很好的鲁棒性。
Har
升级会员 