移动机器人双目视觉定位与图像处理的研究.docx
《移动机器人双目视觉定位与图像处理的研究.docx》由会员分享，可在线阅读，更多相关《移动机器人双目视觉定位与图像处理的研究.docx（20页珍藏版）》请在冰点文库上搜索。
移动机器人双目视觉定位与图像处理的研究
天津大学网络教育学院
专科毕业论文
题目：
移动机器人双目视觉定位与图像处理的研究
完成期限：
2017年3月5日至2017年3月15日
学习中心：
南京
专业名称：
机械制造与自动化
学生姓名：
***
学生学号：
************
******
摘要
视觉移动操作机器人是机器人朝着智能化发展的热点。
机器人虽然具有越来越高级的智能系统，但对于外部环境变化的适应能力还较为低下，其主要问题是缺乏像人一样的感知能力。
为使机器人和人一样拥有对外界环境的感知能力，各国的研究者为机器人研制了如视觉、力觉、触觉和热觉等各种各样的传感器。
作为能够对外部环境进行非接触测量的传感器，视觉传感器拥有采集信息量丰富，对环境适应性强的优点，已经成为了目前应用最为广泛的机器人传感器之一。
机器视觉为获取图像、分析景物的位姿动态、指导机器人动作的过程，它包括目标物体识别、目标物体检测、目标物体定位和运动分析等问题。
本文从移动机器人的视觉系统开始，首先介绍了移动机器人视觉系统的概况和技术原理。
然后阐述了移动机器人双目系统基本原理，并且利用实例来具体说明基于这三种视觉系统的图像处理方法。
本课题主要研究的是双目视觉的摄像机标定、图像匹配、三维重建，使移动机器人在大尺度工作环境下，利用重建后的工件位置信息，控制移动机器人对工件进行操作。
视觉导航实现移动机器人路径跟踪，通过对路径图像进行处理，获取横向偏差与偏航角，对移动操作机器人位姿实时的调整，使其沿着规划好的路径行驶，到达目标点之后准确定位，最终完成移动机器人在无人操作下的工作。
关键词：
移动机器人定位视觉图像传感器
一、
移动机器人视觉系统
1、赋予移动机器人以人类视觉功能，能像人一样通过视频处理而具有从外部环境获取信息的能力，这对于提高机器人的环境适应能力、自主能力，最终达到无需人的参与，仿真人的行为，部分的代替人的工作，对发展移动机器人是极其重要的。
视觉系统包括硬件与软件两部分。
前者奠定了系统的基础；而后者通常更是不可或缺，因为它包含了图像处理的算法及人机交互的接口程序。
从广义上说，移动机器人的视觉即是通过传感器获得可视化的环境信息的过程，这不仅包括可见光的全部波段，还包括了红外光的某些波段和特定频率的激光、超声波，如图1-1所示。
超声波传感器使用维护简单、价格便宜，在过去的几十年里得到了大量使用，但也存在不甚精确的缺点。
激光传感器精确度高，虽然价格偏高但目前越来越多地得到人们的青睐。
相对于前两个者，工作于可见光频段的摄像机获取的环境信息则显得十分丰富，这为其后的图像处理提供了广阔的空间。
图1-1电磁波谱及声学谱
2、视觉传感器有主动传感器和被动传感器两类。
包括人类在内的大多数动物具有使用双目的被动传感器；也有类似蝙蝠的动物，具有从自身发出的超声波测定距离的主动传感器。
通常主动传感器的装置复杂，在摄像条件和对象物体材质等方面有一定限制，但能可靠地测得二维信息。
被动传感器的处理虽然复杂，但结构简单，能在一般环境中进行检测。
超声传感器与激光属于主动传感器；绝大部分情况下摄像机、红外传感器均属于被动传感器，只有在待定情况下，如深水移动机器人视觉传感器自身带有光源才属于主动传感器。
传感器的选用要根据目的、物体、环境、速度等因素来决定，有时也可考虑使用多种传感器并行协调工作。
而且应用于移动机器人的视觉算法有别于其他方面的应用，其具体要求主要体现在：
（1）实时性要求
即算法处理的速度要快，它不但直接决定了移动机器人能够行驶的最大速度，而且也切要关系到整个导航系统的安全性与稳定性。
举例来说，机器人的避障算法都需要提前知道障碍物的方位以便及时动作，这种信息获得的时间越早，则系统就会有更多的时间对此做出正确的响应。
由于视觉信息处理巨大的计算量对算法程序的压力很大，对室外移动机器人尤其如此。
（2）鲁棒性要求
由于移动机器人的行驶环境是复杂多样的，要求所采用的立体视觉算法能够在各种光照条件、各种环境下都尽可能保证其有效性。
室内环境的机器人导航环境相对较好,但对于室外移动机器人或者是陆地自主车ALV，不确定性因素增加了很多，比如光照变化、边缘组织等，也不存在道路平坦的假设。
为此，视觉导航算法在各种环境下都要求保证其有效性。
（3）立体视觉算法也应该满足精确性要求
但这种精确性与虚拟现实或者三维建模所要求的精确性是有所差别的，因为立体视觉算法对道路地形进行重建的最终目的是为了检测障碍物，而不是为了精确描绘出场景。
对于移动机器人来说，有时候忽略细节可以提高整个系统的稳定性。
一般来说，移动机器人的视觉系统总是要有以下一些组成部分：
a.一个或多个光信号发生器，可以是天然信号发射器（如物体环境光线的反射光），或是人造光信号发射灯（如闪光灯、激光光源）。
b.用以接受结构体反射光信号的一个或多个传感器（如摄像机，这种摄像机产生的图像可以说是原始图像，但这种传感器不一定是光学传感器，也可以是超声波传感器。
c.图像采集卡，将接受的图像转换为计算机可以识别的二进制编码以便随后进行处理。
d.对图像进行增强去噪并对其中的缺陷进行清除和矫正等。
e.将变换后的图像进行图像存储描述，给出必要的信息。
f.特征抽取，根据各种定律、算法和其他准则导出相关信息。
g.目标识别，用来把抽取的图像特征与在训练阶段记录下来的图像特征进行比较。
识别可能是总体识别、局部识别或者零位识别。
不管结果如何，机器人都必须按照识别过程的结果决定采取相应的动作。
在这一阶段，任何误差都可能造成性能上的不确定性。
从移动机器人的视觉技术来看，可以分为单目视觉系统、双目视觉系统、全景视觉系统三类。
二、移动机器人双目视觉系统
1、双目视觉原理及标定方法
在大尺度工作环境下，移动操作机器人要进行零件的安装时，需要对目标物体进行识别和定位，因而需要对物体进行三维重建，准确的判断出目标工件相对于机器人的位置。
本文采用的是双目视觉系统进行三维重建，在进行重建之前，首先要对双目视觉系统进行标定，精确地获得左右相机的内外参数。
（1）双目视觉原理
双目立体视觉基本原理是在两个不同的角度观察同一个景物，利用图像几何原理计算多个视角下感知图像的像素位置偏差，即通过视差计算景物的三维信息。
计算机视觉技术研究的主要内容是获取空间三维场景的距离信息，包括主动视觉和被动视觉。
凭借特殊光源，并控制光源的位置与高度，通过光线感知的方法来获取物体的距离信息，即为主动视觉；而被动视觉则没有特殊光源，直接使用摄像机拍摄物体，然后处理拍摄的图像，进而在视差中恢复它的三维信息。
双目视觉属于被动视觉的一种。
双目立体视觉类似于人类的眼睛，充当两只眼睛获得图像，并且能够得到两幅图像之间的差异，通过分析差异获得物体深度感。
双目立体视觉包含两个过程：
获得两台摄像机的图像特征，分析特征进行三维模型重建。
空间点成像原理如图2-1所示。
2、双目立体视觉技术的实现可分为以下五个步骤：
图像的获取、双目摄像机标定、特征点提取、立体视觉匹配和三维重建。
（1）图像的获取
立体图像的获取是双目视觉的物质基础。
在满足测量范围的前提下，当两摄像头光轴夹角保持一定时，被测量物体距离越大则测量误差也就越大。
CCD摄像机的夹角一般是0050~80，亦可以平行放置。
（2）双目摄像机标定
要对物体进行世界坐标的三维重建，首先要获取物体的图像，CCD摄像机、数码相机则是重建前的基本测量工具，因此，对它们进行视觉标定是实现立体视觉的基本，也是关键的一个步骤。
通常采用的标定方式是先对两个摄像机分别标定，获取各个摄像机的内外参数，然后再用世界系坐标下的一组点来确定两摄像机间的相互位置关系。
（3）图像特征点提取
立体图像特征点对中提取的点应该满足如下要求：
抽取特征与传感器的类型相适应；具有好的鲁棒性与一致性。
（4）双目立体视觉匹配
双目体视最关键又困难的是立体匹配。
它是由于拍摄时拍摄地点的不同可以引起立体像对的差异，不是由景物本身运动、景物变化引起的。
立体匹配根据基元的不同，可分为三大类：
相位、区域和特征匹配。
（5）图像的三维重建
三维重建是指利用物体的同一点在左右两幅图像中的对应位置，然后根据两摄像机的相应位置的坐标变换，求取空间点的三维坐标，实现三维重建。
3、像机的成像模型
（1）小孔成像
小孔模型就是把所有景物利用光学原理，投影到像机成像的平面模型。
摄像机的镜头光心就是像机的光轴的中心点。
如图2-2所示，像机光轴的中心为cO点，像机成像平面为'2。
感光器件广泛分布在成像的平面上，将光信号转为电信号，并进行放大处理，得到图像。
根据小孔成像的原理，物体在平面'2上的成像是倒着的。
即比例缩小，方向相反的像。
摄像机为了使成像与原图像方向一致，在转换成数字图像时方向发生转换，使其与原物体的上、下、左、右方向都相同，并且进行放大，即成像平面'2等效为成像平面2，成像平面2到数字图像转换可以等效为放大环节。
将摄像机的光轴中心设为坐标中心，平行于摄像机光轴的方向设为z轴方向，图像坐标系沿水平方向增加的方向定为x轴方向，将摄像机指向景物方向定为x轴的正方向。
设景物点1P的坐标为111（,,）xyz，1P在成像的平面2的成像点2P的坐标为222（,,）xyz，则
（2.14）式中，像机焦距为f,2fz。
（2）畸变模型
基于针孔相机模型的透视投影变换原理，将坐标值（xc，yc，zc）在针孔摄像机模型下的
理想透视投影变换的坐标值（xuyu,）为：
（2.11）式中，f为摄像机的焦距。
考虑透镜引起的畸变，则理想成像平面（xuyu,）到实际成像平面（xdyd,）的坐标转换为：
（2.12）
（2.13）
式中，k1k2、为径向畸变系数；p1p2、为切向畸变系数。
实际图像坐标（xdyd,）到计算机图像坐标（u,v）的变换
（2.14）
式中，图像平面单位距离上的像素数（pixels／mm）为（xf,yf）；计算机图像坐标系中心点坐标为（0u,0v）。
4、Opencv标定系统的实现
在进行摄像机双目标定时，需要对左右图像进行采集，获取标定需要的棋盘格图像，然后利用采集回来的棋盘格对摄像机进行标定，确定双目摄像机的内外参数。
标定场景如图2-4所示。
（1）标定过程
a.将模板平面作为世界坐标系的平面，根据摄像机模型求取单应性矩阵H根据平面标定法可得：
（2.15）式中，s是比例因子；H是投影矩阵或单应性矩阵；A是内参数矩阵。
在每一对世界坐标
和计算机图像坐标已知的情况下可得到两个线性方程，当对应点数足够多时，便可求得H。
b.令123（）Hhhh（）xyArrt。
其中，λ是比例系数，ih为投影矩阵H的第i列。
由于
采用笛卡尔坐标系，有约束条件如下：
（2.16）可以通过约束条件和数学方程来求解摄像机内参数。
根据矩阵A可以确定每幅图像的所有外参数。
然后根据畸变方程再次计算摄像机内外参数，通过式（2.11）-（2.14）可以求解出畸变参数。
再对其进行全局优化：
（2.17）式中，经过畸变校正后的投影是~m，利用该函数最小化优化所有参数。
摄像机标定的结果可以通过优化得到内部参数矩阵、外部参数矩阵和4个畸变系数。
5、基于Opencv的摄像机标定
选用平面棋盘格为标定模板进行基于Opencv的摄像机标定。
标定模板如图2-5所示，
采用棋盘格是因为棋盘格的精度可以得到很好的保证，并且在程序方面，棋盘格需要角点提取，目前现有的角点提取方法比较完善，能够保证角点提取的精度要求和角点的排列顺序。
实现对摄像机标定，仅需摄像机拍摄几张不同角度下的标定板图片。
为了获得较高的
标定精度，需要采集多幅图像，采用最小二乘法进行优化。
图2-5棋盘格标定模版
当图像被光线遮挡时，角点可能被遮挡，提取的角点数就不相同，此时就会导致失败。
因此opencv不能够确保提取图像上的角点。
因而在编写标定的算法时，考虑到角点提取失败的情况：
一方面，成功提取角点的图过少，标定的结果不能满足精度要求；一方面，摄像机外参数数目与标定图像有关，图像太多时要考虑到存储空间的容量。
在内存不够时，程序很容易出错，opencv标定程序步骤如下：
（1）采集一组标定用图像数据；
（2）采用自动寻找角点函数对图像进行筛选；读入一组图像的每幅图像数据信息，并
将数据信息分别代入自动寻找角点的函数中。
若返回值为1，即角点提取成功；若返回值为0，提取角点失败；
（3）如果标定的数目到达标定的最少数目，继续下一步；没达到相应数目，返回第一步；
（4）在用创建矩阵函数为摄像机内外参数、在世界坐标和图像坐标的图像角点的坐标值分配存储空间；
（5）用自动寻找角点函数获取图像像素的坐标值；再用得到的像素值代入获取亚像素角点的检测函数，获取图像角点的亚像素坐标值；
（6）为得到摄像机的内部和外部参数值，可将双目标定函数代入世界坐标系和图像坐
标系的角点坐标值；
（7）最后用矩阵释放函数释放创建矩阵函数分配的内存空间。
标定过程的图像显示如图2-6所示，此标定方法能够有效地提取到标定板的内角点，
并且可以识别出角点的顺序。
左标定图像
（1）右标定图像
（1）
左标定图像
（2）右标定图像
（2）
图2-6左右图像标定图
6、双目标定
在已知两个摄像机内外参数的条件下，进行双目视觉标定，还需要获得两个摄像机间的相互关系，取得系统内外结构参数，旋转矩阵R与平移矢量T。
旋转矩阵RL和平移向量TL是左像机外参数，旋转矩阵Rr和平移向量Tr是右像机外参数。
空间一点在左摄像机坐标系和右摄像机坐标系中的x坐标分别为,xw,xl,xr，则有：
（2.18）
所以可以用R0T0表示左、右摄像机间的几何关系，如下：
（2.19）
7、标定结果分析实验采用的是维视MV-VEM040SM系列的两个摄像机，分辨率为640×480。
两个摄像机平行放置，相距56mm。
标定板采用棋盘格，将9×7的棋格打在A4的白纸上，网格尺寸为8×8。
双目标定程序原理图如图2-7所示。
图2-7标定原理图
根据多次试验求得结果取平均值，得到的标定实验结果如表2-1所示。
表2-1左右相机标定的内外参数
从表2-1中数据可以看出，由于制造和安装误差，两个相同的摄像机内部参数存在一定的差异。
平移向量得到的数据与实际测量的距离接近。
由此可见，此标定方法可行，标定结果有效。
三、空间点的三维重建
为了从二维图像中获得被测物体特征点的三维坐标，两个摄像机至少从不同位置获取包含物体特征点的两幅图像。
摄像机的线性成像模型为针孔模型，采用的双目CCD摄像机其针孔成像模型，如图8所示，世界坐标系与左摄像机坐标系
重合，点P为空间某一点，
和
分别为点P在左右摄像机的成像点。
和
分别为左右摄像机的有效焦距。
图8空间坐标点的三维重建
由摄像机针孔成像原理可知，空间点P在左右成像平面下,其摄像机坐标系与成像点的物理坐标满足如下关系式：
式中：
、
——右摄像机沿x和y方向的归一化焦距。
而左摄像机坐标系
和右摄像机坐标系
之间的相互位置关系可以通过空间转置矩阵
表示为：
则空间点的三维坐标在左摄像机坐标系下可以表示为：
要应用上式首先要通过对摄像机进行标定来获取
，
矩阵中的左右摄像机内部参数和
矩阵中的左右摄像机外部参数，这个算法是采用张正友的标定方法离线标定了系统摄像机的内外参数。
四、基于各种视觉系统的图像处理方法分析及结论
1、基于单目视觉的图像处理方法分析
在实验室内对单目视觉系统的移动机器人进行SIFT算法的实验，让机器人沿着边长为3m的正方形行走，机器人行走路线与地图创建的结果如图15所示：
图15SLAM实验结果
对于图15而言，地图的创建主要分3个步骤：
（1）用SIFT算法在2副不同视角的图像中寻找匹配点，根据极线几何原理，计算得到旋转角度；
（2）将这个角度与里程计的角度信息进行融合，得到1个更接近实际的角度值；
（3）把它与里程计的位移结合进行自我定位，根据CCD摄像头获得的特征点的信息，以及结合上述2个步骤计算得到的结果，来实现SLAM。
由于里程计本身存在的缺陷，比如机器人行走过程中轮子打滑，就会产生实际移动距离和机器人内部里程表数据不一致。
因此，随着时间的推移，里程计的累积误差逐渐增大，从而导致自我定位与实际相差较大。
将CCD摄像头和里程计的信息进行融合，尽可能减少里程计产生的累积误差，在此基础上用扩展卡尔曼滤波进行地图的创建及更新，实现了移动机器人的自主定位与地图创建的算法建立与仿真。
2、基于双目视觉的图像处理方法分析
对实验室某一角落取景，立体匹配过程，如图16所示
图16立体匹配过程
从实验结果可以看出，未经图像分割之前，左右图像提取的角点数较多，特别是地板上和物体表面上的线条纹理处检测出角点数较多，经过图像分割之后再对图像进行角点检测，检测出的角点位置大部分都位于物体上纹理较强的区域，去除了地面上孤立的线条纹理处角点，有效地消除了冗余角点信息。
从上述的图片效果可以看出，由于特征点的匹配区域缩小到有用的障碍物区域中，从而提高了匹配速度和精度按照式（10），分别计算图5（i）所示A、B、C和D空间四点三维坐标以及四点相对于左摄像机光心距离，如表1所示。
因此，由前面的障碍物检测原理可以判定A点为可行点，B、C、D点均为不可行点。
同时，可以知道四点离左摄像机坐标系距离的关系为：
A点最近，B、C、D三点次之。
为了验证系统的精度，以左摄像机坐标系为坐标原点（即与世界坐标系重合），分别计算空间点之间的空间距离分别为717.49mm和518.16mm人工测量出B之间的距离分别为730mm和527mm可以看出，此立体视觉系统具有较好的测距精度，能够满足移动机器人障碍物检测要求。
3、基于各种视觉系统的图像处理方法的结论
移动机器人的单目视觉在已知对象的形状和性质或服从某些假定时,虽然能够从图像的二维特征推导出三维信息,但一般情况下从单一图像中是不可能直接得到三维环境信息的。
相对于其他的视觉方法，基于双目视觉的立体视觉是一种被动式的测量方法，具有隐蔽性好，测量快速、准确等优点，常用来检测可疑障碍物的高度和距离。
针对移动机器人障碍物检测精度不需要很高，而对实时性要求高的特点，可以使用一种基于图像分割和立体视觉相结合的障碍物检测方法，对于移动机器人了解周围环境信息并做出及时的反映有着一定的帮助。
需要指出的是，研究的基于双目视觉的分割算法是针对室内环境下的移动机器人，特别是对于格子状的地面背景有着显著的效果。
但是，由于室外环境下的路面以及背景较为复杂，使得阈值分割效果会比较不理想，另外各种干扰的增加等，所有这些问题都有待进一步解决。
参考文献
1.庄健，王孙安.视觉伺服移动机器人中的图像处理研究[J].西安交通大学机械工程学院，2002，3。
2.王彭林，石守东，洪小伟.基于SIFT算法的移动机器人同时定位与地图创建[J].宁波大学信息科学与工程学院，2008，3。
3.于金霞，蔡自兴，邹小兵，段琢华.基于动态自适应滤波的移动机器人障碍检测.中南大学信息科学与工程学院，2006，5。
4.王珂，王伟，庄严，孙传昱.基于几何-拓扑广域三维地图和全向视觉的移动机器人自定位.2008，11。
5.邱茂林，马颂德，李毅.计算机视觉中摄像机定标综述.中国科技大学，中国科学院自动化研究所，2000，1。
6.刘正东，高鹏，杨静宇.一种用于道路避障的双目视觉图像分割方法.南京理工大学计算机系。
7.庄严，陈东，王伟，韩建达，王越超.移动机器人基于视觉室外自然场景理解的研究与进展。
8.方建军.移动式采摘机器人研究现状与进展.北方工业大学机械工程学院，2004，3。
9.原新，朱齐丹，许辉.移动机器人的视觉处理方法及实现.哈尔滨工程大学自动化学院，2003，2。
16.何祖恩，吴海彬，李文锦.基于双目视觉的移动机器人障碍物检测研究.福州大学机械工程及自动化学院，2009，12。
11.王辉，邹伟，郑睿.基于视觉的移动机器人实时障碍检测研究.中国科学院自动化研究所。
12.周庆瑞，原魁，刘俊承.移动机器人视觉导航控制研究.中国科学院自动化研究所。
升级会员 