视觉传感器在爬壁清洗机器人中的应用.docx

1、视觉传感器在爬壁清洗机器人中的应用视觉传感器在爬壁清洗机器人中的应用摘要本论文描述了视觉传感器在高楼幕墙清洗机器人中的应用。该机器人利用真空吸盘吸附移动与于玻璃表面，并通过转动机器人灵活的关节以调整机器人的方向。由一个CCD相机和两个激光二极管组成的视觉传感器通常是来测量机器人相对的窗框玻璃表面位置和方向。视觉传感器也用于要定位的清洗位置。本文还讨论了视觉传感器中的数学模型和评价方法。通过实验校准的传感器用于测量机器人的位置和方向，并且测量需要定位清洗的位置。实验结果证明了该方法的有效性。关键字：爬壁机器人；视觉传感； 玻璃清洗； 激光二极管1.引言为减轻人类从事危险的工作,如清洁高楼大厦的玻

2、璃表面、消防抢救、及检查高木板及墙壁等，研发各种服务机器人的需求不断增加。 图1可以表明我们最近开发的攀登机器人系统其目的是利用吸力杯和一个移动转换机制来清洁高楼大厦玻璃。这种机器人最快速度能达到300米/分钟，并有能力跨越裂缝和绕过小于35毫米高80毫米宽的障碍.机器人利用其灵活的腰部可轻易调整自己的方向。要做好玻璃表面上的清洁工作，清扫机器人必须知道什么时候开始或停止的清洁工作， 如何控制方向(或移动方向),及如何越过窗框。因此，有必测量机器人的方向， 机器人和窗框之间的距离, 机器人与污垢处的距离。 最近在7.8中报道了一些关于工程传感系统清洗机器人的文章。在7中，超声波声纳被应用于自动

3、定位。在8中，所谓的合作定位系统提出了重复搜索过程，直至达到目标位置。然而，在玻璃表面爬墙机器人中，许多利用激光和超声波传感器等传统的探测方法，不适用于测量机器人和窗户框的距离。 这是因为窗框的高度通常较低而传感器发出的光柱是难以达到这一高度的，除非架梁正平行于玻璃表面。 由于难以避免的安装错误，传感器通常是很难确保光束平行于玻璃表面。因此，在机器人清洗玻璃表面的应用中，这一问题需要得到解决。1. X向气缸 2. 清洗刷3. 视觉传感器 4. Y向气缸5. 吸盘 6. Z向气缸7. CPU 8. 旋转气缸图1. 爬壁机器人的主体结构 摄像机常常用于机器人的定位，视觉伺服及视觉引导 9-15。M

4、alis 9使用两部相机来进行2-D及5/2-D的视觉伺服且提出了多摄像机视觉伺服方法。不过，使用的一些镜头可能不适合的爬墙机器人，这是因为（1）当使用几个镜头时，很难建立一个大区的交汇点，（2）使用一些相机增加了爬墙机器人的负荷重量,从而影响其安全。基于特征空间分析， 可以用一个相机从一个位置的多方向来确定机器人的位置。这种方法的缺点是测量结果可能随环境变化而变化。 此外，深入的资料可能会遗失并且照相机和目标物体的距离不能用传统的相机测出。 在这项研究中,视觉传感系统已成功地应用于爬墙机器人，它是由一个能够被定位的CCD相机和两个固定在摄影机上的激光二极管组成。 使用单一相机有助于简化安装和

5、减轻整个系统的重量。两架轻型激光器则固定在相机上，是视觉传感器的眼睛 。相机可以调整,以确保发现窗框或污垢处。 有了一只这样的眼睛,机器人和窗框及污垢处的距离就可以测量出来。 有两只的话,就可确定玻璃表面机器人的位置.拟议视觉传感系统有三重优点：第一，视觉传感器可以根据三角理论，轻易而有效地测量出机器人的位置和方向。第二，有两束激光二极管固定其上的照相机使机器人重量增加不及10克，因为图像处理系统安装在地面上的主电脑上 。第三，它提供了电脑视频,操作人可以直接监督机器人的运动。2.机器人系统的结构清洗机器人系统包括一个移动式爬壁机器人,辅助车辆,压缩机和一台电脑,如图2所示。攀登机器人贴在玻璃

6、表面进行清洁工作， 配套机车为其提供电力及清洗液，压缩机当作气源.由于机器人和电脑相联结,操作人可以检查和控制机器人的运作。图2. 清洗机器人系统图3. 爬壁机器人的主要结构先进的爬墙机器人长1220毫米,宽1340毫米, 高370毫米,重量为30公斤. 机器人的身体主要是由两个相互垂直杆缸组成, 如图2所示。水平杆缸长400毫米，垂直的是500毫米。交替发动这两个杆缸 ，机器人就会沿X或Y方向的运动 。如图3所示，有四个较短z杆缸安装在各杆缸两端。伸缩或后退这四个杆缸的横梁, 机器人就可以在z方向运动. 在两杆缸交叉处, 安装了一个转动圆柱，被称为机器人的腰，有了这个机器人就可绕Z支点左右旋

7、转。在水平杆缸的两端安装了两个专门设计的刷子，它们都由一个擦吸系统构成。 该擦拭装置通过配套机车提供的清洗液擦洗脏黑的玻璃表面。吸收系统搜集污水并把它们返回至配套机车进行回收。机器人用吸管袋进行粘连。在机器人的每只脚下都安装了四个直径为100毫米的吸管袋。这16个吸管袋足以承受15公斤的负荷。该机器人采用了平移机制的运动。 随着运作模式的粘,机器人可以完成一系列的提案,包括移动,旋转及穿越障碍。旋转机器人受可调旋转杆缸的控制。机器人每步可绕z支点转动1.6度左右，直到达到预期的态势。该机器人的控制系统的基础是一个主辅电脑。 主计算机(见图 2)总部设在地面并直接受人操纵。 辅计算机嵌于在机器体

8、中如图3所示。 利用安装在机器人上的信号传感器发出的反馈信息，辅助计算机控制机器人的移动和姿态来实现在玻璃表面上的自动导航。通过视觉传感系统及主辅计算机与RS422的连接，主电脑可获取信息，查明机器人的位置。 在紧急情况下,操作员可根据实际情况直接控制机器人。图4. 攀登机器人在商业大厦外的现场演示机器人通过交替吸吮及释放安装在纵横交叉杆缸上的吸管杯来实现移动的。辅助电脑打开或关闭信号来连接或拔下真空发生器的气源, 实现吸吮或释放相应的吸管杯。真空公尺可衡量相关的真空吸管杯和检查机器人的安全性。如果真空吸管杯指数少于40kpa, 主计算机 就收到一条警报信号。图 4描绘了一架先进的清洗机器人攀

9、爬坐落在香港城市广场的一栋商业大厦。3. 视觉传感技术3.1视觉传感硬件系统 视觉传感硬件系统包括一个型号为索尼EVI-d30(j)面向CCD相机, 两根激光二极管及捕获卡,如图5所示. 照相机的控制弦接收来自计算机的指令。 照相机的视频输出舷将视频信号发送到采集卡然后是显示在电脑屏幕上,使操作人可以关注玻璃表面上机器人周围的情况。固定在相机上的两束激光二极管作为传感系统的眼睛, 会释放出两束激光以找到窗框并产生两个激光点。相机和激光二极管的摆放姿态要随电脑改变，确保光源能到达窗框。激光器的发射点是机器人的参考点。参考点到窗框的距离及机器人相对窗框的位置可以通过分析两激光点在平面图上的像素坐标

10、U和V来确定。3.2 位置测量 测量中将会运用到三角理论。 图6（左视图）说明了如何利用视觉传感系统测量机器人的位置。 L表示激光器的发射点，L1是激光射在窗框的点， L2是L1在图像平面上的对应点, 此处就是I表示的中央图形。把相机的焦点看作起点并用F表示，建立一个用F-xbybzb表示的基地坐标，此处xb坐标轴平行于玻璃表面，垂直于窗框, yb坐标轴则与玻璃表面和窗框都平行，zb坐标轴垂直于xb-yb平面，如图6所示。把F为同一起点,可建立另一个被命名为照相机坐标的框架，用F-xyz表示,此处的x轴平行与直线I-F即相机的主要轻支点，y同yb一样都是坐标框架的基础，z垂直于x-y平面。 x

11、0,y0, z0T、x1,y1, z1T x2,y2, z2T分别表示点L, L1 L2的坐标。用U和V表示坐标在图象平面上的坐标，u0,v0为像素中央点I的坐标。因为焦点F位于线L1L2上，则线L1L2可用下式表示： （1） 定义为激光器相对照相机的倾斜角（绕y轴，逆时针）C为泛角（绕z轴，逆时针）。则线LL1就可这样表示： （2） 图5 视觉传感硬件系统 图6 机器人位置的测量从(1)和(2)中我们可以得出的坐标点L1像素坐标u, i.e。 x1,y1, z1T= +x0,y0, z0T （3）其中，其中dx和dy是两个相邻像素在两个方向的图像平面距离, 而F表示焦距。L和L1的距离用|L

12、L1|表示， （4）定义a为相机在基地坐标框架上的倾斜角度。LL1与LL3（平行与xb轴）之间的角度为 （5）那么,点L和窗户框的距离为： （6）把(3)(5)代入(6)中得出像素坐标u,i.e中的d （7）图7. 机器人在玻璃面上同样的，如果机器人与两窗框的距离d1和d2能用拟议视觉传感方法测出，则d也可求出。值得注意是在测量距离时只需要一个激光二极管。3.3定位测量图8（视图）描述了利用视觉传感系统测量机器人的位置,此时需要两个激光二极管。点A、B分别是激光二级光的发射点1和2。点A1和B1是窗框上相应激光点。 C1和C2是激光二极管1和2相对相机的泛角。分别用xL,yL, zLT和 xR

13、,yR, zRT表示左点A与右点B在相机坐标框架中的位置。在xy平面上，AA1可以用表示为： （8）注意像素坐标的激光点A2在图像平面上是ul和vl。在x-y平面, A2的坐标是(f,dx(u0-ul)。那么 ，线FA1可表示为： （9）结合(8)和(9),可导出点A1的坐标： （10） （11）图8. 机器人定位测量图9. 污垢位置的测量同样，假设xB1和 yB1,，可以推导出点B1的坐标。最后，机器人相对窗框的泛角可得为： （12）图8所示，h表示机器人在玻璃上的位置，基于此机器人才可转动其腰部,以达成预期的态势。3.4污垢位置的测量 图 9(视图)说明如何运用定位传感系统确定污垢处。 首

14、先,激光二极管扫描整个窗户玻璃面。然后,利用相机和两台激光二极管找到污垢并记录起图象。不需要太多时间去完成这些步骤,因为操作人员可以帮助机器人很快找到污垢,然后向机器人发出进测量指令。二极管是固定在相机上的，它们的相对位置和姿态在获取污垢位置的过程中不能改变。 用3.2部分的同样方法，通过分析激光点在图像平面上的U或V坐标可测出机器人和污垢处的距离。在得出机器人与污垢间距离及相机泛角的基础上，就可确定污垢位置。 4.试验室内实验是测量机器人和窗框的距离，确定机器人位置；测量机器人相对窗框的泛角,以确定该机器人方向；确定污垢位置。在实验中,相机的姿势，泛度(-100度到100度)和倾斜角(-25

15、度到25度),受主计算机的调控。用模式识别技术来确定是否光源到达了窗框以获得对激光点在窗框的图象。4.1机器人位置的测量首先，通过获取机器人在玻璃表面不同标定位置的图象及分析激光点U或V的座标可以标定视觉传感系统。用最小二乘拟合 距离这次机器人和窗框可从刻度为2293mm u坐标左边的激光点ul(像素)和倾斜角度的相机(deg)。 详细的程序标定列在以下方面:1.让机器人向任意位置移动，并测量机器人与窗框之间的距离 （例如距离D为100毫米) 然后用相机记录下倾斜角a和像素坐标ur(和UL)。2.让机器人移动到其他位置,并且并取得了一系列的校验数据。3.从等式(7)中用最小二乘拟合方法得到系数

16、a1、a2、a3和b 通过以上校准程序,我们得到a1=16.67、a2=185839.97和a3 = 1286.21。 （13）用类似的方法, 距离D可转换成激光点u坐标的功能，比如： （14）两束激光点v坐标的距离功能在不断变化。通过对比，我们发现在这个实验中用u坐标测出的距离比用更精确V坐标测出的更精确. 图10 和11分别描述了等式(13)及(14)的 关系。在随后的实验 ，等式 (13)被用来测量机器人在玻璃表面上的位置. 实验结果即测量误差与测量距离之间的关系如图 12中所示，此处平方点代表不同距离的测量误差, 而固体线指的是一种随距离增加而产生的测量误差趋势. 当照相机逆时针转动9

17、0度时,机器人与左窗框之间的距离及像机倾角就可以测量出来。为了解决这个测量距离误差累积的问题，视觉传感器在一系列测量后需要复位。值得注意的是相机畸变可能会影响测量d。从图12可以看到当距离不是很大(即1000毫米)是测量误差是很小的。在发生大的距离，镜头畸变就应该加以考虑。图10 机器人与窗框距离-左侧激光点u坐标及相机倾角图11 机器人与窗框距离-右侧激光点u坐标及相机倾角图12 机器人测量误差趋势4.2机器人方向的测量通过找到机器人方向和图象中左右激光点的U坐标之间的关系，视觉传感系统可得到进一步标定 。用最小二乘法,可以从标定中得出以下关系：, （15）图13说明了泛角h与ul和ur坐标

18、之间的关系，泛角与测量误差之间的关系已在图14中显示。此处平方点代表不同距离的测量误差, 而固体线指的是一种随距离增加而产生的测量误差趋势。应该注意泛角误差对整个测量误差可能会产生影响。然而在某些应用方面，泛角误差对距离测量误差的影响不是很大。在我们的实验中，发现当机器人在玻璃表面爬行超过水平方向2米时，机器人的泛角将会小于6度。重力的作用将会影响机器人的位置，尤其是当这个机器人在水平方向爬行时，在我们的实验中，发现当机器人在玻璃表面爬行超过水平方向2米时，机器人的泛角将会小于6度。当这个泛角按顺时针测量时，机器人就会顺时针旋转它的腰，以达到预期的水平或垂直的位置。当这个泛角按逆时针测量时，机

19、器人就会逆时针旋转它的腰，以达到预期的位置。图13 基于机器人位置的测量图14 位置测量误差趋向43 污垢位置的测量模式识别技术用于找出污垢进行清理,然后获取激光点的图象。图15描绘了图象定位污垢处。等式（14)被用来测量机器人和污垢处的距离。在测量了距离及相机泛角度的基础上, 才能确定污垢的位置。定位污垢处的实验结果见表1图15 用于定位污垢的图象(deg)倾斜角度像素坐标u（piexl）D（mm）测量错误（mm）1371113647982（2.6,3.7）265171400633.3(3.2,1.6)352221410577.0(2.5,2.1)45311.61370768.6(3.5,2

20、.6)554513251066.1(7.1,3.4)6752.413111205.6(10.3,2.0)76791348890.3(6.1,2.0)865513271050.1(7.7,2.6)97810.41358830.0(5.9,1.4)表一 用于定位污垢的试验结果5.结论本文描述了视觉传感应用的爬墙机器人清洗玻璃的高楼大厦。机器人以黏附的方式吸附在墙面上，并可以方便地移动和转动。在机器人上安装的视觉传感系统是由一台已经定位的CCD照相机，二个激光二极管和其他辅助部分组成。基于校准实验，已经定位的机器人有其位置定向之间的关系， 在这幅图像内可以知道的两个激光点的同等物，和照相机的倾斜角度。使用这些关系，可以方便地测量出机器人的位置和方向，并且要被清洁的脏的地方也可以找到。实验结果证明这个视觉传感系统应用在爬壁机器人是有效的。