机器视觉和图像处理.docx

机器视觉和图像处理.docx

《机器视觉和图像处理.docx》由会员分享，可在线阅读，更多相关《机器视觉和图像处理.docx（10页珍藏版）》请在冰点文库上搜索。

机器视觉和图像处理

机器视觉和图像处理

————————————————————————————————　作者：

————————————————————————————————日期:

ﻩ

移动机器人使用双目视觉系统对物体进行3D坐标检测

（Guo－SｈｉｎgHuａnｇ,Ci-EnChｅnｇ）

摘要：

这篇论文主要讨论了智能机器人双目视觉系统,它利用了图像处理原理和边缘检测算法，这样可以更加清晰的得到物体的边缘轮廓。

利用随机测圆法和Hough变换的随机线条可以找到指定的对象。

我们探讨了图像识别应用技术。

通过机器人定位算法，在双目视觉坐标系下，可以快速而精确的定位目标。

通过两个网路摄像机的校订，我们可以得到内部和外部参数,目标物体固定位置的３D空间坐标可以由双目视觉三角法精确计算得到。

物体和机器人之间的距离可以有坐标变换系统得到。

经由三角几何理论检测，系统误差在允许的范围内。

同时可以得到期望的精度和可靠性。

一、引文

我们提出了机器人双目视觉系统应用坐标，对人眼进行仿真,做到智能检测应用。

因此,这样的系统可以在机械臂的作用下精确的捕捉目标的位置,而不需要大数量的传感器。

双目视觉系统可以通过左右相机捕捉的图像找到共同的特征点。

通过形态学的处理，物体和相机之间的距离可以精确的计算到。

物体的三维坐标可以使用相机参数表示。

因此，物体可以由机械臂抓取。

部分2详细的介绍了餐饮服务机器人的外观和双目视觉硬件结构。

部分3描述了寻找特征点的图像处理过程。

部分4讨论并图示了特征点转换为三维坐标的过程。

部分5和6分别给出了实验结果和结论。

二、双目视觉系统的结构

图1　BVS硬件结构

双目视觉系统硬件结构包括2个相机，安装在机器人的头部。

由计算机组成的操作系统的结构如下。

图2　BVＳ和机械臂系统结构

三、图像处理

选取现实中使用的目标物体,包括易拉罐,聚酯塑料瓶，杯子

图３目标物体检测

所选目标物体具有不同的颜色,形状，找到它们的中心点,左右两个特征点,作为筛选目标物体的依据。

A形态学

选取一个合适的阈值,便可以将目标物体从环境中分离出来。

通过左右相机所得到的相机图像利用二进制系统表示以及HＳV颜色模块,可以得到一个合适的阈值处理过程。

图４图像处理

图像经过腐蚀和膨胀可以消除图像噪声。

将ＲGB颜色模块转换到HSV颜色模块,转换方程如下:

Ｂ、物体识别

通过灰度等级的突变,如果在一阶导数形成的高峰超过阈值之后,将会呈现测点形状。

二阶微分是通过零交叉概念。

对于函数f（x,ｙ）沿着x轴的微分为

对于ｘ轴的微分进过平方和替换可以得到

同样的对于y轴的微分类似。

便可以得到

通过Ｈouｇh变换,我们可以将x-y的坐标转为r-θ空间的坐标，这就是Sandy-Ｍeｔｈoｄ空间角检测线方法。

图　５x-y坐标空间与r-θ空间坐标的关系

可以得

中心圆方程包括两个变量和一个可变的半径，需要进行累计数组测量。

将每一个边缘点的位置坐标代入方程可以得到半径值。

当所有的边缘点转换完毕的时候，通过设定的阈值和累积数组变换,便可以知道是否得到一个大致的图像。

图６　三维累积数组

假设在图像中有K个侧点，为了得到对应于二维坐标的半径值r,将侧点代入a*ｂ大小的圆中。

检测每一小的格子,当数据超过阈值的时候,便可以得到下图

图7数字圆

C　寻找特征点

寻找特征点，对数据进行成批处理，然后得到目标点。

对数据进行成批处理，是为了降低特征点的影响和复杂性，增加了特征点的精度。

寻找的特征点如图所示，特征点在图8（ａ）,（b）中以两个红色表示出来.图8（c）（ｄ）表示使用Hｏugｈ变换寻找图像中椭圆的中心点,因此便可以得到中心点。

同样的特征点以红色表示出来。

图8　特征点

四、定位坐标

A相机坐标

图９是坐标系统的变换。

左右图像的特征点是像素点，通过内部参数矩阵,像素点可以转换为相机坐标。

右相机是相机坐标的原点,对于理想的针孔摄影,实像可以投影到像板上,这是远视投影。

这就是三维空间坐标转换为二维像素坐标的转换办法。

图9双目视觉几何关系图解

图１０所示,图像中心Ｏｃ的三维坐标是相机坐标系统，3D空间点对应相机点。

以点P＝（Xc，,Yc,Ｚc）表示。

Zc是相机的光轴,Ｆ是Ｏc到像板之间的距离。

Q是图像中心的焦点。

图像面板上p点坐标是P的投影。

图像坐标可以表示为P＝（

）。

像板上投影点的坐标可以用如下等式表示

相机坐标的三维坐标可以表示为等式

λ是比例因子,可以随着图像分辨率的大小而改变。

图10透视投影几何图解

Ｂ相机参数

实际情况下,相机的投影在像板上并不是理想的投影。

因此,我们必须对相机元素进行校正。

由于透镜的放射影响,图像的中心坐标变成（

）。

，相机因此,相机Xｃ轴和Yｃ轴的系数是不等的，需要分开考虑。

可以如下表示

r是偏移系数代表了X轴和Y轴相对于直角的偏移角度。

r值近似为0.整个内部参数矩阵表示如下。

五、实验结果

A相机参数校定

在整个研究中，双目视觉调整使用的是１0*７的黑色象棋盘,每一个方块的尺寸是25.5＊25.5ｍｍ^2.相机的固有参数可以由OpenCＶ得到。

图11　１０*7的黑色象棋盘

图示11表示相机通过校正盘求解内部和外部的参数矩阵，内部的参数矩阵包括成像中心和焦距长度，外部参数包括相对旋转和变换矩阵。

左相机参数，内部参数：

外部参数，变换矩阵:

旋转矩阵：

右相机参数，内部参数

外部参数，变换矩阵

旋转矩阵

B　测量结果

文章以易拉罐，杯子等为对象，它们具有同样的形状不同的颜色,不同的形状同样的颜色，不同的形状不同的颜色等特征。

带有内部和外部参数的相机图像坐标，我们可以利用三维重建原理,重建三维世界坐标。

图11,在每一个轴线方向定义了相机坐标系统,并将右边的相机作为相机坐标系统的原点。

成像工具使用的是罗马科技公司的QuickCaｍC920网络相机型号。

它作为视觉感知装置和USB接口相连,图像的捕捉速度可以达到30帧每秒,一个自动的模块包括数字放大镜，HD　CCD传感器。

图11相机坐标轴的定义

使用Hougｈ测量和HSV颜色模块，这样相似目标的识别,例如易拉罐瓶，塑料瓶,杯子,可口可乐罐等因为形状而很容易混淆的物体，同时也可以检测这些物品的颜色来判定。

进过对测得的结果使用统计学的知识进行分析可以发现,左右特征点越是远离成像中心，所得到的误差越大,这是因为相机镜头的是凸面镜。

另一方面,从测量结果可以得到一个精确的景深。

图12易拉罐的识别和特征点的寻找