051269余秀丽基于多源融合技术的目标识别定位与三维重建综述Word格式.docx

1、考 试 日 期 2014.6.5 考 试 成 绩 评 卷 教 师 签 字 处 基于多源融合技术的目标识别、定位与三维重建Xiuli Yu机电学院 农业电气化与自动化 2013级 2013051269 余秀丽摘要：实现农业机械化与自动化重点在于农业机械在农业生产领域的普遍应用，其中农业自动化机械对作用对象的识别、定位与重建是关键技术。针对农作物目标识别的不同方式，文章进行了多方位的阐述：针对果木的果实采摘介绍了基于图像、机器视觉的识别定位方法，并对虚拟植物的可视化进行了从三维重建到后期的真实感渲染的综述介绍。关键词：果实目标识别；Kinect for Windows Sensor；深度图像；三维

2、重建；OpenGL引言为了节省劳动力，目前国内外研究人员已经广泛地开展了果蔬采摘机器人的研究。在采摘机器人视觉系统中，果实的识别和定位是其中的关键环节，能否快速准确地识别出果实直接影响机器人的实时性和可靠性屠珺, 2010 #191。在国外，采摘机器人技术已经相对成熟，并且在大型现代化农场开始应用。在国外，1968年第一次提出水果的自动检测，Schertz and Brown提出，可以根据果实的光信息识别硕士目标，当时主要是利用输液和果实不同的反射光照信息或红外光信息A., 1968 #228。 A.R. Jimenez, R. Ceres and J.L. Pons阐述了目前采摘机器人目标定

3、位的主要方法：基于CCD传感器获得的图像中的目标与背景颜色差异提取目标、基于果实性状特征提取目标、基于深度图像获得目标三维信息 A.R. Jimenez, 2000 #229。Arefi, A.Motlagh, A. M.等人利用机器视觉获取室内西红柿图像，结合成熟西红柿本身的颜色特征，先在RGB颜色空间去除背景，然后在RGB、HIS、YIQ空间提取形态特征，从而定位成熟西红柿，实施机械手臂的采摘Arefi, 2011 #230。Song, Y.，Glasbey, C. A.，Horgan, G. W.提出了一种复杂背景下利用多幅图像识别和统计植物冠部果实数量的算法，该算法x先在一幅图像中引用

4、了bag-of-words moldel进行寻找目标，然后对多幅图像重复聚类统计果实目标数量,结果在没有任何适应性调整的情况下，正确率达到了74.2%Song, 2014 #235。在国内，目前，在对采摘机器人展开研究的国中，大部分采摘机器人仍处于实验室研究阶段，尚未进入商品化生产, #191hidden;屠珺, 2010 #191author-year;屠珺, 2010 #191;, 2010 #191;吕继东, 2012 #189，分析其原因很多，其中对于各类环境下的果实的准确定位是困扰点之一。吕继东，赵德安等利用软件对于振荡果实进行FFT建模，实现了对振荡的果实进行快速地定位、采摘，采摘

5、成功率达到 84%，而且适用于苹果等类球状果实采摘机器人吕继东, 2012 #189。D. M. BULANON等人，对苹果采摘机器人的视觉系统进行研究，针对苹果自然声场条件下枝、叶、果相互交叉重叠的情况，首先对机器视觉获取的图像进行基于颜色的多变量阈值分割，然后在果实目标中心和截断层与标准处理的图像相比较得到一种图形关系，从而定位果实目标BULANON., 2001 #237。屠 珺，刘成良等人通过彩色图像提取光照无关图，消除光照变化的影响，结果目标果实识别率的稳定度是不采用光照无关图的识别方法的 3 倍，并且其平均识别率也高达 90.45%屠珺, 2010 #191。陈艳军，张俊雄利用 V

6、C 6.0 软件编程实现了苹果的两种大小分级的理论模型：一种以苹果轮廓线上两点之间的最大距离作为分级标准；另一种以苹果最大横切面直径作为分级标准，为近球形果蔬参照行业分级标准进行大小自动化分选提供参考陈艳军, 2012 #187。冯娟，刘刚等人使用激光视觉系统获取果树局部的三维图像经过一系列的处理，利用随机圆环法获得果实的形状特征完成对苹果的识别，当枝叶遮挡面积小于40时，果实的正确识别率高于93.75冯娟, 2013 #188。崔永杰，张发年等人综合应用果实颜色和形状特征识别自然环境中猕猴桃果实及特征提取的方法，对相互分离果实、邻接果实、被枝叶部分遮挡果实、重叠的果实进行了识别并取得了良好的

7、效果张发年, 2013 #210。宋怀波等人出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域，将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题，利用相关分割准则实现了凹点匹配并进行目标分割，对分割得到的非完整目标利用 Spline 插值技术进行目标重建，实现了重叠苹果目标分割庄伊斌, 2013 #211。同样，基于凸壳理论，宋怀波，何东健等人实现受果树枝叶遮挡、果实间相互遮挡的果实目标识别，平均定位误差为4.28%潘景朋, 2012 #208。然而上面的研究虽然都取得了一定的成果，但是实际应用中还是有待提高，主要问题有正确率不高；适用环境多数是室内环境，对于自然

8、条件下的复杂情况没能分析在内；试验设定条件自然环境难以达到等。针对上述问题，今后的果实识别定位与三维重建，应该朝着多源信息融合的方向发展。1 多源图像信息融合技术1.1几种类型的图像RGB图像RGB颜色模型是面向硬件的,由摄像机获取的彩色图像被表示成由R、G、B成份，并可以转换成到具有视角角度的HIS、YIQ颜色空间彩色图像，它们们反映了物体表面的反射光的一些特征耿楠, 1998 #300，可以利用其进行果实品质分级、生熟度检测、含糖量估计等。红外光波长800-2500nm，红外光图像体现了物体本身的红外辐射，可以获取物体的温度特征，由于农产品的内部成分及外部特性不同,在不同波长光线照射下会有

9、不同的吸收或反射,也就是说,对象的分光反射率在某一特定波长域内会比其它部分大熊运章, 1996 #302。常常应用于水果的无损检测，何东健,前川孝昭等人利用近红外分光检测装置以柑橘和苹果为对象进行检测用完全遮光型透过光水果内部品质测定装置进行在线糖度、酸度及内部褐变等检测试验,并与常规分析法测定结果进行回归分析，实验结果表明近红外分光检测装置完全满足在线检测水果内部品质的要求何东健, 2001 #314。高光谱图像在电磁波谱的紫外、可见光、近红外和中红外区域，以数十至数百个连续且细分的光谱波段对目标区域同时成像。在获得地表图像信息的同时，也获得其光谱信息，实现了光谱与图像的结合。图像信息可以反

10、映样本的大小、形状、缺陷等外部品质特征，由于不同成分对光谱吸收也不同，在某个特定波长下图像对某个缺陷会有较显著的反映，而光谱信息能充分反映样品内部的物理结构、化学成分的差异。这些特点决定了高光谱图像技术在农产品内外部品质的检测方面的独特优势董广军, 2006 #295。Masoud Taghizadeh, Aoife A. Gowen等人利用高光谱图像和RGB图像建立了一个蘑菇品质评价回归模型，通过检测高光普图像对蘑菇的评价准确度高于RGB图像Taghizadeh, 2011 #248，正是利用了高光谱图像的光谱广度的优势。Cristbal Garrido-Novell等人利用高光谱图像和RG

11、B图像对苹果不同贮藏条件下的成熟度进行了估计，结果高光谱图像识别分类成功率高于RGB图像Garrido-Novell, 2012 #242。深度图像也称为距离图像，是指以物体级向深度悠代替灰度图像的灰度级形成的图像。与彩色图像相比深度图像能直接反映物体表面的三维特征且不受光照、阴影、色度、物体姿势、遮挡等因素的影响，可为物体的三维重构和形态还原提供十分有用的数据信息。Kinect是2010年微软公司推出的一款体感外设，其核心设备由彩色摄像机、近红外线激光发射器和红外线感应器、摄影机组成，它能够快速地同时获取场景彩色图像和深度信息，且其不受环境可见光谱干扰，成本低廉周国民, 2014 #164。

12、江晓庆，肖德琴等人，通过Kinect获取作物生长的深度图像，并利用深度图像获取了3D 点云世界坐标，为三位重建提供了基础江晓庆, 2012 #118。对于其他图像，如雷达图像、射频图像等也可以应用到农业生产领域。Lewis, Derek. Edwards Dan 曾在2010年提出Vision inspired spatial engine （VISE），视觉激发空间引擎，构建了了不同源数据的由目标-目标，目标-图像的配准模型。基于目标的自动配准和目标的相关性将高光谱图像、雷达图像、光电图像、派生对象和地理信息数据相融合，获得了同一个目标更多更全面的信息Lewis, 2010 #239。1.2

13、 Kinect for Windows Sensor对于我的研究以后要使用的仪器Kinect Sensor，如图1.它的实用性和低廉的价位为人们提供了无限的可能，从家庭游戏到高级实验室，形成了kinect EffectSaadatseresht, 2011 #40。2012年2月，微软正式退出了Kinect Software Development Kit （SDK） for Windows，为广大的开发爱好者提供了开发包。其不仅能够获取RGB图像和深度图像，还可以骨架跟踪、人脸跟踪、三位模型等。这些都为今后的多源信息获取提供了渠道。在近年的研究中，我国的科研者利用Kinect获取的深度图像做

14、了很多开创性的研究。陈晓明，蒋乐天等根据深度图像信号深度图像具有很强的边缘性，前景与背景有很大的深度差的特点提出了改进的双边滤波算法，得到很好的效果；将 RGB 图像和深度图像结合,将缺失的深度图像补全并利用坐标变换得到了三维点云数据陈晓明, 2013 #125。刘 冰,罗 熊首先对 Kinect 摄像机采集到的光学图像与其相应的深度图像信息进行预处理，均匀采样后分别对其进行尺度不变特征变换 （SIFT）；然后将两组特征进行特征融合，并利用局部线性编码（LLC） 算法进行特征编码；最后应用支持向量机（ SVM ） 的线性分类器 ,对场景图像进行分类和匹配，得到场景定位信息，结果表明，利用RGB

15、图像与深度图像融合的图像石碑场景识别率均高于单类图像识别刘冰, 2013 #312。 冯娟，刘刚等人利用HIS空间色度H分量图像与幅度图像进行模糊逻辑融合，采用首阈值法对融合图像进行分割，得到了苹果目标，并且利用深度图像的空间层次性，提出了一种重叠果实分离方法，很好地分割出了三层不同空间距离的果实，该方法充分利用了深度图像的统计特性冯娟, 2014 #124。2 三维重建与真实感显示2.1三维重建我们获取目标图像的目的不仅在于对果实等目标的识别、定位。还有后期的三维重建及虚拟世界的真实感显示，这方面的工作涉及了计算机图形学领域，可以说是图形处理与计算机图形学的交叉领域。做这方面的研究主要是为了

16、适应今后经济作物管理的机械化与自动化，为虚拟农场的构建做前期准备工作。Kondori, F. A.，Yousefi, S.等人利用Kinect采集的一系列的人头部动作图像，提出了一种人头部六自由度重建恢复的算法，该算法利用最小二乘法计算不同点之间的变动率并用深度比率约束方程预测此变动率；其系统实现了六位空间内的多人头部运动的恢复重建Kondori, 2011 #29。吴 雨，许 林等人提出了一种基于2.5维深度图像的三维配准算法，同时利用原始数据中的几何以及纹理信息，对多幅深度图像进行两两配准和全局配准。新算法在两两配准阶段将纹理信息用于初选两幅图像的匹配点对，在全局配准阶段将纹理信息用于计算

17、残差，并据此更新对应点对的权重值用于下一次迭代计算。该算法克服了以往算法在纹理、几何信息的参数尺度量化等方面的问题吴雨, 2014 #102。金席卷等人以柑橘为例，提出了一种植物果实的可视化建模方法$该方法采用Bezier曲线拟合柑橘果实的外轮廓，模拟出果实的大致形状，利用MapL系统来对柑橘表面凹凸的局部特征性进行模拟，并给出了柑橘果实模型的实例实验表明，该方法能够模拟多种柑橘果实的外观特征，并具有较好的真实感效果，易于构建虚拟植物果实的生长模型，如图2金席卷, 2012 #320.2.2植物的真实感显示对植物的三位重建的后期工作是对三维模型进行真实感的渲染，也就是真是干显示部分的工作，其中

18、OpenGL.是一个专业的图形程序接口，是别专业领域泛接纳的 2D/3D 图形 API。其应用于计算机图形的任何领域。王芸芸，郭新宇等人首先利用三维数字化仪等数据获取装置获取烟草叶片脉序主要形态特征点的三维坐标和厚度，然后利用球 B 样条曲线对脉序进行三维建模，生成叶片的形态骨架，与由插值样条生成的叶片曲面合成，利用OpenGL实现了烟草叶片的三维重建和真实感显示，结果如图3王芸芸, 2011 #323。Ralf Habel，Alexander Kusternig 提出过一种实时大量叶片渲染模型，在这个模型里采用基于物理原理，精确计算直接照在半透明叶子表面的光的散射量，并用图像卷积的过程展示这

19、样一个有效的结果，效果如图4Habel, 2007 #318。崔翔，蒋晓峰对虚拟树木的真实感显示采用Cook-Torrance光照模型和与计算的半透明贴图实现了叶片的绘制，使用梁模型导出的你和多项式结合偏移修正实现枝干的快速形变计算，通过索引枝干层级数据贴图实现GPU中多级质感的形变，利用OpenGL实现了叶片及动态场景树木的真实感显示，结果如图5崔翔, 2013 #325。今后发展展望在实现农业机械化与自动化的过程中，必定坎坷路途，作为研究人员，唯细不厌，唯精不厌。在果实目标识别的领域，在已经的前人的研究基础上，方法越来越优化，效果越来越具有现实可实现性，掌握对果实目标的识别定位的各种思想方

20、法是所在研究领域的基本功底，继而对所识别的目标进行三维重建与真实感显示，是后续的研究方向。果实目标的真实感显示是紧接着目标识别之后的后续研究，目前大多研究者还没有做到从二维空间的识别然后转到三维重建的重建渲染，这是一个研究断层，从而维的识别到三维真实感显示其意义在于三维重建后可以获取目标的更多信息，从而进行更多的后值读取，比如品质估测，产量估测，生长状态估测，虚拟农场现实农场实时管理与监控，自动果实收获等等具有深刻意义的应用研究。References 1 屠珺, 刘成良, 李彦明, 周俊, and 苑进, 基于光照无关图的苹果图像识别方法, 农业工程学报, pp. 26-31, 2010.6

21、吕继东, 赵德安, 姬伟, 陈玉, 沈惠良, and 张颖, 苹果采摘机器人对振荡果实的快速定位采摘方法, 农业工程学报J, pp. 48-53, 2012.8 陈艳军, 张俊雄, 李伟, 任永新, and 谭豫之, 基于机器视觉的苹果最大横切面直径分级方法, 农业工程学报, pp. 284-288, 2012.9 冯娟, 刘刚, 司永胜, 王圣伟, 任雯, and 周薇, 基于激光扫描三维图像的树上苹果识别算法, 农业机械学报, pp. 217-222, 2013.10 崔永杰, 苏帅, 王霞霞, 田玉凤, 李平平, and 张发年, 基于机器视觉的自然环境中猕猴桃识别与特征提取, 农业机械

22、学报, pp. 247-252, 2013.11 宋怀波, 张传栋, 潘景朋, 阴煦, and 庄伊斌, 基于凸壳的重叠苹果目标分割与重建算法, 农业工程学报, pp. 163-168, 2013.12 宋怀波, 何东健, and 潘景朋, 基于凸壳理论的遮挡苹果目标识别与定位方法, 农业工程学报, pp. 174-180, 2012.13 何东健, 杨青, 薛少平, and 耿楠, 果实表面颜色计算机视觉分级技术研究, 农业工程学报, pp. 207-210, 1998.14 何东健, 杨青, 薛少平, and 熊运章, 农产品分光反射特性及近红外图像处理在农业中的应用, 农业工程学报, p

23、p. 84-88, 1996.15 何东健, 前川孝昭, and 森岛博, 水果内部品质在线近红外分光检测装置及试验, 农业工程学报, pp. 146-148, 2001.16 董广军, 张永生, 戴晨光, and 邓雪清, 高空间分辨率和高光谱遥感图像融合技术, 仪器仪表学报, pp. 727-728, 2006.19 樊. 周国民, 基于 Kinect 骨骼跟踪技术的手势识别研究, 安徽农业科学, pp. 3444-3446, 2014.20 江晓庆, 肖德琴, 张波, and 陈剑, 基于Kinect的农作物长势深度图像实时获取算法, 广东农业科学, pp. 195-199+237, 2

24、012.23 陈晓明, 蒋乐天, and 应忍冬, 基于Kinect深度信息的实时三维重建和滤波算法研究, 计算机应用研究, pp. 1216-1218, 2013.24 刘冰, 罗熊, 刘华平, and 孙富春, 光学与深度特征融合在机器人场景定位中的应用, 东南大学学报（自然科学版）, pp. 188-191, 2013.25 冯娟, 曾立华, 刘刚, and 司永胜, 融合多源图像信息的果实识别方法, 农业机械学报, pp. 73-80, 2014.27 吴雨, 许林, and 杜彦伸, 彩色Range图像的三维模型重建, 计算机工程与应用, pp. 139-144, 2014.28 金

25、席卷, 敬松, and 方逵, 虚拟植物果实的可视化建模技术研究, 农机化研究, pp. 176-179, 2012.29 王芸芸, 温维亮, and 郭新宇, 基于球B样条函数的烟草叶片虚拟实现, 农业工程学报, pp. 230-235, 2011.31 崔翔 and 姜小峰, 真实感动态树场景的研究与实现, 计算机应用, pp. 1711-1714, 2013.2 S. A. and M. J. Delwiche, Basic considerations in mechanizing citrus harvest, Transactions of the ASAE, p. 343-346

26、, 1968.3 R. C. a. J. L. P. A.R. Jimenez, A Survey of Computer Vision Methods for LocatingFruit on Trees, Transaction of the ASAE, vol. 43（6）, pp. 1911-1920, 2000.4 A. Arefi, A. M. Motlagh, K. Mollazade, and R. F. Teimourlou, Recognition and localization of ripen tomato based on machine vision, Austr

27、alian Journal of Crop Science, vol. 5, pp. 1144-1149, Sep 2011.5 Y. Song, C. A. Glasbey, G. W. Horgan, G. Polder, J. A. Dieleman, and G. van der Heijden, Automatic fruit recognition and counting from multiple images, Biosystems Engineering, vol. 118, pp. 203-215, Feb 2014.7 D. M. Bulanon., T. Kataok

28、a, Y. OTA, and T. Hipoma, A Machine Vision System for the Apple Harvesting Robot, Agricultural Engineering International: the CIGR Journal of Scientific Research and Development, vol. III pp. 01-006, 2001.17 M. Taghizadeh, A. A. Gowen, and C. P. ODonnell, Comparison of hyperspectral imaging with con

29、ventional RGB imaging for quality evaluation of Agaricus bisporus mushrooms, Biosystems Engineering, vol. 108, pp. 191-194, Feb 2011.18 C. Garrido-Novell, D. Perez-Marin, J. M. Amigo, J. Fernandez-Novales, J. E. Guerrero, and A. Garrido-Varo, Grading and color evolution of apples using RGB and hyper

30、spectral imaging vision cameras, Journal of Food Engineering, vol. 113, pp. 281-288, Nov 2012.21 D. Lewis, E. Dan., Hufnagel., and Joseph, Vision inspired spatial engine （VISE）: automated object registration for multisource fusion, presented at the Proceedings of SPIE-The International Society for O

31、ptical Engineering 2010.22 M. Saadatseresht, M. Davoodianidaliki, and M. Shankayi, Range image and platform calibration of Microsoft Kinect, in 32nd Asian Conference on Remote Sensing 2011, ACRS 2011, October 3, 2011 - October 7, 2011, Tapei, Taiwan, 2011, pp. 2671-2675.26 F. A. Kondori, S. Yousefi, L. Haibo, S. Sonning