工业机器人视觉分拣识别系统设计.docx

工业机器人视觉分拣识别系统设计.docx

《工业机器人视觉分拣识别系统设计.docx》由会员分享，可在线阅读，更多相关《工业机器人视觉分拣识别系统设计.docx（20页珍藏版）》请在冰点文库上搜索。

工业机器人视觉分拣识别系统设计

中文题目

摘要

面对工业自动化技术的不断发展，许多生产制造过程中逐渐不断地应用到工业机器人，通过智能工业机器人与智能相机系统相结合，构建起工业机器人视觉系统，使用智能化机器替代人眼器官来完成观测与判断的生产步骤，以此能应用于各种各类不适合人的高危生产环境以及应用于那些使用人眼器官视觉都无法精确测量判断的场境，避免人眼视觉检测所带来的偏差和失误之余，能够长时间稳定工作，大大提高测量精度和速度；通过非接触性测量，更减少因人工检测操作所带来的产品损坏等问题，保障观察者安全，降低废品率与劳动成本，提高生产效率与系统可靠性，产生更大的经济效益。

本文通过研究工业机器人分拣系统中的视觉识别系统，简要分析工业生产过程中，使用合适的光源，摄像机，计算机等部件，采用高斯滤波，均值滤波等方法降低所摄图像上提取的信息干扰，提高图像清晰度。

采用斑点定位、灰度匹配、轮廓匹配等定位方式，实现工件定位功能。

根据工件图像选择适合的特征提取算法，优化改进现工业机器人分拣系统中的视觉识别系统，使其更好地应用于半导体晶片切割的位置识别，各类工件的分拣，印刷或者锯片的检测，工件序列号等图像的信息读取，火化塞间隙尺寸的测量，表面的划痕缺陷检测，封装检查等等环节所需的视觉检测场合。

关键词：

机器视觉；分拣系统；图像处理；识别

Designofvisualsortingandrecognitionsystemforindustrialrobot

Abstract

Inthefaceofthecontinuousdevelopmentofindustrialautomationtechnology,manyproductionprocessesaregraduallyappliedtoindustrialrobots.Throughthecombinationofintelligentindustrialrobotsandintelligentcamerasystems,thevisionsystemofindustrialrobotsisconstructed,andintelligentmachinesareusedtoreplacehumaneyeorganstocompletetheproductionstepsofobservationandjudgment,sothatitcanbeappliedtoallkindsofhigh-riskstudentswhoarenotsuitableforhumanbeingsTheproductionenvironmentandthefieldenvironmentthatcannotbeaccuratelymeasuredandjudgedbyusingthehumaneyeorganvisioncanavoidthedeviationanderrorcausedbythehumaneyevisiondetection,andcanworkstablyforalongtime,greatlyimprovingthemeasurementaccuracyandspeed;throughnon-contactmeasurement,theproductdamagecausedbythemanualdetectionoperationcanbereduced,ensuringthesafetyoftheobserverandreducingthewasteproductsRateandlaborcost,improveproductionefficiencyandsystemreliability,andproducegreatereconomicbenefits.

Inthispaper,thevisualrecognitionsysteminthesortingsystemofindustrialrobotisstudied.Intheprocessofindustrialproduction,theappropriatelightsource,camera,computerandothercomponentsareused.Gaussianfiltering,meanfilteringandothermethodsareusedtoreducetheinterferenceofinformationextractedfromtheimageandimprovetheimageclarity.Usingspotpositioning,graymatching,contourmatchingandotherpositioningmethodstoachievetheworkpiecepositioningfunction.Selectsuitablefeatureextractionalgorithmaccordingtotheworkpieceimage,optimizeandimprovethevisualrecognitionsysteminthecurrentindustrialrobotsortingsystem,sothatitcanbebetterappliedtothepositionrecognitionofsemiconductorchipcutting,thesortingofallkindsofworkpiece,thedetectionofprintingorsawblade,theinformationreadingofimagesuchasworkpieceserialnumber,themeasurementofgapsizeofcremationplug,thedetectionofscratchdefectonthesurface,sealingVisualinspectionoccasionsrequiredforinstallationinspectionandotherlinks.

Keywords:

MachineVision;SortingSystem;ImageProcessing;Distinguish

1前言1

2.2智能相机基础设置4

2.4组态监测页面11

1前言

机器视觉是计算机软硬件、光学、机械、电子等方面相融合的科学技术，其中，涉及到光学成像，图像处理，传感器，计算机，人工智能，模式识别等多个领域。

随着“中国制造2025”战略的提出以及中国经济的持续不断地飞跃发展，中国正逐渐成为了机器视觉技术发展最活跃技术应用次数超高的地区之一，其应用范围涵盖了工业、科研、军事、医药、农业、公安、交通、安全、天文、气象、航天等国民经济的多个行业。

生活中，手机照相支付等APP软件中的人脸识别，二维码，文字等识别功能，无人驾驶汽车，印刷品质量自动化检测，工业生产中的产品质量等级分类，芯片贴片，半导体晶片切割的位置识别，各类工件的分拣，印刷或者锯片的检测，工件序列号等图像的信息读取，火化塞间隙尺寸的测量，表面的划痕缺陷检测，封装检查等等都应用到机器视觉技术。

而机器视觉系统，能够在一些不适合人的高危生产环境以及应用于那些使用人眼器官视觉都无法精确测量判断的场境，用机器代替人眼器官来做测量和判断。

在工业场景中，一个典型的工业机器视觉系统包括：

被测物，光源照明，触发图像采集的光敏传感器，摄像机，计算机存储，图像处理软件，监视器，控制执行机器，现场总线接口，遮光板等等。

通过工业机器视觉系统，能够优化传统工业生产制造中，人工检测产品表面缺陷速度慢等导致生产效率低下的各种各类生产环节，甚至解决在检测过程中容易出错导致检测结果不精确等人工检测局限性导致的相关问题。

本文针对原有的工业机器人分拣系统存在的精度不高、工件有限定条件、生产环境影响、操作复杂等问题，以工业机器人视觉系统为基础，设计工业机器人分拣系统的视觉识别检测应用，并详细说明了系统的原理和结构组成，进而达到了理论与技术实践有效统一的目的，解决原有工业机器人分拣系统人工检测的不精确，人力检测的局限性，环境因素导致图像识别的不稳定性，不同工业应用场景对应设计识别算法的繁琐性等问题，具有产品部件精确测量的优势；解决了系统软件图像识别相关信息时实时检测与测量的相关问题，迎合实际具体生产的需要，具备一定的实用性；解决了传统意义的视觉检测系统中需要多次识别导致产生大量数据，继而造成运行计算量大的问题，具有实时判别产品某项信息是否在允许误差范围内等的优点，且测量数据准确，满足生产需要。

1.1本设计的目的、意义及应达到的技术要求

以基本实现工业机器人视觉分拣识别系统为主要目标，以典型的机器视觉系统组成为依据，以panel_view.exe为开发设计工具，设计一套具备操作使用简单方便，降低人力成本，甚至克服人工所不能完成等优势的工业机器人视觉分拣识别系统。

首先根据工业机器人分拣系统的场景，所要分拣的工件中其所需特征的颜色等等，选择合适分辨率，像素深度，曝光方式，颜色，传感器类型等参数的智能相机。

其次，通过麦克玛视公司研发的智能相机软件panel_view.exe，使用滤波，几何变换，定位，特征提取，测量，缺陷处理，测量，读取信息，通讯等功能模块识别分拣出各项指标都符合误差范围之内的目标工件。

最后，通过相关组态软件，编辑出合适的监测页面以便观测工业机器人分拣过程中，智能相机所摄不同图像提取的各个所需识别提取检测的信息是否合适目标工件的要求。

1.2本设计在国内外的发展概况及存在的问题

在2017年由中国国务院发布的《新一代人工智能发展规划》，其中规划指出2030年前中国的人工智能发展事业的总体战略计划，相关细则提及需要大力发展人工智能新型产业。

根据相关政策指引表示：

未来机器人将向着高柔性的协作型机器人以及智能机器人的方向发展前进。

近年来，我国已经连续数年成为全球第一大工业机器人的应用市场，国内机器人市场一直维持着高速地增长，而且，每年累计销售量和增长率持续攀高，占据着全球市场的机器人销售份额不可忽视的位置。

在3c制造业，应用行业里以汽车整车制造、汽车零部件以及配件制造为代表的汽车制造业等工业领域上，关于对应的工业制造等机器人的需求量不断持续增加，相关人工智能企业的产量不断持续攀升。

随着国内的电子商务，快递等行业的高速发展，智能机器人的出现，除了很好地优化了传统人力劳动作业时所带来的局限性，工作效率上也有了大幅提升。

在工业机器人分拣识别系统中，无需人工进行干预，完成高工作量，具有较低的分拣破损率和错误率的优势深受市场欢迎。

首先需要摄像机对工件进行相应的图像采集，然后对对应的图像进行分析计算识别处理，对工件进行识别定位，并根据建立的坐标转化关系得到对应工件的机器人坐标，通过发送设定的运动指令，从而控制机器人抓取不同特征的工件，将指定的目标工件放入指定安放的位置中。

但是，现今拥有机器视觉的工业机器人的行业面临着生产研发成本极高的困境，需要具备大量的物力人力才能完成相应的具有机器视觉能力的工业机器人系统的设计、算法、仿真、测试、验证等等一系列研究开发。

并且由于相关的研发设备的价格都十分昂贵，故不具有强大的经济实力支撑，就更难产生突破。

部分企业还需要同时面对自身项目周期过长，人力资源不足，付款条件严苛，资金风险较大等人事因素，因此，目前在国内，工业机器人的大部分市场依旧被各类外资知名品牌生产的工业机器人所占据着。

但是，与此同时，国内部分企业通过收购或者自主研发的方式掌握本体和零部件的研制技术，并结合中国本土系统的主要优势，积极在工业机器人产业链上游以及中游，想通过差异化的竞争路线来发展属于中国本土的工业机器人视觉识别技术，使国产工业机器人能拥有一定的竞争力以及一定的技术优势，相信未来随着工业机器人的核心技术研发的进一步突破，工业机器人视觉分拣系统不断完善，最后中国将成为全球第一大，拥有机器视觉的工业机器人制造市场。

1.3本设计应解决的主要问题

目前，现有的工业机器人分拣系统的视觉检测识别应用主要存在图像精度不高、工件有限定条件、生产环境影响、操作复杂等问题。

如：

a、从总体的典型机器视觉系统组成角度出发，根据智能相机的参数，原始图像噪声干扰程度，图像处理软件中对待处理图像的预处理质量等均会不同程度地影响图像精度；

b、不同类型样式的目标工件中所需检测各自不同的感兴趣特征不一，使得工业机器人分拣系统分拣可能局限单一，对工件有一定的限定条件；

c、从外界干扰角度出发，流水线生产车间环境会影响相机拍摄的原始图像效果。

2本设计主要组成及使用的功能模块

以基本实现工业机器人视觉分拣识别系统为主要目标，以典型的机器视觉系统组成为依据，以panel_view.exe为开发设计工具，设计一套具备操作使用简单方便，降低人力成本，甚至克服人工所不能完成等优势的工业机器人视觉分拣识别系统。

首先根据工业机器人分拣系统的场景，所要分拣的工件中其所需特征的颜色等等，选择合适分辨率，像素深度，曝光方式，颜色，传感器类型等参数的智能相机。

其次，通过麦克玛视公司研发的智能相机软件panel_view.exe，使用滤波，几何变换，定位，特征提取，测量，缺陷处理，测量，读取信息，通讯等功能模块识别分拣出各项指标都符合误差范围之内的目标工件。

最后，通过相关组态软件，编辑出合适的监测页面以便观测工业机器人分拣过程中，智能相机所摄不同图像提取的各个所需识别提取检测的信息是否合适目标工件的要求。

2.1工业机器人分拣系统的分析

分拣，就是根据物品部件的品种种类参数特征等要点信息，按一定的先后顺序进行摆放在不同的位置，分门别类。

工业生产中的工件分拣也是如此，能够把不同种类的目标工件进行区分并拣出，或者在大量同种工件中分拣出存在质量缺陷的问题工件。

随着中国制造业的发展，由于传统的流水线分拣作业中依靠人工分拣工人长时间、重复性进行分拣动作导致的工作效率低，准确性低等问题，已经不能适用于现代化的高生产效率，智能自动化的大批量生产，故现时工业机器人视觉分拣系统越来越广泛。

工件分拣的方式主要有两种，动态分拣和静态分拣。

此次研究分析的工业机器人视觉分拣识别系统为静态分拣，即工业机器人分拣过程中与流水线上的传输带是间歇性运动状态。

其系统硬件主要包括执行模块与视觉模块，主要由天机TR8型号的六关节工业机器人，智能相机，光源，控制器，气动装置（气泵），计算机等部件组成，在工业机械臂的末端使用小型吸盘作为执行工具，通过示教器信号控制与气动装置实现对工件的释放与抓取，从而基本控制机械臂运动，进而实现对应目标工件的智能分拣。

本文主要研究讨论工业机器人视觉分拣识别系统视觉模块的图像处理部分，其余六关节工业机器人的编程运动路线操作，机器人控制器与计算机连接通信，目标工件识别定位等相关问题，暂且不作研究讨论说明。

设计实际操作平台如图2.1.1所示。

图2.1.1设计实际操作平台

2.2智能相机基础设置

智能相机是一种高度集成化的微小型机器视觉系统。

一般由光源、CCD或CMOS相机、图像采集卡、图像处理软件以及一台PC机构成[3]。

其中，工业生产中应用到的智能相机需要具有高精度、低噪声、高清晰度、色彩还原好等特点，在通过计算机后能够使用图像处理软件控制曝光时间、亮度、增益等参数。

智能相机的主要基本参数包括:

分辨率、像素深度、曝光方式和快门速度、像元尺寸（PixelSize）、光谱响应特性等[3]。

考虑到由于现实生产环境中工件旋转，光照条件不一致，工件外观的正常变化等条件变化因素需要选择合适的智能相机工件定位工具；其次，为了使智能相机与PC机，用于执行分拣的工业机器人机械臂，以及其他自动化装置建立通信连接，需要考虑到智能相机内置的网络通信装置性能；再者，在执行分拣过程中，需要智能相机大量搜索寻找读取生产线上的工件的文字，长度，条码等图形数据信息，对于此过程中的相机寻找特性，如图像确认能力，读取速率，应变工件与工件之间位置变化的可重复性与可靠性等，由此得需考虑智能相机的寻找特性和测量工具的可重复性；对于原始图像需要进行预处理突出显示测量的特征，不标示突出甚至消除不需要的特征，如通过相对应的图像处理软件基础设置智能相机参数等配置，调节所摄图像中目标工件边缘和背景间的对比度，减少图像中不需要的无关的无意义的特征，减少或消除因光照射工件表面产生的干扰性的光线，对图像中粗糙纹理的特征位置进行平滑处理，对此智能相机是否具备良好的优化原始图像数据的能力，足够的图像预处理功能，能否能提高后续处理的图像精确度和耐用性，也是此次选择智能相机的考虑因素之一；最后，对于智能相机的附件，如照明光源，PC机等部件与智能相机同时运行时产生的兼容问题，直接影响着工业机器人视觉分拣识别系统能否有效快速稳定运作，对此也需要进行检测与考虑。

结合本次工业机器人视觉分拣识别系统要求，根据上述的智能相机选择依据，此次设计中的智能相机使用的类型系列是MICRO6000/6100。

本设计所用智能相机实际主要参数指标如表2.2.1所示：

表2.2.1所用智能相机实际主要参数指标

型号

MICRO-6003CE（-C）

MICRO-6013CE

MICRO-6013CM

分辨率

0.3MPixel640*480

1.3MPixel1280*1024

帧率

120fps

60fps

30fps

颜色

黑白（彩色）

黑白

曝光模式

全局快门

电子卷席快门

感光芯片

1/3”CMOS

1/1.8”CMOS

1/2”CMOS

为了避免智能相机的分辨率可能较低，导致拍摄得到的原始图像因为各种的条件限制甚至乎外界的随机干扰，造成不同程度的噪声，影响后续对图像的特征信息提取，故需要在图像处理提取图像特征信息的早期对图像进行预处理。

这里使用麦克玛视的图像处理软件panel_view.exe在一定的图像处理的硬件环境支持下，设置智能相机的合适参数，如曝光时间，放大灰度值倍数，工作模式等，从而完成图像预处理的过程。

通过设置相机工作模式参数，选择切换拍照次数，根据触发通讯方式不同选择相机工作模式（如触发一次，连续触发，通信触发，软触发等），使相机工作更加灵活。

通过改变智能相机的抓图控制功能参数，在较强信号条件下，调节进光量时间，从而有效控制曝光时间长短，增加信噪比，使图像更加清晰；在信号弱如在暗处，由于曝光时间过长导致产生的噪音也随之积累，故想在曝光时间合适一定的情况条件下，通过改变放大灰度值倍数，减小增益，减小噪点，使图像更清晰。

再者控制外触发干扰时间，可排除微小的外触发干扰信号，使图像更清晰，以便后续达到智能相机图像采集的目的。

2.3机器视觉图像处理软件模块

通过上述的六关节工业机器人机械臂对目标工件抓取，分别使用3部智能相机分别给目标工件的正面，侧面，俯面，进行拍照。

经过智能相机图像预处理后，通过机器人，智能相机与电脑组态软件间的协同控制与通信，传递检测系统，并在计算机图像处理软件上得到拍摄图像。

由于图像上的特征好坏会直接影响着图像处理软件进行图像匹配时，是否能识别到目标工件。

因此，设定目标工件的特征选取时，由于不相同类的目标工件特征值相差较大，需要选择目标工件其同类之余，还要选择不同目标部位的特征值非常相近的数值范围，从而能够通过待识别工件的目标特征是否落在参考工件目标特征的数值允许误差范围作为判别依据，处理图像。

通过通信连接在计算机图像处理软件得到的原始图像，还可以在软件上进行滤波，以此降低智能相机图像提取的信息干扰，提高图像清晰度，增强图像，使工件信息提取识别更为精准。

通过运用智能相机识别程序与算法对工件表面相关特征信息，进行图像分割，特征提取，特征处理与识别。

编写功能算法，对智能相机所传递来的图像进行几何变换、定位、特征提取、测量、缺陷检测、读取等图像处理，能够基本在图像处理软件上描述图像特征，如长度，角度，文字，面积等特征信息。

2.3.1图像滤波

在图像滤波操作过程中，可以使用图像处理软件具备的算数运算、色彩转换、边缘增强、边缘滤波、高斯滤波、灰度形态学、亮度均匀化、均值滤波、中值滤波以及灰度拉升等智能算法模块，消除出现在图像当中一些无关紧要的信息，提高了有关信息的检测度。

如对所摄图像灰度化后进行线性平滑滤波的高斯滤波处理，去消除图像中的高斯噪声块，使图像变得平滑。

使用中值滤波对所摄图像进行非线性的平滑调整，通过把图像每一像素点的灰度值设置为该点某邻域的窗口内所有像素点灰度值的中值，以此滤除脉冲噪声，同时保护目标图像边缘。

还可以根据图像卷积理论，合理地通过使用低通滤波来消除噪声干扰，使用高通滤波来增强边缘等高频信号，针对待处理图像的干扰信号以及必要信号进行处理，有效显著地改善获取图像的像素质量，让原来模糊的图像变得清晰明了；使用亮度均匀化能对指定区域范围进行亮度均匀化处理。

使用均值滤波（线性滤波），通过根据邻域平均法的方法，使用均值来替代原需处理图像中的各个像素值，进而使图像平滑起来，算法简单，速度更快。

但是由于典型的随机噪声是由灰度级的急剧变化组成，因此常见的平滑处理的应用就是降低噪声，而均值滤波器的主要是去除了图像中的不相关细节，如与滤波器模板尺寸相比较小的像素区域。

由于均值滤波具有降低噪声的同时，特别是针对景物的边缘和细节部分，使图像产生模糊现象的处理缺点，故均值滤波不做考虑使用。

如图2.3.1.1为在软件上使用中值滤波的前后图像及相应功能算法模块流程设置。

图2.3.1.1在软件上使用中值滤波的前后图像及相应功能算法模块流程设置

2.3.2图像几何变换及定位

在选择了合适的滤波功能模块后，需要对图像进行切割处理。

在进行图像切割前，为了保证被测工件图像中所需特征的范围部分总是出于同样的位置和方向，需要应对这种情况下的图像里被测物的位置与方向变化（被测物的位姿变化）进行处理，调整这种变化可以使用到几何变换。

一般情况下，针对流水线上被测物的位置和旋转角度不能保持恒定，摄像机和被测物间的距离产生了变化等情况，可以使用到投影变换（ProjectiveTransformations），仿射变换（AffineTransformations），以图像处理检测软件页面以及方便检测所需要的图像特征部分作为条件标准，进行图像变换，摆正图像中所需要检测的目标特征，以便后续对的图像目标特征的切割处理。

如，把处理图像进行坐标变换（把图像进行关于X轴、Y轴的镜像变换，方便后续特征信息提取）、位置估计（PoseEstimate）、缩放（实现缩小或者放大图像分辨率的功能）、旋转（实现输入图片依设定的角度旋转功能）、极坐标变换（实现将输入图像指定区域的弧形区域图像变换成水平方向图像，即圆形极坐标转换成直角坐标系，矫正所需处理图像中圆形物体或被包含在圆环中的物体，使圆形物体中的被测工件图像特征后续更容易读取）等几何变换处理，摆正目标特征。

通过选择适当的几何变换可以以最大程度地消除由被测物的位姿变化所带来的不良影响，有助于在后面的图像处理和识别工作步骤中把处理重点关注在子图像内容本身，更准确地说是后续直接处理图像中的对象，而不是仍然要对该对象的角度和位置等处理后再处理图像中的对象。

为