机器视觉在焊接熔池实时检测与参数测定中应用文献综述.docx
《机器视觉在焊接熔池实时检测与参数测定中应用文献综述.docx》由会员分享，可在线阅读，更多相关《机器视觉在焊接熔池实时检测与参数测定中应用文献综述.docx（11页珍藏版）》请在冰点文库上搜索。
机器视觉在焊接熔池实时检测与参数测定中应用文献综述
毕业设计开题报告
电气工程及其自动化
机器视觉在焊接熔池实时检测与参数测定中应用
1前言部分
机械制造业作为我国国民经济的支柱产业，决定了我国的工业生产能力和水平，焊接作为制造业中总要的加工方法之一，更是有着举足轻重的作用。
随着科技水平的进步，人们对焊接质量的要求也越来越高。
而人工焊接时，由于受到技术水平、疲劳程度、责任心、生理极限等客观和主观因素的应影响，难以较长时间保持焊接工作的稳定性和一致性。
而且，由于焊接恶劣的工作条件，愿意从事手工焊接的人在减少，熟练的技术工人更有短缺的趋势。
另一方面，电子技术、计算机技术、数控及机器人技术的发展为焊接过程的自动化提供了有利的条件，并已渗透到焊接的各个领域。
以往焊接质量主要是通过两种手段来保障。
焊前根据工件、材料、性能要求等制订合理的焊接工艺，但是焊接过程存在的时变性使得质量无法得到严格保证。
焊后可以进行质量检验，对不合格的焊缝，返修或者清理之后再重新焊接来保证焊缝质量，但这种检验方法费时又费力，况且某些焊接产品，如船舶、桥梁、大型压力容器、航天器材等一些重要的焊接件，是不允许出现焊接质量问题的。
因此焊接过程中的在线实时质量控制就显得尤为重要。
但是焊接这一技术领域长期以来采用的是传统焊接方法，尽管近些年来各类气保护焊也得到了广泛应用，但焊接变形、咬边、气孔、裂纹、应力集中、未焊合和夹渣等在缺陷问题仍然较严重。
同样，采用传统焊接方法进行生产，焊接接头的外观成形质量和一致性也无法得到保证，而且手工焊接也如先前所提的原因无法普遍适用。
很显然这些都成了制约焊接质量提高的根源，因此采用自动化、智能化焊接时焊接技术革新的根本出路。
随着焊接自动化智能化研究的深入，人们越来越注重对焊接质量的控制，其中熔透与成形直接反映了焊接质量，因此检测出反映焊缝熔透和成形质量信息对于质量控制是非常关键的。
目前国内外普遍使用各类传感装置对焊接熔池信息进行传感以便于对焊接过程进行控制，并以此作为智能化焊接要求实现的基础。
在各类广泛运用的焊接方法中，熔化极氩气体保护焊，以其特有的优点在工业生产中得到了广泛的应用。
使用该焊接方法，课焊接碳钢、低合金钢、不锈钢、耐热合金钢铝及铝合金、镁合金、铜及铜合金、钛及钛合金等几乎所有厚度大于1mm的金属，而且焊接效率高，金属飞溅[1]。
目前，国内外对采集钨极气体保护焊（GTAW）熔池图像研究较为成熟，而对于熔化极富氩气体电弧焊的熔池图像则较鲜见报道，此类图像的最大特点在于弧光强烈，只有在恰到好处地消除弧光干扰的前提下才能采集到比较真实的熔池图像。
目前对熔化极富氩气体保护焊在控制方面的研究内容不是特别丰富，因此对这个项目的任何一点尝试都是有实际意义的。
2主题部分
2.1熔池传感方式的发展现状
2.1.1视觉传感的概念
视觉传感,简言之,是应用在生产装置的一种电子图像技术。
而这种生产装置不管它是出于过程控制,机械控制,还是质量控制等各种目的。
视觉传感器产品（即图像摄取装置,分CMOS和CCD两种）把图像抓取到,然后将该图像传送至处理单元,通过数字化处理,根据像素分布和亮度、颜色等信息,来进行尺寸、形状、颜色等的判别。
进而根据判别的结果来控制现场的设备动作[2,3]。
2.1.2各类传感方式简介
焊接过程的自动化合智能化是未来焊接技术的发展方向，但焊接过程是一个电、光、热、力等多种因素综合作用下的复杂的物理化学过程，焊接电弧更是一个多输入多输出，强耦合，非线性时变的控制对象，还具有干扰因素多等特点，因此这是一个具有挑战性的任务。
对焊接质量的控制最初体现在焊接过程的传感上面，鉴于目前焊接质量控制与焊接自动化业已成为焊接领域发展的前沿，为了实现上述目标，需要对焊接电弧内部的物理过程及现象，进行更为充分的研究以获取更多的信息。
焊接电弧中含有丰富的信息，是认识焊接物理过程的传感成了实现焊接过程质量控制的关键环节。
为此，技术人员开发了光学、声学、力学、电弧电压等各种形式的焊弧传感器器件用以实现对焊接过程的监控。
力学传感可以直接利用力学传感器采集焊接过程中的力信号，也可对熔池施加外力，熔池在外力作用下，产生其他信号形式的响应。
文献[4]利用电子天平检测出电弧力，通过电弧力、熔池下凹量和熔深之间的联系，间接推算出熔深，近年来研究较多的力学传感主要还是基于熔池振荡法[5,6]。
声学传感器由电压晶体材料制成，利用一定条件下电弧燃烧时发出的声音频率与熔池体积有着一一对应的关系，检测出声音频率，从而间接反映出熔池的一些特征参数。
主要被应用于等离子穿孔焊、激光焊的熔透传感、焊缝缺陷检测及焊缝跟踪等。
热电偶作为测温传感器也被应用于熔池信息的检测中，通过测量出熔池周围几点的温度，结合热平衡方程式计算出熔池的温度场，估算熔深等参数[7]。
电弧传感器利用电弧自身的特性，即电流、电压等，目前的应用领域主要是在焊缝跟踪和熔敷控制方面[8]。
熔化极脉冲焊打破了只有稳定焊接电流才能稳定焊接过程的传统观念，它利用脉动的电流进行焊接。
脉冲焊过程控制的主要内容集中在熔滴过渡的控制上，这些信息包括电信息、光信息、声音信息等。
研究表明：
电信息可直接用过于过程检测和控制，对短路和大滴过渡有明显的反映，但对射流和射滴过渡，信号平稳，基本无脉动，不能反映电弧熔滴过渡过程，而声音信息经过声电转化和智能识别也能用以反映熔滴过渡，但生产现场的任何声音都可能成为干扰源，因此在焊接现场难以被采用。
普遍认为反映焊接熔滴过渡最直接的信息源是电弧弧光信息，并且弧光不易受干扰，许多学者据此进行了研究，并已取得了一定的进展[9]。
由于电弧熔滴自由过渡过程特别是射流过渡过程的信号本身就微弱，如果直接提取电弧光信号，则信号的信噪比太低，难以进行准确检测和控制，但与其它的传感方法相比，由于焊接电弧温度高、扰动打以及不均匀性，采用一般测试方法难以全面反映其中的各个变化过程，利用电弧光谱信息进行测控有着很大的优越性。
应用光谱分析来传感焊接电弧，则具有信息丰富、响应迅速、抗干扰能力强、不影响焊接过程和适于实时控制等优点，因此日益受到广泛的重视[10]。
借助于通过图像传感技术来获取焊接熔池直观丰富的图像信息，使用高效的图像处理算法，提取焊接熔池的特征信息，用以实现自动焊接过程质量实时传感与控制以成为近年来研究的热点。
利用机器视觉采集数字图像直观，信息丰富，而且数字化的图像数据，可以迅速传输到计算机高速缓存，进行实时处理，提取特征信息，并做出在线判决，使得现实焊接过程质量实时传感与控制成为可能。
将电弧光谱应用于焊接过程控制的前提，必须首先获得焊接电弧的光谱特征[11]。
2.2视觉信息传感技术
机器人视觉信息传感涉及到几个部分的内容：
视觉传感器、光源、视觉信息处理的硬软件。
在弧焊过程中，由于存在弧光、电弧、飞溅以及烟雾等多种干扰，使用何种视觉传感方法是首要确定的问题。
在弧焊机器人中，根据使用照明光的不同，可以将视觉方法分为被动视觉和主动视觉两种。
被动视觉是指利用弧光或普通光源和摄像机组成的系统。
其特点是采用适当的光学系统滤去大部分弧光，使熔池区图像清晰真实；主动视觉一般指具有特定结构光源与摄像机组成的视觉信息传感系统。
其特点是使用适当波长的光源，使之与电弧区别开来，从而光学传感器仅仅接受该波长的光线，而滤去弧光。
2.2.1被动视觉
传统被动式视觉图像传感所用传感器的设计原理是：
根据光谱图找到某一波长范围，此波长对应的金属谱线的光谱强度大于焊接电弧的辐射强度，因而可以利用熔池自身的辐射成像。
例如，若取光谱中波长为（601±2）mm区域，通过选择高性能的滤光玻璃，传感器只允许电弧和熔池以及工件表面的反射光中波长为λ＝（601±2）的光通过，形成熔池图像，并以此来观测焊接熔池变化。
为了避免焊接过程中强弧光等对视觉传感的干扰，在采用了合适波长的滤光片的同时也研究了如何利用合理的抓图时刻来排除干扰。
通过焊接工艺试验，总结了在拍摄TIG焊图像的规律：
a.在脉冲电流峰基值阶段的图像品质存在较大差异，其原因是脉冲电流峰值期间拍摄图像时，因电弧的弧光太强，焊缝信息淹没在弧光之中，导致从图像中获得焊缝位置信息的困难；而在脉冲电流基值期间进行拍摄图像时，电弧的弧光较弱，图像特征相对比较明显，包含的信息丰富，便于后续的图像处理。
b.在脉冲电流基值期间，不同时刻所拍摄的图像质量也不相同。
这是因为作为被动光源的电弧光强在脉冲电流基值期间总是由强转弱地不断变化。
针对电弧光强的这一特点，应该选择脉冲电流基值期间的某一个电弧光强适中的时刻来拍摄图像。
c.峰值电流42A峰值时间50ms，基值电流5A，基值时间80ms时，采用中心波长为860μm的滤光片，在峰值电流过后5ms后，可获取清晰、稳定、特征明显的实时焊缝图像。
研究发现co2焊熔池信息检测相对TIG焊要困难的多，不仅要避开电弧闪烁、飞溅和烟尘等干扰，而且还要解决好摄像机的固定工作时序与短路发生的随机性之间的矛盾。
研制成co2短路过渡焊接熔池图像检测专用传感器。
该传感器具有独特的光学设计，改善了装备此类视觉传感系统的焊枪的灵活性和可达性，且设计了短路过渡发生的随机性与普通CCD摄像机固定曝光时序之间的这一矛盾的熔池图像检测控制电路，成功检测到短路过渡熔池图像，为从视觉角度进行焊缝跟踪、过程监控和质量控制奠定了基础。
2.2.2主动视觉
主动视觉一般是基于三角测量原理的视觉方法，其光源为单光面和多光面的激光和扫描的激光束。
为简单起见，分别称之为结构光法和激光扫描法。
由于光源是可控的，所获得的图像受环境的干扰可去掉，真实性好。
因而图像底层处理稳定、简单、实时性好。
根据埋弧焊的特点，通过对线阵CCD传感器在光源性质和光路结构上的改进，大大提高了传感器的抗干扰能力。
光源采用半导体激光器，光路结构改为线结构光照射焊缝，线阵CCD在垂直方向接受散射光，这样可以有效地克服焊缝坡口信号对工件表面状况的敏感性。
激光经柱面透镜在工件表面汇聚成宽度很窄的结构光带，该光带在工件表面和坡口内部将形成一条空间曲线ABCDE。
选择适当的入射角使在垂直方向上的散射光最强，通过圆透镜在线阵CCD的感光带上成像。
当圆透镜的焦距足够大时，该光学系统的景深也相应较长。
可认为像曲线为一平面曲线abcde。
这样，来自工件表面的光能落在CCD上并使其感光，而坡口处的光带BC和CD所成的像bc和cd落在CCD的感光部分之外，不能使CCD对应的像素感光，由此可以提取焊缝坡口位置信息。
光路中的滤光片用以增强系统的抗杂光干扰能力。
2.3图像处理及相关应用
2.3.1图像处理过程简介
在使用视觉传感技术进行焊缝跟踪控制的过程中，激光二极管发出的点光源经过柱状镜变成一束线光源，投射到工件表面。
由于试验中采用的是激光束垂直照射，CCD倾斜接收的方案，这样可以同时得到工件表面和高度方向的两维信息。
CCD接收到反射光后，将视频信号送入图像采集卡，经过A/D转换成8bit数字信号，以中断传送方式经PCI总线送入计算机内存。
图像的灰度级为256级，0代表黑色，255对应白色。
接着调用图像处理程序进行图像预处理（滤波、增强等）和图像后处理（抽取焊缝中心线、检测特征信号点），得到偏差信号后，经控制算法得到控制信号，由执行机构控制交流伺服电机作上、下、左、右4个方向的运动，以达到实时偏差调整的目的[12]。
2.3.2图像处理应用
使用高帧频CCD摄像头作为传感器，熔池的焊接面形状会被监测。
焊弧对焊缝试样和熔池做出了十分复杂的光照和辐射。
进入相机的光是经过冷光镜和中性密度滤光镜过滤的，因此，大部分发自氩等离子体的频率都被消除，而且只有通过红外线辐射才能进入摄像机（图1）。
因此，当到红外光谱部分时焊弧光将会减弱,熔池的原始值保持不变。
所有的CCD摄像机对红外光谱范围内的光都非常敏感;因此，无论焊弧，熔池和摄像机的相互位置如何都可得到熔池比较清晰的图像。
图1.电弧光谱特征和过滤器
大量的工序被执行来从原始图像中获得熔池的尺寸。
使用一个5x5像素的结构元素拉普拉斯算法来图像的二阶导数的零点。
Laplace算子由公式1给出：
（1）
视图像的泛函表示。
作为一个二阶导数，拉普拉斯算子通常对噪声非常敏感。
为了降低噪音，冲蚀被应用来消除周围值不同的像素。
最后，围绕熔池构建了一闭凸曲线（包络线）。
包络线内的白色像素数量表示了熔池的大小。
图2显示了当熔池“隐藏”在电弧背后时的原始图像和每次加工次序后得到的图像；即，熔池是向相机移动的。
即使在这种最困难的情况下，提出的图像加工次序也能成功地获得熔池的尺寸。
图2.原始图像和每个加工步骤后的图像。
2.4机器视觉在焊接质量控制上的应用
2.4.1焊缝跟踪控制
所谓焊缝跟踪就是在焊接时实时检测出焊缝的偏差,并调整焊接路径和焊接参数，保证焊接质量的可靠性。
由于工件的加工误差（工件间的尺寸差异、坡口的准备情况等）、装夹精度以及焊接时的热变形等因素的存在，以示教－再现方式工作的弧焊机器人在焊接时常常因为焊缝和示教轨迹有偏差而导致焊接质量下降。
所以焊缝跟踪是保证弧焊机器人焊接质量的一个重要的方面。
在机器人弧焊所使用的传感器中，电弧传感器和视觉传感器占有突出位置，其中电弧传感器用得最多，而视觉传感器则被认为是最有前途得焊缝跟踪传感器[13]。
一个详细的流程图如图3所示。
在焊缝跟踪和参数控制过程中的一些关键步骤作了详细说明。
图.3.焊缝跟踪和过程控制流程图
2.4.2主动视觉焊缝跟踪
目前主动视觉焊缝跟踪研究的内容主要有以下方面：
1提高激光跟踪的鲁棒性，如适应各种焊接接头，和接头尺寸变化等。
2跟踪中的快速稳定的图像处理方法
3传感器的设计问题，例如激光和传感器的角度
4焊缝跟踪中的控制问题，主要为NN和Fuzzy及两者结合方法。
文献[14]中为获得焊缝跟踪高的鲁棒性和适用性，采用两套不同的图像处理算法，分别为在焊接开始前检测焊接接口模型和在焊接过程中检测接头特征。
文献[13]中详细的介绍了各种焊接接头的识别方法。
而文献[15]则采用绞接对象模型（ArticulatedObjectModel）来提高跟踪的可靠性，利用这种方法从传感器获得的轮廓数据中寻找特征点（焊缝点），在特征点处焊接。
文献[16]从图像处理的角度，研究了快速稳定的图像处理算法。
2.4.3被动视觉焊缝跟踪
被动视觉传感器所获信息量大，接近人的视觉等突出优点，受到了研究人员的广泛关注。
受机器视觉技术的大量成功应用的启发，人们尝试将被动视觉传感应用到各种焊接方法中，如GTAW、GMAW和PAW等。
在取像的位置方面主要是被动观察熔池及其附近区域，另外利用工件的特征观察其他区域而获得焊缝信息。
多数研究中摄像机是在斜上方的位置取像的，而在大型管的对接焊时则可以从熔池的侧面取像，这样可以获得更丰富的信息[16],能够同时实现焊缝跟踪和熔池控制。
对熔池机器人附近区域的取像时，取像时刻一般选取电弧亮度小且图像稳定的时刻。
脉冲GTAW焊接中，取像时刻通常固定在每个脉冲基值期间的某一时刻，通过电源同步脉冲来控制取像时刻。
在GMAW焊接时，取像时刻通常为短路时刻。
目前利用被动视觉传感器进行焊缝跟踪的研究中，一般使用一个摄像机，所跟踪的焊缝是二维的。
这是因为根据一幅图片很难获得高度信息。
虽然计算机视觉技术中有根据一幅灰度图像恢复表面形状的方法，但因熔池图像本身很复杂且控制过程中有时间要求，所以很难在焊缝跟踪中实现。
即使使用两个摄像机采用立体视觉技术计算高度，特征点的匹配也较困难。
所以利用被动视觉跟踪焊缝高度的问题上还需要作进一步的研究。
3总结部分
今天，对于视觉传感而言,这是一个大踏步的时代。
曾经需要大量专业知识的技术,现在变得经济,易用。
采用该技术的未来产品开发将继续此趋势。
现在的挑战是如何让国内生产商,用户以及二者的桥梁集成商意识到视觉传感在所有制造领域的潜力,其中包括质量控制,测量和检验流程;另外,视觉传感器的初期投资在国内劳动力成本较低的大背景下无疑是每一个准备购买的人需要考虑的问题,这也给视觉传感产品提出了更高的要求,无论是价格还是性能。
但是,视觉传感的未来是非常乐观,也是充满信心的。
在未来的几年内,随着中国加工制造业的发展,对于视觉传感器的需求也逐渐增多;随着视觉传感器产品的增多,技术的提高,国内机器视觉的应用状况将由初期的低端转向高端。
由于视觉传感的介入,自动化将朝着更智能、更快速的方向发展。
另外,由于用户的需求是多样化的,且要求程度也不相同。
那么,个性化方案和服务在竞争中将日益重要,即用特殊定制的产品来代替标准化的产品也是视觉传感未来发展的一个取向。
视觉传感的应用也将进一步促进自动化技术向智能化发展。
4参考文献
［1］胡特生.电弧焊[M].第一版.北京:
机械工业出版社.1996
［2］唐德威,宗德祥,邓宗全,等.涂胶机器人视觉系统的应用研究[J].机器人,2006,28
（1）:
1-4
［3］闫丽,段发阶.单目立体视觉传感器的优化及精度分析[J].传感技术报,2006，19
（2）:
349-352
［4］S.I.Rokhlin,A.C.Guu.AStudyofArcForce,PoolDepressionandWeldPenetrationduringGasTungstenArcWelding[J].WeldingJournal,1993,72（8）:
381-390
［5］何德孚，李克海.焊接熔池的振荡和焊缝成型的自适应控制[J].焊管,2000（23）4:
22-28
［6］林三宝,杨春利,吴常正.GTAW熔池谐振法熔透技术控制[J].焊接,1999（22）7：
12-14
［7］王伟,朱六妹.焊接温度场测试技术的探讨[J].物理测试.1988（6）:
25-28
［8］王克争.基于电弧传感器的焊缝自动跟踪系统的研究[J].现代制造工程.2002（7）:
14-15
［9］李俊岳,宋永伦.电弧的光谱信息及其在焊接过程测控上的应用[J].机械工程学报.1993（29）3:
1-7
［10］柳刚,李俊岳,李恒,范荣焕,云绍辉.焊接电弧光谱的分布特征[J].机械工程学报.2000（36）5：
58-61
［11］虞剑.GMAW焊熔池信息识别及熔深控制技术研究[D].南京理工大学.2004,6：
2-4
［12］林尚扬，陈善本，李成桐.焊接机器人及其应用[M].机械工业出版社.2000,7：
4-7;57-61
［13］宋国军,朱六妹,王伟,邹奇仕,罗丕华,陈明礼.视觉焊缝跟踪实时图像处理研究[J].2003,2:
10-11
［14］JaeSeonKim,YoungTakson,Arobustmethodforvision-basedseamtrackinginroboticarcwelding[J],MechatronicsVol.6,No.2,1996:
141-163
［15］YoshinoriKusachi,KoichiKato,MasashiOkudaira,TrackingaFeaturePointinProfileDataUsinganArticulatedobjectModelandTuningParametersUsingtheGeneticAlgorithm,EmergingTechnologiesandFactoryAutomation[J],19997thIEEEInternationalConference,Volume:
1,18-21Oct.1999:
145–150
［16］Pritschow,G.;Mueller,G.;Horber,H.;Fastandrobustimageprocessingforlaserstripe-sensorsinarcweldingautomationIndustrialElectronics[J],Proceedingsofthe2002IEEEInternationalSymposiumon,Volume:
2,8-11July2002:
651-656
升级会员 