基于視覺傳感的焊接機(jī)器人焊縫識別跟蹤技術(shù)

1序言焊接作為現(xiàn)代加工制造領(lǐng)域中的重要連接方法，已經(jīng)越來越多地滲透到各行業(yè)各領(lǐng)域中多品種多類型的材料加工中。在以往的傳統(tǒng)制造領(lǐng)域中，大多使用手持式焊接方式，其對焊接工人的要求相對較高，且焊接效率低下，已經(jīng)難以滿足現(xiàn)代焊接生產(chǎn)需求。隨著半自動(dòng)化焊接技術(shù)的出現(xiàn)，以機(jī)器和人工組合的方式，使焊接自動(dòng)化程度得到一定提高，大幅改善了焊接生產(chǎn)環(huán)境，同時(shí)也在一定程度上提高了焊接生產(chǎn)效率，但其仍然需要靠大量的人工干預(yù)，且伴隨焊接產(chǎn)品形式的多樣化、復(fù)雜化，仍難以滿足高效優(yōu)質(zhì)的焊接要求。隨著機(jī)器人焊接方法的出現(xiàn)，焊接生產(chǎn)效率獲得大幅提高的同時(shí)，焊接靈活性得到明顯增加，焊接成本也有所降低，對于焊接領(lǐng)域的快速發(fā)展具有重要的推動(dòng)作用。然而，在焊縫形式相對單一、焊接場合相對固定的條件下，采用一般的機(jī)器人示教編程方式尚可自由應(yīng)對，但由于所焊工件形式的多樣化、復(fù)雜化，普通的機(jī)器人焊接方法在應(yīng)對焊縫軌跡不統(tǒng)一的場合時(shí)仍需大量人工示教，同樣難以快速適應(yīng)小批量的多領(lǐng)域、多形式的焊接生產(chǎn)，這在一定程度上仍會(huì)限制相關(guān)焊接領(lǐng)域的快速發(fā)展。近年來，焊縫識別跟蹤技術(shù)的出現(xiàn)，對于機(jī)器人焊接領(lǐng)域的發(fā)展起到了明顯的促進(jìn)作用。采用焊縫識別跟蹤技術(shù)，可以主動(dòng)識別不同的焊縫特征，從而應(yīng)對不同形式的具有復(fù)雜軌跡的焊縫，使機(jī)器人自主示教進(jìn)行焊接作業(yè)，從而大幅提升了焊接穩(wěn)定性和焊接效率，對于機(jī)器人焊接技術(shù)的普及和發(fā)展具有重要意義。目前，由于焊縫自主識別跟蹤技術(shù)對焊縫檢測精度和軌跡規(guī)劃要求較高，其涉及到多學(xué)科多領(lǐng)域知識，導(dǎo)致其自主識別跟蹤能力尚不完善，仍需多領(lǐng)域?qū)＜覍W(xué)者繼續(xù)深入研究。本文正是基于以上分析，從傳感器、焊縫識別及特征提取、焊縫跟蹤控制技術(shù)等方面對焊縫識別跟蹤技術(shù)的發(fā)展作了較為詳細(xì)的闡述。2焊縫識別跟蹤技術(shù)特點(diǎn)焊縫識別跟蹤技術(shù)主要包括對焊縫的檢測識別、焊縫特征的提取、焊縫跟蹤控制。焊縫識別與焊縫特征提取是利用特定的傳感器對焊縫特征類型進(jìn)行識別定義；然后根據(jù)不同類型焊縫在傳感器中的成像，并通過特定的圖像處理算法，將識別提取到的焊縫特征最終轉(zhuǎn)換成三維坐標(biāo)系；最后焊接機(jī)器人根據(jù)所獲得的焊縫特征信息進(jìn)行自動(dòng)識別校正跟蹤，即通過傳感器獲取實(shí)時(shí)焊縫位置信息后建立數(shù)學(xué)模型，根據(jù)相關(guān)特征信息實(shí)時(shí)調(diào)整焊槍位置，使之實(shí)現(xiàn)高效率、高質(zhì)量的焊接。對于機(jī)器人焊接焊縫識別跟蹤，其核心在于焊縫特征的實(shí)時(shí)識別及其特征提取，高效率、高質(zhì)量焊接實(shí)現(xiàn)的前提是焊接機(jī)器人能夠?qū)缚p位置進(jìn)行快速、準(zhǔn)確地獲取，只有將不同類型的焊縫特征進(jìn)行精準(zhǔn)識別并將其提取轉(zhuǎn)換成焊接機(jī)器人認(rèn)可的數(shù)據(jù)信息，才能做到焊接過程中不依靠人工干預(yù)，使焊接機(jī)器人自行根據(jù)焊縫形式進(jìn)行實(shí)時(shí)軌跡調(diào)整，從而適應(yīng)不同焊接場合，做到小批量、多場合、多任務(wù)地快速焊接生產(chǎn)。因此，對于焊縫識別跟蹤技術(shù)的研究與發(fā)展，結(jié)構(gòu)簡單、過程穩(wěn)定、靈敏度高的焊縫跟蹤傳感至關(guān)重要，同時(shí)焊縫特征提取算法的優(yōu)劣也是影響焊縫識別跟蹤精度及最終焊接質(zhì)量的重要因素。3焊縫識別跟蹤技術(shù)研究現(xiàn)狀3.1傳感技術(shù)研究進(jìn)展（1）傳感器分類根據(jù)傳感的接觸方式，主要分為電弧傳感器、接觸式傳感器和非接觸式傳感器，傳感器主要分類如圖1所示。圖1傳感器主要分類以往焊接機(jī)器人應(yīng)用最普遍的是電弧傳感和接觸式傳感，其響應(yīng)快、成本低且結(jié)構(gòu)簡單，但其精度較差，不適用于結(jié)構(gòu)復(fù)雜的焊縫。此外，超聲波傳感、紅外傳感和視覺傳感也是焊接領(lǐng)域常用的傳感方式。其中相較于其他傳感方式，視覺傳感技術(shù)可以通過捕獲諸如電弧形態(tài)、熔池輪廓等信息提供決策支撐，其獲取的焊縫特征具有信息豐富、抗干擾能力強(qiáng)、靈敏度與精度高且與工件非接觸的優(yōu)點(diǎn)，適用于各種焊接形式，逐漸發(fā)展成為焊縫跟蹤系統(tǒng)中的主流傳感器，并在如今的機(jī)器人焊接領(lǐng)域中得到了廣泛使用。視覺傳感器主要依靠焊縫中反饋回的光源信息進(jìn)行特征識別，根據(jù)有無外部光源分為主動(dòng)傳感和被動(dòng)傳感。其中主動(dòng)視覺傳感器依靠外部光源，以更具有判別性特征的結(jié)構(gòu)光（如激光、鹵鎢燈等）條紋作為檢測對象，通過外部光源進(jìn)行投影的方式提取焊縫的三維特征信息，能夠有效克服自然光源下信息采集困難的問題，因此成為焊縫跟蹤領(lǐng)域的主流發(fā)展方向；而被動(dòng)視覺傳感器則是直接利用焊接過程中焊縫自身投射出的光源信息進(jìn)行焊縫特征提取，容易受焊接飛濺、弧光等噪聲干擾，導(dǎo)致成像質(zhì)量較差，后期的圖像處理較主動(dòng)視覺更復(fù)雜。

基于視覺傳感的焊縫識別跟蹤如圖2所示。圖2基于視覺傳感的焊縫識別跟蹤主動(dòng)視覺焊縫跟蹤常用結(jié)構(gòu)光法，這是一種基于光學(xué)三角測量原理的檢測方法，可以準(zhǔn)確獲取被測物體的三維輪廓信息，結(jié)構(gòu)簡單，穩(wěn)定性好，可快速準(zhǔn)確地提取焊縫中心位置。其中，工業(yè)應(yīng)用最多的為激光式結(jié)構(gòu)光傳感器，其以激光作為輔助光源，具有精度高、穩(wěn)定性好等優(yōu)點(diǎn)。此外，激光式結(jié)構(gòu)光傳感器又分為線激光結(jié)構(gòu)光傳感器與2D結(jié)構(gòu)光傳感器，其中線激光傳感器結(jié)構(gòu)簡單，操作方便，應(yīng)用廣泛。（2）激光傳感器激光視覺傳感器的工作原理在于將激光投射到焊縫表面，形成具有一定特征的激光條紋并由視覺傳感器進(jìn)行焊縫特征信息提取，進(jìn)而識別焊縫特征點(diǎn)位置，如圖3所示。后續(xù)焊接機(jī)器人依據(jù)相關(guān)信息進(jìn)行焊接位置實(shí)時(shí)校準(zhǔn)，其基本流程如圖4所示。圖3激光傳感原理圖4激光傳感基本流程對于不同的焊縫幾何形式，根據(jù)不同的焊縫特征提取方法及特征信息轉(zhuǎn)換原理，選用的激光條紋分為單線、多線、十字及圓環(huán)等特征形式。其中，單線形激光傳感器可以獲得焊縫繞投影軸的旋轉(zhuǎn)信息，但信息量相對較少且易受噪聲影響，對此SUNG等研究出了一種可產(chǎn)生多條一字線激光的激光視覺傳感器，能夠提取到反映焊縫特征的多視點(diǎn)幾何數(shù)據(jù)；而LAKOVOUD等則利用三個(gè)激光發(fā)生器投射出三角狀激光條紋，進(jìn)而實(shí)現(xiàn)焊縫檢測的功能；XU等為了實(shí)現(xiàn)復(fù)雜焊縫軌跡的精確跟蹤，設(shè)計(jì)了一種環(huán)形激光視覺傳感器，提出了焊縫三維跟蹤的基本概念，并對多種類型焊縫進(jìn)行了試驗(yàn)驗(yàn)證；XIAO等為了提高曲線焊縫跟蹤中單線傳感器的跟蹤精度，提出了利用三線激光作為檢測光源來提高跟蹤精度的可行措施；KIDDEE等則開發(fā)了一種十字形激光視覺傳感器，有助于增加焊縫跟蹤過程中所需要的特征點(diǎn)數(shù)。目前，國外已有多款激光視覺傳感器投入商用，其中有加拿大Servo-Robot公司的i-CUBE系列激光傳感器、POWER-CAM激光傳感器，德國AbicorBinzel公司的TH6D系列焊縫跟蹤傳感器，英國Meta公司的SmartLaserPilot智能激光傳感器等，如圖5所示。圖5基于視覺的焊縫識別跟蹤但由于價(jià)格昂貴且維修困難，所以在國內(nèi)普及度較低。目前，國內(nèi)對激光視覺傳感也有一定的研究，如北京創(chuàng)想公司的CRNT標(biāo)準(zhǔn)激光焊縫跟蹤器、北京同舟興業(yè)公司的TTEC激光2D傳感器等，但在精度、穩(wěn)定性及適用范圍等方面，與國外同類產(chǎn)品相比仍存在較大的差距。3.2焊縫識別提取技術(shù)焊縫識別提取是在視覺傳感器獲得的圖像中識別出有用信息并進(jìn)行分析處理，最后提取出焊縫特征且以此作為焊縫跟蹤的依據(jù)。在圖像處理技術(shù)中，圖像處理算法作為焊縫自動(dòng)跟蹤系統(tǒng)的核心部分，需要具備良好的實(shí)時(shí)自動(dòng)分析能力、關(guān)鍵信息提取能力以及抗噪能力。（1）焊縫識別及焊縫特征提取技術(shù)作為焊接機(jī)器人焊縫識別跟蹤技術(shù)的關(guān)鍵，焊縫特征識別提取技術(shù)的發(fā)展對自動(dòng)化焊接質(zhì)量至關(guān)重要，因此對相關(guān)技術(shù)的持續(xù)深入研究，對于機(jī)器人自動(dòng)化焊接的發(fā)展具有重要的推動(dòng)作用。ZHANG等考慮激光條紋的空間特性和焊接線的連續(xù)性，提出了基于時(shí)空級聯(lián)隱馬爾可夫模型的焊縫檢測和定位算法；ZHANG等針對大型拼接焊縫提出一種基于三線結(jié)構(gòu)光的激光視覺識別方法，抗干擾能力強(qiáng)，獲取信息量豐富；LI等研究的基于激光掃描位移傳感的焊縫軌跡識別方法，可以準(zhǔn)確識別典型空間不連續(xù)焊縫，焊縫檢測時(shí)長相對較短，大幅提高了焊接效率。近年來，有部分研究人員針對多類型焊縫進(jìn)行了識別。QIAN等通過焊縫特征點(diǎn)之間的相對位置進(jìn)行焊縫識別，該方法難以適應(yīng)復(fù)雜的焊接場合；LI等在基于Hausdorff距離以及模板匹配的基礎(chǔ)上進(jìn)行焊縫類型識別，其單張圖片處理時(shí)間較長，高達(dá)1.17s；LIXD等為了簡化焊縫識別手段，利用了焊縫線條及連接點(diǎn)的組成特點(diǎn)進(jìn)行分類識別，但該方法精度較差；FANJF等利用SVM并通過提取圖像特征向量建立焊縫識別模型，然而其適應(yīng)范圍較窄。此外，在實(shí)際焊接環(huán)境中，不同的焊縫類型，在激光的投射下其成像不同，焊縫特征提取算法也因此有所差異，國內(nèi)外學(xué)者均對此作了大量研究工作。在焊縫特征點(diǎn)提取之前，首先對反射的激光條紋信息進(jìn)行識別提取，常用的焊縫條紋提取方法有極值法、閾值法、灰度重心法及霍夫變換等。黃色吉等采用列掃描法選取焊縫圖像特定區(qū)域?qū)す鈼l紋閾值分割，并利用圖像投影確定焊縫中心線；南方等利用自適應(yīng)閾值法提取條紋區(qū)域，通過隨機(jī)霍夫變換與Steger算法提取激光條紋中心線；MUHAMMAD等針對低質(zhì)量的焊縫圖像，結(jié)合激光條紋結(jié)構(gòu)特征來定向增強(qiáng)圖像，改善了激光條紋峰值，利用像素強(qiáng)度分布，能夠準(zhǔn)確提取條紋特征。此外，激光條紋提取方法還有最近鄰聚類算法、方向模板法、遺傳算法等，研究人員均作了較為深入的分析論證。在實(shí)際工況中，焊縫坡口形式并不一致，據(jù)此其特征點(diǎn)提取方法也會(huì)有所不同，斜率分析和直線相交法是目前特征點(diǎn)提取的重要方法。其中KIDDEE等基于幾何形狀檢測Ｖ形焊縫坡口特征的方法，通過霍夫變換并利用最小二乘法擬合出特征點(diǎn)；YU等將坡口看作直角拐點(diǎn)和斜角點(diǎn)的幾何疊加并采用斜率極值法和斜截距法提取特征點(diǎn)。此外，針對厚板多層多道焊軌跡規(guī)劃問題，顧帆等提出了結(jié)構(gòu)光視覺檢測的特征點(diǎn)提取算法，搜索獲得兩個(gè)特征點(diǎn)，其跟蹤系統(tǒng)如圖6所示。圖6基于視覺的焊縫識別跟蹤系統(tǒng)目前的焊縫識別提取技術(shù)，在焊接環(huán)境相對良好、其他影響因素較小的情況下，其識別提取精度還能得到一定保障，但實(shí)際焊接場合環(huán)境復(fù)雜、影響因素較多，如強(qiáng)烈的弧光、較多的飛濺等都會(huì)對焊縫識別提取穩(wěn)定性造成影響，因此去噪處理便成為了焊縫識別提取技術(shù)的一大難題，也是重點(diǎn)研究方向之一。（2）圖像去噪處理技術(shù)焊縫特征信息在識別提取過程中主要分為兩種方式：一種方式是先讓傳感器對焊縫從頭到尾進(jìn)行完整的掃描，然后返回起始處開始焊接，此方法相對簡單，不易受到干擾，但效率也隨之降低；另一種方式是掃描和焊接同步進(jìn)行，此種方法雖然效率有所提高，但會(huì)導(dǎo)致提取到的圖像含有大量噪聲，進(jìn)而降低焊縫識別精度。此外，對于一些本身易產(chǎn)生較大噪聲的焊接場合，也會(huì)掩蓋所需要的焊縫特征，而采用常規(guī)的物理噪聲處理方式，如加裝擋板等方式的效果較差。因此，如何有效地去除視覺傳感系統(tǒng)中焊縫圖像噪聲，對于提高焊縫識別和焊縫特征提取效率具有重要作用。對于圖像噪聲，目前主要用濾波去除方法，如均值濾波、中值濾波以及高斯濾波。其中，中值濾波方法較為簡單，可以在保證信號分辨力的條件下，保留圖像邊緣信息，應(yīng)用廣泛；而均值濾波會(huì)降低圖像分辨力，高斯濾波更會(huì)造成圖像信息丟失，難以適用于圖像去噪處理。此外，HUANG等通過小波分析，有一定的抑制噪聲干擾和消除偽像作用；王平以及龔國基等也都利用不同的方法對焊縫圖像進(jìn)行了濾波去噪。近年來，為了提高焊接機(jī)器人焊縫識別跟蹤技術(shù)的智能化，基于深度學(xué)習(xí)的焊縫識別跟蹤技術(shù)也獲得了一定發(fā)展。其中鄒焱飚等結(jié)合深層卷積神經(jīng)網(wǎng)絡(luò)的特征學(xué)習(xí)能力，實(shí)現(xiàn)對焊縫特征點(diǎn)位置的跟蹤，具有較強(qiáng)的抗干擾能力；DU等提出了一種基于卷積神經(jīng)網(wǎng)絡(luò)的特征區(qū)域識別和特征搜索方法，其特征點(diǎn)提取精度的平均誤差為0.29mm，能夠準(zhǔn)確有效地提取出強(qiáng)噪聲焊縫圖像特征；XIAO等提出了一種基于激光視覺傳感器的自適應(yīng)特征提取算法，通過訓(xùn)練深度學(xué)習(xí)中用于目標(biāo)檢測的Faster-CNN網(wǎng)絡(luò)模型，以識別焊縫類型并定位激光條紋區(qū)域，該方法可快速識別焊縫類型，適應(yīng)性更強(qiáng)。從以上焊縫識別研究進(jìn)展來看，受限于實(shí)際焊接環(huán)境的復(fù)雜性，對于一些焊縫形式相對簡單、焊接環(huán)境相對良好固定的焊接場合，目前的焊縫識別提取技術(shù)可自由應(yīng)對；但對于多任務(wù)多類型的機(jī)器人焊接場合，如不同板厚條件、不同反光材料、不同焊縫類型，以及不同焊接方法等復(fù)雜情況下的適應(yīng)性和抗干擾能力仍待提高。3.3機(jī)器人跟蹤控制技術(shù)在焊接機(jī)器人焊縫識別跟蹤系統(tǒng)中，在經(jīng)過焊縫特征信息的識別提取及圖像處理后，傳感器獲得的圖像坐標(biāo)信息與期望坐標(biāo)間存在偏差，需要機(jī)器人實(shí)時(shí)調(diào)節(jié)以實(shí)現(xiàn)自動(dòng)跟蹤及軌跡調(diào)整功能，其在整個(gè)焊接系統(tǒng)中對最終的焊接質(zhì)量同樣具有重要作用，研究人員在此方面也作了較為深入的研究。為了簡化機(jī)器人控制系統(tǒng)，一些學(xué)者在不考慮外加載荷的條件下進(jìn)行了研究分析，其中XING等在迭代學(xué)習(xí)控制的框架下，提出了分批模式的跟蹤誤差概率密度函數(shù)控制方法；CHEN等基于任務(wù)空間劃分方法，建立了保持機(jī)構(gòu)間協(xié)調(diào)運(yùn)動(dòng)關(guān)系的目標(biāo)函數(shù)；高勝等按照運(yùn)動(dòng)誤差補(bǔ)償思想，用于實(shí)現(xiàn)空間焊接軌跡的魯棒跟蹤。但是，雖然上述方法相對簡單，但實(shí)際焊接時(shí)會(huì)有額外的附加載荷，可導(dǎo)致焊槍實(shí)際行走軌跡有所偏差，降低焊接系統(tǒng)穩(wěn)定性。為了最大程度地降低焊槍軌跡偏差，部分研究人員直接調(diào)整焊接過程中機(jī)器人末端的位置或位姿，如采用軌跡完全重規(guī)劃的方法，是重要的發(fā)展方向之一。為了獲得更好的焊縫跟蹤效果，有研究人員采用了目標(biāo)視覺跟蹤方法。目標(biāo)視覺跟蹤（VOT，VisualObjectTracking）作為一種有效的跟蹤框架，可對序列復(fù)雜圖像中特定區(qū)域進(jìn)行跟蹤。其中CARLSON等采用粒子濾波估計(jì)目標(biāo)后驗(yàn)概率密度分布的方法實(shí)現(xiàn)焊縫跟蹤；LI等提出了先用目標(biāo)跟蹤算法確定出小范圍目標(biāo)搜索區(qū)域后，再提取焊縫特征點(diǎn)的思想；ZOU等采用貝葉斯概率框架并利用局部余弦，提出了一種無需對激光條紋中心進(jìn)行提取的焊縫跟蹤算法。為了進(jìn)一步提升焊縫跟蹤控制系統(tǒng)的智能化，笛卡爾空間位置糾偏模塊成為了一個(gè)重要研究方向，該模塊可計(jì)算出實(shí)際所需要的偏置電壓，進(jìn)而控制焊槍偏移距離，提升了焊接機(jī)器人自動(dòng)跟蹤系統(tǒng)的智能性，但也需要一定的算法來進(jìn)行控制。其中SHEN等開發(fā)了一套使用傳統(tǒng)PID算法實(shí)現(xiàn)偏置電壓輸出的焊縫跟蹤系統(tǒng)，并對算法的跟蹤精度進(jìn)行了驗(yàn)證；XU等提出了笛卡兒空間位置糾偏的分段自適應(yīng)PID控制器，克服了傳統(tǒng)PID算法自適應(yīng)能力不足等缺陷，進(jìn)而大幅提高了焊縫跟蹤系統(tǒng)的穩(wěn)定性。此外，提出一種基于激光位移傳感器的焊縫跟蹤算法；研制了一套由視覺傳感器、圖像處理等模塊組成的激光視覺系統(tǒng)，JIA等設(shè)計(jì)了一種基于激光視覺傳感器的機(jī)器人相貫焊縫實(shí)時(shí)跟蹤系統(tǒng)；開發(fā)了一套基于激光視覺的焊縫跟蹤系統(tǒng)，對直線或曲線焊縫的平均絕對跟蹤誤差可控制在0.25mm內(nèi)，均能很好地進(jìn)行焊縫跟蹤。圖7LaserPilot系列