三維計(jì)算機(jī)視覺及其在焊接中的應(yīng)用

1、三維計(jì)算機(jī)視覺及其在焊接中的應(yīng)用摘要：隨著視覺傳感、圖像處理和人工智能等技術(shù)的發(fā)展，計(jì)算機(jī)視覺以其信息量大、精度高、通用性好、檢測(cè)范圍大等特點(diǎn)，在焊接領(lǐng)域得到了廣泛的應(yīng)用。簡(jiǎn)要地介紹了目前出現(xiàn)的三維計(jì)算機(jī)視覺技術(shù)和方法，綜述了該技術(shù)在焊接中的典型應(yīng)用，并在此基礎(chǔ)上提出了目前存在的問題和未來(lái)的發(fā)展趨勢(shì)。關(guān)鍵詞：三維計(jì)算機(jī)視覺；焊接；應(yīng)用；發(fā)展焊接過(guò)程是一個(gè)電、光、熱、力等綜合作用下的復(fù)雜的物理化學(xué)過(guò)程，為實(shí)現(xiàn)焊接生產(chǎn)的機(jī)械化和自動(dòng)摘要：隨著視覺傳感、圖像處理和人工智能等技術(shù)的發(fā)展，計(jì)算機(jī)視覺以其信息量大、精度高、通用性好、檢測(cè)范圍大等特點(diǎn)，在焊接領(lǐng)域得到了廣泛的應(yīng)用。簡(jiǎn)要地介紹了目前出現(xiàn)的三維計(jì)

2、算機(jī)視覺技術(shù)和方法，綜述了該技術(shù)在焊接中的典型應(yīng)用，并在此基礎(chǔ)上提出了目前存在的問題和未來(lái)的發(fā)展趨勢(shì)。關(guān)鍵詞：三維計(jì)算機(jī)視覺；焊接；應(yīng)用；發(fā)展焊接過(guò)程是一個(gè)電、光、熱、力等綜合作用下的復(fù)雜的物理化學(xué)過(guò)程，為實(shí)現(xiàn)焊接生產(chǎn)的機(jī)械化和自動(dòng)化，科技人員不斷地致力于開發(fā)機(jī)械、機(jī)電、電磁、電容、超聲、紅外、光電、激光、視覺、電弧、光譜等多種形式的弧焊?jìng)鞲衅?。事?shí)上，人類感知外界環(huán)境，80%以上是通過(guò)視覺得到的。同樣，熟練的焊工主要通過(guò)其視覺來(lái)從事焊接操作與控制。隨著計(jì)算機(jī)視覺技術(shù)的發(fā)展，借助于CCD攝像機(jī)、紅外攝像儀、X射線探傷儀、高速攝像機(jī)等圖像傳感設(shè)備及智能化的處理方法，許多機(jī)器人及特定的自動(dòng)焊機(jī)也具

3、備了一定的視覺功能。它們不僅可以模擬熟練焊工的視覺感知能力，而且可以超越人類局限，完成諸如：獲取并處理強(qiáng)弧光及飛濺干擾下的焊縫圖像、實(shí)時(shí)提取焊接熔池特征參數(shù)、預(yù)測(cè)焊縫的組織、結(jié)構(gòu)及性能等工作，實(shí)現(xiàn)在人類難以直接作業(yè)的特殊場(chǎng)合（如水下、空間、核輻射環(huán)境等）下的自動(dòng)焊接，確保焊縫質(zhì)量的穩(wěn)定性和可靠性。筆者介紹了三維計(jì)算機(jī)視覺技術(shù)，綜述該技術(shù)在焊接中的典型應(yīng)用實(shí)例，并在此基礎(chǔ)上指出了當(dāng)前存在的問題及未來(lái)的發(fā)展趨勢(shì)。1三維計(jì)算機(jī)視覺在使用攝像機(jī)對(duì)一個(gè)3D目標(biāo)進(jìn)行攝像得到目標(biāo)的二維圖像的過(guò)程中，丟失了一些形狀信息，同時(shí)另外一些信息以各種各樣的形式，如：陰影、紋理、輪廓、遮擋、光流等信息保留在物體的圖像中

4、，因此通過(guò)物體的圖像、圖像中隱含的線索和其他已知條件、假設(shè)條件可以得到物體的形狀信息和尺寸。三維計(jì)算機(jī)視覺就是研究由2D圖像恢復(fù)場(chǎng)景目標(biāo)即3D信息的一門學(xué)科。目前用于三維恢復(fù)的方法主要有：結(jié)構(gòu)光法、立體視覺法、光流法、光度立體法、陰影法和紋理法。結(jié)構(gòu)光成像和三維恢復(fù)經(jīng)典的結(jié)構(gòu)光三維視覺方法是將基準(zhǔn)光柵條紋結(jié)構(gòu)光投影到物體表面，條紋隨著物體表面形狀的變化而發(fā)生畸變，攝像機(jī)攝取物體表面圖像，然后采用計(jì)算機(jī)圖像技術(shù)，從被物體表面形狀所調(diào)制了的畸變條紋模式中，提取出物體的三維信息。工業(yè)應(yīng)用中很少采用基準(zhǔn)光柵條紋結(jié)構(gòu)光，而是采用一種簡(jiǎn)化的激光掃描照射系統(tǒng)。這種方法的計(jì)算精度高，但價(jià)格昂貴、設(shè)備龐大，限制

5、了其應(yīng)用范圍。立體視覺方法屬于雙目或者多目視覺，采用兩個(gè)或者多個(gè)攝像機(jī)從不同的位置拍攝圖像，通過(guò)三角測(cè)距原理得到物體的三維尺寸。其缺點(diǎn)是設(shè)備安裝復(fù)雜，需要在多幅圖像之間進(jìn)行對(duì)應(yīng)點(diǎn)的匹配。光流法當(dāng)目標(biāo)在相機(jī)前運(yùn)動(dòng)或相機(jī)在一個(gè)固定的環(huán)境中運(yùn)動(dòng)時(shí)我們都能獲得對(duì)應(yīng)的圖像變化，這些變化可用來(lái)恢復(fù)（獲得）相機(jī)和目標(biāo)間的相對(duì)運(yùn)動(dòng)以及場(chǎng)景中多個(gè)目標(biāo)間的相互關(guān)系。在具體技術(shù)上就是通過(guò)求解光流方程來(lái)求取表面朝向。要求：（1）圖像要有足夠的采樣密度；（2）在圖像平面中每一點(diǎn)上的灰度變化應(yīng)該完全是由圖像中模式的運(yùn)動(dòng)引起的，不應(yīng)該包括反射性質(zhì)變化帶來(lái)的影響。其缺點(diǎn)是需要控制照明或物體運(yùn)動(dòng)且條件要求苛刻，適用范圍窄。光度

6、立體法屬單目視覺，基本原理是在同一光照條件下，物體不同的表面朝向?qū)?yīng)圖像中的不同灰度即反射圖方程。由于反射圖方程屬于病態(tài)方程，所以通過(guò)變換光源得到不同光照條件下的圖像，利用反射圖方程組來(lái)求解表面朝向，進(jìn)而計(jì)算三維尺寸。應(yīng)用的最理想情況是：成像光源和攝像機(jī)為無(wú)窮遠(yuǎn)，物體表面為均勻漫反射表面，則可以得到理想反射圖方程；物體表面為光滑表面，并且已知物體表面的特征點(diǎn)高度。陰影法屬單目視覺，成像的基本原理同光度立體法，但不需要控制光源，是一種簡(jiǎn)單可行的方法。此方法需要采用附加的約束如惟一性、連續(xù)性（表面、形狀）、相容性（對(duì)稱、外極線）等來(lái)求解反射圖方程，進(jìn)而求得三維尺寸。運(yùn)用的理想情況同光度立體法。紋理

7、法屬單目視覺，利用物體表面上紋理的變化可以去確定表面取向并進(jìn)而恢復(fù)表面的形狀。在獲取圖像的透射投影過(guò)程中，原始的紋理結(jié)構(gòu)有可能發(fā)生變化，這種變化隨紋理所在表面朝向的不同而不同，因而帶有物體表面取向的信息。要求紋理元清晰、均勻、有固定的形狀。2三維計(jì)算機(jī)視覺在焊接中的應(yīng)用當(dāng)焊接控制要求和精度提高到一定程度時(shí)，就需要用到工件、焊縫、熔池等目標(biāo)的空間坐標(biāo)、位置狀態(tài)等三維信息。文獻(xiàn)4-7采用簡(jiǎn)化的激光掃描照射系統(tǒng)已將三維恢復(fù)用于焊縫跟蹤、坡口形狀與接頭形式檢測(cè)、多道焊排道等方面。為了獲取熔池表面的三維信息，文獻(xiàn)8-9設(shè)計(jì)了一套由強(qiáng)脈沖激光柵格狀多結(jié)構(gòu)光條紋和高電子快門攝像機(jī)組成的熔池視覺檢測(cè)系統(tǒng)，攝像

8、機(jī)的電子快門與激光脈沖同步。試驗(yàn)裝置如圖1A所示。圖1B為獲得的TIC焊熔池表面的三維圖像，電流為118A，弧長(zhǎng)為3mm，材料為SS304不銹鋼。采用一定的圖像處理算法可提取結(jié)構(gòu)光條紋的柵格框架和輪廓，如圖1C所示。進(jìn)而可計(jì)算出熔池正面的高度。圖1結(jié)構(gòu)光視覺傳感文獻(xiàn)10開發(fā)了一套基于雙目立體視覺的機(jī)器人路徑規(guī)劃系統(tǒng)，該系統(tǒng)將雙目攝像機(jī)安裝在機(jī)器人的末端執(zhí)行器上，使其能跟隨焊槍沿焊縫走向一起移動(dòng)，采用自然光作為視覺系統(tǒng)的光源。經(jīng)典的雙目立體視覺采用兩個(gè)圖像平面上特征點(diǎn)匹配，并根據(jù)三角測(cè)量原理來(lái)確定對(duì)象的三維坐標(biāo)。對(duì)于焊縫來(lái)說(shuō)，坡口邊緣內(nèi)外不存在明確的特征點(diǎn)，所以無(wú)法使用特征點(diǎn)匹配。針對(duì)在局部圖像

9、窗口中，焊縫可以近似為直線段的特點(diǎn)，作者設(shè)計(jì)了一種簡(jiǎn)化的特征匹配算法來(lái)計(jì)算焊縫三維坐標(biāo)，并通過(guò)人工神經(jīng)網(wǎng)絡(luò)提高了精度和速度。該系統(tǒng)可以實(shí)現(xiàn)對(duì)直線和曲線焊縫的路徑規(guī)劃。文獻(xiàn)11對(duì)填絲脈沖CTAW低碳鋼對(duì)接焊熔池圖像視覺傳感進(jìn)行了研究。在文獻(xiàn)中，首次將三維計(jì)算機(jī)視覺中的陰影恢復(fù)形狀方法引入到焊接熔池表面高度信息提取上，通過(guò)對(duì)成像實(shí)際條件的深入分析，提出了符合實(shí)際成像條件的通用反射圖模型，并提出了求解方程的基本算法；針對(duì)實(shí)際焊接熔池圖像的特點(diǎn)，引入了表面光滑約束、邊界條件、灰度加權(quán)調(diào)整。在基本算法的基礎(chǔ)上形成了改進(jìn)算法，成功地由單幅熔池圖像獲得了熔池正面三維形狀信息。圖2A是填絲CTAW的凸起形熔池

10、圖像，圖2B是計(jì)算的結(jié)果。圖2采用陰影恢復(fù)形狀法計(jì)算熔池表面高度3存在的問題鑒于焊接過(guò)程的復(fù)雜性以及先進(jìn)制造業(yè)對(duì)焊接技術(shù)更高層次的需求，當(dāng)前還必須解決以下問題。3.1三維計(jì)算機(jī)視覺的計(jì)算仍局限于mARR理論的計(jì)算機(jī)視覺理論框架目前在焊接中應(yīng)用的三維恢復(fù)算法，僅僅強(qiáng)調(diào)計(jì)算理論，整個(gè)處理過(guò)程也是自底向上沒有反饋的，沒有充分地利用知識(shí)，忽視了知識(shí)的表示、推理和知識(shí)庫(kù)的構(gòu)建。3.2視覺傳感系統(tǒng)復(fù)雜目前使用的視覺傳感系統(tǒng)一般都較為復(fù)雜，如結(jié)構(gòu)光三維視覺傳感系統(tǒng)有激光發(fā)生器、CCD攝像機(jī)、光學(xué)轉(zhuǎn)換機(jī)構(gòu)、機(jī)械掃描機(jī)構(gòu)等組成，因此需要研制更為簡(jiǎn)單化的、高可靠性的視覺傳感系統(tǒng)。積極推廣單目被動(dòng)視覺的研究，簡(jiǎn)化視

11、覺傳感系統(tǒng)。3.3視覺計(jì)算速度慢焊接質(zhì)量的視覺傳感與閉環(huán)控制、機(jī)器人焊接的路徑規(guī)劃與姿態(tài)控制等都要求計(jì)算視覺傳感與控制具有很強(qiáng)的實(shí)時(shí)性和很高的控制精度，常用的視覺計(jì)算方法很難滿足實(shí)時(shí)控制的要求，因此在視覺計(jì)算中可采用并行計(jì)算信息處理技術(shù)。發(fā)展趨勢(shì)隨著電子技術(shù)、計(jì)算機(jī)技術(shù)、自動(dòng)控制技術(shù)以及信息和軟件技術(shù)迅速地引入到焊接領(lǐng)域，焊接生產(chǎn)自動(dòng)化、智能化已經(jīng)成為21世紀(jì)焊接技術(shù)發(fā)展的重要方向。采用最新的計(jì)算機(jī)視覺理論，開發(fā)焊接機(jī)器人視覺傳感與控制技術(shù)，研制能夠識(shí)別目標(biāo)環(huán)境、實(shí)時(shí)精確跟蹤軌跡并調(diào)整焊接參數(shù)的智能焊接機(jī)器人已經(jīng)成為焊接領(lǐng)域的重要發(fā)展趨勢(shì)之一。國(guó)內(nèi)外許多研究人員對(duì)機(jī)器人視覺系統(tǒng)在焊接接頭特征識(shí)別、焊接參數(shù)優(yōu)化、焊槍姿態(tài)調(diào)節(jié)、焊接路徑規(guī)劃、焊縫跟蹤、焊縫熔透控制等方面的應(yīng)用開展了卓有成效的研究。在此基礎(chǔ)上，國(guó)外知名的焊接機(jī)器人廠家，如KUKA，CMF，Motoman，Adept等相繼開發(fā)出裝備有新型視覺傳感系統(tǒng)的機(jī)器人。與普通機(jī)器人相比，新型機(jī)器人因具有更為廣闊的應(yīng)用領(lǐng)域、更為強(qiáng)大的功能及更為優(yōu)越的性能，而受到廣泛歡迎，其售價(jià)通常是普通機(jī)器人的2倍。國(guó)內(nèi)也