機(jī)器人分揀筒紗系統(tǒng)

0引言筒紗作為紡紗工藝的一個(gè)終端產(chǎn)品，應(yīng)用廣泛，筒紗在轉(zhuǎn)運(yùn)、上下紗架時(shí)及包裝時(shí)均需要大量人工來完成，勞動(dòng)強(qiáng)度大、效率低。近年來，勞動(dòng)力成本逐漸上漲，紡織產(chǎn)業(yè)轉(zhuǎn)型升級(jí)的大背景下，為降低勞動(dòng)成本，機(jī)器人換人以是是紡織行業(yè)的發(fā)展趨勢(shì)。李鵬飛等利用具有視覺感知的機(jī)器人，通過構(gòu)造RBF神經(jīng)網(wǎng)絡(luò)的顏色分類器將不同顏色織物分類，采用遍歷中心擴(kuò)散法求取機(jī)器人抓取織物的抓取點(diǎn)，實(shí)現(xiàn)了對(duì)純色織物的自主分揀。SHata等通過視覺識(shí)別定位毛巾，以六自由度機(jī)器人及末端手抓為執(zhí)行機(jī)構(gòu)完成了毛巾的抓取與折疊。JMaitin-Shepard等將機(jī)器視覺技術(shù)與機(jī)器人技術(shù)相結(jié)合開發(fā)了實(shí)現(xiàn)毛巾的識(shí)別、定位與抓取折疊的機(jī)器人系統(tǒng)。王燕玲等在動(dòng)態(tài)環(huán)境背景中采用基于HSV空間變換的背景更新算法，提高了目標(biāo)運(yùn)動(dòng)過程中的檢測(cè)精度[6]。李明等采用GAN和FasterR-CNN算法對(duì)色織物缺陷進(jìn)行檢測(cè)，并獲取了缺陷位置和類別。鄭晶怡等建立形狀先驗(yàn)?zāi)Ｐ头指顖D像中的多工件目標(biāo)，借助工件的點(diǎn)云數(shù)據(jù)信息獲取工件目標(biāo)的姿態(tài)，實(shí)現(xiàn)了復(fù)雜工業(yè)現(xiàn)場(chǎng)環(huán)境下的工件抓取[7]。陳孝之等通過建立色度特征數(shù)據(jù)庫，以支持向量機(jī)與色卡圖像數(shù)據(jù)的配準(zhǔn)模型實(shí)現(xiàn)了對(duì)織物顏色的自動(dòng)配準(zhǔn)[8]。趙民等將石材表面顏色在HSV顏色空間模型中提取三個(gè)特征值，并對(duì)其進(jìn)行矢量化計(jì)算，實(shí)現(xiàn)了對(duì)石材表面色差的高效率識(shí)別與量化[9]。張平改等通過建立火焰自適應(yīng)顏色識(shí)別模型，采用人類學(xué)習(xí)優(yōu)化算法快速求解出火焰圖像最佳分割閾值，精準(zhǔn)識(shí)別爐膛火焰燃燒狀況[10]。尤波等在搭建具有視覺識(shí)別功能的SCARA機(jī)器人識(shí)別定位系統(tǒng)平臺(tái)，實(shí)現(xiàn)插件工件的顏色識(shí)別和定位，并進(jìn)行有效抓取[11]。針對(duì)筒紗表面紋理復(fù)雜、位置隨機(jī)等干擾，本文根據(jù)筒紗染色后顏色的不同，提出了基于顏色特征的筒紗識(shí)別分揀方法，通過傳送裝置與機(jī)器人構(gòu)建了輸送與分揀平臺(tái)，以機(jī)器視覺獲取筒紗圖像，提取顏色特征進(jìn)行識(shí)別與定位，在手眼標(biāo)定后實(shí)現(xiàn)了對(duì)不同顏色筒紗的分揀。1機(jī)器人分揀筒紗系統(tǒng)1.1分揀機(jī)器人架構(gòu)機(jī)器人分揀筒紗的硬件架構(gòu)如圖1所示，該分揀系統(tǒng)主要有筒紗圖像獲取的機(jī)器視覺裝置、分揀機(jī)器人本體構(gòu)成。機(jī)器視覺裝置由分辨率為2048×1536的JHSM300相機(jī)、16mm鏡頭及光源照度為40000Lux的LED白色環(huán)形光等構(gòu)成。筒紗分揀機(jī)器人為四自由度DOBOT機(jī)器人，執(zhí)行機(jī)構(gòu)為氣動(dòng)吸盤或氣動(dòng)手抓，可以根據(jù)不同的目標(biāo)進(jìn)行更換，多次往復(fù)位置精度為0.2mm。計(jì)算機(jī)為上位機(jī)對(duì)采集的作業(yè)目標(biāo)圖像進(jìn)行處理。1-相機(jī)，2-鏡頭，3-計(jì)算機(jī)，4-機(jī)器人，5-筒紗，6-氣泵圖SEQ圖\*ARABIC1機(jī)器人分揀筒紗系統(tǒng)1.2分揀機(jī)器人的手眼標(biāo)定由圖1可知，分揀機(jī)器人的手眼安裝為Eye_to_Hand方式手眼系統(tǒng)，相機(jī)安裝在支架上，機(jī)器人與支架的位置固定。通過建立了分揀機(jī)器人的基坐標(biāo)系、機(jī)器人末端執(zhí)行器的坐標(biāo)系、相機(jī)坐標(biāo)系與圖像坐標(biāo)系之間的轉(zhuǎn)換關(guān)系，將相機(jī)所獲取的筒紗圖像坐標(biāo)轉(zhuǎn)換為筒紗分揀機(jī)器人坐標(biāo)，從而引導(dǎo)機(jī)器人完成分揀筒紗。本文選用的標(biāo)定板如圖2所示，手眼標(biāo)定過程為：圖2標(biāo)定板1）將標(biāo)定板放置在鏡頭下，在獲取圖像后，將圖像中靠近A、B、C的三色點(diǎn)作為標(biāo)定點(diǎn)。2）分別獲取三點(diǎn)在圖像中的坐標(biāo)，A（613,1188,1）、B（1652,1179,1）、C（609,325,1）。3）將機(jī)器人歸零，手動(dòng)移動(dòng)機(jī)器人末端，讓機(jī)器人分別觸碰A、B、C三點(diǎn)獲取相應(yīng)機(jī)器人坐標(biāo)（205.400,48.210,10）、（279.295,51.008,10）、（208.499,-41.773,10）。4）用、、表示抓取筒紗的機(jī)器人末端坐標(biāo)系的橫坐標(biāo)，y、z同理；用、、表示圖像坐標(biāo)系的橫坐標(biāo)，y、z同理。5）用、分別表示抓取筒紗的機(jī)器人末端坐標(biāo)點(diǎn)的集合和圖像坐標(biāo)系中末端坐標(biāo)點(diǎn)的集合。6）通過平移矩陣T與旋轉(zhuǎn)矩陣R計(jì)算轉(zhuǎn)換關(guān)系，其轉(zhuǎn)換表達(dá)式為=R*+T（1）（2）（3）由式（2）和式（3）可以得到圖像坐標(biāo)系到抓取筒紗的機(jī)器人末端坐標(biāo)系的表達(dá)式為（4）將獲取的標(biāo)定板圖像坐標(biāo)點(diǎn)和機(jī)器人末端坐標(biāo)點(diǎn)代入到公式（4）中，則轉(zhuǎn)換系數(shù)為（5）2基于顏色特征的目標(biāo)區(qū)域提取2.1HSV顏色空間模型工業(yè)相機(jī)獲取的筒紗圖像為RGB顏色空間模型，該模型與人眼的感知差異大，不代表實(shí)際人類的顏色感知。為了符合人類的視覺特征，本文采用HSV顏色空間模型，如圖3所示。(a)RGB圖像(b)HSV顏色空間模型(c)HSV圖像圖3HSV顏色空間模型轉(zhuǎn)換在HSV顏色空間模型中，H代表色調(diào)，取值范圍為0～360°，描述顏色的本質(zhì)屬性；S代表飽和度，取值范圍為0～255，描述顏色的深淺；V代表亮度，取值范圍為0～255，描述對(duì)應(yīng)顏色由暗向亮變化，表示其物體的明暗關(guān)系。對(duì)筒紗的HSV各分量及其直方圖如圖4所示，由圖4可知，通過HSV各分量的直方圖分布，可以得到各分量的閾值進(jìn)行顏色分割。(a)H分量(b)S分量(c)V分量(d)H分量的直方圖(e)S分量的直方圖(f)V分量的直方圖圖4HSV各分量2.1基于顏色特征的目標(biāo)區(qū)域提取顏色作為筒紗分揀的主要特征，由圖4可知，在HSV顏色空間中提取不同分量特征對(duì)筒紗進(jìn)行識(shí)別。本文在確定筒紗顏色閾值的基礎(chǔ)上，采用區(qū)域生長(zhǎng)分割算法提取筒紗輪廓特征。（1）各分量顏色閾值由于光照亮度不均是筒紗圖像獲取的主要干擾因素，本文對(duì)V分量取0～255的最大變化范圍。對(duì)不同顏色的筒紗進(jìn)行圖像獲取，得到H、S、V三個(gè)顏色分量的直方圖，經(jīng)統(tǒng)計(jì)得到不同顏色的閾值如表1所示。表1顏色閾值參數(shù)顏色H_minH_maxS_minS_maxV_minV_max紅156104325546255青78994325546255黃26344325546255紫1251554325546255橙11254325546255藍(lán)1001244325546255綠35774325546255由表1可知，在HSV顏色模型中，飽和度S與亮度V的閾值范圍均在一個(gè)變化范圍中，而色調(diào)H對(duì)不同顏色的范圍有區(qū)別，因此本文通過提取H分量來確定分揀筒紗的顏色特征，設(shè)定最優(yōu)的顏色閾值。（2）基于區(qū)域生長(zhǎng)法筒紗區(qū)域提取由表1確定紅色筒紗顏色閾值后，對(duì)所獲取的筒紗圖像進(jìn)行全域掃描，根據(jù)筒紗的尺寸設(shè)定步長(zhǎng)為s，該值影響全域掃描的速度。掃描過程中計(jì)算每個(gè)像素點(diǎn)的H分量，并將H分量與表1中的HSV顏色閾值進(jìn)行比較，當(dāng)前像素點(diǎn)I(x,y)的H分量在顏色閾值范圍內(nèi)，則確認(rèn)該像素點(diǎn)I(x,y)為種子點(diǎn)，并筒紗圖像中以掃描得到的種子點(diǎn)為中心，遞歸查找其8鄰域像素點(diǎn)，如果其鄰域像素點(diǎn)的各分量值均滿足顏色閾值要求，則該點(diǎn)屬于目標(biāo)顏色區(qū)域，將該目標(biāo)區(qū)域?qū)?yīng)的像素點(diǎn)在空白的圖像中設(shè)置為1，其他非目標(biāo)區(qū)域設(shè)置為0。為了提高算法抗噪能力，在掃描種子點(diǎn)時(shí)，融入了鄰域法去噪窗口本文通過區(qū)域生長(zhǎng)法得到紅色的筒紗目標(biāo)圖像如圖5所示，由圖5可知，筒紗的區(qū)域基本確定，但是筒紗區(qū)域的邊緣輪廓不平滑，圖中還有干擾的小區(qū)域存在。為了去掉干擾且平滑邊緣輪廓，本文根據(jù)筒紗輪廓邊緣線性特征構(gòu)建了線性結(jié)構(gòu)元素，通過形態(tài)學(xué)的開、閉算法對(duì)圖5(a)進(jìn)行運(yùn)算，得到了圖5(b)的結(jié)果，消除了干擾的小目標(biāo)，筒紗輪廓區(qū)域的邊緣更加的平滑。(a)分割目標(biāo)區(qū)域(b)形態(tài)學(xué)處理的目標(biāo)區(qū)域圖5筒紗分割3分揀作業(yè)目標(biāo)的識(shí)別與定位3.1連通區(qū)域的標(biāo)記采用顏色閾值和區(qū)域生長(zhǎng)法提取了筒紗圖像中所有滿足顏色閾值要求的目標(biāo)區(qū)域，對(duì)視場(chǎng)中存在多個(gè)相同顏色的分揀目標(biāo)時(shí)，本文通過計(jì)算8鄰域的連通域?qū)Χ鄠€(gè)筒紗目標(biāo)進(jìn)行標(biāo)記如圖6(a)所示，連通域的位置采用外接矩的形心位置來確定。3.2筒紗形心定位模型為了確定筒紗的位置，對(duì)如圖6(a)所示的標(biāo)記出筒紗輪廓區(qū)域采用基于外接矩來建立筒紗形心定位模型為 (6)式中，為筒紗形心的坐標(biāo)，Ii,j為筒紗區(qū)域圖像的灰度。由公式（6）計(jì)算出來的筒紗形心坐標(biāo)如圖6(b)所示的。(a)連通域標(biāo)記(b)作業(yè)目標(biāo)定位圖6筒紗目標(biāo)的識(shí)別與定位4實(shí)驗(yàn)數(shù)據(jù)分析4.1實(shí)驗(yàn)參數(shù)本文選用如圖7所示的不同顏色的筒紗目標(biāo)進(jìn)行顏色識(shí)別與分揀實(shí)驗(yàn)，筒紗直徑為20mm，重量為15g，分揀機(jī)器人的最大抓取重量為30g。圖7不同顏色的筒紗4.2識(shí)別定位實(shí)驗(yàn)分析將不同顏色的筒紗隨機(jī)放置到工作臺(tái)上如圖8(a)所示，采用本文方法根據(jù)顏色特征設(shè)定閾值為紅色99，綠色77，黃色30，白色13，識(shí)別定位結(jié)果如圖8所示。(a)原圖(b)紅色識(shí)別定位(c)綠色識(shí)別定位(d)黃色識(shí)別定位(e)白色色識(shí)別定位圖8不同顏色筒紗的識(shí)別與定位由圖8可知，通過閾值分割得到了不同顏色區(qū)域的外接矩，并通多形心定位確定了形心位置如表2所示，將形心位置結(jié)合手眼標(biāo)定參數(shù)可以得到分揀目標(biāo)的空間位置。表2形心位置分揀目標(biāo)形心位置坐標(biāo)（pixels）空間位置坐標(biāo)（mm）xcycxyz紅色筒紗282134186.0-62.810綠色筒紗458162198.4-59.310黃色筒紗226301181.4-45.610白色筒紗432343195.8-40.5104.3分揀實(shí)驗(yàn)在識(shí)別定位的基礎(chǔ)上，通過手眼標(biāo)定的系數(shù)得到了筒紗目標(biāo)相對(duì)于機(jī)器人末端執(zhí)行器的空間坐標(biāo)，將末端執(zhí)行器換成氣動(dòng)手抓，筒紗的分揀如圖9所示，機(jī)器人將綠色的筒紗從不同顏色的筒紗中識(shí)別出來，之后抓取放置在指定的盒中，完成分揀任務(wù)。(a)抓取(b)分揀圖9筒紗的分揀5結(jié)語（1）構(gòu)建了具有視覺感知的四自由度DOBOT分揀機(jī)器人系統(tǒng)，通過對(duì)筒紗的顏色特征提取，實(shí)現(xiàn)了對(duì)隨機(jī)擺放的不同顏