工業(yè)視覺系統(tǒng)編程及基礎(chǔ)應(yīng)用 課件 項目12 鋰電池引導(dǎo)抓取

工業(yè)視覺系統(tǒng)編程及基礎(chǔ)應(yīng)用PROJECT項目090810111213項目8外圍設(shè)備通訊與交互項目9鋰電池檢測項目10鋰電池測量項目11鋰電池識別項目12鋰電池引導(dǎo)抓取項目13前沿技術(shù)基礎(chǔ)應(yīng)用TASK任務(wù)1、鋰電池手眼標(biāo)定任務(wù)一、手眼標(biāo)定原理二、手眼標(biāo)定工具三、光源設(shè)定工具四、鋰電池手眼標(biāo)定機器視覺四大應(yīng)用前面已經(jīng)學(xué)習(xí)了哪些相關(guān)應(yīng)用？分別使用了哪些視覺工具？課前回顧一、手眼標(biāo)定原理在項目11中，講解過相機標(biāo)定和四種坐標(biāo)系的定義——世界坐標(biāo)系、相機坐標(biāo)系、圖像像素坐標(biāo)系、圖像物理坐標(biāo)系。在尺寸測量過程中，僅涉及到圖像像素坐標(biāo)系與圖像物理坐標(biāo)系之間的轉(zhuǎn)換關(guān)系。而在本項目，需要獲取圖像像素坐標(biāo)系與世界坐標(biāo)系的轉(zhuǎn)換關(guān)系，以確定相機和機械手之間的轉(zhuǎn)換關(guān)系，從而獲取目標(biāo)工件在機械手坐標(biāo)系中的位置信息，進行正確抓取。1、空間坐標(biāo)系轉(zhuǎn)換一、手眼標(biāo)定原理世界坐標(biāo)系與相機坐標(biāo)系轉(zhuǎn)換

世界坐標(biāo)系Ow-XwYwZw與相機坐標(biāo)系C-xyz轉(zhuǎn)換關(guān)系圖，如下圖所示。利用旋轉(zhuǎn)矩陣R與平移向量T可以實現(xiàn)世界坐標(biāo)系中坐標(biāo)點到相機坐標(biāo)系中的映射。世界坐標(biāo)系與相機坐標(biāo)系轉(zhuǎn)換關(guān)系圖如果已知相機坐標(biāo)系中的一點P相對于世界坐標(biāo)系的旋轉(zhuǎn)矩陣R與平移向量T，則世界坐標(biāo)系與相機坐標(biāo)系的轉(zhuǎn)換關(guān)系為：其中，R為3×3矩陣，T為3×1平移向量，0的轉(zhuǎn)置矩陣為(000)，P點在相機坐標(biāo)系的坐標(biāo)為(x,y,z)，P點在世界坐標(biāo)系的坐標(biāo)為(Xw,Yw,Zw)。一、手眼標(biāo)定原理1、空間坐標(biāo)系轉(zhuǎn)換相機坐標(biāo)系與圖像物理坐標(biāo)系轉(zhuǎn)換

世界坐標(biāo)系Ow-XwYwZw與相機坐標(biāo)系C-xyz轉(zhuǎn)換關(guān)系圖，如下圖所示。利用旋轉(zhuǎn)矩陣R與平移向量T可以實現(xiàn)世界坐標(biāo)系中坐標(biāo)點到相機坐標(biāo)系中的映射。相機坐標(biāo)系與圖像物理坐標(biāo)系轉(zhuǎn)換關(guān)系圖式中，p(x,y,z)是空間點P在相機坐標(biāo)系下的坐標(biāo)，對應(yīng)在圖像物理坐標(biāo)系下的坐標(biāo)為(X,Y)，f為相機的焦距，則由上式可以得到相機坐標(biāo)系與圖像物理坐標(biāo)系間的轉(zhuǎn)換關(guān)系為：空間中任意一點P在圖像平面的投影p是光心C與P點的連接線與成像平面的交點，由透視投影，可知：一、手眼標(biāo)定原理1、空間坐標(biāo)系轉(zhuǎn)換圖像像素坐標(biāo)系與世界坐標(biāo)系轉(zhuǎn)換

根據(jù)前面各坐標(biāo)系間的轉(zhuǎn)換可以得到世界坐標(biāo)系Ow-XwYwZw與圖像像素坐標(biāo)系o-uv的轉(zhuǎn)換關(guān)系為：式中，ax=f/dx，ay=f/dy；M為3×4矩陣，被稱為投影矩陣；M1由參數(shù)決定ax、ay、uo、vo，這些參數(shù)只與相機的內(nèi)部結(jié)構(gòu)有關(guān)，因此稱為相機的內(nèi)部參數(shù)（內(nèi)參）；M2被稱為相機的外部參數(shù)（外參），由相機相對于世界坐標(biāo)系的位置決定。確定相機內(nèi)參和外參的過程即為相機的標(biāo)定。2、手眼標(biāo)定——相機圖像坐標(biāo)和機械手世界坐標(biāo)系的轉(zhuǎn)換相機與機械手坐標(biāo)系的轉(zhuǎn)換即為手眼標(biāo)定，其結(jié)果的好壞直接決定了定位的準(zhǔn)確性。手眼標(biāo)定包括眼在手上（移動相機）和眼在手外（固定相機）兩種相機安裝方式，如下圖所示。眼在手外（固定相機）眼在手上（移動相機）一、手眼標(biāo)定原理2、手眼標(biāo)定——相機圖像坐標(biāo)和機械手世界坐標(biāo)系的轉(zhuǎn)換相機與機械手之間的坐標(biāo)系轉(zhuǎn)換標(biāo)定，通常使用多點標(biāo)定，常見的有九點標(biāo)定、四點標(biāo)定等，標(biāo)定轉(zhuǎn)換工具可以使用標(biāo)定板或是實物，本項目僅介紹基于標(biāo)定板的多點標(biāo)定方法。即機械手移動X軸、Y軸，分別取標(biāo)定板上同一參照點對應(yīng)的n組圖像坐標(biāo)和n組機械手世界坐標(biāo)，一一對應(yīng)換算得到坐標(biāo)系轉(zhuǎn)換關(guān)系，完成標(biāo)定?！把墼谑稚稀蹦Ｊ剑合鄼C安裝于機械手末端，標(biāo)定時標(biāo)定板不移動，只需要機械手移動多點位置進行標(biāo)定即可，手眼標(biāo)定的結(jié)果為相機坐標(biāo)系與機械手工具坐標(biāo)系的關(guān)系；“眼在手外”模式：相機位置固定，機械手吸取標(biāo)定板同一參照點，在相機視野范圍內(nèi)移動多點位置進行標(biāo)定，手眼標(biāo)定的結(jié)果為相機坐標(biāo)系與機械手基坐標(biāo)系的關(guān)系。眼在手外模式眼在手上模式一、手眼標(biāo)定原理3、旋轉(zhuǎn)中心獲取旋轉(zhuǎn)中心指物體旋轉(zhuǎn)所繞的固定點。若機械手使用世界坐標(biāo)系，旋轉(zhuǎn)中心就是法蘭中心（機械手末端旋轉(zhuǎn)軸）；若使用工具坐標(biāo)系，旋轉(zhuǎn)中心就是工具中心。物體繞旋轉(zhuǎn)中心旋轉(zhuǎn)時，物體的X、Y坐標(biāo)也會發(fā)生改變，若想做到一次到位，則需要通過旋轉(zhuǎn)中心計算出物體旋轉(zhuǎn)后X、Y坐標(biāo)發(fā)生的偏移。旋轉(zhuǎn)中心的計算：取圓周上的兩點和夾角（或多點），通過幾何公式求得與圓心坐標(biāo)，即為旋轉(zhuǎn)中心的坐標(biāo)。已知圓周上兩點P2和P3的坐標(biāo)、夾角∠P2P1P3的值，即可求出P1點（旋轉(zhuǎn)中心）的坐標(biāo)，如下圖所示。旋轉(zhuǎn)中心計算一、手眼標(biāo)定原理TASK任務(wù)1、鋰電池手眼標(biāo)定任務(wù)一、手眼標(biāo)定原理二、手眼標(biāo)定工具三、光源設(shè)定工具四、鋰電池手眼標(biāo)定1、手眼標(biāo)定工具“手眼標(biāo)定”工具用于進行多點標(biāo)定和旋轉(zhuǎn)中心查找，預(yù)編輯程序后，無需手動獲取標(biāo)定片上參照點的圖像像素坐標(biāo)和機械手坐標(biāo)，即可通過收發(fā)指令的形式進行手眼自動標(biāo)定，經(jīng)過計算后獲取坐標(biāo)系的轉(zhuǎn)換關(guān)系?！笆盅蹣?biāo)定”工具圖標(biāo)“手眼標(biāo)定”工具界面二、手眼標(biāo)定工具2、標(biāo)定配置數(shù)據(jù)來源：自動手眼標(biāo)定需要接收的指令，包含指令頭、相機號、當(dāng)前機械手坐標(biāo)值等，工具可以自動分割指令，獲取相關(guān)信息標(biāo)定模式：相機的個數(shù)，單相機或多相機特征樣式：標(biāo)定方式，使用棋盤格或?qū)嵨锒?、手眼?biāo)定工具3、“圖像”頁面安裝方式：相機的安裝方式，固定安裝即眼在手外，手部安裝即眼在手上移動步數(shù)：多點標(biāo)定的點數(shù)和計算旋轉(zhuǎn)中心旋轉(zhuǎn)的次數(shù)圖像來源：相機實時取像或本地加載圖像選擇相機：選擇進行手眼標(biāo)定的相機二、手眼標(biāo)定工具4、“指令”頁面詳細信息：查看該工具需要的指令情況，以及每條指令的含義二、手眼標(biāo)定工具5、“校準(zhǔn)”頁面詳細手動模式：啟動則可手動觸發(fā)拍照和計算校準(zhǔn)校準(zhǔn)模式：包含Linear（默認(rèn)）、PerspectiveAndRadialWarp、LinescanWarp等特征符號：包含詳盡棋盤格（默認(rèn)）、點網(wǎng)格、棋盤格等基準(zhǔn)符號：包含StandardRectangle（默認(rèn)）、DataMatrix、DotGridAxes、None等塊尺寸（mm）：棋盤格單元尺寸（寬×高）高級配置：查看并設(shè)置更多高級功能選項二、手眼標(biāo)定工具6、“執(zhí)行”頁面手動模式：啟動則可手動控制主機位移動至標(biāo)定點位和觸發(fā)拍照指令詳情：查看輸入輸出指令接收時間及具體信息N點詳情：查看當(dāng)前坐標(biāo)計算結(jié)果二、手眼標(biāo)定工具7、“結(jié)果”頁面查看標(biāo)定的結(jié)果分?jǐn)?shù)。二、手眼標(biāo)定工具TASK任務(wù)1、鋰電池手眼標(biāo)定任務(wù)一、手眼標(biāo)定原理三、光源設(shè)定工具四、鋰電池手眼標(biāo)定二、手眼標(biāo)定工具1、光源控制器的作用和種類使用光源控制器的最主要的目的是給光源供電，控制光源的亮度及照明狀態(tài)（亮和滅），還可以通過給控制器觸發(fā)信號來實現(xiàn)光源的頻閃，進而大大延長光源的壽命。光源控制器按照功能可以分為：數(shù)字控制器、模擬控制器、大功率模擬控制器、線性光源專用模擬控制器、線性光源專用數(shù)字控制器、增量模塊和非標(biāo)控制器等。其中，最常用的光源控制器為模擬光源控制器和數(shù)字光源控制器。三、光源設(shè)定工具2、模擬控制器模擬控制器輸出沒有任何脈沖成分的電壓信號，且信號在其輸出狀態(tài)下是一種連續(xù)狀態(tài)。產(chǎn)品特點：亮度無極模擬電壓調(diào)節(jié)；提供持續(xù)穩(wěn)定的電壓源，可用于1/10000s的快門；外觸發(fā)靈活，高低電平可選，適應(yīng)不同的外部傳感器；過流、短路保護功能；體積小，操作簡單。適用范圍：可用于驅(qū)動小功率光源；高速相機拍攝照明驅(qū)動；低成本照明方案；小尺寸線光源驅(qū)動。該控制器通常無法直接使用軟件進行控制，需要手動調(diào)整相關(guān)旋鈕來控制光源的亮度，如機器視覺實訓(xùn)基礎(chǔ)套件使用的光源控制器。模擬光源控制器三、光源設(shè)定工具3、數(shù)字控制器模擬控制器輸出的是一個有周期性變化規(guī)律的脈沖電壓信號，也就是PWM信號。產(chǎn)品特點：PWM信號輸出，改變PWM占空比來調(diào)整光源亮度；亮度控制方式靈活，可通過面板按鍵、串口通信調(diào)節(jié)光源亮度；外觸發(fā)采用高速光耦隔離設(shè)計，提供準(zhǔn)確、可靠的觸發(fā)信號；集過流、過載、短路保護功能于一體；具有掉電保護功能，自動記憶關(guān)機前的設(shè)定值。適用范圍：可用于驅(qū)動小、中功率光源；觸發(fā)響應(yīng)快，擅長于高速觸發(fā)拍攝場合；面陣相機拍攝照明驅(qū)動；不可用于線陣相機照明驅(qū)動。該控制器可以通過串口或網(wǎng)口、USB等方式連接軟件，在軟件中輸入相關(guān)指令和參數(shù)來控制光源通道及亮度，如機器視覺只能綜合實訓(xùn)平臺使用的光源控制器。數(shù)字光源控制器三、光源設(shè)定工具4、設(shè)備管理-光源V+平臺軟件與控制光源的設(shè)備為“設(shè)備管理”中的“德創(chuàng)”光源控制器。交互區(qū)：用于控制不同通道光源亮度，可拖動滑動條，也可直接輸入數(shù)值參數(shù)集：可以為多通道設(shè)置多組不同的亮度，方便后續(xù)進行選擇端口：選擇光源控制器通過哪一端口號進行通訊波特率：根據(jù)不同產(chǎn)品設(shè)置，多為19200頻閃模式：若勾選，則光源會頻繁閃爍其他參數(shù)默認(rèn)三、光源設(shè)定工具5、“光源設(shè)定”工具光源：“設(shè)備管理”中已添加的光源控制器工作模式：若勾選直接控制，可控制通道的光源為固定亮度；若勾選參數(shù)集，則通道可切換不同亮度光源控制欄：可添加和刪除光源通道，并設(shè)置亮度三、光源設(shè)定工具TASK任務(wù)1、鋰電池手眼標(biāo)定任務(wù)一、手眼標(biāo)定原理二、手眼標(biāo)定工具三、光源設(shè)定工具四、鋰電池手眼標(biāo)定1、整體程序流程四、鋰電池手眼標(biāo)定2、“PLC掃描”工具-標(biāo)定信號PLC：三菱F5U；地址：D168；觸發(fā)條件：變?yōu)?；目?biāo)值：1。四、鋰電池手眼標(biāo)定3、“讀PLC”工具讀取地址D120發(fā)送的指令字符串。四、鋰電池手眼標(biāo)定4、“字符串操作”工具“去空格”（

）：@Trim1：鏈接輸入“讀PLC”工具的“Value”，刪除“所有空格”；@Trim2：下拉選擇“@Trim1”，刪除“不可打印字符”；輸出“@Trim2”。四、鋰電池手眼標(biāo)定5、“寫日志”工具日志：設(shè)備管理中的“用戶日志”；等級：Info；域：移動相機抓取；模塊：標(biāo)定；內(nèi)容：“字符串操作”工具輸出的“@Trim2”。移動相機抓取四、鋰電池手眼標(biāo)定6、“光源設(shè)定”工具光源：德創(chuàng)1；添加通道：Channel1、2、3，設(shè)置適當(dāng)亮度。四、鋰電池手眼標(biāo)定7、“延時”工具程序運行速度太快可能導(dǎo)致后續(xù)工具取像時，光源未完全亮起，設(shè)置適當(dāng)延時“200”ms。四、鋰電池手眼標(biāo)定8、“手眼標(biāo)定”工具-標(biāo)定配置工具首頁參數(shù)配置方法：數(shù)據(jù)來源：“字符串操作”工具輸出的“@Trim2”。標(biāo)定模式：單相機。特征樣式：棋盤格。四、鋰電池手眼標(biāo)定9、“手眼標(biāo)定”工具-圖像安裝方式：固定安裝；移動步數(shù)：9（平移步數(shù)）+2（旋轉(zhuǎn)步數(shù)）；圖像來源：相機取像；機位編號1：移動CCD（主相機1）。四、鋰電池手眼標(biāo)定10、“手眼標(biāo)定”工具-指令此頁不需要進行配置，點擊【詳細信息】，可以了解使用本工具需要哪些指令，以及指令含義。四、鋰電池手眼標(biāo)定10、“手眼標(biāo)定”工具-指令四、鋰電池手眼標(biāo)定11、“手眼標(biāo)定”工具-校準(zhǔn)校準(zhǔn)模式：Linear特征符號：詳盡棋盤格基準(zhǔn)符號：StandardRectangles塊尺寸(mm)：3×3四、鋰電池手眼標(biāo)定12、“手眼標(biāo)定”工具-執(zhí)行此步驟無需配置，可以點擊【指令詳情】和【N點詳情】，查看當(dāng)前執(zhí)行狀態(tài)。四、鋰電池手眼標(biāo)定13、“手眼標(biāo)定”工具-結(jié)果可查看本次標(biāo)定結(jié)果得分和相關(guān)參數(shù)。四、鋰電池手眼標(biāo)定14、“光源設(shè)定”-光源熄滅光源：德創(chuàng)1添加通道：所有光源亮度歸0。四、鋰電池手眼標(biāo)定15、“分支”工具數(shù)據(jù)：“手眼標(biāo)定”工具是否成功運行的“Successfully”作為判斷依據(jù)。默認(rèn)添加分支：True和False。四、鋰電池手眼標(biāo)定16、“寫PLC”工具PLC：三菱F5U；添加地址：D190；寫入值：分支1后寫入1，分支2后寫入2。四、鋰電池手眼標(biāo)定THANKS工業(yè)視覺系統(tǒng)編程及基礎(chǔ)應(yīng)用PROJECT項目090810111213項目8外圍設(shè)備通訊與交互項目9鋰電池檢測項目10鋰電池測量項目11鋰電池識別項目12鋰電池引導(dǎo)抓取項目13前沿技術(shù)基礎(chǔ)應(yīng)用TASK任務(wù)1、鋰電池標(biāo)準(zhǔn)位示教任務(wù)一、標(biāo)準(zhǔn)位示教原理二、標(biāo)準(zhǔn)位示教工具三、鋰電池標(biāo)準(zhǔn)位示教手眼標(biāo)定主要是什么坐標(biāo)系之間的轉(zhuǎn)換？課前回顧1、標(biāo)準(zhǔn)位示教原理一、標(biāo)準(zhǔn)位示教原理在實際工業(yè)應(yīng)用中，機械手或移動模組常配合吸盤、夾爪等用來抓取產(chǎn)品，不可避免存在抓取的點位同末端旋轉(zhuǎn)軸不在同一軸中心的情況。此時就需要做標(biāo)準(zhǔn)位示教（也稱為“訓(xùn)練吸嘴”），獲取一個模板情況下的產(chǎn)品圖像坐標(biāo)和機械手實際坐標(biāo)。使自動引導(dǎo)抓取時，都能根據(jù)此模板位置進行計算，實現(xiàn)正確抓取。當(dāng)前產(chǎn)品模板產(chǎn)品TASK任務(wù)1、鋰電池標(biāo)準(zhǔn)位示教任務(wù)一、標(biāo)準(zhǔn)位示教原理二、標(biāo)準(zhǔn)位示教工具三、鋰電池標(biāo)準(zhǔn)位示教1、標(biāo)準(zhǔn)位示教工具V+平臺軟件的“標(biāo)準(zhǔn)位示教”工具如下圖所示。“標(biāo)準(zhǔn)位示教”工具圖標(biāo)“標(biāo)準(zhǔn)位示教”工具界面二、標(biāo)準(zhǔn)位示教工具2、輸入設(shè)置信號數(shù)據(jù)：指定或關(guān)聯(lián)信號的數(shù)據(jù)格式。鼠標(biāo)放置于“”時，可看到該工具需要的參考指令為“Train,N,TTN,C,0,X,Y,A”圖像：鏈接外部輸入圖像創(chuàng)建Record：若勾選，則該工具可以創(chuàng)建結(jié)果圖像二、標(biāo)準(zhǔn)位示教工具2、標(biāo)定設(shè)置標(biāo)定文件列表：由“手眼標(biāo)定”工具自動生成，標(biāo)定文件名對應(yīng)“手眼標(biāo)定-①圖像”中的機位編號：刷新按鈕，點擊可刷新列表中的標(biāo)定文件：打開文件夾，點擊可查看本地文件夾下的手眼標(biāo)定文件和標(biāo)準(zhǔn)位示教文件高級設(shè)置：點擊可查看底層工具算法二、標(biāo)準(zhǔn)位示教工具3、特征抓取特征抓?。骸巴ㄓ谩睘槭褂煤唵喂ぞ攉@取示教點，“高級”為使用ToolBlock工具獲取示教點操作：可導(dǎo)入或?qū)С龃耸窘涛募/Y/R：鏈接ToolBlock的“[Outputs]”輸出的示教點的X/Y/RRecord：可選擇ToolBlock的圖像緩沖區(qū)作為結(jié)果圖像二、標(biāo)準(zhǔn)位示教工具TASK任務(wù)1、鋰電池標(biāo)準(zhǔn)位示教任務(wù)一、標(biāo)準(zhǔn)位示教原理二、標(biāo)準(zhǔn)位示教工具三、鋰電池標(biāo)準(zhǔn)位示教1、整體程序流程三、鋰電池標(biāo)準(zhǔn)位示教2、“PLC掃描”工具-訓(xùn)練吸嘴信號PLC：三菱F5U；地址：D168；觸發(fā)條件：變?yōu)?；目?biāo)值：3。三、鋰電池標(biāo)準(zhǔn)位示教3、“讀PLC”工具讀取地址D120發(fā)送的指令字符串。三、鋰電池標(biāo)準(zhǔn)位示教4、“字符串操作”工具“去空格”（

）：@Trim1：鏈接輸入“讀PLC”工具的“Value”，刪除“所有空格”；@Trim2：下拉輸入“@Trim1”，刪除“不可打印字符”；輸出“@Trim2”。三、鋰電池標(biāo)準(zhǔn)位示教5、“光源設(shè)定”工具光源：德創(chuàng)1；添加通道：Channel1、2、3，設(shè)置適當(dāng)亮度。三、鋰電池標(biāo)準(zhǔn)位示教6、“取像”工具相機：移動CCD（主相機1）；輸出格式：ICogImage。三、鋰電池標(biāo)準(zhǔn)位示教7、“光源設(shè)定”工具光源：德創(chuàng)1添加通道：所有光源亮度歸0。三、鋰電池標(biāo)準(zhǔn)位示教8、“標(biāo)準(zhǔn)位示教”工具①輸入設(shè)置：信號數(shù)據(jù)：“字符串操作”工具輸出的“@Trim2”。圖像：“取像”工具輸出的“Image”。三、鋰電池標(biāo)準(zhǔn)位示教②標(biāo)定設(shè)置：標(biāo)定文件列表：“主機位1”，即手眼標(biāo)定工具自動輸出的標(biāo)定文件。勾選“創(chuàng)建Record”。8、“標(biāo)準(zhǔn)位示教”工具三、鋰電池標(biāo)準(zhǔn)位示教8、“標(biāo)準(zhǔn)位示教”工具③特征抓?。河糜谳敵鲣囯姵刂行狞cXYR和結(jié)果圖像Record。注意：此工具右側(cè)輸出XYR，必須分別選擇左側(cè)ToolBlock輸出的XYR，否則沒有結(jié)果。三、鋰電池標(biāo)準(zhǔn)位示教8、“標(biāo)準(zhǔn)位示教”工具編寫ToolBlock程序。PMAlign1和Fixture1：匹配模板并進行定位。FindCorner1~4：找鋰電池4個標(biāo)簽角（A：左上角，B：左下角，C：右下角，D：右上角）。FitLine1~2：擬合2條對角線。IntersectLineLine1：將對角線相交得到標(biāo)簽中心點坐標(biāo)XY，并添加至“[Outputs]”。FitLine3：鏈接FindCorner1和FindCorner4輸出的XY，添加輸出終端Rotation，并將其鏈接至“[Outputs]”。三、鋰電池標(biāo)準(zhǔn)位示教9、“數(shù)值計算”工具-角度轉(zhuǎn)換弧度制轉(zhuǎn)換為角度值：1.“引用”→添加“標(biāo)準(zhǔn)位示教”輸出的圖像角度“ImageR”；2.“函數(shù)”→“deg”；3.將引用的名稱“@arg1”添加到deg后的括號內(nèi)。三、鋰電池標(biāo)準(zhǔn)位示教10、創(chuàng)建變量建立6個Double類型變量，分別是1TRX、1TRY、1TRR、1TIX、1TIY、1TIR，含義分別是訓(xùn)練主相機1示教位時，軸XYR和圖像XYR。注：1TrainRobotX縮寫為1TRX、1TrainImageX縮寫為1TIX，其他類似。三、鋰電池標(biāo)準(zhǔn)位示教11、“寫變量”工具將“標(biāo)準(zhǔn)位示教”工具和“角度轉(zhuǎn)換”工具輸出的值一一寫入6個變量。三、鋰電池標(biāo)準(zhǔn)位示教12、“分支”工具數(shù)據(jù)：“標(biāo)準(zhǔn)位示教”工具是否成功運行的“Successfully”作為判斷依據(jù)。默認(rèn)添加分支：True和False。三、鋰電池標(biāo)準(zhǔn)位示教13、“寫PLC”工具PLC：三菱F5U；添加地址：D190；寫入值：分支1后寫入1，分支2后寫入2。三、鋰電池標(biāo)準(zhǔn)位示教THANKS工業(yè)視覺系統(tǒng)編程及基礎(chǔ)應(yīng)用PROJECT項目090810111213項目8外圍設(shè)備通訊與交互項目9鋰電池檢測項目10鋰電池測量項目11鋰電池識別項目12鋰電池引導(dǎo)抓取項目13前沿技術(shù)基礎(chǔ)應(yīng)用TASK任務(wù)一、引導(dǎo)原理二、特征定位工具三、引導(dǎo)計算工具四、鋰電池移動抓取1、鋰電池移動抓取任務(wù)標(biāo)準(zhǔn)位示教需要拿到哪些坐標(biāo)？課前回顧1、引導(dǎo)類型在工業(yè)視覺引導(dǎo)的應(yīng)用場景中，相機的安裝方式可選擇固定安裝或隨機構(gòu)移動安裝，亦可以選擇單個或多個相機同機構(gòu)進行配合。其中，與機械手或移動模組相結(jié)合的應(yīng)用最為普遍。關(guān)于此類場景，視覺定位引導(dǎo)可大致分為4種模式：引導(dǎo)抓取、引導(dǎo)組裝、位置補正、軌跡運算定位引導(dǎo)。引導(dǎo)抓取引導(dǎo)組裝位置補正軌跡運算定位引導(dǎo)一、引導(dǎo)原理2、引導(dǎo)抓取相機拍照計算機械手抓取位置，機械手根據(jù)視覺運算數(shù)據(jù)抓取。如：在料盤中抓取、對流水線上產(chǎn)品進行抓取等。引導(dǎo)抓取一、引導(dǎo)原理3、引導(dǎo)組裝相機拍產(chǎn)品的上下兩部分，通過標(biāo)定計算出機械手需要移動的距離，完成貼合動作。如：屏幕貼合、產(chǎn)品組裝等。引導(dǎo)組裝一、引導(dǎo)原理4、位置補正又稱為“糾偏補正”。機械手抓完產(chǎn)品，移至相機視野下拍照，視覺計算機械手移動位置，將產(chǎn)品放置到固定位置。位置補正一、引導(dǎo)原理5、相機軌跡運算定位引導(dǎo)相機拍照（一次或多次），計算出產(chǎn)品的中心和角度，根據(jù)設(shè)定好的軌跡點，計算出產(chǎn)品在不同狀態(tài)下的軌跡點的位置。如：點膠軌跡運算、焊接軌跡運算等。軌跡運算定位引導(dǎo)一、引導(dǎo)原理6、引導(dǎo)原理手眼標(biāo)定是引導(dǎo)能否正確運行的關(guān)鍵因素，在標(biāo)定坐標(biāo)下，相機拍照獲取當(dāng)前圖像，計算產(chǎn)品的當(dāng)前圖像坐標(biāo)X、Y、R，并根據(jù)此當(dāng)前圖像坐標(biāo)，同模板坐標(biāo)等信息進行計算，獲取補償值，使機械手最終走絕對值或相對值，產(chǎn)品當(dāng)前位置同模板位置的差如下圖所示。其中C(c,d)為模板圖像坐標(biāo)，A(x,y)為當(dāng)前圖像坐標(biāo)，且夾角都為已知。根據(jù)模板位置進行計算引導(dǎo)抓取一、引導(dǎo)原理TASK任務(wù)一、引導(dǎo)原理二、特征定位工具三、引導(dǎo)計算工具四、鋰電池移動抓取1、鋰電池移動抓取任務(wù)2、特征定位工具特征定位工具的界面布局及配置同“標(biāo)準(zhǔn)位示教”工具類似，如下圖所示，其說明不再贅述。不同之處在于二者輸出的坐標(biāo)合集格式不同，在后續(xù)“引導(dǎo)計算”工具中，可選擇調(diào)用的文件不同，二者不可混用。“特征定位”工具界面二、特征定位工具TASK任務(wù)1、鋰電池移動抓取任務(wù)一、引導(dǎo)原理三、引導(dǎo)計算工具四、鋰電池移動抓取二、特征定位工具1、引導(dǎo)計算工具V+平臺軟件的“引導(dǎo)計算”工具如下圖所示，其中，“模式選擇”的含義詳見“1.引導(dǎo)原理”?！耙龑?dǎo)計算”圖標(biāo)“引導(dǎo)計算”工具界面三、引導(dǎo)計算工具2、位移計算（通用模式）旋轉(zhuǎn)軸方向：由機械手末端軸，或移動模組旋轉(zhuǎn)軸的正負(fù)方向決定數(shù)據(jù)源：分為“簡易模式”和“通用模式”，不同模式對應(yīng)的特征數(shù)據(jù)和訓(xùn)練數(shù)據(jù)的選項不同特征數(shù)據(jù)：當(dāng)前圖像TX、TY和TR的值，可分別選擇不同數(shù)據(jù)訓(xùn)練數(shù)據(jù)：模板的圖像坐標(biāo)TX、TY、TR的值和機械手坐標(biāo)RX、RY、RR的值，可分別選擇不同來源的數(shù)據(jù)三、引導(dǎo)計算工具3、位移計算（簡易模式）特征數(shù)據(jù)：“特征定位”工具輸出的當(dāng)前圖像坐標(biāo)，可直接選擇前端程序“特征定位”工具輸出的整體文件訓(xùn)練數(shù)據(jù)：“標(biāo)準(zhǔn)位示教”工具輸出的模板圖像坐標(biāo)和對應(yīng)的機械手坐標(biāo)，需要先用“標(biāo)準(zhǔn)位數(shù)據(jù)”工具先得到標(biāo)準(zhǔn)位示教的txt坐標(biāo)文件，再在此處下拉選擇整體文件。并不是所有情況都可使用簡易模式三、引導(dǎo)計算工具4、補償計算在某些情況，需要通過固定方向增加或減少X、Y和R的值，以獲取更好的引導(dǎo)效果。三、引導(dǎo)計算工具5、防呆保護啟用并設(shè)置機械手XYR的安全值，及其該安全值允許的上下限。三、引導(dǎo)計算工具TASK任務(wù)一、引導(dǎo)原理二、特征定位工具三、引導(dǎo)計算工具四、鋰電池移動抓取1、鋰電池移動抓取任務(wù)整體程序流程四、鋰電池移動抓取程序細節(jié)1程序細節(jié)21、“PLC掃描”工具-移動抓取信號PLC：三菱F5U；地址：D168；觸發(fā)條件：變?yōu)椋荒繕?biāo)值：21。四、鋰電池移動抓取2、“讀PLC”工具讀取地址D120發(fā)送的指令字符串。四、鋰電池移動抓取3、“字符串操作”工具“去空格”（

）：@Trim1：鏈接輸入“讀PLC”工具的“Value”，刪除“所有空格”；@Trim2：下拉選擇“@Trim1”，刪除“不可打印字符”；“分割”（

）：@Split1：下拉選擇“@Trim2”，子串索引“0”，分割出軸X坐標(biāo)；@Split2：下拉選擇“@Trim2”，子串索引“1”，分割出軸Y坐標(biāo)；輸出“@Trim2”、“@Split1”、“@Split2”。四、鋰電池移動抓取4、“格式轉(zhuǎn)換”工具輸入數(shù)據(jù)：“字符串操作”工具輸出的“@Split1”；String→Double。輸入數(shù)據(jù)：“字符串操作”工具輸出的“@Split2”；String→Double。四、鋰電池移動抓取5、“變量管理”和“寫變量”工具先在“變量管理”里增加兩個Double類型變量，命名為TrigX和TrigY。用“寫變量”工具分別寫入“格式轉(zhuǎn)換”后的X和Y，即當(dāng)前拍照位置的X和Y。后續(xù)會使用到。四、鋰電池移動抓取6、“光源設(shè)定”和“延時”工具光源：德創(chuàng)1；添加通道：Channel1、2、3，設(shè)置適當(dāng)亮度。延時：適當(dāng)延時100~200ms。四、鋰電池移動抓取7、“取像”工具相機：移動CCD；輸出格式：ICogImage。四、鋰電池移動抓取8、“光源設(shè)定”工具光源：德創(chuàng)1添加通道：所有光源亮度歸0。四、鋰電池移動抓取9、“特征抓取”工具-①輸入設(shè)置信號數(shù)據(jù)：Train,1,TTN,1,0,0,0,0圖像：“取像”工具的“Image”。四、鋰電池移動抓取10、“特征定位”工具-②標(biāo)定設(shè)置標(biāo)定文件：“主機位1”（此為“手眼標(biāo)定”工具輸出）。四、鋰電池移動抓取11、“特征定位”工具-③特征抓取“任務(wù)三：標(biāo)準(zhǔn)位示教”“7、標(biāo)準(zhǔn)位示教”工具“實訓(xùn)四：訓(xùn)練吸嘴程序設(shè)計”先導(dǎo)出vpp：點擊右側(cè)【導(dǎo)出】四、鋰電池移動抓取11、“特征定位”工具-③特征抓取“任務(wù)二：圖像處理”“11、特征定位”工具“實訓(xùn)五：自動運行程序設(shè)計”再導(dǎo)入vpp，抓取更準(zhǔn)確：點擊右側(cè)【導(dǎo)入】四、鋰電池移動抓取導(dǎo)入vpp文件后的③特征抓取如圖。11、“特征定位”工具-③特征抓取右側(cè)下拉選擇XYR和Record。四、鋰電池移動抓取12、“數(shù)值計算”工具-角度轉(zhuǎn)換弧度制轉(zhuǎn)換為角度值：1.“引用”→添加圖像角度“特征抓取.ImageR”；2.“函數(shù)”→“deg”；3.將引用的名稱“@arg1”添加到deg后的括號內(nèi)。四、鋰電池移動抓取13、“ToolBlock”工具-“判斷料號”vpp編寫右側(cè)輸入：“取像”工具的Image；左側(cè)算法：Histogram-Top：判斷鋰電池頂部區(qū)域灰度平均值；Histogram-Tail：判斷鋰電池底部區(qū)域灰度平均值；將灰度平均值都進行輸出，更改名稱為Top和Tail。四、鋰電池移動抓取14、“邏輯運算”工具“數(shù)值比較”（

）：@Tail：鏈接輸入“ToolBlock”工具的“Tail”，參數(shù)選擇＜50；@Top：鏈接輸入“ToolBlock”工具的“Top”，參數(shù)選擇＜50；輸出“@Tail”、“@Top”。四、鋰電池移動抓取15、“字符串操作”工具“字符串拼接”（

）：@Combine1：添加“邏輯運算”工具的“Tail”和“Top”，并將這兩個都點擊【bool轉(zhuǎn)byte】。結(jié)果分為三類，產(chǎn)品A：結(jié)果為1