《自動化生產(chǎn)線安裝與調(diào)試》課件-01-梅卡曼德相機概述

01.梅卡曼德相機概述雙目結(jié)構(gòu)。近端視場：360×250@0.5m。遠(yuǎn)端視場：740×480@1.0m。01梅卡曼德相機硬件系統(tǒng)介紹02梅卡曼德相機軟件系統(tǒng)介紹03梅卡曼德相機軟件——Mech-Center04梅卡曼德相機軟件——Mech-EyeViewer05梅卡曼德相機軟件——Mech-Viz06梅卡曼德相機軟件——Mech-Vision02.梅卡曼德相機參數(shù)設(shè)置目

錄contents目錄三控制中心軟件參數(shù)設(shè)置目錄二相機查看器軟件參數(shù)設(shè)置目錄一梅卡曼德相機連接參數(shù)設(shè)置010203目錄一梅卡曼德相機連接參數(shù)設(shè)置0101梅卡曼德相機參數(shù)設(shè)置連接

1.相機初始時，3D相機的IP地址是未知默認(rèn)IP，需要對相機IP地址進行設(shè)定，使3D相機IP和設(shè)備處在同一網(wǎng)段。通過使用GigEIPConfigurator軟件對相機IP地址進行設(shè)定。01梅卡曼德相機參數(shù)設(shè)置連接

2.點擊刷新設(shè)備，在左側(cè)對應(yīng)的網(wǎng)卡選項中選擇對應(yīng)的相機。3.在右側(cè)手動配置中勾選靜態(tài)IP，將IP地址更改為192.168.0.80。子網(wǎng)掩碼改為255.255.255.0，完成IP地址的更改并保存設(shè)置，完成相機IP地址的設(shè)定。IP地址設(shè)定完成后即可通過Mech-eye軟件連接相機并更改相機相關(guān)參數(shù)。01連接梅卡曼德相機參數(shù)設(shè)置

在傳感器相機中使用Mech_Eye相機軟件時首先需要將對應(yīng)相機的內(nèi)部參數(shù)文件放置于相機查看器Mech-EyeViewer軟件安裝目錄下。操作步驟如下：1、查看相機包裝盒或相機側(cè)面標(biāo)簽ID。（以相機側(cè)面標(biāo)簽為準(zhǔn)）01連接梅卡曼德相機參數(shù)設(shè)置

2、在內(nèi)參文件庫中查找將對應(yīng)相機的內(nèi)參文件。3、打開內(nèi)參文件夾，將內(nèi)參文件復(fù)制。4、將內(nèi)參文件粘“C:\mmind\MechEyeViewer\resource_runtime\camera”目錄下。完成相機內(nèi)參文件放置。目錄二相機查看器參數(shù)設(shè)置0202梅卡曼德相機查看器參數(shù)設(shè)置

1.Mech-eye啟動的原始路徑為C:\mmind\Mech-EyeViewer\Mech-EyeViewer.exe，也可使用桌面快捷方式啟動。2.打開軟件，點擊“重新掃描相機列表”在“檢測到的相機”目錄下，選擇要連接的相機在此示例中為T0110），點擊連接相機。02梅卡曼德相機查看器參數(shù)設(shè)置

3.正確連接后，在Mech_Eye軟件下方信息欄會顯示各項信息。此時單擊“單次采集”按鈕能夠顯示相機當(dāng)前拍攝圖像，單擊“連續(xù)采集”按鈕能夠?qū)崟r顯示相機圖像。此時可以通過顯示窗口下方的“2D圖、深度圖、點云”選擇框，查看不同模式下的顯示圖像。02梅卡曼德相機查看器參數(shù)設(shè)置

4.單擊“單次采集”獲得圖像，右側(cè)屬性欄參數(shù)可更改。根據(jù)圖像的質(zhì)量，修改參數(shù)，以獲得合適的點云圖像。圖像可使用深度圖，以目視能夠清晰分辨目標(biāo)零件為準(zhǔn)。由于各個場景光源環(huán)境不同，需要多次調(diào)試找到合適值，且更改使用場景需要重新測試并設(shè)置。02梅卡曼德相機查看器參數(shù)設(shè)置

5.每次修改參數(shù)，需要在“參數(shù)”菜單內(nèi)點擊“保存參數(shù)”進行保存。目錄三控制中心軟件參數(shù)設(shè)置0203控制中心軟件參數(shù)設(shè)置

1.打開控制中心Mech-Center后，顯示控制中心Mech-Center控制界面03控制中心軟件參數(shù)設(shè)置

1、點擊“控制中心ech-Center”軟件下部署設(shè)置按鈕，設(shè)置參數(shù)。2、設(shè)置偏好設(shè)置。包含打開Center時是否自動打開VIZ和Vision最小化或退出軟件、以及軟件背景色主題和語言。03控制中心軟件參數(shù)設(shè)置

3、勾選啟用Mech-VIZ設(shè)置VIZ軟件程序路徑。程序路徑是軟件安裝路徑在C:\mmind\Mech-Viz路徑下。4、在Mech-viz中勾選“自動加載當(dāng)前工程”選項。系統(tǒng)自動將勾選的VIZ工程設(shè)置為Center中自動運行的工程路徑。03控制中心軟件參數(shù)設(shè)置

5、勾選啟用Mech-VISION設(shè)置VISION軟件程序路徑。程序路徑是軟件安裝路徑在C:\mmind\Mech-ViSION路徑下6、在Mech-vison中右鍵vison程序勾選“自動加載當(dāng)前工程”選項。系統(tǒng)自動將勾選的vision工程設(shè)置為Center中自動運行的工程路徑。03控制中心軟件參數(shù)設(shè)置

7、設(shè)置EYE軟件程序路徑。程序路徑是軟件安裝路徑。在C:\mmind\Mech-EYEViewer路徑下。8、勾選啟用RobotServer。RobotServer路徑為“C:/mmind/Mech-Center/Mech_RobServ/src/main.py”。機器人類型在VIZ中設(shè)置為實際機器人類型“EFORT_ER3B_C10”設(shè)置機器人IP地址“192.168.0.103”03控制中心軟件參數(shù)設(shè)置

9、勾選“啟用Mech-Interface”。設(shè)置接口類型為Adapter適配器工程文件夾路徑為“C:/mmind/Mech-Center/src/adapter/T2005PA347”設(shè)置主機地址為“0.0.0.0”端口號為“2102”10、點擊右下角“保存”按鈕完成部署設(shè)置03.Mech-Vision軟件介紹Vision軟件界面介紹01Vision圖像處理流程02獲取圖像點云處理深度學(xué)習(xí)點云匹配位姿處理輸出結(jié)果Vision工件文件結(jié)構(gòu)03算法流程文件（圖中vision_project.vis）：用于存儲算法處理流程。工程配置文件（圖中depth_background.png，depth_roi.json，roiBoundary.json等）：描述工作環(huán)境的先驗條件，用于添加對工程的限制。相機參數(shù)文件（圖中Calibration）：用于保存相機內(nèi)外參以及標(biāo)定數(shù)據(jù)?；静僮鳌陆?打開工程04基本操作——顯示所有指令（步驟）05基本操作——指令介紹06基本操作——顯示所有指令參數(shù)07基本操作——通用屬性與控制流08步驟名稱為step命名，當(dāng)工程中有多個相同指令時，可以為每個指令命名，便于區(qū)分可視化輸出置為True時：勾選界面快捷工具欄【調(diào)試】的情況下會輸出當(dāng)前指令的圖像文本輸出置為True時：勾選界面快捷工具欄的【調(diào)試】的情況下會將輸出以json格式顯示復(fù)用輸入基于原輸入重新運行當(dāng)前功能指令無輸出時繼續(xù)執(zhí)行置為True時：當(dāng)指令輸出結(jié)果為空時，當(dāng)前指令仍會輸出觸發(fā)后續(xù)的指令重新加載所需文件置為True時：下次調(diào)用時重新加載該Step的依賴文件無輸出時觸發(fā)控制流置為True時：當(dāng)Step輸出結(jié)果為空時，會輸出控制流有輸出時觸發(fā)控制流置為True時：當(dāng)Step有正常的輸出結(jié)果時，會輸出控制流無輸出時通知工程運行狀態(tài)并退出置為True時：當(dāng)指令無輸出時通知工程運行狀態(tài)并停止運行基本操作——添加指令并連線09基本操作——運行并調(diào)試工程10基本操作——自動加載工程1104.梅卡曼德相機標(biāo)定01梅卡曼德相機標(biāo)定原理EyeInHand自動標(biāo)定02梅卡曼德相機標(biāo)定準(zhǔn)備（1）確認(rèn)Mech-Center已經(jīng)連接好機器人。（日志中顯示Robotserver連接機器人成功）03梅卡曼德相機標(biāo)定準(zhǔn)備2）將標(biāo)定板（型號為BDB-5）安裝到標(biāo)定位置，并將機器人移動到相機視野區(qū)域合適位置，然后轉(zhuǎn)到自動模式，速度設(shè)為5%-15%，并運行項目“Test_3D”中的“main”程序。04梅卡曼德相機標(biāo)定準(zhǔn)備3）打開Mech-EYE軟件(可通過Center軟件打開)能夠清晰顯示2D圖、深度圖及點云。05梅卡曼德相機標(biāo)定步驟1、打開vision軟件（可通過Center快捷打開）2、擇“相機助手”菜單欄下“相機標(biāo)定”工具3、選擇需要外參標(biāo)定文件的工程路徑。點擊“確定”按鈕進入標(biāo)定預(yù)配置界面06梅卡曼德相機標(biāo)定步驟4、選擇外參標(biāo)定文件放置目錄。開始一場新的標(biāo)定，點擊“下一步”按鈕進入外部參數(shù)標(biāo)定步驟。5、選擇標(biāo)定安裝方式為EyeinHand（視覺在機器人手上）。07梅卡曼德相機標(biāo)定步驟6、確認(rèn)Center是否連接機器人。并選擇標(biāo)定方式為多個隨機標(biāo)定板位姿。點擊“結(jié)束”按鈕完成標(biāo)定預(yù)設(shè)置。進入標(biāo)定步驟。7、第一步連接相機，選擇目錄中的對應(yīng)編號的相機。IP地址為轉(zhuǎn)控制連接的虛擬地址）。08梅卡曼德相機標(biāo)定步驟8、單次采集圖片查看對應(yīng)編號相機的2D圖和深度圖是否正常、清晰。（通過EYE調(diào)整對應(yīng)參數(shù)）正常顯示后點擊“下一步”按鈕進入“安裝標(biāo)定板”環(huán)節(jié)。9、選擇標(biāo)定板類型為“BDB-5”，在標(biāo)定板上可以查看對應(yīng)標(biāo)定板類型。點擊“確認(rèn)”按鈕完成標(biāo)定板類型選擇和安裝09梅卡曼德相機標(biāo)定步驟10、查看2D圖，移動標(biāo)定板至紅色矩形范圍內(nèi)。點擊確認(rèn)按鈕完成“安裝標(biāo)定板”步驟進入檢查“相機內(nèi)容步驟”。11、展開“編輯檢測參數(shù)”欄，單擊“開始畫輔助園”按鈕對2D圖中輔助圓輪廓進行大致繪制。10梅卡曼德相機標(biāo)定步驟12、在2D圖中尋找合適的圓圖案，首先鼠標(biāo)左鍵單擊圓心位置。13、移動鼠標(biāo)至圓的外輪廓，再次鼠標(biāo)左鍵單擊完成輔助圓繪制步驟。11梅卡曼德相機標(biāo)定步驟14、編輯檢測參數(shù)，勾選“允許缺少部分點”參數(shù)。（當(dāng)機器人運動幅度過大拍攝不到輔助圓時自動計算其他輔助圓數(shù)據(jù)）。15、單擊檢查相機內(nèi)參，檢查相機內(nèi)部參數(shù)誤差是否在標(biāo)準(zhǔn)范圍內(nèi)，點擊“OK”確認(rèn)內(nèi)參。點擊下一步進行“設(shè)置移動軌跡”步驟。12梅卡曼德相機標(biāo)定步驟16、展開“詳細(xì)設(shè)置”。相機深度方向標(biāo)定范圍和高度參數(shù)一致。為機器人標(biāo)定運動時所抬升的高度。（參數(shù)不能過高，易與機器人軀干發(fā)生碰撞）。層數(shù)為機器人在高度方向標(biāo)定時分層的次數(shù)。17、底層長度為機器人在當(dāng)前標(biāo)定開始層X方向和Y方向所移動的距離。頂層長度為機器人在提升高度后所在層X方向和Y方向所移動的距離。每層移動網(wǎng)格為機器人在每層所移動的次數(shù)13梅卡曼德相機標(biāo)定步驟18、步數(shù)為機器人旋轉(zhuǎn)一定角度所拍攝運行的次數(shù)。標(biāo)定板高度為相機到標(biāo)定板之間的距離。半徑為機器人旋轉(zhuǎn)角度的半徑距離。如圖所示為標(biāo)定板高度、半徑距離以及對應(yīng)步數(shù)之間的關(guān)系。點擊“下一步”進行“添加標(biāo)定圖像和位姿”步驟。19、勾選“同步真實機器人”，機器人名稱為“EFORT_ER3B_C10”。點擊“沿設(shè)定軌跡移動機器人并拍照”按鈕。14梅卡曼德相機標(biāo)定步驟20、檢查是否與周邊設(shè)備發(fā)生碰撞。點擊“OK”按鈕機器人自動運行所設(shè)置的位姿點。21、機器人運行拍照完成后，系統(tǒng)自動顯示采集完成并生成對應(yīng)標(biāo)定點列表。點擊“下一步”按鈕進入“計算相機參數(shù)并檢查結(jié)果”步驟。15梅卡曼德相機標(biāo)定步驟22、在計算相機參數(shù)并檢查結(jié)果界面內(nèi)點擊“計算相機參數(shù)”按鈕。系統(tǒng)自動計算點云參數(shù)。23、計算完成后系統(tǒng)顯示旋轉(zhuǎn)軸、旋轉(zhuǎn)角以及平移數(shù)據(jù)。點擊ok后自動顯示當(dāng)前點云誤差。16梅卡曼德相機標(biāo)定步驟24、檢查點云誤差，誤差在2MM內(nèi)90%內(nèi)精度較為準(zhǔn)確。25、點擊左上角“文件”菜單欄選擇保存工具。將外參文件保存至加載目錄下。05.Vision常用指令(步驟)01Vision常用指令序號指令名稱說明1從相機獲取圖像獲取彩色圖、深度圖、點云。2點云處理計算法向，刪除稀疏點和凹凸點。3提取3DROI內(nèi)的點云提取目標(biāo)范圍內(nèi)的點云，忽略其它點云和背景點云。4點云聚類根據(jù)指定規(guī)則進行點云聚類。5合并點云合并多個點云。6發(fā)送點云到外部服務(wù)將點云發(fā)送給Mech-Viz。7實例分割使用深度學(xué)習(xí)方法對一張彩色圖進行目標(biāo)檢測與識別，并生成基于檢測物體的掩膜列表。8提取掩膜中對應(yīng)的點云在點云上應(yīng)用掩膜。掩膜覆蓋的點云將被保留，掩膜以外的點云將被去除。93D粗匹配將點云模板與原始點云粗略匹配，輸出目標(biāo)物體的粗略候選位姿。103D精匹配將點云模板與原始點云精確匹配，輸出目標(biāo)物體更準(zhǔn)確的位姿。11輸出將當(dāng)前工程的結(jié)果發(fā)送給服務(wù)。功能描述：從真實相機或者虛擬相機獲取彩色圖、深度圖和點云。使用場景：一般作為視覺工程的起始輸入，通過Mech-Eye工業(yè)級3D相機或第三方相機采集數(shù)據(jù)，或者使用來自虛擬相機的仿真數(shù)據(jù)。指令——從相機獲取圖像02功能描述：計算點云法向，刪除離群點。使用場景：為原始點云增加法向并去除離群點，通常在步驟“從相機獲取圖像”、“將深度圖轉(zhuǎn)換為點云”之后使用。指令——點云處理03功能描述：在3D空間內(nèi)設(shè)置感興趣區(qū)域（ROI），區(qū)域內(nèi)的點云將被保留，區(qū)域外的點云將被去除。使用場景：使用該指令可以聚焦目標(biāo)物體的點云區(qū)域，并忽略背景點云和干擾點云。指令——提取3DROI內(nèi)的點云04功能描述：根據(jù)指定規(guī)則進行點云聚類，常用于目標(biāo)物體分割。使用場景：一般用于點云預(yù)處理，排除干擾點云。聚類方法：歐式聚類和區(qū)域生長分割。指令——點云聚類05功能描述：將多個點云合并為一個點云。使用場景：一般在“點云聚類”、“提取掩膜中對應(yīng)的點云”等步驟之后使用，將點云列表中的多個點云合并為一個點云，便于后續(xù)將點云作為一個整體來處理。指令——合并點云06功能描述：將點云發(fā)送給Mech-Viz。使用場景：將點云發(fā)送到Mech-Viz中，用于調(diào)試或查看實際效果。指令——發(fā)送點云到外部服務(wù)07功能描述：通過深度學(xué)習(xí)算法，識別出圖像中的目標(biāo)物體，并對其進行像素級別的定位。使用場景：可使用此步驟推理Mech-DLKit和Mech-DLK的模型文件。推理的表現(xiàn)與訓(xùn)練模型的數(shù)據(jù)緊密相關(guān)。指令——實例分割08功能描述：在點云上應(yīng)用掩膜。掩膜覆蓋的點云將被保留，掩膜以外的點云將被去除。使用場景：一般在實例分割后使用，提取掩膜對應(yīng)的3D點云。指令——提取掩膜中對應(yīng)的點云09功能描述：將點云模板與原始點云粗略匹配，輸出目標(biāo)物體的粗略候選位姿。使用場景：通常用于在場景點云中尋找目標(biāo)物體，并獲得其粗略候選位姿。該步驟通常與步驟“3D精匹配”組合使用。指令——3D粗匹配10功能描述：將點云模板與原始點云精確匹配，輸出目標(biāo)物體更準(zhǔn)確的位姿。使用場景：此步驟在“3D粗匹配”輸出的初始候選位姿基礎(chǔ)上，進行更精確的匹配，輸出目標(biāo)物體更準(zhǔn)確的位姿（可作為抓取點）。指令——3D精匹配11功能描述：將當(dāng)前工程的結(jié)果發(fā)給后臺服務(wù)。使用場景：將各類視覺工程結(jié)果通過服務(wù)發(fā)送至Mech-Viz或Mech-Center。指令——輸出1206.Vision常用指令(步驟)

（二）01Vision常用指令序號指令名稱說明1驗證點云是否符合要求使用設(shè)定的規(guī)則判斷點云是否符合要求。2去除被壓疊的物體根據(jù)用戶指定的規(guī)則，去除被壓疊物體的位姿。3位姿變換將位姿從一個坐標(biāo)系變換到其他坐標(biāo)系，或依據(jù)參考位姿在自身坐標(biāo)系內(nèi)變換。43D位姿排序根據(jù)指定的規(guī)則對3D位姿進行排序。5調(diào)整位姿使指定軸與參考方向夾角最小圍繞位姿的某一個方向軸，將另一個軸旋轉(zhuǎn)到與參考方向夾角最小的方向。6沿指定方向移動位姿平移輸入的位姿。7限制輸出的個數(shù)保留數(shù)據(jù)列表中的前N項并輸出。第N項之后的項將被丟棄。8過濾通用的列表過濾器。將輸入的列表元素與True/False布爾值列表元素一一對應(yīng)，輸出True對應(yīng)的列表數(shù)據(jù)。9判斷是否為所需的標(biāo)簽將每個原始標(biāo)簽與參考標(biāo)簽列表作對比，對比的結(jié)果以布爾值列表形式輸出。如果一個原始標(biāo)簽在參考標(biāo)簽列表中出現(xiàn)，那么其對應(yīng)輸出為True。10縮放2DROI內(nèi)的圖像將圖像的感興趣區(qū)域縮放至指定尺寸。11還原縮放后ROI內(nèi)的圖像使用此步驟可以把輸入圖像的大小按照縮放參數(shù)還原，并放入指定尺寸的黑色背景圖中。功能描述：使用設(shè)定的規(guī)則判斷點云是否符合要求。使用場景：通常根據(jù)點云點數(shù)量判斷點云是否為所需點云（對應(yīng)將參數(shù)“過濾器類型”設(shè)置為“CloudCapacityFilter”）。驗證結(jié)束后可使用步驟“過濾”，根據(jù)驗證結(jié)果濾除不符要求的點云。指令——驗證點云是否符合要求02功能描述：根據(jù)用戶指定的規(guī)則，去除被壓疊物體的位姿。使用場景：通常用于步驟“3D精匹配”之后，根據(jù)不同的需求過濾匹配出的位姿，達(dá)到去除壓疊物體位姿的目的。指令——去除被壓疊的物體03功能描述：將位姿從一個坐標(biāo)系變換到其他坐標(biāo)系，或依據(jù)參考位姿在自身坐標(biāo)系內(nèi)變換。使用場景：通常用于位姿在相機坐標(biāo)系與機器人坐標(biāo)系中的相互變換。指令——位姿變換04功能描述：根據(jù)指定的規(guī)則對3D位姿進行排序。使用場景：將其他步驟中輸出的位姿按照需要的規(guī)則進行排序，用于后續(xù)的位姿處理或抓取策略。指令——3D位姿排序05功能描述：圍繞位姿的某一個方向軸，將另一個軸旋轉(zhuǎn)到與參考方向夾角最小的方向。使用場景：通常用于各類需旋轉(zhuǎn)位姿的場景。指令——調(diào)整位姿使指定軸與參考方向夾角最小06功能描述：平移輸入的位姿。使用場景：根據(jù)用戶指定的方向和距離平移位姿。指令——沿指定方向移動位姿07功能描述：保留數(shù)據(jù)列表中的前N項并輸出。第N項之后的項將被丟棄。使用場景：提取列表前N項，N值可根據(jù)需求在參數(shù)中設(shè)置。指令——限制輸出的個數(shù)08功能描述：通用的列表過濾器。將輸入的列表元素與True/False布爾值列表元素一一對應(yīng)，輸出True對應(yīng)的列表數(shù)據(jù)。使用場景：該步驟一般與“判斷是否為所需的標(biāo)簽”、“根據(jù)與參考方向的夾角判斷位姿是否有效”、“驗證點云是否符合要求”等輸出布爾值的步驟一起使用。指令——過濾09功能描述：將每個原始標(biāo)簽與參考標(biāo)簽列表作對比，對比的結(jié)果以布爾值列表形式輸出。如果一個原始標(biāo)簽在參考標(biāo)簽列表中出現(xiàn)，那么其對應(yīng)輸出為True。使用場景：一般與“過濾”步驟連用，此步驟輸出的布爾值列表將作為過濾的依據(jù)。指令——判斷是否為所需的標(biāo)簽10功能描述：將圖像的感興趣區(qū)域縮放至指定尺寸。使用場景：用于深度學(xué)習(xí)相關(guān)步驟的圖像預(yù)處理階段，通常會與深度學(xué)習(xí)相關(guān)步驟、“還原縮放后ROI內(nèi)的圖像”連用。指令——縮放2DROI內(nèi)的圖像11功能描述：使用此步驟可以把輸入圖像的大小按照縮放參數(shù)還原，并放入指定尺寸的黑色背景圖中。使用場景：一般與步驟“縮放2DROI內(nèi)的圖像”和深度學(xué)習(xí)相關(guān)步驟連用。指令——還原縮放后ROI內(nèi)的圖像1207.梅卡曼德相機深度學(xué)習(xí)01深度學(xué)習(xí)技術(shù)

深度學(xué)習(xí)需要大量的標(biāo)簽化數(shù)據(jù)。例如，無人駕駛汽車開發(fā)需要數(shù)百萬張圖片和數(shù)千小時的視頻。深度學(xué)習(xí)需要巨大的計算能力。具有并行架構(gòu)的高性能GPU對于深度學(xué)習(xí)很有效。與集群或云計算相結(jié)合時，開發(fā)團隊能夠?qū)⑸疃葘W(xué)習(xí)網(wǎng)絡(luò)的訓(xùn)練時間從數(shù)周縮短至數(shù)小時或更少。02深度學(xué)習(xí)技術(shù)應(yīng)用

1、無人駕駛汽車2、圖片識別及分類3、機器翻譯4、目標(biāo)識