機(jī)器人 三維視覺(jué)引導(dǎo)系統(tǒng) 技術(shù)要求 征求意見(jiàn)稿

3GB/TXXXXX—XXXX機(jī)器人三維視覺(jué)引導(dǎo)系統(tǒng)通用技術(shù)要求本文件規(guī)定了機(jī)器人三維視覺(jué)引導(dǎo)系統(tǒng)的組成、功能要求和性能要求。本文件適用于指導(dǎo)企業(yè)、高校、科研院所等相關(guān)機(jī)構(gòu)開(kāi)展機(jī)器人三維視覺(jué)引導(dǎo)系統(tǒng)的研發(fā)與應(yīng)用。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB11291.1-2011工業(yè)環(huán)境用機(jī)器人安全要求第1部分：機(jī)器人GB/T33863.8-2017OPC統(tǒng)一架構(gòu)第8部分：數(shù)據(jù)訪問(wèn)GB/T39005-2020工業(yè)機(jī)器人視覺(jué)集成系統(tǒng)通用技術(shù)要求GB/T40659—2021智能制造機(jī)器視覺(jué)在線(xiàn)檢測(cè)系統(tǒng)通用要求T/SAITA001—2021人工智能計(jì)算機(jī)視覺(jué)系統(tǒng)測(cè)評(píng)規(guī)范3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1三維視覺(jué)引導(dǎo)系統(tǒng)3Dvision-guidedsystem利用三維視覺(jué)技術(shù)引導(dǎo)機(jī)器人實(shí)現(xiàn)實(shí)時(shí)任務(wù)的系統(tǒng)。3.2機(jī)器人robot具有兩個(gè)或兩個(gè)以上可編程的軸，以及一定程度的自主能力，可在其環(huán)境內(nèi)運(yùn)動(dòng)以執(zhí)行預(yù)期任務(wù)的執(zhí)行機(jī)構(gòu)。[來(lái)源：GB/T12643—2013，2.6，有修改]3.3機(jī)械臂roboticarm具有模仿人類(lèi)手臂功能并可完成各種作業(yè)的自動(dòng)控制設(shè)備，通常具有多關(guān)節(jié)連接，可在平面或三維空間進(jìn)行運(yùn)動(dòng)。4GB/TXXXXX—XXXX3.4末端執(zhí)行器endeffector為使機(jī)器人完成其任務(wù)而專(zhuān)門(mén)設(shè)計(jì)并安裝在機(jī)械接口處的裝置。[來(lái)源：GB/T12643—2013，3.11]3.5準(zhǔn)確率accuracy對(duì)于給定的數(shù)據(jù)集，正確識(shí)別的樣本數(shù)占全部樣本數(shù)的比率。3.6成功率successrate任務(wù)執(zhí)行成功的次數(shù)占任務(wù)執(zhí)行總次數(shù)的比率。3.7真實(shí)度trueness測(cè)試結(jié)果的預(yù)期值與真實(shí)值之間的接近程度。3.8精確度precision在規(guī)定條件下，獨(dú)立測(cè)試結(jié)果之間的一致性。其取決于隨機(jī)誤差的分布，與真實(shí)值或指定值無(wú)關(guān)。通常使用測(cè)試結(jié)果的標(biāo)準(zhǔn)偏差來(lái)衡量。3.9精度accuracy測(cè)試結(jié)果與真實(shí)值的接近程度。精度用在一組測(cè)試中，包括隨機(jī)誤差，以及共同的系統(tǒng)誤差和偏差成分。4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。HS:上位系統(tǒng)(HostSystem)DMS:數(shù)據(jù)管理系統(tǒng)(DatabaseManagementSystem)PLC:可編程邏輯控制器(ProgrammableLogicController)DNN:深度神經(jīng)網(wǎng)絡(luò)(DeepNeuralNetworks)SVM:支持向量機(jī)(SupportVectorMachine)WLAN:無(wú)線(xiàn)局域網(wǎng)(WirelessLocalAreaNetworks)5三維視覺(jué)引導(dǎo)系統(tǒng)組成5.1系統(tǒng)組成三維視覺(jué)引導(dǎo)系統(tǒng)包括設(shè)備層、控制層和車(chē)間層，系統(tǒng)組成見(jiàn)圖1。5GB/TXXXXX—XXXX圖1三維視覺(jué)引導(dǎo)系統(tǒng)組成a)設(shè)備層包括接受相關(guān)控制指令并反饋三維視覺(jué)引導(dǎo)系統(tǒng)的各類(lèi)執(zhí)行設(shè)備等；b)控制層包括三維視覺(jué)引導(dǎo)系統(tǒng)的參數(shù)配置模塊、視覺(jué)輸入模塊、視覺(jué)處理模塊、視覺(jué)輸出模塊、存儲(chǔ)模塊、機(jī)器人控制模塊和機(jī)器人規(guī)劃模塊；c)車(chē)間層包括三維視覺(jué)引導(dǎo)系統(tǒng)與HS、PLC、DMS等車(chē)間管理系統(tǒng)的信息通信模塊。5.2任務(wù)實(shí)現(xiàn)流程三維視覺(jué)引導(dǎo)系統(tǒng)的任務(wù)實(shí)現(xiàn)流程，見(jiàn)圖2：a)參數(shù)配置模塊接收任務(wù)管理系統(tǒng)中的各項(xiàng)任務(wù)要求，并將相應(yīng)參數(shù)配置到視覺(jué)輸入模塊、視覺(jué)處理模塊、視覺(jué)輸出模塊、機(jī)器人規(guī)劃模塊和機(jī)器人控制模塊中；b)視覺(jué)輸入模塊從執(zhí)行設(shè)備中獲取任務(wù)場(chǎng)景的三維圖像信息，將其轉(zhuǎn)化為一組可被計(jì)算機(jī)處理的三維圖像數(shù)據(jù)；c)視覺(jué)處理模塊接收三維圖像數(shù)據(jù)，通過(guò)機(jī)器學(xué)習(xí)或者深度學(xué)習(xí)等方法對(duì)圖像數(shù)據(jù)進(jìn)行識(shí)別處理，輸出識(shí)別結(jié)果；d)視覺(jué)輸出模塊按照特定形式和接口要求將識(shí)別結(jié)果及相關(guān)信息分別傳輸至執(zhí)行設(shè)備；e)存儲(chǔ)模塊將識(shí)別結(jié)果和相關(guān)信息數(shù)據(jù)統(tǒng)一存儲(chǔ)在本地或云端數(shù)據(jù)庫(kù)中，滿(mǎn)足識(shí)別數(shù)據(jù)管理、查詢(xún)等需求，同時(shí)為視覺(jué)處理模塊提供樣本數(shù)據(jù)；f)機(jī)器人規(guī)劃模塊接收識(shí)別結(jié)果及相關(guān)信息，規(guī)劃?rùn)C(jī)器人運(yùn)動(dòng)相關(guān)信息并傳輸至機(jī)器人控制模塊；g)機(jī)器人控制模塊接收機(jī)器人運(yùn)動(dòng)相關(guān)信息并轉(zhuǎn)化為機(jī)器人控制指令，按照特定形式和接口要求將6GB/TXXXXX—XXXX指令信息傳輸至執(zhí)行設(shè)備；h)執(zhí)行設(shè)備根據(jù)識(shí)別結(jié)果執(zhí)行視覺(jué)引導(dǎo)任務(wù)，并反饋執(zhí)行信息給車(chē)間管理系統(tǒng)和視覺(jué)輸入模塊，形成信息流閉環(huán)。圖2三維視覺(jué)系統(tǒng)任務(wù)實(shí)現(xiàn)流程5.3視覺(jué)輸入模塊5.3.1組成三維視覺(jué)引導(dǎo)系統(tǒng)的視覺(jué)輸入模塊主要包括成像系統(tǒng)和三維圖像傳感器。5.3.2成像系統(tǒng)成像系統(tǒng)由三維圖像傳感器組成，用于將任務(wù)場(chǎng)景轉(zhuǎn)換為三維圖像信號(hào)。5.3.3三維圖像傳感器具備三維建模和重建能力的設(shè)備。注：三維圖像傳感器包括立體相機(jī)、結(jié)構(gòu)光相機(jī)5.3.4基本要求視覺(jué)輸入模塊在采集圖像數(shù)據(jù)時(shí)應(yīng)包括以下要求：a)環(huán)境要求包括溫度、濕度、清潔等級(jí)、照明等。7GB/TXXXXX—XXXXb)識(shí)別要求包括工作距離、生產(chǎn)線(xiàn)節(jié)拍時(shí)間、識(shí)別對(duì)象變化（尺寸、顏色、反射度等）、上位系統(tǒng)狀態(tài)等。c)采集要求包括三維圖像的質(zhì)量（分辨率、精度、噪音等）和數(shù)量。5.4視覺(jué)處理模塊5.4.1組成三維視覺(jué)引導(dǎo)系統(tǒng)的視覺(jué)處理模塊采用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的方法實(shí)現(xiàn)圖像檢測(cè)處理，包括三維圖像預(yù)處理、模型訓(xùn)練和結(jié)果識(shí)別。5.4.2三維圖像預(yù)處理三維圖像預(yù)處理是指對(duì)采集的任務(wù)場(chǎng)景圖像以及存儲(chǔ)模塊中樣本圖像進(jìn)行初步處理，優(yōu)化和改善對(duì)識(shí)別有影響的三維圖像質(zhì)量指標(biāo)，圖像預(yù)處理中的優(yōu)化和改善算法包括點(diǎn)云化、幾何變化、歸一化、平滑和去噪等。5.4.3模型訓(xùn)練模型訓(xùn)練是指將完成圖像預(yù)處理的樣本圖像和對(duì)應(yīng)識(shí)別結(jié)果標(biāo)簽組成訓(xùn)練樣本集，輸入到SVM、DNN等機(jī)器學(xué)習(xí)或深度學(xué)習(xí)模型中進(jìn)行參數(shù)訓(xùn)練，生成識(shí)別數(shù)學(xué)模型。5.4.4結(jié)果識(shí)別結(jié)果識(shí)別是指將完成圖像預(yù)處理的任務(wù)對(duì)象圖像輸入到訓(xùn)練好的識(shí)別數(shù)學(xué)模型中進(jìn)行識(shí)別，輸出識(shí)別結(jié)果。5.4.5基本要求視覺(jué)處理模塊在進(jìn)行圖像識(shí)別處理時(shí)應(yīng)滿(mǎn)足以下要求：a)處理速度滿(mǎn)足生產(chǎn)系統(tǒng)節(jié)拍要求，并與資源消耗和識(shí)別結(jié)果相適應(yīng)；b)處理過(guò)程滿(mǎn)足硬件負(fù)載，并與三維圖像采集、輸入、輸出的資源占用相適應(yīng)；c)處理結(jié)果滿(mǎn)足用戶(hù)設(shè)定的準(zhǔn)確率要求。5.5視覺(jué)輸出模塊5.5.1輸出方式三維視覺(jué)引導(dǎo)系統(tǒng)的視覺(jué)輸出模塊將視覺(jué)處理模塊的識(shí)別結(jié)果通過(guò)外部系統(tǒng)接口傳給機(jī)器人規(guī)劃模塊，輸出的方式包括有線(xiàn)傳輸（以太網(wǎng)、現(xiàn)場(chǎng)總線(xiàn)等）和無(wú)線(xiàn)傳輸（WLAN、4G、5G等）。5.5.2基本要求8GB/TXXXXX—XXXX視覺(jué)輸出模塊應(yīng)滿(mǎn)足以下要求：a)輸出數(shù)據(jù)的格式滿(mǎn)足與機(jī)器人規(guī)劃模塊和存儲(chǔ)模塊設(shè)備相適應(yīng)的編碼和存儲(chǔ)要求；b)輸出形式滿(mǎn)足機(jī)器人規(guī)劃模塊相適應(yīng)的接口要求。5.6存儲(chǔ)模塊5.6.1組成三維視覺(jué)引導(dǎo)系統(tǒng)的存儲(chǔ)模塊采用數(shù)據(jù)庫(kù)等技術(shù)對(duì)系統(tǒng)輸入、中間數(shù)據(jù)、日志進(jìn)行記錄和存儲(chǔ)，方便回溯查看、離線(xiàn)復(fù)現(xiàn)，包括日志系統(tǒng)、數(shù)據(jù)備份。5.6.2日志系統(tǒng)三維視覺(jué)引導(dǎo)系統(tǒng)執(zhí)行任務(wù)時(shí)，會(huì)接收、處理、發(fā)送大量數(shù)據(jù)，日志系統(tǒng)需要將關(guān)鍵的交互信息進(jìn)行記錄、存儲(chǔ)，提供日志查詢(xún)服務(wù)。5.6.3數(shù)據(jù)備份系統(tǒng)處理的三維圖像、外部輸入等信息需要被保存下來(lái)，以滿(mǎn)足客戶(hù)再現(xiàn)、恢復(fù)生產(chǎn)狀態(tài)的需求。5.6.4基本要求存儲(chǔ)模塊應(yīng)滿(mǎn)足以下要求：a)資源消耗與生產(chǎn)設(shè)備相適應(yīng)；b)具備冷熱備份和拓展能力。5.7機(jī)器人規(guī)劃模塊5.7.1組成三維視覺(jué)引導(dǎo)系統(tǒng)的機(jī)器人規(guī)劃模塊根據(jù)視覺(jué)模塊的輸出結(jié)果對(duì)機(jī)器人的操作進(jìn)行規(guī)劃，包括運(yùn)動(dòng)軌跡規(guī)劃、碰撞檢測(cè)和最優(yōu)點(diǎn)選取。5.7.2運(yùn)動(dòng)軌跡規(guī)劃運(yùn)動(dòng)軌跡規(guī)劃是指在執(zhí)行任務(wù)時(shí)，機(jī)械臂末端執(zhí)行器行走的曲線(xiàn)軌跡，或是機(jī)械臂在運(yùn)動(dòng)過(guò)程中的位移、速度和加速度的曲線(xiàn)輪廓。5.7.3碰撞檢測(cè)碰撞檢測(cè)是指判斷機(jī)械臂及末端執(zhí)行器在運(yùn)動(dòng)過(guò)程中是否會(huì)和障礙物或自身相交，通過(guò)計(jì)算交點(diǎn)和預(yù)測(cè)相交時(shí)刻來(lái)避免發(fā)生碰撞。9GB/TXXXXX—XXXX5.7.4最優(yōu)點(diǎn)選取最優(yōu)點(diǎn)選取是指對(duì)目標(biāo)點(diǎn)進(jìn)行選取，以滿(mǎn)足機(jī)械臂行程最短以及關(guān)節(jié)角旋轉(zhuǎn)最少等優(yōu)化要求。5.7.5基本要求機(jī)器人規(guī)劃模塊在進(jìn)行機(jī)器人操作規(guī)劃時(shí)應(yīng)滿(mǎn)足以下要求：a)處理速度滿(mǎn)足生產(chǎn)系統(tǒng)節(jié)拍要求，并與資源消耗和識(shí)別結(jié)果相適應(yīng)；b)處理過(guò)程滿(mǎn)足硬件負(fù)載，并與輸入、輸出的資源占用相適應(yīng)。5.8機(jī)器人控制模塊5.8.1通信方式根據(jù)機(jī)器人規(guī)劃模塊的結(jié)果，機(jī)器人控制模塊對(duì)機(jī)器人發(fā)送控制指令，通信方式包括主控通信和接5.8.2主控通信主控通信是指通過(guò)燒錄監(jiān)控程序或遠(yuǎn)程控制方式與機(jī)器人組成主從通信控制模型。5.8.3接口通信接口通信是指基于標(biāo)準(zhǔn)的通信協(xié)議(TCP/IP、EtherNet/IP等)進(jìn)行通信。5.8.4基本要求機(jī)器人控制模塊應(yīng)滿(mǎn)足以下要求：a)控制速度滿(mǎn)足生產(chǎn)系統(tǒng)節(jié)拍要求，并于資源消耗和規(guī)劃指令相適應(yīng)；b)能控制主要的機(jī)器人品牌；c)控制過(guò)程滿(mǎn)足硬件負(fù)載，并與輸入、輸出的資源占用相適應(yīng)。6系統(tǒng)功能要求6.1外部控制三維視覺(jué)引導(dǎo)系統(tǒng)應(yīng)實(shí)現(xiàn)以下功能的外部控制：a)開(kāi)始/停止：執(zhí)行系統(tǒng)啟動(dòng)或終止；b)暫停/恢復(fù)：執(zhí)行系統(tǒng)暫停及暫停后恢復(fù)；c)自動(dòng)/手動(dòng)：切換系統(tǒng)自動(dòng)和手動(dòng)模式；d)關(guān)機(jī)：關(guān)閉系統(tǒng)。GB/TXXXXX—XXXX6.2操作模式6.2.1單機(jī)操作模式單機(jī)操作模式是指使用內(nèi)置程序、控制菜單或按鈕控制，根據(jù)需要更改系統(tǒng)的操作參數(shù)，系統(tǒng)可獨(dú)立執(zhí)行所有操作。在此模式下，其他系統(tǒng)或控制器不可控制三維視覺(jué)系統(tǒng)的在線(xiàn)引導(dǎo)過(guò)程。6.2.2在線(xiàn)操作模式在線(xiàn)操作模式是指在線(xiàn)遠(yuǎn)程控制。在此模式下，其他系統(tǒng)可遠(yuǎn)程監(jiān)控和維護(hù)三維視覺(jué)引導(dǎo)系統(tǒng)。6.3系統(tǒng)配置三維視覺(jué)引導(dǎo)系統(tǒng)應(yīng)提供配置管理菜單或編程工具，供用戶(hù)按照各類(lèi)用途配置系統(tǒng)功能或更改系統(tǒng)性能。以下情況應(yīng)重新配置三維視覺(jué)引導(dǎo)系統(tǒng)：a)計(jì)劃新建生產(chǎn)線(xiàn)時(shí)，評(píng)估三維視覺(jué)引導(dǎo)系統(tǒng)的任務(wù)執(zhí)行周期與生產(chǎn)周期的匹配度；b)計(jì)劃全新任務(wù)場(chǎng)景時(shí)，包括不限于更換三維傳感器、變更視覺(jué)識(shí)別目標(biāo)或視覺(jué)識(shí)別方法。6.4仿真功能通過(guò)配置工作流程、碰撞檢測(cè)，控制仿真機(jī)器人運(yùn)行，確認(rèn)規(guī)劃的路徑是否有碰撞、位置不可達(dá)等問(wèn)題。可在規(guī)劃歷史與日志中查看相關(guān)信息，快速定位問(wèn)題。根據(jù)報(bào)錯(cuò)信息優(yōu)化工程資源配置、工作流程和碰撞設(shè)置。6.5系統(tǒng)精度自校正針對(duì)視覺(jué)系統(tǒng)精度漂移的問(wèn)題，配置系統(tǒng)精度自校正功能，通過(guò)部署流程，自動(dòng)校正系統(tǒng)漂移。6.6系統(tǒng)集成三維視覺(jué)引導(dǎo)系統(tǒng)需直接或間接與其他現(xiàn)場(chǎng)設(shè)備、控制系統(tǒng)、車(chē)間管理系統(tǒng)等進(jìn)行通信，應(yīng)提供API或符合OPCUA規(guī)范，接口數(shù)據(jù)格式滿(mǎn)足GB/T33863.8-2017標(biāo)準(zhǔn)要求。6.7系統(tǒng)維護(hù)6.7.1系統(tǒng)啟動(dòng)診斷系統(tǒng)啟動(dòng)診斷是指通電后，使用特定的應(yīng)用程序執(zhí)行全面運(yùn)行診斷。系統(tǒng)啟動(dòng)診斷應(yīng)自動(dòng)提示錯(cuò)誤代碼或錯(cuò)誤消息，以便進(jìn)行故障定位。只有當(dāng)系統(tǒng)啟動(dòng)診斷項(xiàng)目都正常通過(guò)后，系統(tǒng)才能進(jìn)入正常運(yùn)行準(zhǔn)備狀態(tài)。6.7.2實(shí)時(shí)狀態(tài)顯示GB/TXXXXX—XXXX系統(tǒng)正常工作時(shí)，對(duì)系統(tǒng)本身及外部輸入/輸出設(shè)備狀態(tài)進(jìn)行自動(dòng)采集、檢測(cè)，并顯示有關(guān)信息和故障。6.7.3系統(tǒng)更新系統(tǒng)具備離線(xiàn)或遠(yuǎn)程更新版本的能力。7系統(tǒng)性能要求7.1感知能力三維視覺(jué)引導(dǎo)系統(tǒng)的三維感知能力應(yīng)滿(mǎn)足用戶(hù)生產(chǎn)作業(yè)的實(shí)際要求和可靠性要求，技術(shù)指標(biāo)宜滿(mǎn)足以下要求：a)采集幀率:三維圖像傳感器三維成像幀率不低于1Hz;b)采集分辨率:三維圖像傳感器輸出的三維點(diǎn)數(shù)不低于30萬(wàn)點(diǎn);c)測(cè)量精度:三維圖像傳感器輸出的三維點(diǎn)在工作空間的絕對(duì)精度不低于3mm。7.2視覺(jué)處理三維視覺(jué)引導(dǎo)系統(tǒng)應(yīng)正確且及時(shí)完成視覺(jué)處理任務(wù)，技術(shù)指標(biāo)宜滿(mǎn)足以下要求：a)視覺(jué)運(yùn)算速度:三維視覺(jué)的計(jì)算量大，視覺(jué)運(yùn)行速度應(yīng)符合實(shí)際生產(chǎn)要求，單次視覺(jué)識(shí)別不低于3s;b)重復(fù)識(shí)別精度:三維視覺(jué)引導(dǎo)系統(tǒng)覆蓋的場(chǎng)景多樣，視覺(jué)重復(fù)精度應(yīng)符合實(shí)際生產(chǎn)要求，視覺(jué)處理模塊的重復(fù)精度不低于0.2mm;c)引導(dǎo)定位精度:三維視覺(jué)引導(dǎo)系統(tǒng)識(shí)別到目標(biāo)對(duì)象的特征值的臨近度和機(jī)器人操作規(guī)劃的精確度應(yīng)滿(mǎn)足用戶(hù)要求。7.3安全性三維視覺(jué)引導(dǎo)系統(tǒng)應(yīng)符合設(shè)備安全性和信息安全性的要求。機(jī)器人的使用應(yīng)符合GB11291.1-20117.4可靠性衡量標(biāo)準(zhǔn)可包括平均失效間工作時(shí)間(MTBF)、故障平均修復(fù)時(shí)間(MTTR)、可用性和使用壽命來(lái)衡量,具體數(shù)值和測(cè)試方法由產(chǎn)品標(biāo)準(zhǔn)規(guī)定。7.5適應(yīng)性GB/TXXXXX—XXXX系統(tǒng)應(yīng)適應(yīng)外部需求的變化，可調(diào)節(jié)參數(shù)、配置以滿(mǎn)足用戶(hù)需求。變化包括被引導(dǎo)對(duì)象的物體特性造成的約束，如質(zhì)量、體積、溫度等因素。當(dāng)目標(biāo)任務(wù)場(chǎng)景發(fā)生異常變化時(shí)，系統(tǒng)可自行學(xué)習(xí)并識(shí)別出異常情況。GB/TXXXXX—XXXX參考文獻(xiàn)[1]GB/T39005-2020工業(yè)機(jī)器人視覺(jué)集成系統(tǒng)通用技術(shù)要求[2]GB/T40659—2021智能制造機(jī)器視覺(jué)在線(xiàn)檢測(cè)系統(tǒng)通用要求[3]GB/