《機(jī)器人基礎(chǔ)與數(shù)字孿生系統(tǒng)》 課件第7章 人機(jī)共融的數(shù)字孿生系統(tǒng)

第7章人機(jī)共融的數(shù)字孿生系統(tǒng)【7.1結(jié)構(gòu)化環(huán)境建模】【7.1.1人-機(jī)孿生系統(tǒng)架構(gòu)】

基于數(shù)字孿生五維模型實(shí)現(xiàn)協(xié)作機(jī)器人狀態(tài)監(jiān)測(cè)系統(tǒng)的構(gòu)建。可以實(shí)現(xiàn)物理實(shí)體到虛擬實(shí)體的雙向通訊，將實(shí)時(shí)的人機(jī)最小安全距離對(duì)應(yīng)不同安全等級(jí)，給機(jī)器人實(shí)體發(fā)送控制信號(hào)從而實(shí)現(xiàn)不同的控制策略，以虛擬實(shí)體控制真實(shí)的物理實(shí)體。(1)數(shù)據(jù)層：機(jī)械臂的多源監(jiān)測(cè)數(shù)據(jù)均通過(guò)MySQL數(shù)據(jù)庫(kù)存儲(chǔ)至云端。引入Redis緩存數(shù)據(jù)庫(kù)，提高處理效率，為安全性保障提供數(shù)據(jù)基礎(chǔ)。(2)虛擬模型層：保持機(jī)械臂的物理實(shí)體與機(jī)械臂數(shù)字孿生模型的高度一致性。(3)連接層：在數(shù)據(jù)通訊技術(shù)方面，主要采用串口通訊和TCP/IP協(xié)議簇通訊。(4)功能服務(wù)層：主要實(shí)現(xiàn)數(shù)據(jù)可視化、安全狀態(tài)評(píng)估和虛擬模型的運(yùn)動(dòng)跟隨?！?.1結(jié)構(gòu)化環(huán)境建模】【7.1.2機(jī)械臂虛擬模型制作與簡(jiǎn)化】

定義模型父子關(guān)系：為了讓數(shù)字模型滿足機(jī)器人運(yùn)動(dòng)學(xué)，實(shí)時(shí)呈現(xiàn)機(jī)器人實(shí)體的位姿，按照物理實(shí)體各自由度定義模型父子關(guān)系，按自由度劃分模型，通過(guò)對(duì)機(jī)器人各關(guān)節(jié)變量的輸入，對(duì)每一個(gè)自由度單獨(dú)控制?！?.1結(jié)構(gòu)化環(huán)境建模】【7.1.2機(jī)械臂虛擬模型制作與簡(jiǎn)化】

模型簡(jiǎn)化優(yōu)化算法：按照一定的手段對(duì)模型中的邊折疊代價(jià)進(jìn)行衡量，折疊代價(jià)越小的邊簡(jiǎn)化后的模型越接近原模型。采用優(yōu)化的基于二次誤差矩陣的邊折疊算法對(duì)數(shù)字孿生模型進(jìn)行簡(jiǎn)化，算法步驟如右圖所示。【7.1結(jié)構(gòu)化環(huán)境建?！俊?.1.2機(jī)械臂虛擬模型制作與簡(jiǎn)化】

模型簡(jiǎn)化優(yōu)化算法：對(duì)兔子模型和機(jī)器人模型進(jìn)行簡(jiǎn)化，對(duì)比原算法和優(yōu)化算法：【7.1結(jié)構(gòu)化環(huán)境建?！俊?.1.

3機(jī)械臂虛實(shí)模型的快速映射】

模型簡(jiǎn)化優(yōu)化算法：

DH坐標(biāo)系可視作機(jī)械臂的骨骼模型，在已知各連桿幾何尺寸的前提下，只需要實(shí)時(shí)測(cè)量機(jī)械臂實(shí)體6個(gè)關(guān)節(jié)角的位置和速度，即可實(shí)現(xiàn)機(jī)械臂虛實(shí)模型的快速映射。以右圖機(jī)械臂作為建模實(shí)例。建立如右圖所示的DH坐標(biāo)系。利用機(jī)械臂各關(guān)節(jié)內(nèi)置的碼盤(pán)，能實(shí)時(shí)測(cè)量各關(guān)節(jié)的位置和速度，由此更新機(jī)械臂數(shù)字孿生模型的空間位置和速度?！?.1結(jié)構(gòu)化環(huán)境建?！俊?.1.4模型與數(shù)據(jù)融合的虛實(shí)運(yùn)動(dòng)跟隨】

模型與數(shù)據(jù)融合：控制模型運(yùn)動(dòng)有兩種實(shí)現(xiàn)方式，一種是使用菜單欄工具通過(guò)鼠標(biāo)控制模型運(yùn)動(dòng)，一般在調(diào)試時(shí)使用，可擴(kuò)展性低；另一種是使用腳本，通過(guò)運(yùn)行腳本控制模型，這種方式相對(duì)鼠標(biāo)控制較為復(fù)雜，需要手動(dòng)編寫(xiě)腳本，但是優(yōu)點(diǎn)在于可擴(kuò)展性強(qiáng)，能夠?qū)崿F(xiàn)更復(fù)雜的運(yùn)行控制?！?.2非結(jié)構(gòu)化環(huán)境的視覺(jué)重建】【7.2.1人體骨骼模型的處理】

人體骨骼模型識(shí)別：使用Azure-Kinect深度相機(jī)，獲取關(guān)鍵點(diǎn)信息。將已有的SDK移植到Unity的C#腳本中，并進(jìn)行相應(yīng)的模型構(gòu)建，以三維形式來(lái)顯示獲得的骨骼模型數(shù)據(jù)?！?.2非結(jié)構(gòu)化環(huán)境的視覺(jué)重建】【7.2.1人體骨骼模型的處理】

骨骼關(guān)鍵點(diǎn)數(shù)據(jù)處理：采用了霍爾特雙參數(shù)指數(shù)平滑算法消除關(guān)鍵點(diǎn)抖動(dòng)，且以骨骼長(zhǎng)度為約束條件篩選人體骨骼關(guān)鍵點(diǎn)坐標(biāo)，極大提高了AzureKinect相機(jī)獲取關(guān)鍵點(diǎn)空間位置的準(zhǔn)確率，進(jìn)而提升了人機(jī)協(xié)作過(guò)程中的安全感知精度。平滑效果如圖所示?！?.2非結(jié)構(gòu)化環(huán)境的視覺(jué)重建】【7.2.1人體骨骼模型的處理】

實(shí)現(xiàn)動(dòng)作跟蹤效果【7.2非結(jié)構(gòu)化環(huán)境的視覺(jué)重建】【7.2.2虛擬現(xiàn)實(shí)交互系統(tǒng)】

VR場(chǎng)景：選用的虛擬現(xiàn)實(shí)設(shè)備是HTC廠家的HTCVIVECosmos系列，設(shè)備由一個(gè)頭戴式設(shè)備和兩個(gè)操作手柄組成。

瞬移功能是通過(guò)獲取瞬移點(diǎn)的坐標(biāo)，然后將角色的坐標(biāo)轉(zhuǎn)換為瞬移點(diǎn)的坐標(biāo)來(lái)實(shí)現(xiàn)的。未接觸到按鈕時(shí)按鈕呈現(xiàn)白色，當(dāng)接觸之后呈現(xiàn)黃色，按下的瞬間按鈕會(huì)呈現(xiàn)紅色。【7.3人-機(jī)安全交互關(guān)鍵技術(shù)】【7.3.1安全感知算法】

最小安全距離感知：針對(duì)數(shù)字孿生環(huán)境中的機(jī)器人孿生體和操作者孿生體，采用基于三維偏移量的最小安全距離實(shí)時(shí)感知算法，能實(shí)時(shí)快速地計(jì)算人機(jī)協(xié)作中的最小安全距離。機(jī)械臂關(guān)節(jié)段的定義關(guān)系人體骨骼關(guān)節(jié)的定義關(guān)系人機(jī)最小距離函數(shù)上式滿足條件其中和是當(dāng)前計(jì)算距離的兩段關(guān)節(jié)上滿足式(4)的條件參數(shù)式(4)式(5)【7.3人-機(jī)安全交互關(guān)鍵技術(shù)】【7.3.2人-機(jī)數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】

信息物理集成子系統(tǒng)：連接著真實(shí)場(chǎng)景和虛擬場(chǎng)景且實(shí)現(xiàn)該兩者的數(shù)據(jù)交互，是實(shí)現(xiàn)以實(shí)促虛、以虛促實(shí)的基礎(chǔ)。通過(guò)RGB-D視覺(jué)相機(jī)采集人體骨骼信息，通過(guò)機(jī)械臂內(nèi)置傳感器采集關(guān)節(jié)角度信息，然后將采集的數(shù)據(jù)傳入服務(wù)器，由此實(shí)現(xiàn)人機(jī)協(xié)作數(shù)字孿生模型的重構(gòu)?！?.3人-機(jī)安全交互關(guān)鍵技術(shù)】【7.3.2人-機(jī)數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】

數(shù)字孿生子系統(tǒng)：數(shù)字孿生子系統(tǒng)是將真實(shí)物理場(chǎng)景下的對(duì)象實(shí)體通過(guò)信息物理集成子系統(tǒng)的數(shù)據(jù)進(jìn)行渲染，并在仿真環(huán)境中展示。對(duì)機(jī)械臂和操作者的虛實(shí)映射數(shù)字孿生子系統(tǒng)架構(gòu)正常情況與發(fā)生碰撞【7.3人-機(jī)安全交互關(guān)鍵技術(shù)】【7.3.2人-機(jī)數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】

虛擬現(xiàn)實(shí)子系統(tǒng)：操作者通過(guò)佩戴VR眼鏡，能對(duì)真實(shí)場(chǎng)景下不存在的機(jī)器人進(jìn)行模擬預(yù)覽。通過(guò)在虛擬環(huán)境中放置虛擬機(jī)器人，能對(duì)工作場(chǎng)景進(jìn)行預(yù)覽，并監(jiān)測(cè)人機(jī)協(xié)作的最小安全距離。虛擬現(xiàn)實(shí)子系統(tǒng)虛擬機(jī)械臂與人體協(xié)同作業(yè)模擬【7.3人-機(jī)安全交互關(guān)鍵技術(shù)】【7.3.2人-機(jī)數(shù)字孿生系統(tǒng)的協(xié)同構(gòu)建】