基于Kinect的裝備體感維修教學系統(tǒng)研究.doc

1、基于kinect的裝備體感維修教學系統(tǒng)研究 摘 要：結合虛擬維修教學和體感技術，研究了unity3d開發(fā)環(huán)境下體感設備kinect的引入、操作替身設計、維修姿態(tài)表態(tài)等問題。實際應用證明體感式維修教學系統(tǒng)是一種比傳統(tǒng)鍵盤鼠標操作更加優(yōu)越的訓練方式。 關鍵詞：體感 kinect 虛擬維修 由于現(xiàn)代軍事裝備結構復雜、價格高，教學裝備數(shù)量少，而且使用真實裝備教學易出安全事故，所以虛擬維修教學系統(tǒng)成為裝備維修訓練的重要補充手段。但由于目前人機交互手術手段的限制，大量的虛擬維修教學系統(tǒng)還是采用傳統(tǒng)鍵盤鼠標作為交互設備。在虛擬維修訓練中，一般只能通過鼠標點擊工具圖標來代表拿起工具，再用鼠標點擊操作對象來播放

2、分解結合動畫，實際上達到的訓練效果是熟悉分解結合過程和工具的名稱，而具體工具的使用方式很難體現(xiàn)出來，或者說“動手”的能力很難培養(yǎng)出來。而往往學員所欠缺的就是動手能力，一到實際維修教室，還是很容易出問題。而kinect體感設備的出現(xiàn)，給虛擬維修教學系統(tǒng)開拓了一條新的路徑。 kinect體感設備是微軟為游戲機xbox360研發(fā)的一款體感操作設備，相對以往動輒百十萬元的光學動作捕捉系統(tǒng)而言，成本極期低廉，當然識別精度也相應較低，但是它已經(jīng)能夠勝任游戲、界面操作等基本要求。同時除了即時動態(tài)捕捉能力之外，它還具有圖像識別、語音辨識等多種實用功能，是非常有前景的體感設備。目前以kinect為外部設備的體感

3、游戲、應用已達數(shù)百款，應用包括機器人視覺識別、商業(yè)售賣機器、三維掃描建模等范圍。在教育領域，也研究了kinect在交互式電子白板等方面的應用1。 1 kinec及其開發(fā) kinect外形如圖1所示，主要由cmos紅外發(fā)射及傳感器、rgb攝像頭及麥克風組成。它的核心技術來自于以色列primesense公司的低成本三維空間探測芯片及微軟研究院的人體動作識別系統(tǒng)。primesense公司曾經(jīng)為以色列軍方服務，他們開發(fā)的芯片和配套軟件可以很好地處理三維空間中物體的坐標信息。 cmos紅外傳感器通過發(fā)射編碼光產(chǎn)生深度圖像，既以純黑代表無窮遠，以純白代表零距離，以灰色的濃度代表距離的遠近。傳感器以每秒30

4、幀的速度生成景深圖像流。芯片將人體圖像從景深圖像中摳出并傳入exemplar人工智能處理系統(tǒng)中，該系統(tǒng)通過積累的大量經(jīng)驗進行圖像匹配，生成一個有20個關節(jié)的骨架系統(tǒng)（如圖2所示）。kinect中間的rgb攝像頭用于捕捉人體形象圖譜，除了幫助設備探測到使用者的位置，它還可以用于拍照，在設備的基座內(nèi)有驅動塑料齒輪的馬達，用于自動校正攝像頭以及空間感知器，讓kinect獲得最佳的位置來觀測使用者。 kinect的二次開發(fā)包目前有微軟的kinect for windows sdk2和primesense的openni3。兩者各有所長，開發(fā)者可按需求選擇。openni直接提供了unity3d的插件包，所

5、以我們選擇了openni為開發(fā)工具。 2 裝備體感維修教學系統(tǒng) 2.1 軟硬件簡介 在openni架構下要讓維修訓練系統(tǒng)能夠使用kinect，首先需要安裝openni（版本為1.5.2.23），負責分析影像數(shù)據(jù)的nite中間件（版本為1.5.2.21）和驅動程序模塊sensorkinect（本文版本為5.1.0.25）。虛擬交互軟件采用unity3d4.0，為直接使用kinect數(shù)據(jù)，引入了openni_unity_toolkit-0.9.7.4插件包。該包提供給unity直接訪問openni兼容傳感器的能力。硬件采用了一臺kinect for xbox360外接電源適配器及遙控操縱桿。 引入

6、插件包后，unity3d中就會形成openni的預制件和腳本（如圖3所示）。用戶可以直接將這些預制件和腳本拖到場景中使用，可以無須關心底層api而直接使用“拖-放”的方式來使用數(shù)據(jù)。 2.2 體感操作引入 kinect的精度有限，所以在虛擬維修中使用體感操作，比較合適的方式是在虛擬場景中引入一個虛擬人，然后將kinect捕捉到的操作者人體數(shù)據(jù)傳遞到虛擬人身上，使虛擬人和操作者同步運動，通過判斷虛擬人與場景中物體的碰撞情況來決定交互的產(chǎn)生時機。如果直接通過kinect來操作界面元素，可能會存在跳動等現(xiàn)象，導致交互感覺不良。 虛擬人的制作可由3dmax等軟件制作骨骼蒙皮人體模型再導入unity之中

7、，然后在unity中將虛擬人的骨骼與openni提供的kinect的關節(jié)數(shù)據(jù)匹配起來，其具體做法是設置niskeleton controller腳本中的joints to control數(shù)組（如圖4所示）。建立骨骼匹配關系之后，在虛擬人手上設置碰撞包圍盒，使包圍盒包含整個手部。這樣在程序中就可以通過碰撞事件的捕獲，使操作者通過虛擬人取放工具、操作零部件，實現(xiàn)分解結合虛擬維修了。 2.3 維修過程中體感姿態(tài)定義 維修作業(yè)是通過一系列工序來完成的。裝備的基本維修訓練可以視做大件分解結合和部件分解結合作業(yè)。為了形成通用化的系統(tǒng)結構，需要以文本的形式提供分解結合的工序，這樣，程序運行時根據(jù)選擇的維修科

8、目，讀入相應的工序和模型就可以實現(xiàn)分解結合訓練了。 維修過程的定義采用office project 2003進行定義，可以方便地建立pert工序。然后輸出文本文件供維修訓練系統(tǒng)調(diào)用。在每步工序中需要對操作者的動作進行定義，為了方便編制動作和判斷姿態(tài)，我們提出一種靈活的姿態(tài)定義格式。 格式由一連串短句組成，每個短句之間以“；”號隔開，其形式為“l(fā)arm；rarm；lhip；rhip；spine；picture”。單個短句的格式相似，如“rarm”部分，完整定義為“rarm：手腕位置零件名稱”，其中“手腕位置”是一個“x，y，z”向量，數(shù)值以虛擬人右肩關節(jié)部為起點，其身體正面為z軸正向，右方為x軸

9、，頭部向上為y軸，以手臂長為1.0，相對位置精確到小數(shù)點后一位。如“1，0，0”既代表水平向右伸直右臂。在程序中將虛擬人手部位置和肩部位置直接以參數(shù)形式傳遞進來，就可以實時得到手部相對肩關節(jié)的相對坐標，通過歸一化處理就得到了以向量表示的手腕位置（程序中rightarmlength即為提前算出的虛擬人右臂長度）。 再將手腕位置與要求位置相減，就得到了姿態(tài)偏差向量（handf）。為同時考量x，y，z三個方向上的偏差，取姿態(tài)偏差向量的長度為量度?？紤]到應允許操作者有一定的動作誤差，本文將容許值（tolerence）設置為0.4，可以保證操作者姿態(tài)正確，同時又不過份嚴格。 短句中“零件名稱”項則表示手

10、部或手部工具與該零件處于相交位置，意即當做這個動作時，需要手部或手部工具接觸該零件。比如在右手旋掉底蓋螺絲時，應用左手托住底蓋以防掉落。 這樣通過對每個身體部分進行定義，就可以對虛擬訓練時，當人員執(zhí)行某種分解動作時所處的姿態(tài)提出要求。 2.4 實例簡介 某裝備炮閂分解結合訓練是學員必須練習的重點科目，以此為對象，建立了體感式分解結合維修訓練系統(tǒng)。程序由unity3d 4.0開發(fā)，建立了虛擬場景，然后引入虛擬人，在虛擬人的頭上綁定攝像機，就可以從替身的角度觀察到三維場景（如圖5所示）。通過kinect，操作者可控制虛擬人在場景中自由走動，從工具桌上取用各種工具、將工具放在工具臺上、左右手互換工具、使用工具或手與零件交互，按照分解結合順序逐步分解結合炮閂，分解中對特定部件需擺出正確姿態(tài)才能分解。主觀使用感覺沉浸感強、操作流暢、工具使用仿真感強。 3 結束語 體感式操作將是未來人機交互的重點發(fā)展方向之一。裝備體感式維修教學系統(tǒng)充分發(fā)揮了體感技術的優(yōu)點，可以有效培養(yǎng)學生的動手能力，提高教學的效率，是非常優(yōu)秀的教學方式。雖然目前由于設備的精度限制，動作捕捉還有延遲和抖動等缺點，但體感技術的進步很快。據(jù)報道，kinect2代即將推出，還有其它一些高精度的體感設備也將面世?？傊?，及時將kinect代表的先進體感技術引入虛擬維修教學之中，對提高我軍裝備維修訓練水平具有