基于Kinect體感交互技術(shù)的虛擬裝配實(shí)驗(yàn)系統(tǒng)開(kāi)發(fā)_廖宏建

1、基于 K i n e c t 體感交互技術(shù)的虛擬裝配實(shí)驗(yàn)系統(tǒng)開(kāi)發(fā)廖宏建 1, 曲 哲 2(1. 廣州大學(xué) 實(shí)驗(yàn)中心 , 廣東 廣州 510006; 2. 廣州大學(xué) 圖書(shū)館 , 廣東 廣州 510006摘 要 :在分析體感交互虛擬裝配系統(tǒng)架構(gòu)的基礎(chǔ)上 , 討論了基于 K i n e c t 體感交互技術(shù)的虛擬裝配模型數(shù)據(jù) 建立 、手勢(shì)識(shí)別及交互語(yǔ)義擴(kuò)展 、 場(chǎng)景視角的真實(shí)體感控制 3個(gè)關(guān)鍵問(wèn)題的實(shí)現(xiàn)方法 , 并使用這些方法開(kāi)發(fā)了 “ 減速器 ” 虛擬裝配實(shí)驗(yàn)系統(tǒng) 。 實(shí)際應(yīng)用表明 , 體感交互技術(shù)能提高與三維對(duì)象的交互效率 、 增強(qiáng)學(xué)習(xí)沉浸感 。 關(guān)鍵詞 :體感交互 ; K i n e c t;

2、 虛擬裝配實(shí)驗(yàn) ; 手勢(shì)識(shí)別 ; 用戶體驗(yàn) 中圖分類號(hào) :G 434; T P 39 文獻(xiàn)標(biāo)志碼 :A 文章編號(hào) :1002-4956(2013 07-0098-05D e v e l o p m e n t o f v i r t u a l a s s e m b l y e x p e r i m e n t s y s t e m b a s e d o n s o m a t o s e n s o r y i n t e r a c t i o n t e c h n o l o g y o f K i n e c t L i a o H o n g ji a n 1, Q u Z

3、 h e 2(1. L a b o r a t o r y C e n t e r , G u a n g z h o u U n i v e r s i t y , G u a n g z h o u 510006, C h i n a ; 2. L i b r a r y , G u a n g z h o u U n i v e r s i t y , G u a n gz h o u 510006, C h i n a A b s t r a c t :O n t h e b a s i s o f a n a l y s i s o f a s s e m b l y s y s t

4、 e m a r c h i t e c t u r e u s i n g s o m a t o s e n s o r y i n t e r a c t i o n , t h e i m p l e m e n t a t i o n o f k e y i s s u e s i n a s s e m b l y m o d e l b u i l d i n g , h a n d g e s t u r e r e c o g n i t i o n a n d i n t e r a c t i v e s e m a n t i c e x t e n s i o n ,

5、 s c e n e s p e r s p e c t i v e c h a n g i n g b y s o m a t o s e n s o r y i s d i s c u s s e d .A n d a t h r e e -d i m e n s i o n a l v i r t u a l e x p e r i m e n t n a m e d “ t h e r e d u c e r v i r t u a l a s s e m b l y ” b y t h e m e t h o d s h o w s t h a t t h e N S I c a n

6、 i m p r o v e t h e e f f i c i e n c y o f i n t e r a c t i o n w i t h t h e t h r e e -d i m e n s i o n a l o b j e c t , a n d e n h a n c e t h e i m m e r s i o n i n l e a r n i n g. K e y w o r d s :s o m a t o s e n s o r y i n t e r a c t i o n ; v i r t u a l a s s e m b l y e x p e r

7、i m e n t ; h a n d g e s t u r e r e c o g n i t i o n ; u s e r -e x p e r i e n c e 收稿日期 :2012-12-14基金項(xiàng)目 :廣州市屬高?？蒲杏?jì)劃青年項(xiàng)目 “ 基于 k i n e c t 自然交互的三維虛擬實(shí)驗(yàn)系統(tǒng) 研 究 與 應(yīng) 用 ” (2012A 095 ; 廣 州 市 教 育 科 學(xué) 十二五規(guī)劃 2012年 度 項(xiàng) 目 “ 基 于 自 然 人 機(jī) 交 互 的 三 維 虛 擬 實(shí)驗(yàn)平臺(tái)設(shè)計(jì)與應(yīng)用 ” (12A 031作者簡(jiǎn)介 :廖宏建 (1980, 男 , 湖南衡陽(yáng) , 碩士 , 實(shí)驗(yàn)師 , 主

8、要研究方向 為虛擬現(xiàn)實(shí)技術(shù)和計(jì)算機(jī)教育應(yīng)用 .E -m a i l :L i a o H o n gJ i a n g z h u . e d u . c n 虛擬裝配技術(shù)為解決產(chǎn)品 設(shè)計(jì) 、裝配訓(xùn)練等問(wèn)題 提供了一個(gè)新的 、低成本 的 快 捷 手 段 。 有代表性的虛 擬裝配系統(tǒng)有華盛頓州立大學(xué)的 V A D E 系統(tǒng) 1、清華 大學(xué)的 V A S S 虛擬裝配訓(xùn)練系統(tǒng) 2、 浙江大學(xué)的 V D -V A S 系統(tǒng)等 3。 這些系統(tǒng)主要使用了虛擬現(xiàn)實(shí) 、增強(qiáng) 現(xiàn)實(shí) 、 虛實(shí)融合等技術(shù) , 在 人 機(jī) 交 互 方面效率高 、 沉浸感強(qiáng) ,但需要昂貴的硬件支持 , 如數(shù)據(jù)手套 、 位置跟蹤 器

9、、 同步器 、 3D 頭盔顯示器等 。 由于硬件價(jià)格昂貴 , 且 多數(shù)是為特殊應(yīng)用定制 , 軟件平臺(tái)不通用 , 導(dǎo)致該類虛 擬裝配及訓(xùn)練系統(tǒng)難以在高校實(shí)驗(yàn)教學(xué)和實(shí)訓(xùn)教學(xué)中 普及和推廣 ?；谄胀?P C 開(kāi)發(fā)的桌面三維虛擬裝配實(shí)驗(yàn)系統(tǒng)成本較低 , 采 用 W I M P (W i n d o w s 、 I c o n 、 M e n u 、 P o i n t -C l i c k 4交互范 式 , 通 過(guò) 鼠 標(biāo) 和 鍵 盤 提 供 精 確 的 指 點(diǎn) 式輸入 ,快捷操作二維對(duì)象 , 但與三維對(duì)象交互時(shí)操作 復(fù)雜 , 用戶體驗(yàn)不佳 , 不能充分發(fā)揮虛擬現(xiàn)實(shí)系統(tǒng)的構(gòu) 想性 、 沉浸性和交互性

10、 。 本文研究使用微軟的 K i n e c t 體感器 , 結(jié)合虛擬現(xiàn)實(shí)引擎 U n i t y 3D , 實(shí)現(xiàn)在桌面系統(tǒng) 上架構(gòu)成本低廉但沉浸 感增強(qiáng)的虛擬裝配實(shí)驗(yàn)系統(tǒng) 。 它通過(guò)采集用戶運(yùn)動(dòng)空 間 信 息 , 包 括 肢體動(dòng)作 、 手勢(shì) 、 語(yǔ)音 、 表情等信息作為虛擬裝配系統(tǒng)的信息輸入 , 從而 使用自然習(xí)慣動(dòng)作完成虛擬裝配過(guò)程 。1 自然體感人機(jī)交互技術(shù)及 K i n e c t 原理1. 1 自然體感人機(jī)交互簡(jiǎn)介體感交互起源于游戲行業(yè) , 指用戶通過(guò)身體運(yùn)動(dòng)和身體感受等方式完成人機(jī)交互 5。 體感交互一般需 要借助數(shù)據(jù)手套 、 3D 頭盔等硬件實(shí)現(xiàn) 。 但隨著計(jì)算機(jī) 圖像識(shí)別 、

11、機(jī)器視覺(jué)等技術(shù)的發(fā)展 , 出現(xiàn)了直接利用機(jī) 器 捕 獲 的 身 體 運(yùn) 動(dòng) 數(shù) 據(jù) 來(lái) 實(shí) 現(xiàn) 人 機(jī) 交 互 的 方 法 , 如 Y o s h i h i r o 等人 提 出 了 基 于 運(yùn) 動(dòng) 捕 捉 和 碰 撞 檢 測(cè) 的V i r t u a l I n pu t D e v i c e s 概念 6, 使得體感交互無(wú)需昂貴 I S S N 1002-4956C N 11-2034T 實(shí) 驗(yàn) 技 術(shù) 與 管 理 E x p e r i m e n t a l T e c h n o l o g y a n d M a n a g e m e n t 第 30卷 第 7期 2013年

12、 7月 V o l . 30 N o . 7 J u l . 2013的硬件支撐 也 可 實(shí) 現(xiàn) 。 微 軟 開(kāi) 發(fā) 的 體 感 器 K i n e c t 無(wú)需任何手持設(shè)備即可完成三維 人機(jī)交互 , 它通過(guò)捕捉 用戶的肢體運(yùn)動(dòng) , 完成骨骼節(jié)點(diǎn)跟 蹤 、 動(dòng)作捕捉 、 影像 辨識(shí) 、 麥克風(fēng)輸入等 , 并將采集的數(shù)據(jù)輸入到游戲機(jī)或 P C 來(lái)驅(qū)動(dòng)虛擬模型的運(yùn) 動(dòng) 。 這種自 然體感人機(jī)交互 擺脫了傳統(tǒng)的鼠標(biāo)鍵盤和復(fù)雜 動(dòng)作的捕捉設(shè)備 , 極大 地降低了沉浸式虛擬實(shí)驗(yàn)系統(tǒng)的成本 。 1. 2 K i n e c t 原理K i n e c t 傳感器可以同時(shí) 獲取 R G B 和深度圖像數(shù) 據(jù)

13、 , 支持實(shí)時(shí)的全身和骨骼跟蹤 , 可以識(shí)別一系列的動(dòng)作 7。 K i n e c t 具有 追 焦 功 能 , 底 座 電 動(dòng) 機(jī) 可 驅(qū) 動(dòng) K i -n e c t 旋轉(zhuǎn) ±27°。 此 外 , K i n e c t還 有 陣 列 式 麥 克 風(fēng) , 并 可同時(shí)捕獲彩色影像 、 3D 深度影像和聲音信號(hào) 。 K i n e c t 不同于普通攝像頭 , 它帶有 C MO S 紅外傳感器 。 該傳感器利用黑白光譜 來(lái)感知環(huán)境 :純黑代表 無(wú)窮遠(yuǎn) , 純白代表無(wú)窮 近 。 黑白間的灰色地帶對(duì)應(yīng)物 體到傳感 器 的 物 理 距 離 。 它 收 集 視 野 范 圍 內(nèi) 的

14、每 一 點(diǎn) ,并形成一幅代表 周 圍環(huán)境 的 景 深圖像 。 傳感器以 30幀 /s 的速度生成深度圖像流 , 實(shí)時(shí) 3D 再現(xiàn)周圍環(huán)境 , 然后再通過(guò)先進(jìn)的算法對(duì) 3D 圖像進(jìn)行場(chǎng)景識(shí)別 、 人物識(shí)別與骨骼節(jié)點(diǎn)跟蹤 、 手勢(shì)識(shí)別甚至面部表情識(shí)別等 ,從而完成三維輸入輸出 8-9。 2 體感交互虛擬裝配實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)2. 1 系統(tǒng)架構(gòu)基于 K i n e c t 體感 交 互 的 虛 擬 裝 配 系 統(tǒng) 架 構(gòu) 分 為 用戶層 、 K i n e c t 交互層和 虛 擬 裝 配 系統(tǒng)層 。 與傳統(tǒng)的 桌面虛擬裝配系統(tǒng)相比 , 它在用戶和虛擬系統(tǒng)之間多 了一個(gè)前端體感器 K i n e c

15、 t , 用來(lái)完成用戶體感信息的 采集 , 代替鼠標(biāo)鍵盤交互 , 如圖 1所示。 圖 1 使用 O p e n N I 的 K i n e c t 體感交互虛擬裝配系統(tǒng)架構(gòu) 目前 K i n e c t 的應(yīng) 用 開(kāi) 發(fā) 主 要 是 基 于 微 軟 官 方 發(fā)布的 S D K 和 開(kāi) 源 社 區(qū) 的 開(kāi) 源 驅(qū) 動(dòng) , 如 O pe n N I (開(kāi) 放 自然交互聯(lián)盟 的 O p e n N I F r a m e w o r k 。 由于 O p e n N I 開(kāi)發(fā)包提供了 K i n e c t 在 U n i t y 3D 引擎中的應(yīng)用接口 , 所以筆者使用 O p e n N I 開(kāi)

16、 發(fā) 虛 擬 裝 配 實(shí) 驗(yàn) 系 統(tǒng) , 以 提 高開(kāi)發(fā)效率 。O pe n N I F r a m e w o r k 是 一 個(gè) 多 語(yǔ) 言 、 跨 平 臺(tái) 的 框 架 , 它 定 義 了 利 用 自 然 交 互 編 寫(xiě) 應(yīng) 用 程 序 的 A P I 。 O pe n N I A P I 由一組可用來(lái)編寫(xiě)通用自然交互應(yīng)用的 接口組成 , 使開(kāi)發(fā)人員通過(guò)傳感器輸出的標(biāo)準(zhǔn)化數(shù)據(jù)類 型 來(lái) 處 理 真 實(shí) 的 三 維 數(shù) 據(jù) 10。 使 用 O pe n N I F r a m e w o r k 需要安裝 O pe n N I 的 N I T E 中間件 , N I T E 中定義了手勢(shì)偵測(cè)

17、 、 手部 分析 、 全身分析 、 場(chǎng)景分析等 核心模塊功能 。 本虛擬裝配實(shí)驗(yàn)系統(tǒng)在 W i n d o w s 7系 統(tǒng) 上 實(shí) 現(xiàn) , 采 用 的 驅(qū) 動(dòng) 平 臺(tái) 是 O p e n N I+N I T E+O pe n C V , 開(kāi)發(fā)工具為 V i s u a l S t u d i o 2008, 使用 C+語(yǔ)言以獲得靈活的內(nèi)存管理和運(yùn)行效率 。虛擬裝配實(shí)驗(yàn)場(chǎng)景及實(shí)驗(yàn)邏輯任務(wù)使用 U n i t y 3D 引擎實(shí)現(xiàn) 。 U n i t y 3D 是 一 款 頂 級(jí) 的 虛 擬 現(xiàn) 實(shí) 制 作 引 擎 , 具有強(qiáng)大的編輯器功 能 、 物理系統(tǒng) 、 渲染能力及腳 本邏輯控制功能 , 對(duì)

18、 3d s M a x 、 M a y a 等模型完美支持 , 界面操作簡(jiǎn)單 , 可以快速開(kāi)發(fā)跨平臺(tái)的虛擬現(xiàn)實(shí)系統(tǒng) 。 2. 2 裝配模型的建立與數(shù)據(jù)準(zhǔn)備虛擬裝配體進(jìn)行組裝時(shí) , 每個(gè)部件必須按一定的 順序和空間路徑從裝配體逐一拆出或安裝 , 而 部件建 模及模型裝配數(shù)據(jù)的準(zhǔn)備是系統(tǒng)開(kāi)發(fā)的基礎(chǔ)工作 。 虛 擬裝配環(huán)境由可移動(dòng)物體和固定物體組成 , 其 中可移 動(dòng)物體主要由虛擬裝配對(duì)象 (部件 、 三維菜單和裝配 工具所組成 。裝配工具 (如螺絲刀 、 三維菜單這類交互對(duì)象的 建模相對(duì)簡(jiǎn)單 , 主 要 是 用 3d s M a x 或 U n i t y 3D 制 作 ; 而虛擬裝配對(duì)象模型較為

19、復(fù)雜 , 包含零件幾何模型 、 裝 配約束模型和裝配層次模型 。(1 零件幾何模型 。 零件幾何模型由 C A D 和 3d s M a x 建模并輸出為 U n i t y3D 所需的 . d t s 格式文件 。 (2 裝 配 約 束 模 型 。 用 來(lái) 定 義 零 件 間 的 約 束 關(guān) 系 , 并通過(guò)約束關(guān)系確定零件在裝配體中的空間位置 矩陣及裝配特征 。(3裝配層次模型 。 使用層次樹(shù)描述虛擬零件模 型的裝配層次關(guān)系 , 用一棵樹(shù)表示裝配體 , 樹(shù)的根節(jié)點(diǎn) 表示用戶目標(biāo)裝配體 , 最底層節(jié)點(diǎn)即葉節(jié)點(diǎn)表示零件 , 非最底層節(jié)點(diǎn)表示子裝配體 , 子裝配體又由零件或子 裝配體構(gòu)成 。 裝配

20、層次模型如圖 2所示 。上述虛擬裝配模型需要實(shí)現(xiàn) C A D 和虛擬裝配系統(tǒng)之間的數(shù)據(jù)轉(zhuǎn)換 。 本文采用浙江大學(xué)劉振宇等人提 出的虛擬環(huán)境下零件信息分類轉(zhuǎn)化方法 。 轉(zhuǎn)化后 , 虛 擬裝配模型的裝配對(duì)象信息 、 對(duì)象約束信息 、 對(duì)象層次 圖 2 虛擬裝配層次模型信息可 以 通 過(guò) 對(duì) C A D 的 二 次 開(kāi) 發(fā) 獲 得 , 面 片 信 息 則 通過(guò) C A D 自 帶 的 模 型 轉(zhuǎn) 換 接 口 輸 出 , 該 轉(zhuǎn) 化 方 法 可 參閱文獻(xiàn) 11。 2. 3 K i n e c t 手勢(shì)識(shí)別與交互語(yǔ)義擴(kuò)展手勢(shì)交互是指通過(guò)提取手部的運(yùn)動(dòng)特征 , 如指點(diǎn) 、 指向 、 指點(diǎn)運(yùn)動(dòng)軌跡等實(shí) 現(xiàn)

21、更 加 直 觀的交互 。 手勢(shì)交 互是 K i n e c t 應(yīng)用程序的核心 , 虛擬裝配中也主要是通 過(guò)手勢(shì)來(lái)完成交互任務(wù) 。2. 3. 1 O pe n N I f o r K i n e c t 應(yīng)用開(kāi)發(fā)流程 O p e n N I 是使用生產(chǎn)節(jié)點(diǎn) (pr o d u c t i o n n o d e s 的定 義來(lái)描述其工作流的 12。 生產(chǎn)節(jié)點(diǎn)是一個(gè)工具集 , 它 扮演著一個(gè)生產(chǎn)者的角色 , 用于生成自然交互程序所 需要的數(shù)據(jù) 。 每一個(gè)生產(chǎn)節(jié)點(diǎn)均可以調(diào)用底層節(jié)點(diǎn)提 供的數(shù)據(jù) , 并能將數(shù)據(jù)傳 遞 至 上 層 節(jié)點(diǎn) 。 產(chǎn)生數(shù)據(jù)的 生產(chǎn)節(jié) 點(diǎn) 叫 做 數(shù) 據(jù) 生 成 器 , O

22、p e n N I 中 定 義 了 9種 數(shù) 據(jù)生 成 器 , 常 用 的 有 U s e r G e n e r a t o r (用 戶 生 成 器 、 D e p t h G e n e r a t o r (深 度 生 成 器 、 G e s t u r e G e n e r a t o r (姿 勢(shì)生成器 、 H a n d P o i n t G e n e r a t o r (手心生成器 等 。 如 應(yīng)用程序要在 一 個(gè) 3D 場(chǎng) 景 中 跟 蹤 人 形 的 動(dòng) 作 , 就 需 要一個(gè)生產(chǎn)節(jié)點(diǎn)產(chǎn)生身體數(shù)據(jù) , 而用 戶生成器又需要 讀取深度生成器的數(shù)據(jù) ?；?O p e n

23、 N I 的 K i n e c t 應(yīng)用開(kāi) 發(fā) , 主要是基于這 些數(shù)據(jù) 生成 器及相關(guān)的 A P I 函數(shù)進(jìn)行原始影像 數(shù) 據(jù)的讀取 、 分析和處理 , 從而產(chǎn)生 那些可以領(lǐng)悟 、 理解和 解釋場(chǎng) 景 的 “ 有 意 義 的 ” 3D 數(shù) 據(jù) 。 開(kāi) 發(fā) 流 程 如 圖 3所示 。圖 3 O pe n N I f o r K i n e c t 應(yīng)用開(kāi)發(fā)流程 2. 3. 2 O pe n N I 中手勢(shì)識(shí)別方法 在 O p e n N I 的 節(jié) 點(diǎn) 中 , H a n d P o i n t G e n e r a t o r 節(jié) 點(diǎn) 可以通過(guò)追蹤手部位置來(lái)實(shí)現(xiàn)手勢(shì)偵測(cè) , 這個(gè)節(jié)點(diǎn)不

24、需要抓 到 整 個(gè) 人 體 , 只 針 對(duì) 手 部 進(jìn) 行 追 蹤 。 O p e n N I 中間件定 義 了 4種 基 本 手 勢(shì) :W a v e (揮 手 、 C l i c k (點(diǎn) 擊 、 R a i s e H a n d (舉手 、 M o v i n g H a n d (移動(dòng)手 。 使用 H a n d P o i n t G e n e r a t o r 節(jié)點(diǎn) 進(jìn) 行 手 勢(shì) 識(shí) 別 的 過(guò) 程 可 用 圖 4來(lái)表示 。圖 4 O pe n N I 手勢(shì)識(shí)別方法 一個(gè)完整的手勢(shì)識(shí)別流程需要 6個(gè)步驟 , 除了使 用 H a n d P o i n t G e n e r

25、 a t o r 節(jié)點(diǎn) , 還需要 G e s t u r e G e n e r a -t o r 節(jié)點(diǎn)和 D e pt h G e n e r a t o r 節(jié)點(diǎn)提供相關(guān)的數(shù)據(jù)來(lái)配 合完成 。 在設(shè)置識(shí)別的手勢(shì)時(shí) ,可以通過(guò)空間坐標(biāo)參 數(shù)限定檢測(cè)區(qū)域 ,即在操 作界面的某個(gè)范圍內(nèi)去識(shí)別 指定的操作手勢(shì) ; 在檢測(cè)到手勢(shì)后 , 通過(guò)注冊(cè)的回調(diào)函 數(shù)來(lái)處理相應(yīng)的事件 ,如檢測(cè)到 “ 揮手 ” 動(dòng)作后執(zhí)行菜 單滑動(dòng)的功能 。 圖 5為通過(guò) O p e n N I 手部分析中間件 檢測(cè)并標(biāo)示出的手心位置 , 圖 6為 4種基本手勢(shì)之一 的識(shí)別界面截圖 。圖 5 手心位置檢測(cè)在實(shí) 際 應(yīng) 用 中

26、, 用 戶 在 感 覺(jué) 手 沒(méi) 有 動(dòng) 的 情 況 下 , K i n e c t 檢測(cè)到的手勢(shì)也會(huì)有一定的抖動(dòng)現(xiàn)象 ,影響了 交互的流暢性 。 筆者 對(duì) 手心點(diǎn)的 去 抖 動(dòng) 處理方法是 :保存前一幀 判 斷 所 得 手 心 的 圓 圈 (c e n t e r , r a d i u s數(shù) 據(jù) ,再和當(dāng)前幀的圓圈數(shù) 據(jù) 比 較 。 如果偏差在 閾值范 圖 6 基本手勢(shì)識(shí)別圍內(nèi) , 那么就繼續(xù)顯示前一幀的圓圈 ; 如果偏差在閾值 范圍以外 , 則重新繪制手心圓圈的位置 。2. 3. 3 行為隱喻設(shè)計(jì)與手勢(shì)交互擴(kuò)展體感交互需要滿足用戶以 習(xí)慣動(dòng)作進(jìn)行交互 , 而 O p e n N I 設(shè)定的

27、 4種基本手勢(shì)對(duì)于虛擬組裝操作是遠(yuǎn) 遠(yuǎn)不夠的 , 需要對(duì)基本手勢(shì)進(jìn)行有限的擴(kuò)展 。手勢(shì)擴(kuò)展的有效方法是進(jìn)行行為隱喻設(shè)計(jì) 。 行為 隱喻是指將生活中熟悉的操作動(dòng)作簡(jiǎn)化 、 分類 , 并映射 到虛擬操作中 , 使系統(tǒng)能夠 “ 理 解 ” 用 戶的自然交互行 為和操作意 圖 , 進(jìn) 而 對(duì) 用 戶 的 操 作 產(chǎn) 生 相 應(yīng) 的 反 饋 。 行為隱喻設(shè) 計(jì) 的 前 提 是 對(duì) 可 能 產(chǎn) 生 的 交 互 行 為 進(jìn) 行 分類 。(1 裝配對(duì)象 :交互行為包括選擇 、 拾取 、 移動(dòng) 、 旋 轉(zhuǎn) 、 縮放 。(2 裝配工具 :交互行為包括選擇 、 拾取 、 使用 。(3 三維菜單 :交互行為包括滑動(dòng)

28、、 選擇 。在對(duì)常用交互行為分類的基礎(chǔ)上 , 對(duì) O p e n N I 中 定義的 4種基本手勢(shì)進(jìn)行擴(kuò)展 并定義交互語(yǔ)義 , 以滿 足不同的裝配動(dòng)作 。 擴(kuò)展手勢(shì)應(yīng)盡可能接近現(xiàn)實(shí)生活 習(xí)慣 , 在用戶意圖和所需操作之間 、 操作與結(jié)果之間建 立自然匹配關(guān)系 , 以減輕 認(rèn) 知 負(fù) 荷 。 擴(kuò)展后的主要手 勢(shì)定義表如表 1所示 。表 1 手勢(shì)交互定義表標(biāo)識(shí) 手勢(shì) 語(yǔ)義101M o v e L e f t (左移手掌 左移102M o v e R i g h t (右移手掌 右移103M o v U p (上移手掌 上移104M o v e D o w n (下移手掌 下移105H o l d

29、F i s t (握住手掌 選擇 /拾取 106O p e n F i s t (松開(kāi)手掌 釋放201 2H a n d s P u s h (雙手掌相對(duì)拉開(kāi) 放大202 2H a n d s P u l l (雙手掌相對(duì)合攏 縮小203 2H a n d s R o t a t e (雙手掌相對(duì)旋轉(zhuǎn) 旋轉(zhuǎn)301W a v e H a n d (揮手 滑動(dòng)302C l i c k (前推手掌 點(diǎn)擊 為了獲得更好的交互體驗(yàn) , 其中 對(duì)較復(fù)雜的交互 動(dòng)作使用了復(fù)合手勢(shì) , 例如旋轉(zhuǎn)操作使用了雙手 , 使用現(xiàn)實(shí)生活中 類 似 雙 手 旋 轉(zhuǎn) 魔 方 的 動(dòng) 作 來(lái) 旋 轉(zhuǎn) 虛 擬 零 件 。 擴(kuò)展

30、手 勢(shì) 的 定 義 是 通 過(guò) F A A S T (f l e x i b l e a c t i o n a n d a r t i c u l a t e d s k e l e t o n t o o l k i t 13這 個(gè) 中 間 件 完 成 的 。 F A A S T 是使用 O p e n N I 結(jié)合 K i n e c t 編寫(xiě)的一個(gè) 手勢(shì)識(shí)別類庫(kù) , 能將自定義的手勢(shì)映射到基本手勢(shì)和 鍵盤輸入信號(hào) 。 筆者在 F A A S T 中使用 X M L 文件自 定義了表 1中 的 手 勢(shì) , 并 映 射 到 U n i t y 3D 的 A P I 中 , 很方便地實(shí)現(xiàn)了手

31、勢(shì)和交互語(yǔ)義的擴(kuò)展 。2. 4 場(chǎng)景視角的真實(shí)體感操控快速改變視圖到指定模型的最佳操作視角是三維 系統(tǒng)中的高頻動(dòng)作 , 也是一個(gè)難點(diǎn) , 因?yàn)樵趥鹘y(tǒng)界面下 需要使用鼠標(biāo)和鍵盤進(jìn)行視圖縮放 、 角度旋轉(zhuǎn) 、 鏡頭推 拉等組合操作 。 但是 , K i n e c t 可以方便地實(shí)現(xiàn)體感操 控場(chǎng)景視角 , 極大簡(jiǎn)化了操作復(fù)雜度 。實(shí)現(xiàn)體感操 控 場(chǎng) 景 視 角 的 原 理 是 通 過(guò) K i n e c t 采 集用戶頭部的距離值和角度偏移數(shù)據(jù) , 并用該值來(lái)控 制場(chǎng)景中的攝像機(jī)運(yùn)動(dòng) , 從而場(chǎng)景視圖隨用戶頭部運(yùn) 動(dòng)而改變 。 當(dāng)用戶走近屏幕時(shí) , 視圖自動(dòng)逐漸放大 , 反 之縮小 , 且三維場(chǎng)景

32、隨頭部左右偏移而改變視角 , 實(shí)現(xiàn) 較好的全息圖效果 。首先 , 使用 D e p t h G e n e r a t o r 得到深度圖 。 深度圖 的投影 (p r o j e c t i v e 坐標(biāo)系中的像素值代表深度值 , 單 位為毫米 (m m , 代表某點(diǎn) 到 K i n e c t 所 在 的 平 面 的 垂 直距離 , 可獲取頭部節(jié)點(diǎn)的距離 。 頭部節(jié)點(diǎn)的 角度信 息可以通過(guò) O p e n N I 的骨架功能 (S k e l e t o n C a p a b i l i t y 的 G e t S k e l e t o n J o i n t ( 函數(shù)獲得 , 它可以

33、讀取到關(guān)節(jié)的 位置和角度信息 。 在 該 函 數(shù) 中 直 接 指 定 X N _S K E L _ H E A D 參數(shù)表示只讀取頭部節(jié)點(diǎn)而不是全身 。然后 , 在 U n i t y 3D 場(chǎng) 景 中 添 加 一 個(gè) 攝 像 機(jī) (C a m -e r a 對(duì)象 , 并 為 該 對(duì) 象 增 加 一 個(gè) 邏 輯 控 制 腳 本 文 件 。 在腳本中添加 對(duì) O p e n N I 對(duì) 象 的 引 用 , 并 通 過(guò) 對(duì) 用 戶 頭部節(jié)點(diǎn)實(shí)時(shí)跟蹤來(lái)獲得頭部位置和角度信息 , 并更 新攝 像 機(jī) 的 位 置 坐 標(biāo) 值 。 由 于 K i n e c t 中 的 Y 值 與 U n i t y 3

34、D 中對(duì)象的 Y 值 是 相 反 的 , 在 此 需 要 進(jìn) 行 一 次 K i n e c t 到 U n i t y 3D 的 空 間 坐 標(biāo) 轉(zhuǎn) 換 。 圖 7是 用 戶 頭 部變化控制場(chǎng) 景 視 圖 效 果 , 可 以 看 出 3D 圖 像 根 據(jù) 用 戶在 K i n e c t 前面的各種位置進(jìn)行傾斜和移動(dòng) 。3 減速器體感虛擬裝配實(shí)驗(yàn)應(yīng)用3. 1 減速器虛擬裝配實(shí)驗(yàn)系統(tǒng)減速器是高校機(jī)械制造專業(yè) “ 機(jī)械設(shè)計(jì)基礎(chǔ) ” 課程 中的一個(gè)典 型 教 學(xué) 實(shí) 例 。 筆 者 使 用 微 軟 的 K i n e c t 體 感交互技術(shù)開(kāi)發(fā)了 “ 減速器裝配 ” 三維虛擬實(shí)驗(yàn)系統(tǒng) 。 系統(tǒng)硬

35、件 主 要 包 括 K i n e c t 體 感 器 、 P C 機(jī) 、 普 通 投 影 儀 、 投影幕 。 零件模型在 A u t o C A D 2007系統(tǒng)中建立 , 通 過(guò) 二 次 開(kāi) 發(fā) 工 具 O b j e c t A R X 提 取 模 型 文 件 中 的 零 圖 7 頭部運(yùn)動(dòng)控制場(chǎng)景視角變化件 、 特征 、 約 束 等 信 息 , 使 用 U n i t y3D 建 立 、 管 理 和 渲 染裝配場(chǎng)景 , 使用 U n i t y 3D 的腳本文件實(shí)現(xiàn)體感交互 邏輯 , 使用 O p e n N I 1. 5. 4. 0和 N I T E 1. 5. 2. 21實(shí)現(xiàn) 體感姿

36、勢(shì)識(shí)別 。 虛擬裝配系統(tǒng)運(yùn)行流程如圖 8所示。 圖 8 減速器虛擬裝配系統(tǒng)運(yùn)行流程虛擬裝配系統(tǒng)提供自動(dòng)組裝演示和手動(dòng)組裝 2種 模式 。 自動(dòng)組裝模式演示整個(gè) 組裝過(guò)程 , 并說(shuō)明詳細(xì) 步驟與注意事項(xiàng) ;手動(dòng)組裝模式提供裝配工藝訓(xùn)練 , 實(shí) 驗(yàn)者無(wú)須任何手持設(shè)備 , 通過(guò)手勢(shì) 、 肢體 、 語(yǔ)音等通道 與虛擬儀器進(jìn)行自然交互 , 按照正確的邏輯順序自主 完成減速器的組裝 。 每一個(gè)組裝步驟可以選擇不同的 組裝工具 , 組裝出錯(cuò)時(shí)系統(tǒng)給出錯(cuò)誤反饋 。 3. 2 應(yīng)用效果與改進(jìn)所開(kāi)發(fā)的基于體感交互技術(shù)的虛擬裝配實(shí)驗(yàn)系統(tǒng) 已用于我校 2010級(jí)機(jī)械 制 造 專 業(yè) 本科實(shí)驗(yàn) 教學(xué) 。 教 學(xué)效果對(duì)比

37、說(shuō)明 , 用體感交互進(jìn)行虛擬實(shí)驗(yàn) , 比用鼠標(biāo) 鍵盤交互更能激發(fā)學(xué)生的實(shí)驗(yàn) 興趣和參與熱情 ; 借助 熟悉的動(dòng)作進(jìn)行交互 , 使操作更為直接和直觀 , 交互效 率明顯提高 , 能快捷地完成虛擬裝配任務(wù) 。體感交互也存在一些問(wèn)題 需要改進(jìn) , 如手勢(shì)定位 的精準(zhǔn)度有待進(jìn)一步提高 , 身體控制場(chǎng)景變換的全息 圖效果目前只支持單用戶 , K i n e c t 中 紅外攝像頭的延 遲會(huì)造成偶爾的抖動(dòng)現(xiàn)象等 。4 結(jié)束語(yǔ)在體感交 互 虛 擬 裝 配 實(shí) 驗(yàn) 系 統(tǒng) 中 , 裝 配 模 型 的 分類與特征 描 述 為 系 統(tǒng) 提 供 了 裝 配 邏 輯 ,是 系 統(tǒng) 實(shí) 現(xiàn)的重要基礎(chǔ) ; 手勢(shì) 識(shí) 別

38、是 體 感 交 互 應(yīng) 用 的 核 心 , 對(duì)基本手勢(shì)進(jìn) 行 擴(kuò) 展 , 減 輕 了 對(duì) 傳 統(tǒng) 鼠 標(biāo) 鍵 盤 的 依 賴 和操作三 維 物 體 的 復(fù) 雜 度 ,使 交 互 更 自 然 、 更 高 效 ; 體感操 控 裝 配 場(chǎng) 景 , 增 強(qiáng) 了 用 戶 的 沉 浸 感 。 開(kāi) 發(fā) 實(shí) 例證明 , K i n e c t 體感交互能為用戶提供便捷的交互 手 段 , 使用戶能高效完 成 虛 擬 裝 配 實(shí) 驗(yàn) , 取 得 較 好 的 實(shí) 驗(yàn)效果 。參考文獻(xiàn) (R e f e r e n c e s1B r o u g h J E , S c h w a r t z M , G u p t

39、a S K. T o w a r d s d e v e l o pm e n t o f a v i r t u a l e n v i r o n m e n t -b a s e d t r a i n i n g s y s t e m f o r m e c h a n i c a l a s s e m b l y o pe r a t i o n s J . V i r t u a l R e a l i t y , 2007, 11(4 :189-206. 2夏平均 , 陳朋 , 郎 躍 東 . 虛 擬 裝 配 技 術(shù) 的 研 究 綜 述 J .系 統(tǒng) 仿 真 學(xué) 報(bào) , 20

40、09(4 :2267-2269. 3萬(wàn)華根 , 高曙明 , 彭群生 . V D V A S:一個(gè)集成的虛擬設(shè)計(jì)與虛擬裝配 系統(tǒng) J . 中國(guó)圖象圖形學(xué)報(bào) , 2002, 7(1 :27-35. 4R o b e r t J K J .R e a l i t y-B a s e d I n t e r a c t i o n :A F r a m e w o r k f o r P o s t -W I M P I n t e r f a c e s C /C o n f e r e n c e o n H u m a n F a c t o r s i n C o m p u t i n g

41、S y s t e m s P r o c e e d i n gs . 2008:201-210. 5S a f f e r D. D e s i g n i n g F o r I n t e r a c t i o n C r e a t i n g I n n o v a t i v e A p p l i c a t i o n a n d D e v i c e s M . 2n d e d . N e w R i d e r s P r e s s , 2009. 6O k a d a Y , S h i n p o K , T a n a k a Y , e t a l . V i r t u a l i n pu t d e v i c e s b a s e d o n m o t i o n c a p t u r e a n d c o l l i s