基于多點手勢識別的人機交互技術(shù)框架_圖文

1、0引言隨著iPhone手機的推出,基于多點觸摸控制的手勢識別技術(shù)逐漸成為人們普遍接受的人機交互技術(shù)1。但是多點觸摸控制手勢識別必須依賴昂貴的多點觸摸板,用戶需要將手放置在觸摸板上,而且嚴(yán)格意義上只支持兩點觸摸,只能提供為數(shù)不多的幾種手勢,這在一定程度上限制了該項技術(shù)的應(yīng)用。近年來,基于機器視覺的手勢識別技術(shù)正逐步成為人機交互研究的熱點,該技術(shù)主要采用攝像機拍攝人手的運動視頻,檢測跟蹤運動目標(biāo)(人手,然后通過計算目標(biāo)或其運動軌跡與預(yù)設(shè)模板的相關(guān)系數(shù)來判斷手勢的交互語義2-3。當(dāng)前基于機器視覺的手勢識別研究主要是以手型為切入點,通過手型及其變化來識別手勢4-9,但是該種手勢識別方法不便于模擬多點觸

2、摸控制,不適合對基于GUI的應(yīng)用程序進行控制10。文獻11-12討論了基于手勢學(xué)習(xí)和識別的軟件框架及其要素。本文從指尖運動跟蹤出發(fā),提出了一種基于機器視覺的多點手勢識別方法及其人機交互技術(shù)框架。該框架技術(shù)首先通過攝像頭捕捉多個指尖運動的視頻圖像,然后通過一個簡單高效的基于顏色的多目標(biāo)檢測跟蹤算法對多個指尖目標(biāo)進行檢測和跟蹤,最后根據(jù)指尖的運動軌跡進行手勢識別并構(gòu)造相應(yīng)的消息發(fā)送給應(yīng)用程序,應(yīng)用程序響應(yīng)消息,并通過API函數(shù)獲取多個指尖的坐標(biāo)數(shù)據(jù)以實現(xiàn)基于多點手勢的控制處理。收稿日期:2010-11-12;修訂日期:2011-01-16。1基于多點手勢識別應(yīng)用程序架構(gòu)基于多點手勢識別的應(yīng)用程序框

3、架如圖1所示。該框架主要由兩個部分構(gòu)成:指尖檢測跟蹤和多點手勢識別服務(wù)程序(服務(wù)端以及基于多點手勢控制的應(yīng)用程序(客戶端。服務(wù)端負(fù)責(zé)指尖檢測跟蹤和手勢識別,構(gòu)造相應(yīng)的消息(包括低級指點消息、高級手勢消息并通過服務(wù)端留在客戶端的存根發(fā)送給客戶端;客戶端響應(yīng)消息,并通過存根調(diào)用服務(wù)端的API函數(shù)獲得多個指尖的坐標(biāo),然后進行相應(yīng)的消息處理以實現(xiàn)對程序的控制。服務(wù)端程序由指尖顏色學(xué)習(xí)訓(xùn)練模塊、指尖檢測和跟蹤模塊、多點手勢識別模塊以及消息生成和發(fā)送模塊構(gòu)成。指尖顏色學(xué)習(xí)訓(xùn)練模塊通過一個小的樣本區(qū)域獲取需要跟蹤的指尖目標(biāo)的顏色直方圖;指尖檢測和跟蹤模塊以顏色直方圖為基礎(chǔ),通過反投影運算檢測得到指尖目標(biāo)的R

4、OI(range of in-terest,并通過一個高效的基于顏色的跟蹤算法對指尖目標(biāo)進行跟蹤和定位;多點手勢識別模塊分析指尖跟蹤得到的運動軌跡,并通過BP神經(jīng)網(wǎng)絡(luò)算法進行手勢識別;消息生成和發(fā)送模塊根據(jù)指尖檢測跟蹤和手勢識別結(jié)果構(gòu)造相應(yīng)的消息,并發(fā)送給客戶端。2指尖跟蹤和手勢識別2.1指尖的檢測跟蹤要實現(xiàn)基于機器視覺的手勢識別,必需首先實現(xiàn)多個指尖目標(biāo)的實時檢測和跟蹤,并由此得到手勢的運動軌跡。Brad-ski提出的CamShift(continuously adaptive mean shift算法13-14以顏色直方圖為目標(biāo)模式的目標(biāo)跟蹤算法,它能夠自動調(diào)節(jié)搜索窗口大小以適應(yīng)被跟蹤目標(biāo)

5、在圖像中的大小,可以有效地解決目標(biāo)變形和遮擋的問題,但是該算法運算量較大,很難達到實時跟蹤多個運動指尖目標(biāo)的要求。為提高跟蹤的實時性,在要求用戶戴上特定顏色指套的前提下,我們提出一個高效的基于顏色的指尖目標(biāo)檢測跟蹤方法,該算法具體步驟如下:(1使用HSV顏色空間的色相(H和飽和度(S來對指尖目標(biāo)顏色進行學(xué)習(xí)訓(xùn)練,得到一個關(guān)于指尖目標(biāo)特征的二維顏色直方圖(二維查找表,以此作為指尖目標(biāo)檢測跟蹤的基礎(chǔ)。(2將獲取的視頻圖像由RGB顏色空間轉(zhuǎn)換為HSV顏色空間。(3首先選擇初始搜索窗口,使窗口恰好包含整個跟蹤目標(biāo),對搜索窗口中的每一個像素,通過查詢二維顏色直方圖,可以得到該像素為目標(biāo)像素的概率。經(jīng)上述

6、處理,視頻圖像轉(zhuǎn)換為目標(biāo)顏色概率分布圖, 進行二值化處理得到一個二值圖像,= 1(1式中:,決定了一個像素是否是一個指尖目標(biāo)像素,同時這種二值化處理也可以消除一些噪音。(5對上述二值圖像進行圖像形態(tài)學(xué)的開運算和閉運算消除圖像中的噪音和空洞。對于二值圖像的噪音,可以采用圖像形態(tài)學(xué)中的開運算對其進行處理,即使用結(jié)構(gòu)元素對其先腐蝕,后膨脹。對于二值圖像中的空洞,可以使用圖像形態(tài)學(xué)中的閉運算來對其進行消除:先膨脹,后腐蝕。(6通過邊緣檢測得到每個指尖目標(biāo)區(qū)域(連通區(qū)域,并用每個區(qū)域的最小外接矩形標(biāo)記各個區(qū)域。這些矩形稱為指尖目標(biāo)的最終搜索窗口。 由于00, 一階矩01 以及質(zhì)心位置, ,01 =10/

7、01 /大、縮小、旋轉(zhuǎn)3種手勢。對于四點手勢,其識別方法相對比較簡單,只要通過分析左后兩個指尖和右手兩個指尖的相對位置變化就可以進行手勢判斷。下面重點討論兩點手勢識別方法。神經(jīng)網(wǎng)絡(luò)適應(yīng)于輸入輸出存在某種對應(yīng)關(guān)系,但輸入輸出的函數(shù)映射不容易確定的情況15,特別是多層前饋神經(jīng)網(wǎng)絡(luò)(BP 神經(jīng)網(wǎng)絡(luò)具有較好的函數(shù)逼近和分類識別能力15,所以我們采用它來進行兩點手勢識別。(1BP 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計在本項目中,采用三層前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu),輸入層輸入向量為:=1,=1,=1,隱含層到輸出層的權(quán)值矩陣為:2, 1+Ò»°ãÓÐÏÂ&

8、#195;湫ʽȷ¶¨8 +(5式中:110之 間的常數(shù)。(2BP 神經(jīng)網(wǎng)絡(luò)的輸入設(shè)計對于一個手勢,我們?nèi)∈謩莨P畫中的15個樣本點(兩個指尖的中點,由此得到14個向量并對它們進行歸一化處理。然后將該手勢筆畫的向量依次連接,坐標(biāo)依次出現(xiàn),即可構(gòu)成該手勢的輸入向量(28個分量。比如,對于如圖2的“確認(rèn)”手勢筆畫對應(yīng)的輸入向量為:0.71,0.71,0.64,0.77,0.67,0.74,0.61,0.79,0.71,0.71,0.88,-0.48,0.50,-0.86,0.49,-0.87,0.51,-

9、0.86,0.55,-0.83,0.59,-0.81,0.54,-0.84,0.52,-0.85,0.77,-0.64。 通過指尖跟蹤,得到了一個手勢所經(jīng)過的點的坐標(biāo),構(gòu)成一個點集。該點集的點數(shù)可能超過15個。可以通過查找到跨度最小的兩個點,用它們的中點取代它們,重復(fù)執(zhí)行,直到手勢中點的數(shù)目為15個。(3BP 神經(jīng)網(wǎng)絡(luò)的輸出設(shè)計由于本項目需要識別16種兩點手勢,所以我們可以使用長度為16、第M 個元素為1、其余元素均為0的向量作為第M 種手勢的預(yù)期輸出向量。例如,手勢0的預(yù)期輸出向量為(1,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,0,手勢“確認(rèn)”的預(yù)期輸出向量為(0,0,0

10、,0,0,0,0,0,0,0,1,0,0,0,0,0。(4神經(jīng)網(wǎng)絡(luò)訓(xùn)練神經(jīng)網(wǎng)絡(luò)訓(xùn)練就是根據(jù)給定的手勢樣本(包括手勢輸入向量和預(yù)期的輸出向量通過學(xué)習(xí)獲取網(wǎng)絡(luò)的權(quán)值。由于本項目中BP 神經(jīng)網(wǎng)絡(luò)的性能指數(shù)可以表征為實際輸出和預(yù)期輸出的均方誤差,并可以轉(zhuǎn)化為網(wǎng)絡(luò)權(quán)值的二次函數(shù),所以采用Levenberg-Marquardt 算法進行網(wǎng)絡(luò)訓(xùn)練可以達到訓(xùn)練收斂速度快和精度高的目標(biāo)。(5兩點手勢的識別當(dāng)檢測到兩個指尖靠近并且距離達到一定的閾值時,開始進行手勢記錄,用戶通過兩個指尖畫出一個手勢,并通過前述方法得到該兩點手勢的向量組合。以該向量組合作為輸入向量輸入到經(jīng)過訓(xùn)練的神經(jīng)網(wǎng)絡(luò),經(jīng)過運算即可實現(xiàn)手勢識別:

11、如果神經(jīng)網(wǎng)絡(luò)輸出與第M 種手勢的標(biāo)準(zhǔn)輸出向量越接近,說明輸入手勢越接近第M 種手勢的標(biāo)準(zhǔn)輸入。評判“接近”的簡單標(biāo)準(zhǔn)是找出輸出向量中最大(最接近1的分量,認(rèn)為輸入最有可能是該位置為1的輸出向量對應(yīng)的手勢。例如,輸入一個手勢向量到神經(jīng)網(wǎng)絡(luò)后,輸出結(jié)果為(0.01,0.04,0.00,0.00,0.01,0.00,0.00,0.00,0.00,0.00,0.99,0.00,0.00,0.00,0.02,0.00,其最大分量是第11個分量,我們可以判斷該手勢為第11號手勢“確認(rèn)”手勢。當(dāng)然,如果輸出向量中的最大分量小于某個閾值,則可以判斷該手勢不是預(yù)定義手勢。3服務(wù)端程序和客戶端程序通信機制的設(shè)計與

12、實現(xiàn)3.1相關(guān)消息的定義通過前面的分析處理,服務(wù)端實現(xiàn)了指尖跟蹤和手勢識別。我們還必須將指尖跟蹤和手勢識別的結(jié)果轉(zhuǎn)換成相應(yīng)的消息并發(fā)送給應(yīng)用程序,并獲取相關(guān)的指尖位置信息,才能實現(xiàn)通過手勢對應(yīng)用程序的控制。服務(wù)端發(fā)送給應(yīng)用程序的消息分為兩大類:低級指點消息、高級手勢消息。低級指點消息主要用于告知應(yīng)用程序有指尖里進入、離開拍攝區(qū)域,或者有指尖在拍攝區(qū)移動。表1列出了所有的低級指點消息。高級手勢消息一般是由兩個或4個指尖運動形成的手勢。在通過手勢和應(yīng)用程序機進行交互時,真正具有操作語義的是高級手勢消息。表2給出了主要的高級手勢消息定義。3.2服務(wù)端和客戶端通信機制的設(shè)計與實現(xiàn)由于服務(wù)端程序和客戶端

13、程序分屬不同的進程,因此服務(wù)端與客戶端通信還涉及到進程間通信問題。在Windows 下,一個進程不能直接訪問其它進程的地址空間,所以客戶端應(yīng)用程序不能直接訪問服務(wù)端的內(nèi)存來得到指點信息。為了解決數(shù)據(jù)共享的問題,Windows 提供了內(nèi)存鏡像文件的方法。然而,通過內(nèi)存鏡像文件共享數(shù)據(jù),相對復(fù)雜,操作的步驟較多,容易打亂客戶層應(yīng)用程序的邏輯,又會暴露內(nèi)存鏡像文件的內(nèi)部格式,引起其它安全問題。為了使進程間的通信對應(yīng)用程序透明,我們采用“存根”的方式,為客戶端提供一個動態(tài)鏈接庫(存根來處理與服務(wù)層的之間的數(shù)據(jù)交換和通信,如圖3所示?？蛻舳藨?yīng)用程序通過調(diào)用存根的SSS_RegistWindow圖2“確認(rèn)

14、”手勢軌跡及其15個樣本點表1低級指點消息消息名稱功能參數(shù)SSSM_ENTER SSSM_MOVESSSM_LEA VE指點進入指點移動離開wParam :指點編號,lParam :0wParam :0,lParam :0wParam :指點編號,lParam :0(HWND hWnd函數(shù)對該應(yīng)用程序的窗口句柄進行注冊,即將其添加到內(nèi)存鏡像文件中的窗口句柄表中,注冊之后,應(yīng)用程序窗口就可以接收服務(wù)端發(fā)送過來的消息(包括低級指點消息、高級手勢消息并處理這些消息?？蛻舳顺绦蛞部梢哉{(diào)用存根的SSS_UnregistWindow(HWND hWnd取消注冊,即將客戶端窗口句柄從窗口句柄表中刪除,取消注

15、冊之后,客戶端窗口將不再接收到從服務(wù)端發(fā)送過來的消息。當(dāng)服務(wù)端檢測到指尖進入拍攝區(qū)或指尖在拍攝區(qū)運動時,它將把指點坐標(biāo)、指點編號等信息保存到內(nèi)存鏡像文件的指點信息表中,同時向窗口句柄表記錄的客戶端窗口發(fā)送SSS_ENTER或SSS_MOVE消息。當(dāng)檢測到指尖離開拍攝區(qū)是,將向客戶端發(fā)送SSS_LEA VE消息。當(dāng)高級手勢消息觸發(fā)條件滿足時,服務(wù)端開始跟蹤指尖移動并根據(jù)跟蹤軌跡進行手勢識別,然后根據(jù)手勢識別的結(jié)果生成高級手勢消息,并調(diào)用PostMessage給指定的客戶端窗口。客戶端接收到消息后的處理分為兩種情況:對于高級手勢消息,可以直接做出響應(yīng);對于低級指點消息,需要通過調(diào)用存根中的SSS_

16、GetPointsInfo(PTINFO*pt,int lenOfPt,int*data-OfPt得到各個指點的信息,然后再進行相應(yīng)的處理。圖4給出了對于低級指點消息處理的序列圖。4測試結(jié)果為了驗證本文提出的基于多點手勢識別人機交互框架的有效性,利用該框架提供的服務(wù)端程序及其消息機制和API 函數(shù)開發(fā)了一個簡單的圖片瀏覽程序,并將圖片瀏覽程序窗口注冊到手勢識別服務(wù)程序,以便它能夠收到服務(wù)程序發(fā)送的相關(guān)手勢消息和指點消息。測試結(jié)果表明,可以通過手勢實現(xiàn)圖片的放大、縮小、旋轉(zhuǎn)、上下翻頁等功能,操作方便簡單,且沒有延遲感。另外還開發(fā)了一個模擬電話撥號程序,實現(xiàn)通過手勢進行撥號、通話、取消通話、電話號

17、碼翻頁等功能,進一步驗證了框架的有效性。5結(jié)束語本文提出了一種基于多點手勢識別的人機交互技術(shù)框架,即在實現(xiàn)指尖實時跟蹤和手勢快速識別的基礎(chǔ)上,根據(jù)指尖跟蹤和手勢識別結(jié)果構(gòu)造相應(yīng)的消息發(fā)送給應(yīng)用程序,進而實現(xiàn)基于手勢的應(yīng)用程序控制功能。對于應(yīng)用開發(fā)人員來說,可以利用指尖跟蹤和手勢識別服務(wù)程序提供的開放消息框架和API函數(shù),輕松開發(fā)具有手勢控制功能的應(yīng)用程序,而不需要去關(guān)注指點目標(biāo)檢測、跟蹤和多點手勢識別等復(fù)雜的實現(xiàn)過程,大大簡化了開發(fā)任務(wù)。隨著人們對工作生活便利性要求越來越高,人機交互已經(jīng)從以計算機為中心逐步轉(zhuǎn)移到以人為中心、提高用戶操作體驗上來。本文提出的基于多點手勢識別的人機交互技術(shù)可以為用

18、戶提供一種更加自然的人機交互手段,將廣泛應(yīng)用于電子白板、會議系統(tǒng)、指揮系統(tǒng)以及消費電子產(chǎn)品和家電產(chǎn)品等與人們?nèi)粘９ぷ魃钕⑾⑾嚓P(guān)的領(lǐng)域和產(chǎn)品中,具有非常廣泛的應(yīng)用前景。參考文獻:1齊婷,王鋒.基于視覺的多點觸摸基本技術(shù)實現(xiàn)方法J.計算機技術(shù)與發(fā)展,2009,19(10:138-144.2董士海.人機交互的進展及面臨的挑戰(zhàn)J.計算機輔助設(shè)計與圖形學(xué)學(xué)報,2004,16(1:1-11.3任雅祥.基于手勢識別的人機交互發(fā)展研究J.計算機工程與設(shè)計,2006,27(7:1201-1204.4孫麗娟,張立材,郭彩龍.基于視覺的手勢識別技術(shù)J.計算機技術(shù)與發(fā)展,2008,18(10:214-221.5孔曉

19、明,陳一民,陳養(yǎng)彬,等.基于視覺的動態(tài)手勢識別J.計算機工程與設(shè)計,2005,26(11:2934-2936.6Kaustubh,Sumantra.Hand gesture modelling and recognition in-volving changing shapes and trajectories,using a predictive eigentrackerJ.Pattern Recognition Letters,2007(28:329-334.7Zhao Shuying,Tan Wenjun,Wen Shiguang,et al.An improved al-gorithm

20、 of hand gesture recognition under intricate backgroundC.ICIRA2008,Part I,LNAI5314,2008:786-794.表2高級手勢消息消息名稱功能參數(shù)SSSG_ENLARGE SSSG_NARROW SSSG_ROTATESSSG_MOVESSSG_OK SSSG_CANCEL SSSG_FORWARD SSSG_BACKWARD SSSG_NEXTSSSG_PREV SSSG_0,SSSG_9放大縮小旋轉(zhuǎn)拖動確認(rèn)/打開取消/關(guān)閉前進/向左滾屏后退/向右滾屏后翻/下一標(biāo)簽前翻/上一標(biāo)簽數(shù)字手勢wParam:x增量,lPa

21、ram:y增量wParam:x增量,lParam:y增量wParam:方向,lParam:角度wParam:x增量,lParam:y增量wParam和lParam無須用到, 下同8Jose M Moya,Ainhoa Montero de Espinosa,Alvaro Araujo,et al.Low-cost gesture-based interaction for intelligent environmentsC.IWANN2009,Part II,LNCS5518,2009:752-755.9Hardy Francke,Javier Ruiz-del-Solar,Rodrigo V

22、erschae.Real-time hand gesture detection and recognition using boosted clas-sifiers and active learningC.PSIVT2007,LNCS4872,2007: 533-547.10Zhai Haiting,Wu Xiaojuan,Han Hui.Research of a real-timehand tracking algorithmC.IEEE International Conference on Neural Networks and Brains,2005:1233-1235.11To

23、dd C Alexander,Hassan S Ahmed,Georgios C Anagnostopoulos.An open source framework for real-time,incremental,static anddynamic hand gesture learning and recognitionC.Human-Com-puter Interaction,Part II,HCII2009,LNCS5611,2009:123-130. 12Attila L,Tamas S S.User-adaptive hand gesture recognition sys-tem

24、 with interactive trainingJ.Image and Vision Computing, 2005,23:1102-1114.13Bogdan Kwolek.CamShift-Based tracking in joint color-spatialspacesC.CAIP2005,LNCS3691,2005:693-700.14XU Kun,HE Yuyao,WANG Weiya.Object tracking algorithmwith adaptive color space based on CamShiftJ.Journal of Com-puterApplic

25、ations,2009,29(3:757-760.15施彥,韓力群,廉小親.神經(jīng)網(wǎng)絡(luò)設(shè)計方法與實例分析M.北京:北京郵電大學(xué)出版社,2009.(2網(wǎng)站設(shè)置:菜單設(shè)置、表單設(shè)置。(3商品管理:商品分類、商品管理。(4訂單管理:未完訂單處理、存檔訂單查詢。(5會員管理:新到會員審核、會員查詢管理。(6促銷管理:打折促銷、積分換贈。4.2系統(tǒng)分析4.2.1查找變化對照需求變化的分類及特征,查看系統(tǒng)的各個功能模塊是否存在潛在的變化需求。(1數(shù)據(jù)變化:網(wǎng)站參數(shù)、會員類型參數(shù)、商品類型參數(shù)、支付方式參數(shù)、配送方法參數(shù)、商品分類參數(shù)、商品管理參數(shù)、訂單查詢參數(shù)、會員查詢參數(shù)。(2界面變化:菜單參數(shù)、注冊表單

26、參數(shù)、收貨信息表單參數(shù)。(3業(yè)務(wù)流程變化:下訂單流程、訂單處理流程、會員審核流程。(4業(yè)務(wù)規(guī)則變化:積分算法、打折算法、運費配送算法、積分換贈算法。4.2.2映射柔點對照柔點的分類及特征,將各類變化需求抽象成柔點。(1數(shù)據(jù)柔點:網(wǎng)站參數(shù)柔點、會員類型參數(shù)柔點、商品類型參數(shù)柔點、支付方式參數(shù)柔點、配送方法參數(shù)柔點、商品分類參數(shù)柔點、商品管理參數(shù)柔點、訂單查詢參數(shù)柔點、會員查詢參數(shù)柔點。(2界面柔點:菜單參數(shù)柔點、注冊表單參數(shù)柔點、收貨信息表單參數(shù)柔點。(3業(yè)務(wù)流程柔點:下訂單流程柔點、訂單處理流程柔點、會員審核流程柔點。(4業(yè)務(wù)規(guī)則柔點:積分算法柔點、打折算法柔點、運費配送算法柔點、積分換贈算法柔點。4.3系統(tǒng)設(shè)計下面簡述數(shù)據(jù)柔點的設(shè)計過程。網(wǎng)站參數(shù)柔點可以采用靜態(tài)模型,將變化信息直接寫入到程序中,其余柔點采用動態(tài)模型。商品類型參數(shù)柔點、支付方式參數(shù)柔點、配送方法參數(shù)柔點、商品分類參數(shù)柔點和商品管理參數(shù)柔點只需將用戶的設(shè)置存儲到數(shù)據(jù)源中即可,不需要用戶數(shù)據(jù)和元數(shù)據(jù)分別存儲。訂單查詢參