資源檢索綜述

1、精選優(yōu)質(zhì)文檔-傾情為你奉上精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)專心-專注-專業(yè)精選優(yōu)質(zhì)文檔-傾情為你奉上專心-專注-專業(yè)網(wǎng)絡(luò)信息檢索課程（論文）題目： 手勢識別研究發(fā)展現(xiàn)狀綜述學(xué) 院 電子信息工程學(xué)院 專 業(yè) 電子與通信工程 學(xué) 號 姓 名 賀曙東 郵 箱 電 話 2013年 12月26 日摘 要摘要：隨著人機(jī)交互與計(jì)算機(jī)視覺的發(fā)展，手勢識別的研究也越來越受到人們的重視。文中就手勢識別研究發(fā)展現(xiàn)狀展開綜述。首先介紹了目前手勢識別在國內(nèi)外研究現(xiàn)狀，隨后介紹了手勢識別常用的技術(shù)方法，如手勢分割、手勢分析、手勢識別。隨后，對其進(jìn)行了展望并做出了總結(jié)。關(guān)鍵詞: 手勢識別; 手勢分割; 手勢分析;

2、 人機(jī)交互檢索策略檢索策略:所選數(shù)據(jù)庫：萬方：是一個(gè)覆蓋范圍大，學(xué)科廣泛，檢索功能強(qiáng)大的系統(tǒng)。該系統(tǒng)當(dāng)前稱之為“萬方數(shù)據(jù)知識服務(wù)平臺”。 該系統(tǒng)匯集中國學(xué)位論文文摘、會議論文文摘、科技成果、專利技術(shù)、標(biāo)準(zhǔn)法規(guī)、各類科技文獻(xiàn)、科技機(jī)構(gòu)、科技名人等近百個(gè)數(shù)據(jù)庫。 CNKI ：工程是以實(shí)現(xiàn)全社會知識資源傳播共享與增值利用為目標(biāo)的信息化建設(shè)項(xiàng)目，由清華大學(xué)、清華同方發(fā)起，始建于1999年6月 。CNKI中國知識資源總庫是一個(gè)大型動(dòng)態(tài)知識庫、知識服務(wù)平臺和數(shù)字化學(xué)習(xí)平臺。SCI：是由美國費(fèi)城的科學(xué)情報(bào)研究所(Insititute for Scientific Information-簡稱ISI)編輯出版

3、。美國的科學(xué)情報(bào)研究所成立于1960年，SCI創(chuàng)刊于1961年。SCI是一部國際性索引，包括有：、技術(shù)和等，主要側(cè)重基礎(chǔ)科學(xué)。所選用的刊物來源于94個(gè)類、40多個(gè)國家、50多種文字，這些國家主要有、等，也收錄一定數(shù)量的刊物。SSCI: 中文可以理解為社會科學(xué)引文索引，與“SCI”一樣同為美國科學(xué)信息研究所創(chuàng)建，現(xiàn)收錄了世界上、不同國家和地區(qū)的社會科學(xué)期刊和論文，進(jìn)行一定的統(tǒng)計(jì)分析，并劃分為不同的因子區(qū)間，是當(dāng)今社會科學(xué)領(lǐng)域重要的期刊檢索與論文參考渠道。IEEE: 電氣和電子工程師協(xié)會(IEEE)是一個(gè)國際性的電子技術(shù)與信息科學(xué)的協(xié)會，是目前全球最大的非營利性專業(yè)技術(shù)學(xué)會，其會員人數(shù)超過40萬人

4、，遍布160多個(gè)國家。IEEE定位在科學(xué)和教育，并直接面向電子， 通訊，計(jì)算機(jī)工程，計(jì)算機(jī)科學(xué)理論和原理研究的組織，以及相關(guān)工程分支的藝術(shù)和科學(xué)。檢索詞：手勢識別gesture recognition檢索式：手勢+識別：gesture +recognition4）檢索數(shù)量：手勢+識別：萬方：1014 條；CNKI：1002條；Gesture+recognition: SCI: 1215條；SSCI: 334條；IEEE: 4959條。隨著社會發(fā)展、計(jì)算機(jī)廣泛地投入使用，人機(jī)交互( Human Computer Interaction，HCI) 已成為人們?nèi)粘Ｉ钪械闹匾糠帧Ｈ藱C(jī)交互所要實(shí)現(xiàn)的

5、目標(biāo)是實(shí)現(xiàn)人與機(jī)器自然地交流，因此手勢識別研究順應(yīng)了發(fā)展需要也被廣泛重視。然而由于手勢本身具有多樣性、多義性以及時(shí)間和空間上的差異性等特點(diǎn)，加之人手是復(fù)雜變形體以及視覺本身的不適定性，所以手勢識別成為多學(xué)科交叉的研究課題。再者由于應(yīng)用環(huán)境的不同，手勢識別研究無法整合到一個(gè)完整的框架當(dāng)中，理論及技術(shù)未形成一個(gè)完整的體系。多數(shù)研究者是根據(jù)特定的項(xiàng)目要求實(shí)現(xiàn)某些特定的功能，而不具有普適性，不能將其應(yīng)用到普遍的系統(tǒng)或研究當(dāng)中。因此迫切需要對手勢識別研究領(lǐng)域中的一些普遍難題進(jìn)行解決，使其更具通用性。1. 手勢識別研究的發(fā)展最早的手勢識別主要是利用機(jī)器設(shè)備直接檢測手、胳膊各關(guān)節(jié)的角度和空間位置。這些設(shè)備多

6、是通過有線技術(shù)將計(jì)算機(jī)系統(tǒng)與用戶相互連接，使用戶的手勢信息完整無誤地傳送至識別系統(tǒng)中，其典型設(shè)備如數(shù)據(jù)手套1等。數(shù)據(jù)手套是由多個(gè)傳感器件組成，通過這些傳感器可將用戶手的位置、手指的方向等信息傳送到計(jì)算機(jī)系統(tǒng)中。數(shù)據(jù)手套雖可提供良好的檢測效果，但將其應(yīng)用在常用領(lǐng)域則價(jià)格昂貴2。其后，光學(xué)標(biāo)記方法取代了數(shù)據(jù)手套。將光學(xué)標(biāo)記戴在人手上，通過紅外線可將人手位置和手指的變化傳送到系統(tǒng)屏幕上，該方法也可提供良好的效果，但仍需較為復(fù)雜的設(shè)備。外部設(shè)備的介入雖使得手勢識別的準(zhǔn)確度和穩(wěn)定性得以提高，但卻掩蓋了手勢自然的表達(dá)方式。為此，基于視覺的手勢識別方式應(yīng)運(yùn)而生。視覺手勢識別是指對視頻采集設(shè)備拍攝到的包含手勢

7、的圖像序列，通過計(jì)算機(jī)視覺技術(shù)進(jìn)行處理，進(jìn)而對手勢加以識別。清華大學(xué)任海兵3等人從手勢建模、手勢分析和手勢識別等 3 個(gè)方面綜述了基于視覺手勢識別的研究現(xiàn)狀及其應(yīng)用。1.1 國外手勢識別研究現(xiàn)狀目前，手勢識別已被廣泛研究，尤其是基于視覺的手勢識別。韓國 Inda 大學(xué)和 Korea Polytechnic 大學(xué)的JongShill Lee、YoungJoo Lee 等人用熵分析法從背景復(fù)雜的視頻流中分割出手勢區(qū)域并進(jìn)行手勢識別4。使用鏈碼的方檢測手勢區(qū)域的輪廓，最后計(jì)算出從手勢區(qū)域的質(zhì)心到輪廓邊界的距離。該系統(tǒng)可識別 6 種手勢，平均識別率超過 95 %; 6 個(gè)人分別做每個(gè)手勢的識別率平均達(dá)

8、到 90 % 100 %。印度研究者M(jìn)eenakshi Panwar 在視覺手勢識別的基礎(chǔ)上提出了一種基于結(jié)構(gòu)特征的手勢識別算法，通過背景去除、方向檢測、拇指檢測和手指數(shù)量檢測，來最終識別手勢。Chenglong Yu 等人5采用基于視覺的組合特征進(jìn)行手勢識別，將手的面積、周長、重心、面積比和長寬比等特征結(jié) 合，使 得 識 別 率 得 以 提 高。上 海 大 學(xué) DINGYoudong、PANG Haibo6等人運(yùn)用改進(jìn)的 LBP 算法，利用 AdaBoost 分類器進(jìn)行手勢識別，建立了多種手勢數(shù)據(jù)集，其中包括一些大角度變化的手勢圖像。實(shí)驗(yàn)表明該方法可較好地對手勢特征進(jìn)行分割和分類。此外，許多

9、大型電子企業(yè)也將手勢識別研究列入其開發(fā)項(xiàng)目中，并且成果顯著。2012 年，三星推出智能電視新品 ES8000，該款電視機(jī)將面部識別，手勢識別和語言識別結(jié)合，無論是通過語音還是簡單的手勢，用戶不僅可完成開關(guān)機(jī)、調(diào)節(jié)音量、換臺等基本操作，還可實(shí)現(xiàn)上網(wǎng)瀏覽或關(guān)鍵字搜索等復(fù)雜功能。微軟研發(fā)機(jī)構(gòu)的微軟研究院( Microsoft Research，MSR) 與華盛頓大學(xué)合作，開發(fā)出一種可利用筆記本電腦內(nèi)置麥克風(fēng)和揚(yáng)聲器進(jìn)行手勢識別的技術(shù); 該項(xiàng)技術(shù)被稱為Sound Wave，利用了多普勒效應(yīng)識別接近計(jì)算機(jī)的任何動(dòng)作和手勢。1.2 國內(nèi)手勢識別研究現(xiàn)狀國內(nèi)的手勢識別研究主要集中在各大高校和研究院等。清華大

10、學(xué)計(jì)算機(jī)科學(xué)與技術(shù)系祝遠(yuǎn)新等人提出了一種新的基于表觀的手勢識別技術(shù)7 9。提出一種基于運(yùn)動(dòng)分割的幀間圖像運(yùn)動(dòng)估計(jì)方法，并指出了一條如何將運(yùn)動(dòng)、形狀、顏色和紋理等信息統(tǒng)一起來進(jìn)行手勢識別的途徑; 且實(shí)現(xiàn)了對 12 種手勢進(jìn)行在線識別的實(shí)驗(yàn)系統(tǒng)，識別率超過 90 %。王凱等人10提出了基于 AdaBoost 算法和光流匹配的實(shí)時(shí)手勢識別方案:只需連接計(jì)算機(jī)的攝像頭讀取二維手勢視頻片段便可對手勢作出較為準(zhǔn)確的識別。其中，采用 AdaBoost 算法遍歷圖像，完成靜態(tài)手勢的識別工作。而在動(dòng)態(tài)手勢的識別過程中，運(yùn)用了光流法結(jié)合模板匹配的方法。中國科學(xué)技術(shù)大學(xué)和哈爾濱工業(yè)大學(xué)的滕達(dá)11，劉巖等人研究了基于

11、“大小手”的徒手手勢實(shí)時(shí)識別，將雙手劃分成大手和小手，雙手重疊按照一只手處理。應(yīng)用背景差分法將背景去除，利用文中的大小手特征提取算法檢測出手勢，最終利用動(dòng)態(tài)時(shí)間進(jìn)行手勢識別，該系統(tǒng)對 17 個(gè)常用手勢試驗(yàn)識別率可達(dá) 94. 1 %。2.手勢識別關(guān)鍵技術(shù)手勢無論是靜態(tài)或動(dòng)態(tài)，其識別順序首先需進(jìn)行圖像的獲取、手的檢測和分割、手勢的分析，然后進(jìn)行靜態(tài)或動(dòng)態(tài)的手勢識別。具體流程如圖 1 所示。圖 1 手勢識別流程文中從手勢檢測和分割，手勢分析及手勢識別 3個(gè)方面分別介紹手勢識別的研究和應(yīng)用，并同時(shí)給出了結(jié)論。目前，對手勢進(jìn)行檢測分割、分析以及識別的方法較多。圖 2 給出了每個(gè)流程中常用的一些方法。圖2

12、 手勢識別方法一覽2.1 手勢分割手勢分割是手勢識別過程中第一步，手勢分割的效果直接影響到下一步手勢分析及最終的手勢識別。目前最常用的手勢分割法主要包括基于單目視覺的手勢分割和基于立體視覺的手勢分割。單目視覺是利用一個(gè)圖像采集設(shè)備獲得手勢，得到手勢的平面模型。常用的方法主要有: (1) 基于徒手的表觀特征識別( 徒手的表觀特征指手的膚色、紋理、指尖、手的輪廓、手型和手的大小等)，通常都利用膚色信息在 YUV、HSV 或 YCbCr 等顏色空間下建模對手勢進(jìn)行分割12 14。(2)人為增加限制的方法，如使用黑色和白色的墻壁、深色的服裝等簡化背景或要求人手佩戴特殊的手套等強(qiáng)調(diào)前景，以簡化手區(qū)域與背

13、景區(qū)域的劃分15。(3)建立手勢形狀數(shù)據(jù)庫的方法，如密西根州立大學(xué)計(jì)算機(jī)系 Cui Yuntao 建立了一種數(shù)據(jù)庫，其中包括各種手勢類在不同時(shí)刻、不同位置、不同比例時(shí)的手型圖像，作為基于模板匹配識別方法的模板16?；趩文恳曈X的手勢分割方法中，常用的是基于徒手的表觀特征分割，如手的膚色、紋理等。該種表觀不受手勢形狀變化的影響，但受外界環(huán)境的干擾較大，如光照影響，類膚色的干擾等。而人為增加限制的方法雖可解決類膚色的干擾，但卻限定了環(huán)境因素，對環(huán)境要求較為苛刻，使系統(tǒng)的實(shí)時(shí)性和手勢識別的自然性大幅降低。建立手勢形狀數(shù)據(jù)庫的方法是將能夠考慮的所有手勢建立起來，利于手勢的模版匹配，但其計(jì)算量隨之增加，

14、不利于系統(tǒng)的快速識別。綜上所述，無論使用哪一種單一方法，手勢分割均無法克服所有外界因素的影響，因此可考慮將多種方法相結(jié)合，在不同環(huán)境下自適應(yīng)地選擇其中一種方法將手勢準(zhǔn)確地進(jìn)行分割。而立體視覺是利用多個(gè)圖像采集設(shè)備得到手勢的不同圖像，轉(zhuǎn)換成立體模型。主要方法有立體匹配和三維重構(gòu)。張凱17等人利用立體視覺的方法求得手勢的正面圖像，然后與預(yù)定義的模版進(jìn)行匹配從而識別手勢。馬棟林使用雙攝像頭，在手勢的三維幾何模型基本框架下，將得到的幾何體旋轉(zhuǎn)角度作為提取出的手勢特征18。三維模型可最大程度地接近真實(shí)手勢?；诹Ⅲw視覺的手勢分割需建立手勢的三維模型，相比二維模型其所需設(shè)備較多，需要兩個(gè)或多個(gè)圖像采集設(shè)備

15、獲得手勢圖像。立體匹配的方法與單目視覺中的模板匹配方法類似，也要建立大量的手勢庫; 而三維重構(gòu)則需建立手勢的三維模型，計(jì)算量將增加，但分割效果較好。2.2 手勢分析手勢分析是完成手勢識別系統(tǒng)的關(guān)鍵技術(shù)之一。通過手勢分析，可獲得手勢的形狀特征或運(yùn)動(dòng)軌跡。手勢的形狀和運(yùn)動(dòng)軌跡是動(dòng)態(tài)手勢識別中的重要特征，與手勢所表達(dá)意義有直接的關(guān)系。手勢分析的主要方法有以下幾類: 邊緣輪廓提取法、質(zhì)心手指等多特征結(jié)合法以及指關(guān)節(jié)式跟蹤法等。邊緣輪廓提取法是手勢分析常用的方法之一，手型因其特有的外形而與其他物體區(qū)分; 何陽青19采用結(jié)合幾何矩和邊緣檢測的手勢識別算法，通過設(shè)定兩個(gè)特征的權(quán)重來計(jì)算圖像間的距離，實(shí)現(xiàn)對字

16、母手勢的識別。多特征結(jié)合法則是根據(jù)手的物理特性分析手勢的姿勢或軌跡;Meenakshi Panwar 將手勢形狀和手指指尖特征相結(jié)合。來實(shí)現(xiàn)手勢的識別。指關(guān)節(jié)式跟蹤法主要是構(gòu)建手的二維或三維模型，再根據(jù)人手關(guān)節(jié)點(diǎn)的位置變化來進(jìn)行跟蹤，其主要應(yīng)用于動(dòng)態(tài)軌跡跟蹤。2.3手勢識別手勢識別是將模型參數(shù)空間里的軌跡( 或點(diǎn)) 分類到該空間里某個(gè)子集的過程，其包括靜態(tài)手勢識別和動(dòng)態(tài)手勢識別，動(dòng)態(tài)手勢識別最終可轉(zhuǎn)化為靜態(tài)手勢識別。從手勢識別的技術(shù)實(shí)現(xiàn)來看，常見手勢識別方法主要有: 模板匹配法、神經(jīng)網(wǎng)絡(luò)法和隱馬爾可夫模型法。模板匹配法是將手勢的動(dòng)作看成是一個(gè)由靜態(tài)手勢圖像所組成的序列，然后將待識別的手勢模板序

17、列與已知的手勢模板序列進(jìn)行比較，從而識別出手勢。基于模板的方法不僅是指相互對應(yīng)的模板匹配算法( Template Matching) ，也包括對時(shí)間、空間進(jìn)行規(guī)整后的模板匹配算法，如動(dòng)態(tài)時(shí)空規(guī)整算法和動(dòng)態(tài)規(guī)劃算法。由于動(dòng)作的快慢不同，圖像序列中的每幅圖像較難做到相互對應(yīng)，因此進(jìn)行時(shí)間上的規(guī)整是模板匹配的重要步驟。代表性的模版匹配法是動(dòng)態(tài)時(shí)間規(guī)整( Dynamic Time Warping，DTW) 。DTW 是將觀測到的軌跡和學(xué)到的固定長度的局部線型模板進(jìn)行匹配，得出識別結(jié)果; 該算法無需對手勢進(jìn)行時(shí)間上的分割來確定手勢的起點(diǎn)和終點(diǎn)20。神經(jīng)網(wǎng)絡(luò)法: 該方法具有分類特性及抗干擾性，具有自組織及

18、自學(xué)習(xí)能力，具有分布性特點(diǎn)，能有效抗噪聲并處理不完整模式，還具備模式推廣能力。然而由于其處理時(shí)間序列的能力不強(qiáng)，目前廣泛應(yīng)用于靜態(tài)手勢的識別。趙新龍等人設(shè)計(jì)出一套符合用戶設(shè)計(jì)習(xí)慣的編輯手勢，采用基于 BP神經(jīng)網(wǎng)絡(luò)的方法對其進(jìn)行識別，以實(shí)現(xiàn)計(jì)算機(jī)對草繪設(shè)計(jì)行為的準(zhǔn)確理解和對草圖的快速編輯與修改21。隱 馬 爾 可 夫 模 型 法 ( Hidden Markov Model，HMM) : 是一種統(tǒng)計(jì)模型，用隱馬爾可夫建模的系統(tǒng)具有雙重隨機(jī)過程，其包括狀態(tài)轉(zhuǎn)移和觀察值輸出的隨機(jī)過程。其中狀態(tài)轉(zhuǎn)移的隨機(jī)過程是隱性的，其通過觀察序列的隨機(jī)過程所表現(xiàn)。許杏22設(shè)計(jì)的識別系統(tǒng)對 HMM 進(jìn)行初始化及參數(shù)訓(xùn)練

19、，實(shí)現(xiàn)了對阿拉伯?dāng)?shù)字( 0 9) 的手勢軌跡的識別; 最終，可使手勢識別系統(tǒng)具有較好的實(shí)時(shí)性和互動(dòng)性。該方法具有較強(qiáng)的描述手語信號的時(shí)空變化能力，在動(dòng)態(tài)手勢識別領(lǐng)域始終占有主導(dǎo)地位，但其拓?fù)浣Y(jié)構(gòu)的一般性，導(dǎo)致該模型在分手手語信號時(shí)過于復(fù)雜，使得 HMM 訓(xùn)練和識別計(jì)算量過大。3.展望與總結(jié)手勢識別作為人機(jī)交互的重要組成部分，其研究發(fā)展影響著人機(jī)交互的自然性和靈活性。目前大多數(shù)研究者均將注意力集中在手勢的最終識別方面，通常會將手勢背景簡化，并在單一背景下利用所研究的算法將手勢進(jìn)行分割，然后采用常用的識別方法將手勢表達(dá)的含義通過系統(tǒng)分析出來。但在現(xiàn)實(shí)應(yīng)用中，手勢通常處于復(fù)雜的環(huán)境下，例如: 光線過

20、亮或過暗、有較多手勢存在、手勢距采集設(shè)備距離不同等各種復(fù)雜背景因素。這些方面的難題目前尚未得到解決，且將來也難以解決。因此需要研究人員就目前所預(yù)想到的難題在特定環(huán)境下加以解決，進(jìn)而通過多種方法的結(jié)合來實(shí)現(xiàn)適于不同復(fù)雜環(huán)境下的手勢識別，由此對手勢識別研究及未來人性化的人機(jī)交互做出貢獻(xiàn)。參考文獻(xiàn)1 Panwar M. Hand gesture recognition based on shape parametersC/Computing, Communication and Applications (ICCCA), 2012 International Conference on. IEEE,

21、 2012: 1-6.2 吳江琴, 高文, 龐博, 等. 中國手語手勢詞識別的一種快速方法J. 高技術(shù)通訊, 2001, 11(6): 23-27.3 任海兵, 祝遠(yuǎn)新, 徐光, 等. 基于視覺手勢識別的研究綜述J. 電子學(xué)報(bào), 2000, 28(2): 118-121.4 Lee J S, Lee Y J, Lee E H, et al. Hand region extraction and gesture recognition from video stream with complex background through entropy analysisC/Engineering i

22、n Medicine and Biology Society, 2004. IEMBS04. 26th Annual International Conference of the IEEE. IEEE, 2004, 1: 1513-1516.5 Yu C, Wang X, Huang H, et al. Vision-based hand gesture recognition using combinational featuresC/Intelligent Information Hiding and Multimedia Signal Processing (IIH-MSP), 201

23、0 Sixth International Conference on. IEEE, 2010: 543-546.6 DING Youdong，PANG Haibo，WU XuechunRecoginton of hand gesture using improved local binary pattern C2011 International Conference on，Multimedia Technology( ICMT) ，20117 祝遠(yuǎn)新, 徐光祐, 黃浴. 基于表觀的動(dòng)態(tài)孤立手勢識別J. 軟件學(xué)報(bào), 2000, 11(1): 54-61.8 任海兵, 祝遠(yuǎn)新, 徐光祐, 等. 復(fù)雜背景下的手勢分割與識別J. 自動(dòng)化學(xué)報(bào), 2002, 28(2): 1-6.9 任海兵, 祝遠(yuǎn)新, 徐光祐, 等. 連續(xù)動(dòng)態(tài)手勢的時(shí)空表觀建模及識別J. 計(jì)算機(jī)學(xué)報(bào), 2000, 23(8): 824-828. 10 王凱, 于鴻洋,