基于單目手勢識別交互系統(tǒng) 畢業(yè)論文

本科畢業(yè)設(shè)計（論文）基于單目手勢識別交互系統(tǒng)的設(shè)計與實現(xiàn)學院機電工程學院專業(yè)數(shù)字媒體技術(shù)基于單目手勢識別交互系統(tǒng)的設(shè)計與實現(xiàn)李林鋼機電工程學院摘要隨著計算機技術(shù)的逐漸發(fā)展，出現(xiàn)了一些符合人的習慣的人機交互技術(shù)。其中，手勢的檢測和識別技術(shù)作為一種有著自然性、簡潔性和直接性的一種新型的交互方式，是這些交互技術(shù)當中倍受重視的研究和應用的技術(shù)之一。近幾年來，已經(jīng)有相當一部分的應用采用了這種手勢識別的方式作為跟機器交互的手段，受到了世界各個國家的科研機構(gòu)和科技企業(yè)的重視與青睞?；谟嬎銠C視覺的手勢識別需要解決一系列的問題。首先是要做到的是從背景中將手分割出來；然后將有用的信息與冗余的信息分離開來，并將相關(guān)的手勢信息提取出來；最后從相同的手勢中根據(jù)實際情況，解讀出它的特定的含義。針對這些問題，本文討論里一種采用基于單目的特定顏色模型的背景分離方法和基于關(guān)鍵信息的手勢提取方法，用VISUALC2010和OPENCV進行開發(fā)，實現(xiàn)在多種攝像頭下的手勢識別交互系統(tǒng)，主要包括以下方面（1）針對不同攝像頭畫質(zhì)的缺陷，采用中值濾波或均值濾波然后還原細節(jié)的方法實現(xiàn)圖像較好的降噪，再用不同采樣半徑的USM銳化的方式實現(xiàn)圖像信息的強化。（2）根據(jù)人手和背景色相等方面的差異，采用亮度兩個顏色通道的色彩模型進行色彩分離，并將未選擇到的陰影和高光等區(qū)域利用連續(xù)色的原理進行進一步的選取。（3）根據(jù)選取結(jié)果有很多干擾區(qū)域的情況，實現(xiàn)最大面積連通區(qū)域的提取算法，以排除關(guān)鍵信息提取時的干擾。（4）根據(jù)手的區(qū)域的情況和交互的自然性，采用穩(wěn)定的手的重心作為手的位置，利用近大遠小的關(guān)系，采用手占攝像頭面積的大小判斷手離攝像頭的距離。（5）針對以上識別的結(jié)果，實現(xiàn)了一些常見的人機交互應用，包括屏幕畫圖器、鼠標模擬器等。關(guān)鍵詞手勢識別；VISUALC；背景消除；連通區(qū)域；關(guān)鍵信息提取ABSTRACTWITHTHEDEVELOPMENTOFCOMPUTERTECHNOLOGY,SOMEHUMANCOMPUTERINTERACTIONTECHNIQUESWHICHMEETPEOPLESHABITSAPPEARAMONGTHEM,GESTUREDETECTIONANDRECOGNITIONTECHNOLOGY,ASANEWNATURAL,SIMPLEANDDIRECTTECHNOLOGY,ISHIGHLYVALUEDINRECENTYEARS,THEREHAVEBEENCONSIDERABLEPARTOFTHEAPPLICATIONUSINGTHISGESTURERECOGNITIONAPPROACHASAMEANSOFANINTERACTIONWITHTHEMACHINE,ANDITDRAWSATTENTIONOFANDWASFAVOREDBYTHESCIENTIFICRESEARCHANDTECHNOLOGYENTERPRISESOFVARIOUSCOUNTRIESCOMPUTERVISIONBASEDGESTURERECOGNITIONNEEDSTOSOLVEASERIESOFPROBLEMSTHEFIRSTISISHOWTOSPLITTHEHANDFROMTHEBACKGROUNDTHENSEPARATETHEUSEFULINFORMATIONANDREDUNDANTONE,ANDEXTRACTTHERELEVANTINFORMATIONGESTUREFINALLY,DECIPHERTHESPECIFICMEANINGOFTHESAMEGESTUREINACCORDANCEWITHTHEACTUALSITUATIONTOSOLVETHESEPROBLEMS,THISPAPERDISCUSSESAGESTURERECOGNITIONINTERACTIVESYSTEMWITHAKINDOFBACKGROUNDSEPARATIONMETHODSBASEDONSPECIFICCOLORMODEL,ANDAKINDOFGESTUREEXTRACTIONMETHODONKEYINFORMATION,DEVELOPEDBYVISUALC2010ANDOPENCV,FITSAVARIETYOFCAMERA,WHICHINCLUDESTHEFOLLOWINGASPECTS1FORDIFFERENTQUALITYDEFECTSAMONGCAMERAS,THISSYSTEMUSESMEDIANFILTERORMEANFILTERANDRESTORESTHEDETAILMETHODTOREDUCETHEIMAGENOISECONSERVATIVELYTHENUSEDIFFERENTSAMPLINGRADIUSOFUSMSHARPENINGTOENHANCETHEIMAGEINFORMATION2ACCORDINGTOTHEDIFFERENCEOFCOLORSBETWEENBACKGROUNDANDHANDS,THISSYSTEMUSESTHEBRIGHTNESSANDTHETWOCOLORCHANNELSASACOLORMODELFORCOLORSEPARATIONTHENOTCHOSENDISTINCT,SUCHASTHESHADOWANDHIGHLIGHTAREASWILLBEFURTHERSELECTEDUSINGACONTINUOUSCOLORMETHOD3ACCORDINGTOTHERESULTSTHEREAREALOTOFINTERFERINGREGIONSOFSELECTEDAREASTHESYSTEMACHIEVESTHEMAXIMUMCONNECTEDAREAREGIONEXTRACTIONALGORITHM,WHICHEXCLUDESTHEINTERFERENCEOFTHEKEYINFORMATIONEXTRACTION4ACCORDINGTOTHEHANDREGIONOFTHECASEANDFORTHENATURALISTINTERACTIVE,THESYSTEMUSESTHESTABLEPOINTGRAVITYCENTEROFTHEHANDASTHEHANDPOSITION,ANDUSESTHESIZEOFTHEHANDTOKNOWTHEDISTANCEFROMTHEAREAWITHTHENEARFARSMALLERPRINCIPLE5ACCORDINGTOTHERESULTSABOVE,THESYSTEMACHIEVESSOMECOMMONINTERACTIVEAPPLICATIONS,INCLUDINGSCREENDRAWINGCONTROL,MOUSESIMULATOR,ETCKEYWORDSGESTURERECOGNITIONVISUALCBACKGROUNDREMOVALCONNECTEDREGIONKEYINFORMATIONEXTRACTION目錄1緒論111手勢識別交互的背景112手勢及識別方式的分類213基于計算機視覺的手勢識別技術(shù)需要解決的問題214本程序主要實現(xiàn)的功能32攝像頭信息的采集和預處理521OPENCV關(guān)于攝像頭操作的API522在控件中呈現(xiàn)有關(guān)攝像頭的圖像6221HDC的獲取6222將IPLIMAGE位圖渲染到控件當中623攝像頭圖像的預處理7231圖片的縮放7232圖片的降噪8233圖片的銳化113手的區(qū)域的提取1331膚色種子的獲取13311獲取鼠標相對圖像位置的顏色13312自定義膚色種子1432基于手與背景在一定顏色模型上的區(qū)別的初步提取1433將手的范圍擴展到其他區(qū)域1534外部孤立點的消去16341獲取連通區(qū)域的面積和標記區(qū)域ID18342最大面積和對應區(qū)域的獲取1935內(nèi)部孤立點的修補194手的關(guān)鍵點的提取2141手的重心和面積的確定2142手的邊緣的提取215程序主體代碼的實現(xiàn)2351工程的環(huán)境和架構(gòu)2352主類成員變量的定義2453程序的初始化代碼2454從輸入控件中獲得識別參數(shù)2655總體識別語句的實現(xiàn)286應用設(shè)計3061屏幕畫圖的設(shè)計30611獲取CWINDOWDC30612定義和設(shè)置筆刷30613繪圖語句3062模擬鼠標功能的實現(xiàn)31621手的有效偏移量的獲取32622鼠標點擊功能的實現(xiàn)327手勢識別的綜合測試34結(jié)論36總結(jié)36展望與改進36參考文獻38致謝391緒論11手勢識別交互的背景隨著整個社會逐步的信息化，帶給了我們一種新的交互方式人機交互HUMANCOMPUTERINTERACTION。而這一交互活動越來越成為人們?nèi)粘Ｉ畹囊粋€重要內(nèi)容。近幾年來，隨著計算機技術(shù)的逐漸發(fā)展，出現(xiàn)了一些符合人的習慣的人機交互技術(shù)，如頭部跟蹤、人臉識別、表情識別、唇讀、體勢識別以及手勢識別等等1，并逐步向以人為本的方向邁進。其中，手勢的檢測和識別技術(shù)作為一種新型的方式，是這些交互技術(shù)當中倍受重視的研究和應用的技術(shù)之一。手勢是一種有著自然性、簡潔性和直接性的一種人機交互手段。1如果能只用人手作為計算機的輸入設(shè)備，那么我們就無需學習其他繁重的硬件設(shè)備的操作，僅需根據(jù)人們的習慣，確定一些適當?shù)氖謩?，即可用簡單的方式控制機器。而手勢是人的一種很常用的交流方式。像人可以用手指的方向來表示物體的位置，用揮手來表示過來或再見，用一定的手勢表示數(shù)字等等2。近幾年來，已經(jīng)有相當一部分的應用采用了這種手勢識別的方式作為跟機器交互的手段。受到了世界各個國家的科研機構(gòu)和科技企業(yè)的重視與青睞，如IEEE自1995年起召開的人臉與姿勢自動檢測年會FGIEEECONFERENCEONAUTOMATICFACEANDGESTURERECOGNITION以促進包括手勢檢測識別技術(shù)在內(nèi)的技術(shù)交流與發(fā)展。2圖11手勢識別應用12手勢及識別方式的分類手勢GESTURE本身具有多義性和多樣性，由于領(lǐng)域、文化背景等的不同，對手勢的定義也會不同。這里把手勢定義為手勢是人手產(chǎn)生的各種姿勢和動作，手勢和姿勢POSTURE的主要區(qū)別在于姿勢更為強調(diào)身體的總體形態(tài)而手勢更強調(diào)手的細節(jié)。1手勢按時間關(guān)系可分為靜態(tài)手勢指姿態(tài)，又稱手形和動態(tài)手勢指動作，由一系列姿態(tài)組成。靜態(tài)手勢對應時間上的一個點，而動態(tài)手勢對應著一段時間內(nèi)的一條軌跡，需要使用隨時間變化的空間特征來表述3。動態(tài)手勢具有豐富和直觀的表達能力，與靜態(tài)手勢結(jié)合在一起，能創(chuàng)造出更豐富的語義。按手勢目的又可以分為操控手勢和交際手勢10。在人機交互系統(tǒng)中，操控手勢的一種典型應用就是在二維和三維的虛擬環(huán)境中來操控物體。交流手勢主要是指在自然環(huán)境中伴隨人們自然對話的自由形式手勢。手勢相對于語言來說是一種表達人們想法的單獨的補充模式。在對話中與手勢相關(guān)聯(lián)的信息是一種語句的時間和空間結(jié)構(gòu)，可以用機器來提取它們11。手勢的識別方式可分為利用機械裝置的識別和基于計算機視覺的識別。機械裝置，如數(shù)據(jù)手套是虛擬現(xiàn)實中重要組成部分，可以將手指的復雜的三維位置和動作利用附著的感應器傳到到計算機當中去。然后可以重新呈現(xiàn)手部動作。數(shù)據(jù)手套傳感的識別方法的技術(shù)關(guān)鍵是手套能不能將手指、手掌、手腕的彎曲真實的以數(shù)據(jù)形勢反演到系統(tǒng)數(shù)據(jù)庫中，讓系統(tǒng)根據(jù)模型對手勢進行有效識別。由于手部軟組織和計算復雜性，數(shù)據(jù)手套的計算速度總是存在延時，同時從人機交互的角度手套佩戴也十分不方便。如果多人使用還存在衛(wèi)生等問題4，再加上這些傳感器昂貴的價格，因此數(shù)據(jù)手套等機械識別的方式在推廣上會受到很多的障礙。近些年來，基于計算機視覺的識別方法提供了一種成本較低的能減少用戶限制的手勢識別的方法，這種方法也是本系統(tǒng)的主攻方向。在基于計算機視覺的識別方式中，通常的做法就是把手勢識別問題看成模式識別問題來對待。通過攝像頭等設(shè)備來獲取圖像或視頻，再把它們分解成特征集，然后用這些特征集與預先定義好的模式進行匹配。13基于計算機視覺的手勢識別技術(shù)需要解決的問題無論是利用數(shù)據(jù)手套還是用手部粘貼高亮標簽使作為輸入設(shè)備會給使用者帶來不舒適感如出汗等，且設(shè)備價格昂貴，難以推廣。在上述研究的基礎(chǔ)上，研究者漸漸把研究的重心轉(zhuǎn)移到的不佩戴手套或不粘貼設(shè)備的自然手識別檢測技術(shù)之上，以追求使用者更舒適的體驗，其中從計算機視覺的研究方式入手是當前比較主流的研究方向，然而實現(xiàn)起來難度更大。首先是要做到的是從背景中將手分割出來，通常會用膚色分割的方法基于皮膚的色調(diào)將不同于周圍背景手的區(qū)域分離出來但是會受到光線等因素干擾，分離出手后需要用合適的模型對手的動作建模。之后從模型中估算出參數(shù)，根據(jù)估算出的參數(shù)對手勢進行分類，得出結(jié)論。由于在數(shù)據(jù)采集時容易受到背景干擾，往往要求背景顏色和手的顏色有較好的區(qū)分度。4其次人體由多個部分組成，其中手指往往包含豐富的信息，而頭和手臂所以及人手本身因光滑而產(chǎn)生的大量陰影等信息則大多為冗余信息，故如何將有用的信息與冗余的信息分離也是提高手勢識別能力的關(guān)鍵。再次，人手是彈性物體，同樣的手勢的表現(xiàn)效果可能差別很大5，并且同樣的用戶者要重復做出完全相同的手勢也是不可能的，如何降低甚至消除這個因素的影響對整個識別的準確率也有一定影響。最后，手勢往往具有復雜、多重的含義，單一的方法很難準確地解讀人手的具體內(nèi)涵進而實現(xiàn)最終的識別，故需要綜合多種方法。6針對上面提到的多種難題，不同的研究和開發(fā)人員提出了許多種不一樣的方案。綜合以上，本文將提出一種能適應各種攝像頭的，能抵抗一定干擾信息的一種基于計算機視覺的進行手勢識別解決方案。14本程序主要實現(xiàn)的功能（1）實現(xiàn)對攝像頭的發(fā)現(xiàn)和選取，與對每一幀圖像的采集和縮放。（2）實現(xiàn)對圖像的清晰化，包括點狀噪聲的去除、細節(jié)的還原以及之后整體的銳化。（3）實現(xiàn)對背景信息的剔除，包括對膚色的提取和分割，對陰影和高光區(qū)域的擴散和對一些孤立點的剔除。（4）實現(xiàn)關(guān)鍵信息，如手的重心、手的遠近（手的面積）等的確定。（5）利用以上關(guān)鍵信息，實現(xiàn)一些應用。為了保證軟件的實時性，同時便于以上功能的實現(xiàn)，開發(fā)工具選用VISUALC2010，第三方類庫采用OPENCV20來完成這項工程。2攝像頭信息的采集和預處理21OPENCV關(guān)于攝像頭操作的API要進行手勢信息的獲取，首先需要擁有一定的硬件，如數(shù)據(jù)手套、攝像頭等。對于軟件方面則要安裝相應的驅(qū)動程序和了解它們的API。幸好OPENCV提供了一系列通用而且簡潔的外部接口以便于實現(xiàn)以上的工作，對攝像頭操作代碼流程如圖21所示M_VIDEOCVCREATECAMERACAPTUREI/獲取第I個攝像頭信息給視頻指針CVCAPTUREM_VIDEO/定義視頻指針M_VIDEO/視頻指針M_VIDEOCVCREATECAMERACAPTURE1/獲取任一個攝像頭信息給視頻指針提示錯誤并退出程序M_VIDEONULL/是否找到攝像頭IPLIMAGEM_CAPTUREDCVQUERYFRAMEM_VIDEO/獲取當前攝像頭圖片，不能用CVRELEASEIMAGE手動釋放圖片內(nèi)存。進行關(guān)于M_CAPTURED和它以前的副本的圖像處理和應用用戶手動退出CVRELEASECAPTURE/釋放視頻指針結(jié)束延遲一定的時間HIJIAN開始HI否是否是圖21攝像頭啟動和釋放的代碼流程在實際的應用當中，當用戶擁有多個攝像頭時，CVCREATECAMERACAPTURE方法的參數(shù)應該取零或正整數(shù)，來選擇不同編號的攝像頭。當找不到該攝像頭時，可以自動選擇成默認的攝像頭，一般來說是第0號攝像頭，仍未找到才進行錯誤退出。22在控件中呈現(xiàn)有關(guān)攝像頭的圖像為了便于觀察，需要將攝像頭的源數(shù)據(jù)或數(shù)據(jù)的處理情況呈現(xiàn)到控件中，而MFC類庫和OPENCV共同提供了這些方法。221HDC的獲取MFC的CDC（設(shè)備上下文）和它對應的句柄HDC提供了一系列有關(guān)畫圖的方法，對于一個有一定ID（如IDC_STATIC1）的控件來說，獲取的方法如下CWNDPWNDGETDLGITEMIDC_STATIC1CDCPDCPWNDGETDCHDCHDCPDCGETSAFEHDCIFHDCNULLMESSAGEBOX“無法獲取HDC“RETURNTRUE這里將ID為IDC_STATIC1的控件通過PWND獲取控件本身的窗口信息，然后通過這個PWND來獲得有關(guān)設(shè)備的上下文CDC和HDC，獲取不到則出現(xiàn)錯誤對話框并退出。如果已經(jīng)設(shè)置了控件的CONTROL類型的變量（如M_S1），則CDC和HDC可以通過這個變量直接獲取CDCPDCM_S1GETDCHDCHDCPDCGETSAFEHDC222將IPLIMAGE位圖渲染到控件當中OPENCV的IPLIMAGE類型的圖片渲染到控件的HDC前需要得到它的頭部信息，這需要開辟一段內(nèi)存并將它的結(jié)構(gòu)體提取出來，然后分別賦值STATICUCHARBUFFERSIZEOFBITMAPINFOHEADER1024BITMAPINFOBMIBITMAPINFOBUFFERBITMAPINFOHEADERBMIHMEMSETBMIH,0,SIZEOFBMIHBMIHBISIZESIZEOFBITMAPINFOHEADERBMIHBIWIDTHIMAGEWIDTHBMIHBIHEIGHTIMAGEORIGINABSIMAGEHEIGHTABSIMAGEHEIGHTBMIHBIPLANES1BMIHBIBITCOUNTUNSIGNEDSHORTIMAGEDEPTHBMIHBICOMPRESSIONBI_RGB其中IMAGE變量是IPLIMAGE的實例。之后調(diào)用MFC的SETDIBITSTODEVICE方法，參數(shù)為HDC,0,0,IMAGEWIDTH,IMAGEHEIGHT,0,0,0,IMAGEHEIGHT,IMAGEIMAGEDATA,BMI,DIB_RGB_COLORS，即可將OPENCV的IPLIMAGE畫入到HDC為HDC的控件中。但其后不能執(zhí)行PDCINVALIDATE操作，否則原先畫的結(jié)果會被清空。23攝像頭圖像的預處理由于攝像頭的圖像尺寸千變?nèi)f化，不一定能滿足手的關(guān)鍵點位置的精準度或者圖片太大造成延遲和卡頓，而且可能包含了大量的阻礙識別的信息（如點狀噪聲等），因而需要一些預處理工作。231圖片的縮放圖片需要縮放到一個合理的大小，如320X240，為了加強精確度有條件的可以加到640X480。OPENCV提供了一個函數(shù)CVRESIZE可以實現(xiàn)這個功能。如原IPLIMAGE圖片是M_CAPTURED,目標圖片是M_FRAME，則函數(shù)可寫成CVRESIZEM_CAPTURED,M_FRAME,M_CAPTUREDWIDTHM_FRAMEWIDTHCV_INTER_LINEARCV_INTER_AREA當原圖片比目標圖片小時應使用雙線性或雙三次插值的放大算法，來使得手的運動軌跡連續(xù)變化，反之，則采用平均值的縮小算法，來減少波紋和邊緣的不連續(xù)現(xiàn)象。232圖片的降噪噪聲可以理解為“妨礙人和傳感器對所接收的信源信息理解的因素”。而圖像中各種妨礙信息接受的因素即可稱為圖像噪聲。噪聲被定義為“不可預測而只能用概率統(tǒng)計的方法，來認識的隨機誤差”。圖片噪聲按產(chǎn)生的原因可分為外部噪聲和內(nèi)部噪聲。外部噪聲是指由于系統(tǒng)外部干擾以電磁波或由電源串進系統(tǒng)內(nèi)部而引起的噪聲。如電氣設(shè)備，天體放電現(xiàn)象等引起的噪聲，而這種噪聲可能就是高斯噪聲、脈沖噪聲等多個噪聲合成累計的。內(nèi)部噪聲主要是由光和電的基本性質(zhì)所引起的噪聲。如電流的產(chǎn)生是由空穴或電子的集合，定向運動所形成的，而這些粒子運動的帶有隨機性，產(chǎn)生了散粒噪聲；而導體中也有自由電子，它們會進行無規(guī)則熱運動，形成熱噪聲。為了消除這些隨機因素，可以通過中值濾波或均值濾波的方法法進行濾波。對應的OPENCV函數(shù)是VOIDCVSMOOTHCONSTCVARRSRC,CVARRDST,INTSMOOTHTYPECV_GAUSSIAN,INTPARAM13,INTPARAM20,DOUBLEPARAM30,DOUBLEPARAM40。其中SMOOTHTYPE是CV_GAUSSIAN時將對圖像進行大小為PARAM1PARAM2的高斯卷積的均值濾波。而SMOOTHTYPE是CV_MEDIAN時將對圖像進行大小為PARAM1PARAM1的中值濾波，注意為PARAM1奇數(shù)，且不大于7，其效果結(jié)果如下圖所示A原圖BCV_GAUSSIANCCV_MEDIAN圖22CVSMOOTH的不同SMOOTHTYPE的比較可以看出，中值濾波對邊緣的保留效果較強，但實際執(zhí)行的速度較慢。不過這些降噪變換都會導致有效細節(jié)的丟失。為此可以將圖片用按一定閾值還原，這分為兩種方法還原與原圖像相差小的部分和與還原原圖像相差大的部分，為了保持還原后的連續(xù)性，可以設(shè)置成不在符合閾值內(nèi)的圖像的保留度再按跟還原原圖像相差值線性變化，其效果如圖23至圖26所示圖23中值濾波后的圖形圖24原圖圖25低閾值保留后的圖形圖25高閾值保留后的圖形從上圖可以看出，還原與原圖像相差小的部分可以消除一些突兀的部分，可稱為椒鹽噪聲，使得圖像看起來比較柔和，但形體內(nèi)部的與原圖像相差小斑紋仍然存在；而還與原原圖像相差大的部分則可以讓形體內(nèi)部的斑紋大大減弱或消失，使得圖像看起來比較平滑，但是突兀的部分也因此更加明顯。因此，這兩種還原算法需要配合起來使用才能起到效果，以便于識別為目的，可以使用先還原相差小的部分，并用這個結(jié)果作為原圖，再還原相差大的部分。如圖所示，效果已經(jīng)綜合了上述兩種效果的優(yōu)點。圖26原圖圖27雙重還原后的圖像233圖片的銳化經(jīng)過圖片的降噪處理后會顯得比較朦朧，有時候需要進行USM銳化方可實現(xiàn)更好的邊緣提取。為此可以先用CVSMOOTH，SMOOTHTYPE選CV_GAUSSIAN進行均值濾波到一個臨時圖像，然后按一定閾值將原圖像與臨時圖像的像素反差擴大即可，反差擴大的公式為XKX式中，X表示原圖像的亮度，表示臨時圖像的亮度，K表示銳化的強度（K1），XX表示目標圖像的亮度。而通過原圖像與臨時圖像的色差的閾值的調(diào)整，可以減少一些不需要銳化的區(qū)域，但如上所述，會造成邊緣突兀和不連續(xù)，為此也可以將位于原圖像與臨時圖像的亮度差在閾值內(nèi)部分的銳化強度，按這個亮度差線性減弱。如圖28所示A銳化前B銳化后圖28銳化前后的圖像比較3手的區(qū)域的提取基于計算機視覺的手勢識別的首要任務就是要將手和背景區(qū)分開，而背景環(huán)境往往會十分復雜，前面通過一系列的降噪和銳化實現(xiàn)了冗余信息的剔除和重要信息的強化，從而為之后的工作提供了便利。而這里將討論如何盡可能準確地將手所在的區(qū)域從復雜的背景中提取出來。31膚色種子的獲取如圖所示，隨著不同人之間的差異和光線的變化，以及某些攝像頭的自動對光功能，均會導致膚色出現(xiàn)變化，為此，很多時候需要以一種快捷的手段根據(jù)現(xiàn)場情況進行調(diào)整。從上圖中還可以看出，手自身的顏色特別是亮度是有變化的，如果以手的平均顏色作為膚色的種子，將會導致可選擇的范圍的減少。因此這里采用了在圖上手的位置單擊某一點，并獲得這一點的顏色，用試探法選擇到最合適的膚色作為手的顏色種子來跟背景區(qū)分開來；同時也提供了用自定義的顏色作為種子來靈活應對。311獲取鼠標相對圖像位置的顏色要在單擊鼠標時獲取鼠標相對圖像位置的顏色，需要處理這個圖像所在控件的點擊事件。CSTATIC控件還需要首先將其NOTIFY屬性設(shè)置成TRUE，以指定這個控件在單擊和雙擊時對父級控件發(fā)出通知。要獲取鼠標相對于圖像的坐標可以通過先獲取鼠標的屏幕坐標，再將該坐標轉(zhuǎn)成相對于控件的坐標來實現(xiàn)，如下圖。CPOINTPOINT/定義點GETCURSORPOS/獲取鼠標在屏幕上的坐標GETDLGITEMIDC_STATIC1SCREENTOCLIENT/獲取相對于控件上的坐標圖31獲取鼠標相對于某個控件的坐標要在單擊鼠標時獲取鼠標相對圖像位置的顏色，需要處理這個圖像所在控件的點擊事件。CSTATIC控件還需要首先將其NOTIFY屬性設(shè)置成TRUE，以指定這個控件在單擊和雙擊時對父級控件發(fā)出通知。設(shè)M_FRAME為IPLIMAGE的圖片，SRC為它的IMAGEDATA的開頭，則鼠標在圖像的坐標（X0，Y0）上的像素指針為MBYTESRCX0M_FRAMENCHANNELSY0M_FRAMEWIDTHSTEP關(guān)于這一像素的COLORREF顏色COLOURINTMBYTE00/參數(shù)為默認顏色，打開方式（這里是全打開）而通過DLGGETCOLOR的方法可以返回調(diào)好的COLORREF顏色。32基于手與背景在一定顏色模型上的區(qū)別的初步提取從上所述，膚色在顏色空間的分布相當集中，但會受到光照強度和不同人之間的很大影響。為了減少膚色受照明強度影響，通常將顏色空間從RGB轉(zhuǎn)換到亮度與色度分離的某個顏色空間，比如YUV、LAB或HSL，然后放棄亮度分量。在雙色差或色調(diào)飽和度平面上，不同人的膚色區(qū)別較小，膚色的不同更多在亮度上而不是色度上。7OPENCV中實現(xiàn)上述方法的函數(shù)為VOIDCVCVTCOLORCONSTCVARRSRC,CVARRDST,INTCODE，其中SRC輸入的是原圖像指針,而IPLIMAGE繼承了CVARR，有時需要將用整數(shù)信息存儲的圖片轉(zhuǎn)換為一定精度的浮點圖；DST輸入的是目標圖像的指針；CODE是色彩空間轉(zhuǎn)換的模式，該CODE來實現(xiàn)不同類型的顏色空間轉(zhuǎn)換。比如當CODE選用CV_BGR2HSV時，對于8位圖，需要將RGB值歸一化到01之間。這樣得到HSV圖中的H取值范圍才是0,360，S和V的取值范圍是01。由于顏色模型的不同，轉(zhuǎn)換以后的對手的范圍的提取方法也有所不同。具體來講，如果用原始的RGB顏色模型的圖片來提取，那么可以用R、G、B三種通道各自與膚色種子的色差的最大值來判定圖像上的某點是否在手上；如果用顏色模型為一個亮度通道兩個顏色通道的圖片，則可以通過先遍歷整個圖像，把每一點的像素歸化到0,255的整數(shù)范圍中，再將兩個顏色通道移到統(tǒng)一的位置進行統(tǒng)一的色差最大值判定，提取的效果如圖32所示。圖32初步提取輪廓33將手的范圍擴展到其他區(qū)域在復雜光線條件下，比如圖所示的膚色在高光區(qū)或陰影區(qū)中導致亮度存在不同，有些部分并沒有被選上；還有如圖所示的情況，由于手在不同位置的代謝情況的不同和指紋關(guān)系，導致顏色也存在著不同，從而有些另外的部分也沒有被選上。但是從圖中又可以看得出，這些區(qū)域與選取到的區(qū)域之間并不存在明顯的邊緣，因此可以通過一種多次迭代的方法，將這些區(qū)域周邊按一定的色差閾值進行擴散，直到擴散了0個像素為止。如圖33所示A擴散前B擴散后圖33選取擴散前后的對比34外部孤立點的消去經(jīng)過如上圖所示的處理中，可以發(fā)現(xiàn)圖片中存在一些比較小的一些孤立的區(qū)域被選中了，如人的頭部，書架、椅子、窗簾等，它們的顏色與手的顏色相近，但是其共同點是都在在手的后面，而且所占的面積比手的要小。為此可以通過獲取最大的連通區(qū)域的方法來去掉一些不合理的選取，目標效果如圖33所示。A消去前B消去后圖33外部孤立點的消去目標獲取最大的連通區(qū)域包括三步獲取連通區(qū)域的面積并在每個像素標記區(qū)域的ID找出面積的最大值和對應的區(qū)域ID將面積信息非最大的區(qū)域置為未選中?？梢酝ㄟ^遞歸的方法實現(xiàn)以上功能,但由于遞歸要調(diào)用WINDOWS系統(tǒng)的堆棧，而這個堆棧的大小不能超過2M，因此還需要將這個算法實現(xiàn)成非遞歸的。這里由于棧的大小不會超過整個圖片面積的整數(shù)倍，因而提供的?？梢赃x擇一個中間的IPLIMAGE作為存儲，這就要求這個IPLIMAGE的通道數(shù)足夠。為此可以選擇一個彩色的24位RGB圖作為棧來儲存當前遍歷的位置信息。為此需要將位置的兩個值X和Y的坐標通過移位運算的方式壓縮在24位長的變量中。整理以上之后，算法可以分以下幾步完成。341獲取連通區(qū)域的面積和標記區(qū)域ID當一個點首次到達一個連通區(qū)域（未計算）時，即開始計算這個區(qū)域的面積，算完該面積后再進去這個區(qū)域（已計算）將不會再重新算。計算面積的步驟如下進入堆棧計算面積循環(huán)，并將當前坐標壓入堆棧。面積計數(shù)加一堆棧彈出一格上下左右是否為被選中區(qū)域且未被計算讀取棧中坐標被選中的相鄰節(jié)點分別壓入堆棧該坐標置為已計算并標記區(qū)域ID棧是否為空返回面積計數(shù)，結(jié)束是否否是圖34外部孤立點的消去算法在數(shù)據(jù)的結(jié)構(gòu)上，將原圖像副本信息拷貝后，兩個臨時圖片MEMOPIC和TEMPPIC將分別儲存不同的中間信息。MEMOPIC的每個像素的24位整形中，前12位UNSIGNEDCHARA,B表示遍歷游標的橫坐標INTI，后12位UNSIGNEDCHARB,C表示遍歷游標的縱坐標INTJ。其讀取和寫入的方法如下讀取IINTA4JINTCBUCHARICUCHARJTEMPPIC的每個像素的24位整形中，儲存像素點遍歷的狀態(tài)0原先未選??；1原先已選取但未參與面積計算；1原先已選取并已參與面積計算，表示區(qū)域的ID（從2開始）。342最大面積和對應區(qū)域的獲取最大面積的獲取的語句是IFCOUNTMAXIMAGEDATAITEMPPICNCHANNELSJTEMPPICWIDTHSTEP對應的值是否跟COUNTMAXID的后24位相等即可。35內(nèi)部孤立點的修補上面的的提取工作已經(jīng)比較理想了，但是手的內(nèi)部仍然存在著一些缺失的區(qū)域，這會對邊緣的檢測帶來不必要的麻煩。類似地也可以通過第34節(jié)建立堆棧的方法來實現(xiàn)，但是要將選區(qū)做暫時的反轉(zhuǎn)操作，效果如圖34所示。圖3內(nèi)部孤立點的修補4手的關(guān)鍵點的提取經(jīng)過以上的步驟，我們已經(jīng)獲得了手的像素信息。然而只通過像素信息來判斷手勢將導致判斷過于復雜，不利于應用的實現(xiàn)。為此可以通過提取關(guān)鍵點的方式來給手勢識別應用一些簡明而穩(wěn)定的信息。41手的重心和面積的確定手的重心可以通過選取圖片（如MEMOPIC）中手的區(qū)域的內(nèi)的X和Y坐標的平均值來實現(xiàn)，而手的面積可以反映手離攝像頭的距離。如圖41所示圖41重心區(qū)域（手中央紅色區(qū)域）42手的邊緣的提取手的邊緣可以通過像素與其旁邊相差的大小來確定，但為了保持邊緣的寬度在1像素內(nèi)，僅需判斷這個像素點與其右方和下方的顏色是否相同即可，如圖42所示圖42邊緣提?。ㄊ种醒爰t色區(qū)域）5程序主體代碼的實現(xiàn)51工程的環(huán)境和架構(gòu)手勢識別系統(tǒng)GESTURETEST的開發(fā)環(huán)境采用VISUALC2010，項目類型采用了MFC基于對話框的應用程序，第三方庫選用OPENCV作為識別的輔助工具。為此，必須先進行工程環(huán)境的配置（1）安裝OPENCV20，并在其安裝目錄下的INCLUDE和LIB下的所有文件復制到CPROGRAMFILESMICROSOFTVISUALSTUDIO100VC下的同名目錄中。（2）打開所建立的工程，選擇項目GESTURETEST屬性，配置選“所有配置”，并在其下的配置屬性鏈接器輸入中輸入CXCORE200DLIBCV200DLIBHIGHGUI200DLIBADDITIONALDEPENDENCIES（3）將OPENCV安裝目錄下的BIN目錄里的CV200DDLL、CXCORE200DLL、CXCORE200DDLL和HIGHGUI200DDLL復制到項目生成的可執(zhí)行文件的相同目錄下。如果不能運行，則復制該BIN目錄里文件名不帶D結(jié)尾（不含擴展名）的相應文件，并將程序旁DLL文件的文件名后加上D即可。建立的項目主要包含以下文件GESTURETESTHGESTURETESTDLGHRESOURCEHSTDAFXHTARGETVERHGESTURETESTCPPGESTURETESTDLGCPPSTDAFXCPP其中的GESTURETESTDLGCPP，即CGESTURETESTAPP類在INITINSTANCE方法的DLGDOMODEL后需要加上IFDLGM_VIDEONULLCVRELEASECAPTURE用來在程序結(jié)束后釋放視頻指針變量M_VIDEO，否則程序在關(guān)閉后無法徹底退出。主要的實現(xiàn)方法將在CGESTURETESTDLG類中實現(xiàn)。52主類成員變量的定義CVCAPTUREM_VIDEO/視頻指針I(yè)PLIMAGEM_CAPTURED/視頻中的圖片IPLIMAGEM_FRAME/暫存圖片IPLIMAGEM_GRABFRAME/預覽圖片IPLIMAGEM_TEMP/臨時圖片BOOLM_FRAMECREATED/暫存圖片是否為手動創(chuàng)建的INTSMOOTHMODE/平滑模式INTCENTX/手的重心橫坐標INTCENTY/手的重心縱坐標INTZONE/手的面積/IDC_STATIC1（攝像頭的圖像所畫在的控件）的各個屬性CDCPDC/設(shè)備上下文HDCHDC/設(shè)備上下文的句柄CWNDPWND/控件的窗口CRECTRECT/控件的寬高度INTSCREENWID/屏幕寬度INTSCREENHEI/屏幕高度53程序的初始化代碼在構(gòu)造函數(shù)中將成員變量和控件變量賦上初始值，并在ONINITDIALOG中進行如圖51所示的操作。獲取要繪圖的控件的HDC和大小獲取攝像頭獲取屏幕分辨率開始計時改變控件大小圖51程序的初始化流程并在ONINITDIALOG方法中加入以下代碼/獲取HDC和控件尺寸PWNDGETDLGITEMIDC_STATIC1PDCPWNDGETDCHDCPDCGETSAFEHDCPWNDGETCLIENTRECTIFHDCNULLMESSAGEBOX“無法獲取HDC“RETURNTRUE/獲取攝像頭IFM_VIDEONULLM_VIDEOCVCREATECAMERACAPTUREM_E01IFM_VIDEONULLMESSAGEBOX“無法打開攝像頭“RETURNTRUEINVALIDATETRUEUPDATEWINDOW/獲取屏幕分辨率SCREENWIDGETSYSTEMMETRICSSM_CXSCREENSCREENHEIGETSYSTEMMETRICSSM_CYSCREEN/開始計時SETTIMER1,100,NULL/設(shè)置裝載圖片的控件的默認尺寸是640480并且將右邊控件位置和窗口大小調(diào)到適當位置MOVECONTROLS640,48054從輸入控件中獲得識別參數(shù)從控件中獲得參數(shù)可以用UPDATEDATATRUE，但當用戶輸入了一些非數(shù)字等不能轉(zhuǎn)換為參數(shù)的字符串時，會不斷地彈出對話框。為了防止這種情況，處理方式如圖53所示，并在ONTIMER方法的開頭中加入代碼獲取彈出的對話框的指針是否獲取到對話框獲取控件的數(shù)據(jù)是否因獲取失敗而彈出了對話框根據(jù)控件數(shù)據(jù)開始識別否否是是返回，不進行識別對話框關(guān)閉后控件的值復位并返回圖52能防止不斷彈出對話框的獲取控件信息流程CWNDCWDGFINDWINDOWEXNULL,NULL,NULL,“GESTURETEST“/獲取UPDATEDATA自動生成的對話框，標題為工程名CWNDCWDTGETFOREGROUNDWINDOW/獲取活動的窗口IFTHISCWDTRETURNIFUPDATEDATATRUE/讀取對話框數(shù)據(jù)/UPDATEDATAFALSECDIALOGEXONTIMERNIDEVENTRETURN55總體識別語句的實現(xiàn)總體識別的步驟包括中值濾波、均值濾波、細節(jié)還原和銳化等圖像的初步潤飾操作，也包括了選取的提取和擴散操作，還有孤立點去除和關(guān)鍵信息的提取，代碼在ONTIMER方法中的獲取控件信息的語句之后。在識別的過程中，需要對識別的每一步結(jié)果分別進行呈現(xiàn)，為此需要進行適當?shù)牧鞒炭刂疲⑦x擇適當?shù)腎PLIMAGE圖片畫到控件中。而后面的應用實現(xiàn)的代碼將被寫在總體識別的語句之后。INTCOLOURMAX0/最大色差BOOLPRESHOWFALSE/顯示M_FRAMEIFSMOOTHMODE1CVSMOOTHM_FRAME,M_GRABFRAME,CV_MEDIAN,2M_E111,0,0,0/中值濾波ELSEIFSMOOTHMODE2CVSMOOTHM_FRAME,M_GRABFRAME,CV_GAUSSIAN,2M_E111,2M_E111,0,0/均值濾波IFSMOOTHMODE0BLURFIXFILTERM_FRAME,M_GRABFRAME,M_E12,M_E13/濾波后的有限還原IFM_C1TRUERUIHUAFILTERM_FRAME,M_GRABFRAME,M_ERHSL,M_ERHBJ,0/銳化CVCOPYM_GRABFRAME,M_FRAMEIFM_R11PRESHOWTRUE/顯示M_GRABFRAMECOLOURSELECTM_FRAME,M_GRABFRAME,M_E21,M_E22,M_E23,M_C2TRUE,FALSE/按膚色種子選取和擴散IFM_R12PRESHOWTRUE/顯示M_GRABFRAMEAREACUTM_GRABFRAME,M_TEMP/消除手區(qū)域外的孤立點CVNOTM_GRABFRAME,M_TEMPAREACUTM_TEMP,M_GRABFRAME,TRUE/消除手區(qū)域內(nèi)的孤立點CVNOTM_TEMP,M_GRABFRAMEIFM_R13PRESHOWTRUE/顯示M_GRABFRAMEINTJOINTSGETJOINTSM_GRABFRAME/獲取重心坐標和手的面積CENTXJOINTS0CENTYJOINTS1ZONEJOINTS2DRAWTOHDCPRESHOWM_GRABFRAMEM_FRAME/將IPLIMAGE的圖片畫到控件中6應用設(shè)計61屏幕畫圖的設(shè)計在屏幕上畫圖的功能可借助CWINDOWDC并定義和設(shè)置筆刷，然后在CWINDOWDC中調(diào)用MOVETO和LINETO的方法來實現(xiàn)。611獲取CWINDOWDCCWNDPWNDWCWNDGETDESKTOPWINDOW/獲取桌面窗口CWINDOWDCWINDCPWNDW/創(chuàng)建桌面窗口的設(shè)備上下文CWINDOWDCPWINDC/獲取桌面窗口設(shè)備上下文的指針612定義和設(shè)置筆刷CPENPENT/定義筆刷PENTCREATEPENPS_SOLID,1,RGB255,0,0/創(chuàng)建紅色筆刷CPENPEN/獲取筆刷指針613繪圖語句定義一個數(shù)組INTPOS4用來儲存手的重心位置，偶數(shù)下標表示橫坐標，奇數(shù)坐標表示縱坐標；用INTPOSLENG來儲存POS手的重心的存儲情況。POSLENG0時沒有儲存手的位置；或只儲存了一個手的初始位置POS2,POS3，可作為今后的前一點，但不能畫線；POSLENG2時，POS0,POS1是上一點坐標，POS2,POS3是當前點，可以用來畫線，繪圖結(jié)果如圖61所示。IFPOSLENG0/儲存上一點坐標POS0POS2POS1POS3/更新當前坐標POS2CENTXPOS3CENTYIFPOSLENG0/將手的坐標轉(zhuǎn)為屏幕坐標并畫圖PWINDCMOVETOSCREENWIDSCREENWID/WIDPOS0,SCREENHEI/HEIPOS1PWINDCLINETOSCREENWIDSCREENWID/WIDPOS2,SCREENHEI/HEIPOS3ELSEPOSLENG2圖61屏幕畫圖效果62模擬鼠標功能的實現(xiàn)模擬鼠標的功能可以通過SETCURPOSX,Y與MOUSE_EVENTMOUSEEVENTF_LEFTUP/MOUSEEVENTF_LEFTDOWN,0,0,0,0的連用來實現(xiàn)，但由于攝像頭的分辨率往往小于屏幕的分辨率，造成精確度不高。為此可以通過手在圖像上的離攝像頭中心遠，產(chǎn)生鼠標移動的增量來實現(xiàn)。而為了交互的的自然性，鼠標是否按下用手離攝像頭的遠近，即手在圖中的面積來實現(xiàn)，效果如圖62所示。圖62模擬鼠標效果621手的有效偏移量的獲取DOUBLEXRATE10DOUBLECENTX/WID/將手的坐標歸化到0,1區(qū)間內(nèi)并將橫坐標鏡像DOUBLEYRATEDOUBLECENTY/HEI/將手的坐標歸化到0,1區(qū)間內(nèi)并將橫坐標鏡像DOUBLEMOVERMIN0/手在X和Y位于05MOVERMIN,05MOVERMIN的矩形內(nèi)鼠標不動，有效偏移量手離重心的距離MOVERMIN。DOUBLEMOVEMENTX0/有效偏移量的橫坐標DOUBLEMOVEMENTY0/有效偏移量的縱坐標IFXRATE05MOVERMINMOVEMENTXINTXRATE05MOVERMIN/獲取手的有效偏移量ELSEIFXRATE05MOVERMINMOVEMENTYINTYRATE05MOVERMINELSEIFYRATE015MOUSE_EVENTMOUSEEVENTF_LEFTDOWN,0,0,0,0/手的面積較大則執(zhí)行鼠標按下指令ELSEMOUSE_EVENTMOUSEEVENTF_LEFTUP,0,0,0,0/手的面積較小則執(zhí)行鼠標抬起指令7手勢識別的綜合測試在手勢識別的測試工作中，中值濾波、均值濾波和還原的表現(xiàn)結(jié)果比較穩(wěn)定，銳化的效果也比較顯著。這些能夠?qū)崟r而有效地對攝像機的視頻進行加工。背景的消除算法可以在對幾個高低端的攝像頭的不太強的光線的測試下順利完成。經(jīng)過測試發(fā)現(xiàn)，當手的區(qū)域因為不連貫而缺失時可以通過中值濾波的還原的算法來完成；而當手的區(qū)域跟背景其他地方相連時，使用較高縮放系數(shù)銳化操作可以有效地讓將這些區(qū)域排除，但可能會增加手的區(qū)域的不完整性，如圖71、圖72所示。A中值濾波前B中值濾波后圖71中值濾波對識別結(jié)果的比較銳化前銳化后圖72銳化對識別結(jié)果的比較在手的關(guān)鍵信息的獲取中，手的重心會有時會有一些突然移動的情況，為此需要對此進行一些屏蔽。結(jié)論總結(jié)本系統(tǒng)針對不同攝像頭成像的情況，根據(jù)實際情況，采用VISUALC和OPENCV進行開發(fā)，而手勢識別的工作也實現(xiàn)了包括了圖像的采集、噪聲處理和清晰化，手的區(qū)域的提取，以及手的關(guān)鍵點的獲取，并根據(jù)結(jié)果開發(fā)一些常見的應用。能夠在大部分攝像頭的情況下方便人們對計算機的交互操作。圖像的采集實現(xiàn)了所有連接且支持的攝像頭都能使用的功能，使得有內(nèi)置攝像頭的機器能夠用外置攝像頭進行識別