一種多操作特征的手勢分割與is檢測方法

一種多操作特征的手勢分割與is檢測方法

0指紋檢測技術(shù)在l基于視覺的認知和理解，它以文字、虛擬或其他形式解釋人類的各種行為。手腳的形狀、姿勢、位置、運動和其他信息由手腳抽象。廣泛應用于各種虛擬機系統(tǒng)。其中,手勢分割和指尖檢測是手勢識別和理解過程中的第一步,也是最基礎的一步,手勢分割與指尖檢測的效果直接影響后續(xù)的手勢跟蹤、手勢特征提取以及手勢識別的結(jié)果。手勢分割是把圖像中的人手區(qū)域(前景)與其它區(qū)域(背景區(qū)域)劃分開來,是手勢識別和理解系統(tǒng)中的一項基礎性工作,不少研究人員采用對手勢圖像加上種種限制的方法,如使用黑色或白色的墻壁、深色的服裝等簡化背景,或要求人手戴特殊顏色的手套等強調(diào)前景,來簡化手區(qū)域與背景區(qū)域的劃分,也有使用熱紅外攝像機來捕捉圖像以得到清晰的前景分割,這些方法降低了手勢分割的難度和計算復雜度。人為增加了諸多的限制,不利于自然的人機交互,但如果對背景圖像不加限制又會降低手勢分割的魯棒性。在早期的一些系統(tǒng)或特別環(huán)境中,指尖檢測問題的解決也依賴于輔助顏色的標記。如讓用戶戴有明顯標識的手套,對用戶指尖染色等。現(xiàn)有研究主要集中解決裸手的指尖檢測,采用的方法基本上可以分為模板匹配和輪廓分析兩大類,這兩種指尖檢測算法也是在手勢分割的基礎上進行的,因為手勢分割可以使指尖檢測算法只在感興趣的區(qū)域運行,從而減少計算量和提高檢測的準確度。如文獻[9-10]在手勢分割的基礎上采用模板匹配方法檢測指尖實現(xiàn)手勢識別。文獻通過計算掌心與輪廓邊緣的距離檢測單個指尖的位置實現(xiàn)與虛擬環(huán)境的交互。當然,指尖檢測也還有一些比較特殊的方法,比如采用多個攝像機檢測深度獲取單個指尖位置等,但這些方法對環(huán)境要求比較特殊,只針對特定系統(tǒng),并不通用。針對上述手勢分割和指尖檢測的需求,文中研究并實現(xiàn)了一種實時手勢分割和指尖檢測方法,此方法不借助任何外界設備,也不對外界環(huán)境做特殊限制,能對手勢進行精確的分割并實現(xiàn)多個指尖的檢測,實驗證明此方法魯棒性強,可應用于實際系統(tǒng)中。1操作中斷手勢分割的目的是實現(xiàn)前景和背景的實時分離,并保證分割的準確度,本文采用以下三個步驟進行手勢分割,實現(xiàn)前景的逐步分割。1.1基于ycbcr的閾值轉(zhuǎn)換手圖像的膚色信息進行手分割的基礎,在計算機視覺中,色彩空間主要有RGB,HSV,YIQ,YCbCr等。根據(jù)EnaminDZarit等人對膚色在這些彩色空間的分布,以及實際在檢測中性能的分析結(jié)果,選擇在YCrCb彩色空間中進行膚色檢測。RGB空間到Y(jié)CrCb空間的轉(zhuǎn)換公式如下:檢測過程中,YCbCr空間中亮度和色度的分離度越大越好,但在實際的操作中色度值對亮度值總是存在著一定的非線性的依賴關(guān)系。因此需要對YCbCr空間進行了一次非線性的轉(zhuǎn)換,用來消除色度對亮度的依賴關(guān)系,用Cl(Y)表示原始顏色空間Cl′(Y),表示非線性轉(zhuǎn)換后空間,轉(zhuǎn)換公式為式(3)中變量均為實驗得到的常數(shù)值。依據(jù)上述式(1)、(2)、(3),計算像素點的Cb,Cr值與膚色平均值之差,如果小于一個預先設定的閾值Cthre,則判定該點為膚色。實際環(huán)境中,為增強分割的魯棒性,采用直方圖聚類方法實現(xiàn)閾值的自適應更新。對于檢測第一幀,手動選取手圖像部分區(qū)域?qū)ζ溥M行直方圖聚類,根據(jù)此直方圖波峰與波谷特征確定膚色均值與閾值Cthre。當前幀圖像檢測完畢后再對已經(jīng)分割好的手輪廓內(nèi)的像素進行直方圖統(tǒng)計得到下一幀檢測的膚色均值和閾值Cthre,其中手輪廓的提取將在文中后兩節(jié)介紹。從實時性考慮,文中沒有采用較大運算量的背景模型,而僅通過直方圖得到的閾值對像素進行簡單的閾值分割,由于此方法只需對像素進行一次遍歷,時間效率非常高,盡管在初始分割過程中會存在一些干擾噪點和空洞點(如圖4中(b)所示),后續(xù)步驟中將通過其他方法對初步分割的圖像進行修正。1.2廓像素點分布輪廓提取的目的是能夠找到感興趣區(qū)域與背景的閉合曲線,文中采用Freeman鏈碼搜索算法對所有離散像素點進行輪廓搜尋,并通過鏈碼輪廓的幾何信息來消除干擾點以及填充空洞點。假設初步分割后的輪廓像素點分布如圖1所示,根據(jù)Freeman鏈碼的性質(zhì),可以對一個像素點(設為p)的八鄰域進行試探識別。如果是邊緣像素,則該點(設為q)就是p點的后繼邊緣點,但p點鄰域存在2個非輪廓點F1和F2,跟蹤輪廓的關(guān)鍵是屏蔽這2個點。假設跟蹤輪廓的方向為順時針,則前驅(qū)鏈碼字為0(從o點到p點),對p點的后繼邊緣點的跟蹤按照鏈碼方向3,2,1,0,7,6,5,4的順序進行判斷,一旦判斷出灰度值不為0的像素q,這點就是后繼邊緣點,非輪廓點F1和F2已經(jīng)屏蔽并且內(nèi)部空洞點已經(jīng)填充。根據(jù)幾何信息只保留面積大于一定閾值的輪廓,其他細小輪廓視為干擾源丟棄,如圖4中(c)所示。1.3均勻采樣法擬合形貌經(jīng)過鏈碼提取的輪廓已經(jīng)將手前景圖像進行了初步分割,但邊緣仍存在干擾像素引起的鋸齒或者凹凸,因此文中進一步通過等分抽取手輪廓邊緣點進行分段三次樣條曲線擬合方法對邊緣進行擬合和平滑,處理后的輪廓視覺上更加合理同時也將更加有利于手指的精確定位,擬合算法闡述如下:從三次樣條函數(shù)擬合方法可知根據(jù)四個型值點p0,p1,p2,p3的值可以確定p1,p2之間的樣條函數(shù)公式。根據(jù)這個公式和一定的步長step,就可以插值出p1,p2之間的一系列點q1,q2,...,qn。依次用線段連接這些點,就得到用折線段按擬合出來的樣條曲線。如圖2所示。根據(jù)上述算法,對手圖像邊緣點進行等分均勻采樣,可以得到型值點p0,p1,p2,...,pn-3,pn-2,pn-1,對其依次采用分段擬合方法:1)擬合p0,p1,p2,p3得到p1,p2間的點:q11,q12,q13,...,q1m。2)擬合q1m,p2,p3,p4得到p2,p3間的點:q21,q22,q23,...,q2m。按上述步驟可一直擬合出:pn-3,pn-2間的點。由于分割出的圖像邊緣的不同部分有不同的曲率,曲率變化頻繁的部分(如指尖部位)就需更精細的擬合,故可采用對樣條曲線曲率閾值進行判定的自適應算法來進一步擬合手圖像的邊緣。首先計算出相鄰的兩型值點及其構(gòu)造的樣條曲線段的中值點所確定的圓的曲率半徑,并將計算值與對應的邊緣分割線上相鄰兩個等分點及其中點所確定圓的曲率半徑進行比較,若差值大于設定的閾值,則對該段三次樣條曲線段進行型值點的內(nèi)插以及三次樣條曲線段的重構(gòu)。邊緣分割線上曲率變化越頻繁的地方,其所抽取的型值點就越密集,因而選取這樣的型值點序列來構(gòu)三次樣條曲線將有利于對邊緣分割線的擬合,可以實現(xiàn)優(yōu)化的自適應選擇擬合。如圖3中所示,大圓是樣條曲線段的端點型值點及其樣條線中點(即pipimpi+1)構(gòu)成的曲率圓,小圓是由邊緣分割線上相鄰的等分點及其中點(即qiqimqi+1,其中qi=pi,qi+1=pi+1)所確定的曲率圓。計算出型值點pi和pi+1之間的樣條曲率圓半徑Rb與分割線樣點曲率圓半徑Rc之差為將ΔR與預設的閾值進行比較,以決定是否將qim作為細分該樣條曲線段的新的型值點內(nèi)插到原先的qi、qi+1之間,以便使重新構(gòu)造的三次樣條曲線段進一步逼近輪廓線。選取每段等分段邊緣像素點個數(shù)12(圖像分辨率640×480),擬合后的結(jié)果如圖4中(d)所示,可見手輪廓邊緣已經(jīng)更加精準平滑。以上三個步驟實現(xiàn)了手勢分割,雖然步驟較多但每個步驟算法均簡單快速,此方法分割后的手圖像前景與背景分割完全,圖4顯示了前景圖像由粗到細的分割過程,這為后期指尖位置的檢測以及各種手勢特征的提取做了很好的準備。2齒輪型值點的檢測目前指尖檢測算法中,模板匹配方法的使用最為廣泛的,但由于其算法必須滑動模板遍歷圖像進行匹配,而且其時間效率并不高。輪廓分析方法是根據(jù)輪廓邊緣的幾何特征實現(xiàn)指尖定位,如文獻中根據(jù)輪廓邊緣曲率檢測輪廓,文獻中采用最小二乘橢圓擬合的方式檢測指尖,這類算法對輪廓精度要求較高,但檢測精度高、速度快。從本文手勢分割的結(jié)果可以發(fā)現(xiàn)手指的形狀是由兩條近似平行的直線和直線之間接近半圓的曲線組成,因此可以利用此特征對指尖進行檢測。首先根據(jù)上節(jié)擬合過程中得到的曲率圓半徑值把整個輪廓型值點格式化為直線和曲線的集合。設定一個曲率圓半徑閾值Kthre,根據(jù)此閾值對邊緣型值點進行分類。假設已經(jīng)得到型值點對應的曲率圓半徑大于Kthre的一段連續(xù)的點pm+1,pm+2,pn(n≥m),則求出其中第一個點pm和最后一個點pn之間的距離,設定一個直線長度的閾值,若pm和pn之間的距離大于該閾值,則連接pm和pn作為一條直線。其余輪廓上直線以外的點和點之間作為曲線。這樣,所有輪廓邊緣型值點被格式化為直線與曲線相間的集合。對于集合中的每條直線li若同時滿足以下兩個條件:1)li與相鄰的下一條直線li+1的夾角小于一個閾值Lthre,則可認為li與li+1近似平行。2)li與li+1之間的曲線Ci的長度大于一個閾值Lthre,而且兩直線間的型值點曲率圓半徑值在一定閾值范圍之內(nèi),則可認為Ci是指尖輪廓的曲線。兩條直線li,li+1以及二者之間的曲線Ci共同構(gòu)成手指的輪廓。而曲線Ci的中點即可被認為是指尖的位置。3實驗結(jié)果和分析為測試文中方法的正確性,隨機選取了處理過程中的50幀圖片來統(tǒng)計手勢分割和指尖檢測結(jié)果。硬件采用PentiumD2.4G計算機,羅技USB攝像機。圖5給出了一些實驗結(jié)果。結(jié)果表明在光照不發(fā)生突變的情況下分割手輪廓準確,定位指尖精準,對于手指的指向、手指運動的快慢、攝像頭的高度、左右手的指尖檢測是非常魯棒的。表1中記錄了處理不同分辨率圖像下各算法過程平均所花費的時間。表2中記錄了本文方法與曲率法和橢圓擬合法檢測指尖的時間和精度(指尖實際位置由人眼判斷)。從結(jié)果可以看出本文指尖定位算法時間效率與檢測精度都較高,指尖檢測過程中產(chǎn)生誤差的原因有兩個,一是手勢分割時的輪廓精度不足影響指尖檢測,二是由于在某些手勢下指尖不一定位于曲線中點處導致誤差產(chǎn)生。4系統(tǒng)的選擇及應用文中提出了一種魯棒而快速的人手指尖檢測方法。該方法和傳