自適應卡爾曼濾波器的主動跟蹤方法

自適應卡爾曼濾波器的主動跟蹤方法

目前，基于計算機視覺技術的非接觸式手指檢測方法主要分為傳統(tǒng)的視覺方法和基于rgd傳感器的新視覺方法。傳統(tǒng)的基于網(wǎng)格的手指檢測方法通常基于手動分離的結果。使用顏色模型通?？梢詤^(qū)分手和腳，進行輪廓掃描和腳趾檢測。然而，基于皮膚模型的指尖檢測方法容易受到噪聲、接近和近距離物體的影響，導致檢測不準確、不穩(wěn)定、假時間短、無聊和其他新型視覺傳感器的出現(xiàn)，這為基于數(shù)值d信息的新視覺傳感器的出現(xiàn)提供了一種解決方法。深度傳感器可以感知物體和傳感器之間的距離，并利用收集的3d信息進行手掌分割?，F(xiàn)在，基于深度傳感器的手指檢測基本上是一系列。首先，在x射線上繪制分離的真實圖像，并進行手掌輪廓掃描和手指指數(shù)的檢測。每個人都需要對傳感器進行垂直，以直接看著傳感器。只有當靜態(tài)時鐘的識別分辨率非常高時，才能正確識別和跟蹤自由時間的手指尖。事實上，kinct和其他廉價深度傳感器的精度不高，有效范圍有限。此外，用戶的手和腳的姿態(tài)是多樣的，尤其是當手掌的平面接近深度傳感器的平面時。手和腳是相互補償?shù)?。特別是如果手掌的平面與深度傳感器的圖像平面接近垂直，則手和腳的前端檢測會出現(xiàn)盲點。這將導致檢測到的檢測穩(wěn)定性低，無法達到實用的目的。本文在現(xiàn)有的基于深度信息的手指檢測工作基礎上,提出一種手掌姿態(tài)自適應的單指尖魯棒跟蹤方法,能夠對手指尖檢測盲區(qū)、指尖誤檢測和檢測不到等情況進行及時校正,獲得任意手掌姿態(tài)下實時穩(wěn)定的指尖位置信息.1基于：基于深度傳感器的新型視覺方法基于RGB攝像頭的手指檢測方法通常先采用膚色模型進行手掌區(qū)域分割,然后提取指尖特征,最后進行手勢的識別;此種方法在實驗環(huán)境中能取得一定的效果,但在復雜的自然環(huán)境中會受到光照、遮擋等因素的影響.文獻對于不同年齡人的不同膚色圖像使用單高斯模型和高斯混合模型對人手進行檢測,取得了一定的實驗效果;但缺乏對不同手勢的區(qū)分.文獻提取手掌后,利用隱馬爾可夫模型進行手勢軌跡的識別,識別準確率高達96%;但該方法容易受環(huán)境影響,無法處理手勢被遮擋的情況,同時處理后的效果具有滯后性.孫超等提出一種不佩戴任何標記的人手3D交互算法,并提出了基于指尖、指向和手掌平面的人手3D交互模式,取得了很好的實驗效果;但是缺乏實時性,并且需要用到4個網(wǎng)絡攝像頭,在普適性上還有待提高.文獻利用手指特征、結合膚色以及指甲標記來檢測手指,與單純的利用膚色檢測方法相比,在魯棒性上有一定程度的提高,但需要用戶穿戴設備,用戶體驗不佳.基于RGB-D傳感器的新型視覺方法主要是利用深度傳感器獲取的深度信息來克服復雜環(huán)境與雜亂背景對手掌區(qū)域分割的影響,同時能夠很好地適應不同的光照條件.文獻利用深度信息檢測指尖,通過分析指尖位置以及形狀的變化識別出模擬鼠標單擊的動作,最后成功地應用到休閑游戲“憤怒的小鳥”中,實驗證明,基于深度攝像頭的新型視覺方法能夠避免膚色、環(huán)境光照和背景的影響,比基于普通RGB攝像頭的視覺方法更具有魯棒性;但在實際操作中,用戶需要將五指張開并且正對深度攝像頭才能較好地對指尖進行檢測.文獻同時使用深度信息和彩色信息,能夠很好地實現(xiàn)對手掌形狀的檢測,但只能對靜態(tài)的手勢進行識別.文獻僅利用深度信息,通過場景分割、手掌輪廓計算、凸多邊形計算等對手指尖進行檢測,但僅局限于對靜態(tài)手勢的識別.文獻通過深度閾值分割出手掌,找到掌心位置,然后通過過濾得到5個手指,取具有最小深度值的點作為指尖位置,該方法在所有手指都伸直的狀態(tài)下,指尖檢測精度幾乎為100%,掌心檢測率約為90%,但沒有辦法對自然運動的手指進行指尖檢測和跟蹤.文獻[16-17]對深度圖進行二值化處理,并利用深度信息分割出手指尖,雖然實現(xiàn)了多指尖檢測并取得了很好的實驗效果,但是實驗時手掌需要正對攝像頭且手指間需要有適當?shù)膴A角,當手指靠得很近甚至重疊時檢測到的指尖數(shù)目和實際的數(shù)目會有很大的差別.由以上分析可知,與傳統(tǒng)的RGB攝像頭相比,利用Kinect等RGB-D傳感器提供的深度信息能夠較好地將手掌從復雜的背景中提取出來,為指尖檢測提供了很好的支持.但現(xiàn)有的基于深度信息的指尖檢測方法通常都要求用戶將五指伸開并正對深度傳感器才能對指尖進行較好的檢測,而且沒有加入指尖跟蹤機制,僅適用于靜態(tài)手掌的指尖檢測.文獻指出,目前在3D空間中定位和跟蹤指尖的工作仍然十分有限,而且這些有限的成果離實際應用中需要的效果還差很遠.本文以實用性為出發(fā)點,提出了一種能夠適用于任意手掌姿態(tài)的單指尖準確檢測和魯棒跟蹤方法,能夠滿足實際應用需求.2細胞法工作類似于文獻[15,17],本文采用的單指尖靜態(tài)檢測方法(singlefingertipstaticdetectionmethod,SFSDM)主要包括手掌區(qū)域分割、輪廓檢測、凸包計算和指尖檢測4個方面的工作.2.1傳感器中心圖像分割法利用深度信息和K-means算法實現(xiàn)手掌分割.用戶實際進行輸入操作時,一般都是面對深度傳感器、將手掌放于胸前并伸出一只手指進行操作.基于這一特點,以距離深度傳感器最近的點(對應的深度值表示為z0)為起始點,將距離小于z0+zD的點作為手掌區(qū)域F,其中,P為深度圖中的像素,z(P)為像素P對應的深度值,zD取0.2m.通過式(1)可以在手掌距離胸前較遠范圍內實現(xiàn)手掌的分割,但當手掌距離胸前很近時,若仍采用式(1)會將非手掌區(qū)域(胸前區(qū)域)當做手掌分割出來,嚴重影響分割效果.因此,本文同時采用K-means算法對深度圖中的像素點進行聚類,最多可聚為2類,當手掌位于胸前時可以將手掌準確的分割出來.2.2中心和整體發(fā)育成分點的檢測基于獲得的手掌區(qū)域數(shù)據(jù)點,利用修改的Moore-Neighbor算法實現(xiàn)手掌區(qū)域輪廓的檢測,具體如下:定義點P的Moore鄰居為P1,P2,P3,P4,P5,P6,P7和P88個點,如圖1所示,它們與點P有公共點或者公共邊.設C為已經(jīng)得到的手掌輪廓點的集合,C={P1,P2,…,Pt},t為輪廓包含的點的數(shù)目,C初始化為空集;令點P為當前檢測得到的輪廓點,N(P)為點P的八鄰居;設Q為當前鄰居開始點,則手掌區(qū)域輪廓的檢測步驟如下:Step1.從上到下、從左到右掃描分割出的手掌區(qū)域的所有像素,直到找到第一個屬于手掌區(qū)域的點S,將其作為起始點,并令P=S.Step2.將P插入C,計算P的鄰居N(P),取P的正北方的點作為八鄰居的起點Q.Step3.從Q開始,沿逆時針方向尋找在手掌范圍內的鄰居點R.Step4.Q回溯一步,P等于新的輪廓點R;重復Step2,直到S再一次被搜索到.2.3求各點的夾角獲得手掌區(qū)域的數(shù)據(jù)點信息后,利用GrahamScan算法可以在O(nlogn)時間復雜度內計算得到手掌區(qū)域的凸包,步驟如下:Step1.找到y(tǒng)值最小的點P0(x,y),如果存在多個,則尋找x值最大的點,記為P0.Step2.畫一條經(jīng)過P0(x,y)和其他任意一點的直線,求該直線和x軸的夾角,將這些點按夾角的升序排列,記為P0,P1,P2,…,Pn,n為點的個數(shù).Step3.凸包的點初始化為P0(x,y)和P1(x,y).Step4.設P0,P1,…,Ps-1Ps為已有凸包的點,對于下一個點Pt,如果向量PsPt在向量Ps-1Ps的逆時針方向,則將Pt加入;否則取出Ps,凸多邊形的點變?yōu)镻0,P1,…,Ps-1,重復該步驟.其中,通過對向量的叉積取?？梢耘袛喾较?令v1=(Ps-1,Ps),v2=(Ps,Pt),則v1與v2叉積的模|v1×v2|=(xs-xs-1)(yt-ys-1)-(ys-ys-1)(xt-xs-1).如果|v1×v2|的值為正,則v1在v2的順時針方向;如果為負,則v1在v2的逆時針方向;否則,3個點是共線的.2.4確定身體內t和pt+k將手掌輪廓與凸包的公共點作為手指尖的候選點,如圖2所示,外層實線代表手掌凸包,內層實線代表手掌輪廓.設手指尖的候選點集為C,則對于,取出其在手掌區(qū)域輪廓中兩側的點Pi-k和Pi+k,計算向量PtPt-k和向量PtPt+k形成的夾角如果θ小于閾值β,則Pi為指尖點特征;否則,Pi為手掌輪廓上的非指尖點.根據(jù)實驗,本文中取β=40°,k=20.3教育技術下卡爾曼單指紋動態(tài)跟蹤方法利用Kinect等廉價深度傳感器進行手指尖檢測時,除了存在手指尖檢測盲區(qū)外,如圖3所示,SFSDM對單指尖的檢測結果本身的準確率并不能達到100%;而且傳感器采集的深度數(shù)據(jù)本身具有誤差和抖動,會造成SFSDM對指尖的錯誤檢測或檢測不到的問題.要想實時獲得交互時自由活動的手指尖的準確、魯棒的位置信息,必須在SFSDM的基礎上增加指尖跟蹤機制.本文在SFSDM檢測結果的基礎上,針對單指尖跟蹤中需要實時適應手掌姿態(tài)變化以達到實用性的特殊需求,在手掌姿態(tài)檢測的基礎上增加指尖的跟蹤機制.基于卡爾曼濾波器(Kalmanfilter,KF)原理,本文提出一種手掌姿態(tài)自適應的卡爾曼單指尖動態(tài)跟蹤方法(palmpostureself-adaptionKalmansinglefingertipdynamictrackingmethod,PPS-KSFDTM),借助上一時刻指尖的位置信息預測當前時刻的指尖位置L1,通過對手掌姿態(tài)的檢測決定采用何種指尖信息作為PPS-KSFDTM用于更新指尖位置的觀測值L2,最后根據(jù)L1和L2執(zhí)行更新操作,得到最終的指尖位置估計值L*.PPS-KSFDTM包括手掌姿態(tài)檢測、指尖位置預測和指尖位置更新3個階段.3.1全技術保障手段內單指紋點的位置信息當手掌姿態(tài)接近手指尖檢測盲區(qū)時有一個特點:距離傳感器最近的點即為指尖點,可取用戶身體最前端的點作為當前姿態(tài)下的指尖點.由可以檢測手掌姿態(tài)是否接近手指尖檢測盲區(qū).其中,P表示分割出的手掌區(qū)域的深度數(shù)據(jù)流;N(P)表示手掌深度數(shù)據(jù)流中距離傳感器最近點的坐標;PC表示手掌輪廓中心點的坐標;D(N(P),PC)表示距離傳感器最近的點與手掌輪廓的中心點之間的距離;σ表示判斷閾值,根據(jù)實驗,本文中取σ=6cm;f(P)輸出1表示手掌姿態(tài)接近手指尖檢測盲區(qū),輸出0表示不接近.在手掌姿態(tài)檢測結果的基礎上,可由計算得到手掌處于任意姿態(tài)時單指尖點的位置信息.其中,表示通過SFSDM是否檢測到了指尖特征;F(P)表示通過SFSDM得到的指尖點坐標.3.2預測的位置配置在指尖位置預測階段,利用上一幀的指尖位置對當前幀進行指尖位置的預測.12k段的預測值其中,是利用上一幀的指尖位置預測得到的第k幀指尖的位置,是上一幀得到的指尖位置,Fk和Bk是系統(tǒng)參數(shù),uk為第k幀的系統(tǒng)控制量.2kk段的離散矩陣其中,Pk|k-1是對應的協(xié)方差矩陣,Pk-1|k-1是對應的協(xié)方差矩陣,Qk是系統(tǒng)過程的協(xié)方差.3.3自動計算指紋位置預測結果在指尖位置更新階段,基于SFSDM對當前幀的指尖檢測結果,引入手掌姿態(tài)自適應機制自動計算得到當前幀的指尖觀測值L2,進而優(yōu)化指尖位置預測階段獲得的指尖預測值L1,以獲得一個更精確的指尖位置估計值L*.1指紋位置的自適應其中,是利用上一幀的指尖位置預測得到的第k幀指尖的位置;zk是第k幀指尖位置的觀測值;Hk是第k幀系統(tǒng)的觀測參數(shù);Kk為卡爾曼增益,本文在式(2)的基礎上引入手掌姿態(tài)自適應機制,將zk優(yōu)化為zk(P),在指尖位置更新階段,作為保證指尖跟蹤系統(tǒng)準確率的重要輸入?yún)?shù),式(3)同時考慮到了當手掌姿態(tài)任意動態(tài)變化時而產生的手指尖檢測盲區(qū)和SFSDM對指尖誤檢測和檢測不到的問題:即優(yōu)先考慮用SFSDM檢測得到的指尖位置信息,當SFSDM沒有檢測到指尖位置信息時,如果手掌姿態(tài)處于指尖檢測盲區(qū),則提取人體最前端的點作為指尖位置點;否則,做丟幀處理,由KF在連續(xù)兩幀之間單指尖運動近似看做勻速直線運動的假設,可利用預測階段獲得的指尖信息作為更新階段的觀測值進行輸入.22新協(xié)議的差距估計其中I為單位矩陣.PPS-KSFDTM的流程如圖4所示.4實驗與結果分析4.1深度傳感器實驗本文采用Intelue3ebCoreTMi5-2310CPU,4.00GB內存,NVIDIAGeForceGT440顯卡,Kinect深度傳感器進行實驗.4.2種方法檢測到每一幀的指紋的效果為了驗證基于深度信息進行單指尖檢測后,引入本文提出的PPS-KSFDTM能夠提升在手掌動態(tài)移動時單指尖檢測的準確率和魯棒性,本實驗將在提取人體具有最小深度值的點(minimaldepthpoint,MDP)作為指尖、MDP+KF,SFSDM,SFSDM+KF和PPS-KSFDTM5種方法的基礎上,對處于任意姿態(tài)的手掌進行單指尖檢測和跟蹤.分別比較這些方法繪制圓圈、矩形和正弦曲線的效果,如圖5所示.計算每一幀指尖檢測和跟蹤的準確率當計算出來的位置與真實位置的誤差為[-4,4]像素時認為指尖檢測正確,否則為錯誤.以上5種方法的操作如下:1)MDP.僅利用人體具有最小深度值的點作為指尖點位置.2)MDP+KF.利用MDP檢測得到的指尖點位置作為觀測值L2,再根據(jù)KF預測的每一幀的指尖點位置L1,得到指尖位置的估計值L*作為最終結果.3)SFSDM.僅利用基于深度信息、但未考慮手掌姿態(tài)的單指尖靜態(tài)檢測方法得到每一幀的指尖位置.4)SFSDM+KF.利用SFSDM檢測得到的每一幀指尖位置作為觀測值L2,再根據(jù)KF預測的每一幀的指尖點位置L1,得到指尖位置的估計值L*作為最終結果.對于沒有被SFSDM檢測到指尖的幀,使用KF預測的指尖位置作為當前幀的觀測值.5)PPS-KSFDTM.對每一幀進行指尖檢測和對當前手掌姿態(tài)進行檢測,對于能夠被檢測到指尖的幀,將檢測到的指尖位置作為觀測值L2.對于沒有被檢測到指尖的幀,當手掌處于指尖檢測盲區(qū)時,取人體距離傳感器最近的點作為觀測值L2;否則,使用預測的指尖位置作為當前幀的觀測值L2.最后,結合預測值L1更新指尖位置,得到指尖位置的估計值L*作為最終結果.4.2.1一種方法檢測到單指紋的性能請10名用戶(5男5女)將食指伸開并盡量與深度傳感器成像平面平行,如圖6a所示,繪制圓圈、矩形和正弦曲線;并在用戶繪制過程中分別用5種方法對用戶的指尖進行檢測和跟蹤,對繪制每種曲線時用戶指尖檢測的準確率取平均值.經(jīng)過實驗,得到5種方法在繪制圓圈、矩形和正弦曲線時單指尖檢測的準確率如表1所示,同時得到如圖7所示的單指尖檢測的準確率對比圖.由表1,圖7可以得出如下結論:1)當手掌與深度傳感器成像平面平行時,SFSDM,SFSDM+KF和PPS-KSFDTM都比MDP和MDP+KF對單指尖的檢測準確率高,而且PPS-KSFDTM與SFSDM+KF對單指尖的檢測準確率相近,說明本文提出的PPS-KSFDTM能夠在手掌與深度傳感器成像平面平行時對指尖信息進行魯棒檢測和跟蹤.2)SFSDM+KF和PPS-KSFDTM都比SFSDM對單指尖的檢測準確率高,說明當手掌動態(tài)變化時,引入指尖跟蹤機制能夠提高指尖檢測的準確率.4.2.2種方法檢測到單指紋的性能請10名用戶(5男5女)將食指伸開并盡量垂直于深度傳感器成像平面,如圖6b所示,繪制圓圈、矩形和正弦曲線;并在用戶繪制過程中分別用5種方法對用戶的指尖進行檢測和跟蹤,對繪制每種曲線時用戶指尖檢測的準確率取平均值.經(jīng)過實驗,得到5種方法在繪制圓圈、矩形和正弦曲線時單指尖檢測的準確率如表2所示,同時得到如圖8所示的5種方法的指尖檢測準確率對比圖.由表2,圖8可以得出如下結論:1)當手掌垂直于深度傳感器成像平面時,SFSDM和SFSDM+KF對單指尖的檢測準確率均為0%,而PPS-KSFDTM對單指尖的檢測準確率與MDP+KF相近,說明本文提出的PPS-KSFDTM能夠在手掌垂直于深度傳感器成像平面時,根據(jù)手掌姿態(tài)自動調整指尖位置更新階段指尖觀測值L2的獲取方法,提升了指尖檢測的準確率.2)MDP+KF比MDP對單指尖的檢測準確率高,說明當手掌動態(tài)變化時,引入指尖跟蹤機制能夠提高指尖檢測的準確率.4.2.3最佳技術配方的確定請20名用戶(10男10女)以自然的手勢繪制圓圈、矩形和正弦曲線,并在用戶繪制過程中分別用5種方法對用戶的指尖進行檢測和跟蹤,對繪制每種曲線時用戶指尖檢測的準確率取平均值.經(jīng)過實驗,得到