實時和強大的方法手勢識別

1、基于交叉相關系數的實時而魯棒的手勢識別系統(tǒng)簡介：手勢識別在虛擬現實，手語識別和電腦游戲上有廣泛的應用。手勢的直接接口為我們提供了一條與虛擬環(huán)境進行通信的新途徑。本文呈現一個新穎的和實時的方式對手勢識別系統(tǒng)。在建議的方法中，首先，手勢是由圖像分割從主圖像提取與形態(tài)運算，然后被發(fā)送到特征提取階段。在特征提取階段的交叉相關系數進行手勢識別。在結果部分，該提出的方法應用在美國手語（ASL）數據庫和準確率得到98.34。關鍵詞：手勢識別，圖像處理，虛擬現實，互相關。1. 介紹手勢識別廣泛應用在手語識別，電腦游戲，虛擬現實。手勢是非語言的一種形式通信，其中可見身體動作可用于用于通信。它可分為靜態(tài)和動態(tài)。識

2、別和預測的過程手勢被稱為手勢識別，標象識別是其應用之一。標象語言可能涉及方向和手，胳膊或身體，手的形狀的移動，和面部表情來表達思想和單詞，可用于聾啞人的通信。它也可以提供的良好的人機接口，所以在本文中，我們是提出一個手勢識別系統(tǒng)，該系統(tǒng)可以識別ASL且具有良好準確性。圖1顯示了ASL符號。在一些幾十年過去了手勢識別變得越來越重要。有許多手勢識別技術開發(fā)跟蹤和識別各種手勢。每一個他們都有自己的優(yōu)點和缺點。以前的是有線技術，在用戶需要用連接自己與計算機系統(tǒng)的接口。在有線技術的用戶不能自由移動在房間，因為它們用電線同電腦連接，受電線長度限制。儀表手套也被稱為電子手套或數據手套是有線技術的例子。這些由

3、一些傳感器的儀器手套，提供與手的位置信息，手指位置方向等。通過使用傳感器。這些數據手套提供良好的結果，但他們都非常昂貴的多種常見應用的利用。 美國肢體語言ASL數據手套，然后由光學標記取代。這些光學標記投射紅外光，相應的部分會顯示在屏幕上。這些系統(tǒng)有良好的效果但需要非常復雜的配置。后來一些先進的技術已經被引入像圖像根據技術要求圖像處理像紋理特征，顏色等光學方法標記物是非常昂貴的，并有非常復雜的配置?；趫D像處理的方法，在不同的光照條件下和顏色紋理修改下變弱，這導致觀察結果的變化。用于利用手的圖像處理方法手勢識別系統(tǒng)，我們建議當前方法。這些方法是基于外形特點和一些高度影響約束像手和噪音。我們的手

4、的方法手勢識別是由三個步驟，一，圖像分割; II。形態(tài)濾波; III?；诮换ヌ卣魈崛『推ヅ?。在第二節(jié)數據庫描述，在第3提出的方法被提出并在第4和5實際的結果和結論都分別。2. 數據庫說明我們對手勢識別方法是基于靜態(tài)模式。我們的第一個問題是收集優(yōu)質數據因為我們的分類將根據它分類字符。我們創(chuàng)造了我們自己的數據庫每個字符ASL，它可以包括504圖像即21圖像的每個（24）的手勢。在創(chuàng)建一個數據庫中的圖像捕獲應該有統(tǒng)一的深色背景可以是黑色與白色橡膠手套的手，在對比度。我們曾經為了做這減少噪聲和不需要的數據，這樣我們就可以輕松做到分割過程。用戶有穿黑色在他的手臂，直到手腕布從肩部使黑色的布可以很容易地

5、與背景相匹配。覆蓋臂和背景應該是相似顏色。字母J和Z被丟棄，因為我們可以這樣描述他們只動態(tài)，我們的方法是靜態(tài)的手勢而已。圖2示出了數據庫的樣本。3. 提出的方法我們對手勢識別的方法是由三步:一，圖像分割; 二，形態(tài)過濾; 三，互相關基于特征提取和匹配。首先我們要做的預處理數據識別系統(tǒng)。預處理應做最初的圖像之前，我們提取的特征從數據手勢。這是必須要做的，以去除噪聲，有害錯誤和使數據有效的話，它可用于進一步的圖像處理。我們使用兩個步驟數據1.圖像分割預處2.形態(tài)學濾波。3.1. 圖像分割它是我們在其中轉換的RGB圖像或灰度的處理灰度圖像轉換成二進制（黑白）圖像。這是要做，因為我們可以得到只有兩個維

6、度，即黑和白只有在我們的形象語言中。黑色的背景白色代表著我們的手，Qtsu算法來轉換圖像轉換成二進制10。一個好的分割過程是其中的背景不表示任何部分的手，和手不應該有任何部分背景。為了獲得最好的結果，我們必須選擇最佳的閾值和分割可根據該值進行。選擇分割技術主要依賴于類型圖像上，我們需要做的處理和Qtsu算法進行了檢測，并與工作效率我們的手勢數據。它是分割的無監(jiān)督和非參數方法，它可以選擇自動閾值和做分割9。假設有兩類像素與0作為背景像素1手工像素。 0示出了具有像素強度電平 1, 2.K 和1示出了具有像素強度電平 K + 1. L ，從這些類我們得到閾值K *這是的K值之間K + 1，現在手像

7、素分配值“1”和背景像素被分配值“0”，我們得到期望的二進制圖像。3.2. 形態(tài)學濾波我們應用Qtsu算法得到的分割圖像是不完美的，需要進一步處理，去除不想要的數據和錯誤。仍然有一些背景的部分包含1和一些手部的部分而表示0。在為了消除噪音，我們要申請形態(tài)這些分段圖像過濾技術。這是需要去除這些錯誤，因為他們可以創(chuàng)建表彰手勢的問題，降低了系統(tǒng)效率12。因此，形態(tài)學過濾在劃分圖像是必要的，以得到一個平滑的，閉合的手勢。擴張，侵蝕，開放和閉合是形態(tài)學過濾的基本工作。樣本預處理的結果示于圖3和實驗是在MATLAB進行。后預處理我們得到平穩(wěn)和更好的手勢這可以得到更好的效率圖像預處理（一）后手勢3結果：主圖

8、像（二）：圖像圖像分割（c）之后：形態(tài)學操作之后1.2.3.3.1.3.2.3.3. 相互關聯系數現在，我們要提取特征的手勢識別。對于特征提取和匹配，我們采用相關系數。在信號處理中，相關是兩個波形相似度的度量一時間延遲的函數的施加到其中之一。在這部分我們使用此功能手勢匹配。該交叉相關系數被定義為等式:其中相互關聯系數值從-1范圍到+ 1對應完全不匹配，完全分別匹配。模板匹配模板，滑過I和計算每個坐標（x，Y）。經過計算，這點表現出最大被稱為匹配點。下面的步驟是用于手勢匹配：步驟1：將大小為m*n的甲手勢模板取。步驟2：手的歸一化的2-D的自相關手勢模板發(fā)現。步驟3：手的歸一化的2-D交叉相關與

9、各模板手勢模板被計算。步驟4：自相關的平均平方誤差（MSE）和不同樣品的互相關被發(fā)現了。最小MSE是發(fā)現并存儲。步驟5：相應最小MSE表示最終姿態(tài)。4. 實際結果我們提示的方法已經完成英特爾酷睿i3-2330M處理器，2.20 GHz的用Matlab下2 GB RAM環(huán)境。圖4手勢識別系統(tǒng)在這項研究中，我們已經應用了我們的ASL數據庫上面提到的技術手語其中包括504圖像即21每個字符的圖像，我們能夠從26個手語字符中識別出24個，因為剩下的兩個手勢是動態(tài)的而這個方法只應用于靜態(tài)手勢。表1顯示每個手勢的準確率。在我們的實驗中（98.80的準確率），我們觀測到在識別階段有一些令人迷惑的手勢跡象。主要是混淆A，S和E，M。這件事，因為A，S和E，M在對方一些樣品中相像。圖5顯示在各組標志識別階段