答辯基于計算機視覺手勢識別技術

會計學1答辯基于計算機視覺手勢識別技術手勢識別技術的研究背景及意義手勢識別技術研究的意義

手勢識別的研究可以應用于計算機輔助啞語教學、電視節(jié)目雙語播放、虛擬人的研究、電影制作中的特技處理、動畫的制作、醫(yī)療研究、游戲娛樂等諸多方面，同時也有助于改善和提高聾啞人的生活學習和工作條件，為他們供更好的服務；另外，手勢的研究涉及到教學、計算機圖形學、機器人運動學、醫(yī)學等多學科。因此，手勢識別的研究是一個非常有意義的課題。

靜態(tài)手勢識別的基本流程第1頁/共22頁全文介紹本文主要研究內(nèi)容

手勢圖像預處理

手勢圖像分割

手勢特征提取

手勢圖像分類識別第2頁/共22頁手勢圖像預處理圖像的平滑空域平滑濾波：

均值濾波法：用所選窗口的所有像素點的平均值來代替窗口中心點的灰度值。

中值濾波法：把鄰域中的圖像的像素按灰度級排序后選擇該組的中間值作為像素值。

維納濾波法：維納濾波器是一種自適應濾波器，主要根據(jù)區(qū)域內(nèi)的方差來調(diào)整濾波器輸出

圖像銳化圖像銳化就是補償圖像的輪廓，增強圖像的邊緣灰度有跳變的部分，使圖像的邊緣、輪廓線以及圖像的細節(jié)變的清晰。第3頁/共22頁手勢圖像預處理平滑濾波結(jié)果第4頁/共22頁手勢圖像預處理圖像銳化結(jié)果第5頁/共22頁手勢圖像分割色彩空間

RGB色彩空間YCrCb彩色空間

HSI色彩空間

圖像分割算法基于HSI色彩空間的分割算法

H,S,I三分量之間的相關性較小，可由色調(diào)H和飽和度S完成獨立于亮度的彩色區(qū)域分割。

RGB空間圖像轉(zhuǎn)換到HIS空間經(jīng)過多次試驗確定色調(diào)和飽和度上下閾值根據(jù)閾值分類像素點第6頁/共22頁手勢圖像分割基于YCrCb色彩空間的分割

利用以下兩式進行色彩空間的轉(zhuǎn)換，在轉(zhuǎn)換后的YCrCb色彩空間中進行彩色閾值分割?；诟倪M的RGB色彩空間的分割算法

利用傳統(tǒng)的方法在RGB空間進行手勢分割，需分別設定R、G、B三個分量的閾值。由于亮度值為RGB三分量的平均(左式)，所以傳統(tǒng)方法受光照影響較大。第7頁/共22頁手勢圖像分割

經(jīng)大量研究發(fā)現(xiàn)，雖然RGB色彩模型易受光照影響，但是RGB三種色彩對應三分量的色差值卻保持在一定的范圍之，即受光照影響不大。所以本文的改進方法是基于三分量的色差的閾值分割。經(jīng)過大量的測算，得出如下式的閾值適合于本次實驗手的膚色。

以上閾值可以得到較為理想的分割手勢下面對三種分割算法的分割效果進行分析比較第8頁/共22頁手勢圖像分割分割出的手勢圖像分割前圖像HSI空間彩色分割結(jié)果HSI空間二值分割結(jié)果YCrCb空間二值分割結(jié)果改進的RGB空間二值分割結(jié)果第9頁/共22頁手勢特征提取特征提取的目的降維，減小數(shù)據(jù)量

特征提取算法

基于小波變換的特征提取算法

首先要對手勢圖像進行N級小波分解，得到3N+1幅子圖像，然后利用含有高頻成分的3N幅子圖像，求得一個長度為3N的向量。

基于Hu不變矩的圖像特征提取

Hu矩是一組經(jīng)典的幾何矩不變量，對圖像旋轉(zhuǎn)、比例和平移具有不變性。

第10頁/共22頁手勢特征提取Hu矩組是圖像中心矩前七個矩的函數(shù)，Hu將七個不變矩用作圖像特征向量，Hu矩組反映了圖像的本質(zhì)屬性。

基于Bamieh不變矩的特征提取算法為了減少計算量，Bamieh提出了Bamieh不變矩，其特征矢量的大小比其他不變矩的要小很多，用以下四個量值作為特征提取時的特征量。第11頁/共22頁手勢特征提取實驗結(jié)果及分析

(a)

(b)

(c)

(d)

(e)

(f)(a)原始圖像128*128,(b)64*64圖像,(c)256*256圖像,(d)旋轉(zhuǎn)30°,(e)旋轉(zhuǎn)45°,(f)添加0.01的高斯噪聲第12頁/共22頁手勢特征提取小波變換特征提取結(jié)果原始圖像3.44143.13142.69202.74132.81023.30942.617364*643.45173.00742.79152.78322.81063.21872.6003256*2563.44873.07752.79432.72512.82233.29352.5607旋轉(zhuǎn)30°3.46023.16922.78792.71922.88893.37452.5102旋轉(zhuǎn)45°3.47623.09392.70432.68232.84613.49192.5132噪聲圖像3.40533.12602.70792.54232.81563.30352.40842.42582.59582.43193.50573.48593.12982.61432.82432.52312.59912.45903.47023.43333.05302.61102.91942.50172.53992.48013.47283.49543.09142.79932.82682.61622.53622.38743.66843.56393.16852.72632.81262.67712.54232.50393.62303.51943.15772.57032.74072.52232.33182.33103.51903.48893.13032.61262.8323第13頁/共22頁手勢特征提取Hu不變矩特征提取結(jié)果原始圖像1.47845.81677.24939.094519.69812.07917.02264*641.49415.63677.57638.300020.67711.43116.539256*2561.48165.79597.32158.995919.79111.70217.020旋轉(zhuǎn)30°1.48255.74917.18398.308720.14210.80517.262旋轉(zhuǎn)45°1.47235.94397.18508.306720.16210.80217.246噪聲圖像1.10314.97566.00757.567718.0369.600815.969第14頁/共22頁手勢特征提取Bamieh不變矩的特征提取結(jié)果原始圖像4.438318.5404.57425.137764*644.402118.6254.54815.0463256*2564.410118.9234.51514.9781旋轉(zhuǎn)30°4.407717.3784.64745.5888旋轉(zhuǎn)45°4.407418.0775.65265.5505噪聲圖像4.303418.5484.43685.5610第15頁/共22頁手勢特征提取三種手勢特征提取方法的比較

Hu不變矩的特征提取結(jié)果顯示：不變矩滿足大小和旋轉(zhuǎn)不變性，但Hu不變矩提取的特征向量在有噪聲存在時會發(fā)生較大變化；

小波變換特征提取結(jié)果對噪聲不太敏感，但是各個特征量之間差別較小，分類效果低。

Bamieh不變矩特征提取結(jié)果：滿足大小和旋轉(zhuǎn)不變性，對噪聲也不敏感。第16頁/共22頁手勢圖像分類識別人工神經(jīng)網(wǎng)絡BP學習算法工作信號正向傳播誤差信號反向傳播概率神經(jīng)網(wǎng)絡算法求和層輸入層模式層輸出層第17頁/共22頁手勢圖像分類識別手勢阿拉伯數(shù)字“1”期望值001001001001001BP算法結(jié)果0.013480.003930.978060.048420.210980.943720.105980.026930.999790.404590.159200.973670.307480.705720.66647手勢阿拉伯數(shù)字“2”期望值010010010010010BP算法結(jié)果0.223400.998790.013710.009000.998050.904220.010240.940760.099870.181380.969260.082190.966070.986220.97746手勢阿拉伯數(shù)字“3”期望值011011011011011BP算法結(jié)果0.098850.888210.877310.134410.913690.999850.372450.981170.943740.016220.865980.988810.092770.743370.86095手勢阿拉伯數(shù)字“4”期望值100100100100100BP算法結(jié)果0.955910.147940.012890.945560.161940.0641520.958580.176820.101070.929880.252040.183110.881250.032620.09776手勢阿拉伯數(shù)字“5”期望值101101101101101BP算法結(jié)果0.848280.0332810.986320.985080.317570.898300.809850.349960.845320.554320.886620.999700.098850.859920.99497第18頁/共22頁手勢圖像分類識別Bamieh不變矩提取特征送入PNN網(wǎng)絡的分類結(jié)果

手勢阿拉伯數(shù)字“1”期望值11111Pnn識別結(jié)果11111手勢阿拉伯數(shù)字“2”期望值22222Pnn識別結(jié)果22314手勢阿拉伯數(shù)字“3”期望值33333Pnn識別結(jié)