基于手勢識別的幻燈片控制系統(tǒng)的設計實用教案

1、基于手勢識別基于手勢識別(shbi)的幻燈片控制系統(tǒng)的設計與實現(xiàn)的幻燈片控制系統(tǒng)的設計與實現(xiàn) 課題研究背景 主要研究內容 系統(tǒng)總體(zngt)結構 系統(tǒng)的設計與實現(xiàn) 系統(tǒng)測試 總結2第2頁/共17頁第1頁/共17頁第一頁，共18頁。1.1.課題研究課題研究(ynji)(ynji)背景背景 人機交互在當今計算機技術迅猛發(fā)展的今天逐漸(zhjin)成為人們日常生活中的重要部分 手勢識別是一種簡單、直觀的新的交互方式，被越來越多的采用 基于手勢識別的幻燈片控制系統(tǒng)，可以使我們了解和掌握手勢識別的原理，并進行了簡單的實際應用的設計3第3頁/共17頁第2頁/共17頁第二頁，共18頁。2.2.主要主要(z

2、hyo)(zhyo)研究內容研究內容 了解手勢識別(shbi)研究的原理和方法 掌握OpenCV開源庫的使用 熟悉Hu矩特征的基本概念 了解支持向量機（SVM）的分類原理和LibSVM的使用方法 在現(xiàn)有類庫基礎上實現(xiàn)一個基于手勢識別(shbi)的幻燈片控制系統(tǒng)4第4頁/共17頁第3頁/共17頁第三頁，共18頁。3.3.系統(tǒng)總體系統(tǒng)總體(zngt)(zngt)結構結構 根據系統(tǒng)設計(shj)的總體思想，其結構為：5系統(tǒng)總體結構系統(tǒng)總體結構手勢識別手勢識別幻燈片控制幻燈片控制手圖像的采集及預處理手圖像特征的提取手圖像的模型訓練加載模型進行預測匹配加載模型進行預測匹配調用函數(shù)進行翻頁控制接口通過手勢

3、控制PPT翻頁第5頁/共17頁第4頁/共17頁第四頁，共18頁。4.4.系統(tǒng)系統(tǒng)(xtng)(xtng)的設計與實現(xiàn)的設計與實現(xiàn) 手圖像的預處理 手圖像幾何特征的提取 SVM模型訓練和LibSVM的應用 手勢識別的流程 接口部分(b fen)的設計與實現(xiàn)6第6頁/共17頁第5頁/共17頁第五頁，共18頁。4.1 4.1 手圖像手圖像(t xin)(t xin)的預處理的預處理 手圖像(t xin)的準確獲?。罕鞠到y(tǒng)中采用灰度投影法確定手的準確區(qū)域 手圖像(t xin)的灰度化：本系統(tǒng)中首先將圖像(t xin)由RGB色彩空間轉化到YCbCr空間，再利用其Cb或Cr通道進行二值化分割 采用最大類

4、間方差（Ostu）法進行圖像(t xin)的二值化7第7頁/共17頁第6頁/共17頁第六頁，共18頁。4.2 4.2 手圖像幾何手圖像幾何(j h)(j h)特征的提取特征的提取 能夠描述圖像特征的矩：Hu矩、小波矩、Zernike矩，本系統(tǒng)中使用(shyng)Hu矩 Hu矩及其計算：通過對Hu矩的計算，得到了手勢圖像處理的結果，并作為SVM訓練的樣本8第8頁/共17頁第7頁/共17頁第七頁，共18頁。4.3 SVM4.3 SVM訓練模型訓練模型(mxng)(mxng)和和LibSVMLibSVM的應用的應用 最優(yōu)化理論 SVM支持向量機 LibSVM的應用：包括“svmtrain”和“svm

5、predict”,其中前者用于SVM樣本(yngbn)訓練，最后生成模型文件；后者根據模型文件，加上給定的輸入，輸出預測樣本(yngbn)對應的類別9第9頁/共17頁第8頁/共17頁第八頁，共18頁。4.4 4.4 手勢手勢(shush)(shush)識別的流程識別的流程 基于以上技術( jsh)，手勢識別的流程為：攝像頭獲取手勢，并在窗口畫一個矩形框對圖像進行二值化處理 ，保存在hand2窗口計算二值化圖像的Hu矩，保存在一個全局變量中建立手勢庫提取圖像的Hu矩特征訓練SVM模型加載SVM模型到程序中并根據模型進行匹對手勢識別的流程手勢識別的流程復制子區(qū)域的數(shù)據保存在 hand1窗口對圖像進

6、行預處理10第10頁/共17頁第9頁/共17頁第九頁，共18頁。4.5 4.5 接口接口(ji ku)(ji ku)的設計與實現(xiàn)的設計與實現(xiàn) 幻燈片控制(kngzh)調用相應的控制(kngzh)函數(shù)，控制(kngzh)其翻頁操作 接口的設計：根據加載的SVM模型對手勢圖像處理的結果進行判別，并根據判別結果在手勢變換時調用不同的幻燈片控制(kngzh)函數(shù)，控制(kngzh)文件的翻頁 OpenCV窗口的前端顯示11第11頁/共17頁第10頁/共17頁第十頁，共18頁。5. 5. 系統(tǒng)系統(tǒng)(xtng)(xtng)測試測試 對系統(tǒng)進行(jnxng)功能測試，其效果： 右圖是系統(tǒng)運行時的 主菜單界面

7、12第12頁/共17頁第11頁/共17頁第十一頁，共18頁。 下圖是系統(tǒng)運行時的手勢(shush)識別窗口，左圖是對右圖二值化處理后的結果13第13頁/共17頁第12頁/共17頁第十二頁，共18頁。 對系統(tǒng)進行性能測試： （1）交互延遲：從系統(tǒng)捕捉到圖像到幻燈片執(zhí)行相應(xingyng)操作所耗費的時間 。經過測試，其平均值為57.3ms （2）輪廓提取時間：系統(tǒng)對每一幀圖像從開始捕捉到計算其Hu矩值的耗時 。經過測試，其平均值為40.7ms次數(shù)12345678910延遲（ms）53625856705149595560次數(shù)12345678910時間（ms）3945423846414036423

8、814第14頁/共17頁第13頁/共17頁第十三頁，共18頁。 （3）攝像頭采集圖像的幀速：系統(tǒng)運行時攝像頭每秒采集多少幀的圖像。經過(jnggu)測試，平均幀速為32.2fps次數(shù)12345678910一幀耗時/ms28343229352931342833幀速35.729.431.234.528.634.532.329.435.730.315第15頁/共17頁第14頁/共17頁第十四頁，共18頁?？偨Y總結(zngji) 本課題利用目前比較成熟的OpenCV的相關函數(shù)，進行了基于Hu矩和SVM的手勢識別的研究，并利用已有的幻燈片控制(kngzh)函數(shù)進行了簡單的虛實交互 通過對系統(tǒng)進行功能和性能測試，基本實現(xiàn)了本課題的預期研究目標16第16頁/共17頁第15頁/共17頁第十五頁，共18頁。謝謝！ 系統(tǒng)效果(xiogu)演示17第17頁/共17頁第16頁/共17頁第十六頁，共18頁。謝謝您的觀看(gunkn)！第17頁/共17頁第十七頁，共18頁。NoImage內容(nirng)總結基于(jy)手勢識別的幻燈片控制系統(tǒng)的設計與實現(xiàn)。基于(jy)手勢識別的幻燈片控制系統(tǒng)的設計與實現(xiàn)。手勢識別是一種簡單、直觀的新的交互方式，被越來越多的采用。基于(jy)手勢識別的