基于手勢識別的幻燈片控制系統(tǒng)的設(shè)計(jì)實(shí)用教案

1、基于手勢識別基于手勢識別(shbi)的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 課題研究背景 主要研究內(nèi)容 系統(tǒng)總體(zngt)結(jié)構(gòu) 系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn) 系統(tǒng)測試 總結(jié)2第2頁/共17頁第1頁/共17頁第一頁，共18頁。1.1.課題研究課題研究(ynji)(ynji)背景背景 人機(jī)交互在當(dāng)今計(jì)算機(jī)技術(shù)迅猛發(fā)展的今天逐漸(zhjin)成為人們?nèi)粘Ｉ钪械闹匾糠?手勢識別是一種簡單、直觀的新的交互方式，被越來越多的采用 基于手勢識別的幻燈片控制系統(tǒng)，可以使我們了解和掌握手勢識別的原理，并進(jìn)行了簡單的實(shí)際應(yīng)用的設(shè)計(jì)3第3頁/共17頁第2頁/共17頁第二頁，共18頁。2.2.主要主要(z

2、hyo)(zhyo)研究內(nèi)容研究內(nèi)容 了解手勢識別(shbi)研究的原理和方法 掌握OpenCV開源庫的使用 熟悉Hu矩特征的基本概念 了解支持向量機(jī)（SVM）的分類原理和LibSVM的使用方法 在現(xiàn)有類庫基礎(chǔ)上實(shí)現(xiàn)一個基于手勢識別(shbi)的幻燈片控制系統(tǒng)4第4頁/共17頁第3頁/共17頁第三頁，共18頁。3.3.系統(tǒng)總體系統(tǒng)總體(zngt)(zngt)結(jié)構(gòu)結(jié)構(gòu) 根據(jù)系統(tǒng)設(shè)計(jì)(shj)的總體思想，其結(jié)構(gòu)為：5系統(tǒng)總體結(jié)構(gòu)系統(tǒng)總體結(jié)構(gòu)手勢識別手勢識別幻燈片控制幻燈片控制手圖像的采集及預(yù)處理手圖像特征的提取手圖像的模型訓(xùn)練加載模型進(jìn)行預(yù)測匹配加載模型進(jìn)行預(yù)測匹配調(diào)用函數(shù)進(jìn)行翻頁控制接口通過手勢

3、控制PPT翻頁第5頁/共17頁第4頁/共17頁第四頁，共18頁。4.4.系統(tǒng)系統(tǒng)(xtng)(xtng)的設(shè)計(jì)與實(shí)現(xiàn)的設(shè)計(jì)與實(shí)現(xiàn) 手圖像的預(yù)處理 手圖像幾何特征的提取 SVM模型訓(xùn)練和LibSVM的應(yīng)用 手勢識別的流程 接口部分(b fen)的設(shè)計(jì)與實(shí)現(xiàn)6第6頁/共17頁第5頁/共17頁第五頁，共18頁。4.1 4.1 手圖像手圖像(t xin)(t xin)的預(yù)處理的預(yù)處理 手圖像(t xin)的準(zhǔn)確獲取：本系統(tǒng)中采用灰度投影法確定手的準(zhǔn)確區(qū)域 手圖像(t xin)的灰度化：本系統(tǒng)中首先將圖像(t xin)由RGB色彩空間轉(zhuǎn)化到Y(jié)CbCr空間，再利用其Cb或Cr通道進(jìn)行二值化分割 采用最大類

4、間方差（Ostu）法進(jìn)行圖像(t xin)的二值化7第7頁/共17頁第6頁/共17頁第六頁，共18頁。4.2 4.2 手圖像幾何手圖像幾何(j h)(j h)特征的提取特征的提取 能夠描述圖像特征的矩：Hu矩、小波矩、Zernike矩，本系統(tǒng)中使用(shyng)Hu矩 Hu矩及其計(jì)算：通過對Hu矩的計(jì)算，得到了手勢圖像處理的結(jié)果，并作為SVM訓(xùn)練的樣本8第8頁/共17頁第7頁/共17頁第七頁，共18頁。4.3 SVM4.3 SVM訓(xùn)練模型訓(xùn)練模型(mxng)(mxng)和和LibSVMLibSVM的應(yīng)用的應(yīng)用 最優(yōu)化理論 SVM支持向量機(jī) LibSVM的應(yīng)用：包括“svmtrain”和“svm

5、predict”,其中前者用于SVM樣本(yngbn)訓(xùn)練，最后生成模型文件；后者根據(jù)模型文件，加上給定的輸入，輸出預(yù)測樣本(yngbn)對應(yīng)的類別9第9頁/共17頁第8頁/共17頁第八頁，共18頁。4.4 4.4 手勢手勢(shush)(shush)識別的流程識別的流程 基于以上技術(shù)( jsh)，手勢識別的流程為：攝像頭獲取手勢，并在窗口畫一個矩形框?qū)D像進(jìn)行二值化處理 ，保存在hand2窗口計(jì)算二值化圖像的Hu矩，保存在一個全局變量中建立手勢庫提取圖像的Hu矩特征訓(xùn)練SVM模型加載SVM模型到程序中并根據(jù)模型進(jìn)行匹對手勢識別的流程手勢識別的流程復(fù)制子區(qū)域的數(shù)據(jù)保存在 hand1窗口對圖像進(jìn)

6、行預(yù)處理10第10頁/共17頁第9頁/共17頁第九頁，共18頁。4.5 4.5 接口接口(ji ku)(ji ku)的設(shè)計(jì)與實(shí)現(xiàn)的設(shè)計(jì)與實(shí)現(xiàn) 幻燈片控制(kngzh)調(diào)用相應(yīng)的控制(kngzh)函數(shù)，控制(kngzh)其翻頁操作 接口的設(shè)計(jì)：根據(jù)加載的SVM模型對手勢圖像處理的結(jié)果進(jìn)行判別，并根據(jù)判別結(jié)果在手勢變換時調(diào)用不同的幻燈片控制(kngzh)函數(shù)，控制(kngzh)文件的翻頁 OpenCV窗口的前端顯示11第11頁/共17頁第10頁/共17頁第十頁，共18頁。5. 5. 系統(tǒng)系統(tǒng)(xtng)(xtng)測試測試 對系統(tǒng)進(jìn)行(jnxng)功能測試，其效果： 右圖是系統(tǒng)運(yùn)行時的 主菜單界面

7、12第12頁/共17頁第11頁/共17頁第十一頁，共18頁。 下圖是系統(tǒng)運(yùn)行時的手勢(shush)識別窗口，左圖是對右圖二值化處理后的結(jié)果13第13頁/共17頁第12頁/共17頁第十二頁，共18頁。 對系統(tǒng)進(jìn)行性能測試： （1）交互延遲：從系統(tǒng)捕捉到圖像到幻燈片執(zhí)行相應(yīng)(xingyng)操作所耗費(fèi)的時間 。經(jīng)過測試，其平均值為57.3ms （2）輪廓提取時間：系統(tǒng)對每一幀圖像從開始捕捉到計(jì)算其Hu矩值的耗時 。經(jīng)過測試，其平均值為40.7ms次數(shù)12345678910延遲（ms）53625856705149595560次數(shù)12345678910時間（ms）3945423846414036423

8、814第14頁/共17頁第13頁/共17頁第十三頁，共18頁。 （3）攝像頭采集圖像的幀速：系統(tǒng)運(yùn)行時攝像頭每秒采集多少幀的圖像。經(jīng)過(jnggu)測試，平均幀速為32.2fps次數(shù)12345678910一幀耗時/ms28343229352931342833幀速35.729.431.234.528.634.532.329.435.730.315第15頁/共17頁第14頁/共17頁第十四頁，共18頁?？偨Y(jié)總結(jié)(zngji) 本課題利用目前比較成熟的OpenCV的相關(guān)函數(shù)，進(jìn)行了基于Hu矩和SVM的手勢識別的研究，并利用已有的幻燈片控制(kngzh)函數(shù)進(jìn)行了簡單的虛實(shí)交互 通過對系統(tǒng)進(jìn)行功能和性能測試，基本實(shí)現(xiàn)了本課題的預(yù)期研究目標(biāo)16第16頁/共17頁第15頁/共17頁第十五頁，共18頁。謝謝！ 系統(tǒng)效果(xiogu)演示17第17頁/共17頁第16頁/共17頁第十六頁，共18頁。謝謝您的觀看(gunkn)！第17頁/共17頁第十七頁，共18頁。NoImage內(nèi)容(nirng)總結(jié)基于(jy)手勢識別的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)?；?jy)手勢識別的幻燈片控制系統(tǒng)的設(shè)計(jì)與實(shí)現(xiàn)。手勢識別是一種簡單、直觀的新的交互方式，被越來越多的采用?；?jy)手勢識別的