三種簡(jiǎn)單手勢(shì)識(shí)別20課件

1、簡(jiǎn)單手勢(shì)識(shí)別第1頁，共20頁。一、背景 隨著計(jì)算機(jī)的發(fā)展，人機(jī)交互技術(shù)由傳統(tǒng)的鼠標(biāo)鍵盤時(shí)代發(fā)展到了以語音輸入、動(dòng)作識(shí)別等技術(shù)為代表的自然交互時(shí)代n1。特別是視覺計(jì)算技術(shù)的發(fā)展，使計(jì)算機(jī)獲得了初步視覺感知的能力，能“看懂”用戶的動(dòng)作。手勢(shì)識(shí)別作為一種直觀自然的輸入方式，把人們從傳統(tǒng)接觸性的輸入裝置中解放出來，可以以一種更自然的方式與計(jì)算機(jī)交互，使計(jì)算機(jī)界面變得更加易引。手勢(shì)主要分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)兩種，動(dòng)態(tài)手勢(shì)可以看作是連續(xù)的靜態(tài)手勢(shì)序列。動(dòng)態(tài)手勢(shì)具有豐富和直觀的表達(dá)能力，與靜態(tài)手勢(shì)結(jié)合在一起，能創(chuàng)造出更豐富的語義。利用動(dòng)態(tài)手勢(shì)識(shí)別構(gòu)建新型的交互界面，是新一代的人機(jī)交互界面對(duì)輸入方式自然性的要

2、求，可以彌補(bǔ)傳統(tǒng)交互方式的不足?；谝曈X和手勢(shì)識(shí)別研究正處于蓬勃發(fā)展的階段，仍存著的許多值得研究的問題。研究基于視覺的動(dòng)態(tài)手勢(shì)識(shí)別對(duì)于構(gòu)建更加好友的人機(jī)交互界面很有意義。第2頁，共20頁。二、手勢(shì)識(shí)別概述 手勢(shì)是姿勢(shì)的一個(gè)子集，姿勢(shì)這個(gè)概念沒有精確的定義。一般認(rèn)為，手勢(shì)概念經(jīng)過人的手轉(zhuǎn)化為的手勢(shì)動(dòng)作，觀察者看到的是手勢(shì)動(dòng)作的圖像。手勢(shì)的產(chǎn)生過程如圖2-1所示。圖2-1 手勢(shì)的產(chǎn)生過程手勢(shì)識(shí)別的過程則找一個(gè)從圖像V到概念動(dòng)作G的變換而，如圖2-2所示。2.1、手勢(shì)識(shí)別的概念第3頁，共20頁。2.2、手勢(shì)識(shí)別流程 隨著計(jì)算機(jī)的發(fā)展，人機(jī)交互技術(shù)由傳統(tǒng)的鼠標(biāo)鍵盤時(shí)代發(fā)展到了以語音輸入、動(dòng)作識(shí)別等技術(shù)

3、為代表的自然交互時(shí)代n1。特別是視覺計(jì)算技術(shù)的發(fā)展，使計(jì)算機(jī)獲得了初步視覺感知的能力，能“看懂”用戶的動(dòng)作。手勢(shì)識(shí)別作為一種直觀自然的輸入方式，把人們從傳統(tǒng)接觸性的輸入裝置中解放出來，可以以一種更自然的方式與計(jì)算機(jī)交互，使計(jì)算機(jī)界面變得更加容易。 手勢(shì)主要分為靜態(tài)手勢(shì)和動(dòng)態(tài)手勢(shì)兩種，動(dòng)態(tài)手勢(shì)可以看作是連續(xù)的靜態(tài)手勢(shì)序列。動(dòng)態(tài)手勢(shì)具有豐富和直觀的表達(dá)能力，與靜態(tài)手勢(shì)結(jié)合在一起，能創(chuàng)造出更豐富的語義。利用動(dòng)態(tài)手勢(shì)識(shí)別構(gòu)建新型的交互界面，是新一代的人機(jī)交互界面對(duì)輸入方式自然性的要求，可以彌補(bǔ)傳統(tǒng)交互方式的不足。基于視覺和手勢(shì)識(shí)別研究正處于蓬勃發(fā)展的階段，仍存著的許多值得研究的問題。研究基于視覺的動(dòng)態(tài)

4、手勢(shì)識(shí)別對(duì)于構(gòu)建更加好友的人機(jī)交互界面很有意義。第4頁，共20頁。2.3、手勢(shì)建模 在手勢(shì)識(shí)別框架中，手勢(shì)模型是一個(gè)最基本的部分。根據(jù)不同的應(yīng)用背景，手勢(shì)識(shí)別采用的模型會(huì)有不同，而對(duì)于不同的手勢(shì)模型，采用的手勢(shì)檢測(cè)與跟蹤算法、特征提取、識(shí)別技術(shù)也會(huì)有差別。手勢(shì)建模主要分為基于表觀的手勢(shì)模型與基于三維的手勢(shì)模型。第5頁，共20頁。2.4、手勢(shì)特征提取 手勢(shì)特征的提取是與手勢(shì)模型密切相關(guān)的，不同的手勢(shì)模型會(huì)有不同有手勢(shì)特征。例如基于模型的手勢(shì)模型有手的每個(gè)關(guān)節(jié)的狀態(tài)特征，基于表觀模型的手勢(shì)特征是輪廓特征、位置特征等。靜態(tài)手勢(shì)識(shí)別和動(dòng)態(tài)于勢(shì)識(shí)別的特征也不同，靜態(tài)手勢(shì)的特征只是描述的手的靜態(tài)信息，例如

5、輪廓、面積等。動(dòng)態(tài)手勢(shì)特征是連續(xù)的靜態(tài)特征序列。第6頁，共20頁。三、手勢(shì)識(shí)別 常用的靜態(tài)手勢(shì)特征有輪廓、位置、面積、分布等。 本文主要利用對(duì)手勢(shì)面積大小的識(shí)別來達(dá)到手勢(shì)識(shí)別的目的，這里直接比較手型面積有交大困難。在手勢(shì)的定位與分割時(shí)，產(chǎn)生了手勢(shì)區(qū)域的方框，我們運(yùn)用這個(gè)面積來代替手勢(shì)的面積，具有較好的效果。當(dāng)用攝像頭采集到手勢(shì)時(shí)，先將采集到的手勢(shì)與采集到的手勢(shì)庫進(jìn)行比較，比較得出與攝像頭所得手勢(shì)較吻合的的手勢(shì)，在屏幕上顯示相關(guān)手勢(shì)的名稱。3.1、設(shè)計(jì)思路第7頁，共20頁。3.2、手勢(shì)采集 對(duì)于手勢(shì)識(shí)別，首先得要求有用來對(duì)比識(shí)別的手勢(shì)，我們采集的簡(jiǎn)單的手勢(shì)有以下幾種：拳頭、布、剪刀。如下圖所示：

6、第8頁，共20頁。第9頁，共20頁。3.3、相關(guān)程序 本文的識(shí)別程序是在“膚色識(shí)別”的基礎(chǔ)上進(jìn)行一定修改形成的。通過讀程序，我們發(fā)現(xiàn)原程序較慢，我們刪除了一部分無關(guān)程序，提高了識(shí)別的速度。通過了Cr和Cb來判斷Y的值，再利用Y的面積來判斷不同的手勢(shì)。程序詳見報(bào)告。第10頁，共20頁。三、手勢(shì)識(shí)別 常用的靜態(tài)手勢(shì)特征有輪廓、位置、面積、分布等。 本文主要利用對(duì)手勢(shì)面積大小的識(shí)別來達(dá)到手勢(shì)識(shí)別的目的，這里直接比較手型面積有交大困難。在手勢(shì)的定位與分割時(shí)，產(chǎn)生了手勢(shì)區(qū)域的方框，我們運(yùn)用這個(gè)面積來代替手勢(shì)的面積，具有較好的效果。當(dāng)用攝像頭采集到手勢(shì)時(shí)，先將采集到的手勢(shì)與采集到的手勢(shì)庫進(jìn)行比較，比較得出

7、與攝像頭所得手勢(shì)較吻合的的手勢(shì)，在屏幕上顯示相關(guān)手勢(shì)的名稱。3.1、設(shè)計(jì)思路第11頁，共20頁。3.4、識(shí)別結(jié)果 對(duì)于不同的手勢(shì)所得識(shí)別結(jié)果如下：第12頁，共20頁。第13頁，共20頁。第14頁，共20頁。第15頁，共20頁。由識(shí)別結(jié)果可以看出：在合適位置隨著手勢(shì)的變換，在屏幕上顯示的文字作相應(yīng)變化。實(shí)驗(yàn)中發(fā)現(xiàn)，在不同攝像頭背景下，實(shí)驗(yàn)結(jié)果存在較大差別，于是，我們采取了純黑色的背景進(jìn)行實(shí)驗(yàn)。第16頁，共20頁。四、實(shí)驗(yàn)總結(jié) 手勢(shì)識(shí)別技術(shù)的實(shí)現(xiàn)使人機(jī)交互更近一步，提高了人機(jī)交互的能力，對(duì)生產(chǎn)生活有很大的好處。通過查閱相關(guān)資料，我們認(rèn)識(shí)到了手勢(shì)識(shí)別在各方面的實(shí)際意義。本次實(shí)驗(yàn)實(shí)現(xiàn)了較為簡(jiǎn)單的手勢(shì)識(shí)

8、別，但不足之處較多，還有許多需完善的部分。通過這次DSP課程學(xué)習(xí)，我們覺得在做實(shí)驗(yàn)時(shí)我們應(yīng)該先確定自己實(shí)驗(yàn)的目標(biāo)，本次實(shí)驗(yàn)我們欠缺一定討論，一開始對(duì)實(shí)驗(yàn)的方向不太明確，之后是在實(shí)驗(yàn)過程中才慢慢發(fā)現(xiàn)運(yùn)用面積大小對(duì)手勢(shì)進(jìn)行識(shí)別能產(chǎn)生較好效果。 -田偉民第17頁，共20頁。以前也學(xué)過一點(diǎn)圖像處理的的基本知識(shí)，也學(xué)過PHOTOSHOP的軟件，也對(duì)圖像的處理比較感興趣，所以選擇了這個(gè)課程。在DSP圖像處理里面也學(xué)到了很多的東西尤其是圖像的顯示的最基本的知識(shí)，從采集，編碼，到輸出。對(duì)我來說意義最大的是用程序來實(shí)現(xiàn)了圖像的處理，以前都是用軟件來處理的，這是我接近計(jì)算機(jī)的方法更近了一步。DSP課程對(duì)我來說最難

9、的是C語言編程，我們花了很多的時(shí)間在C語言的編程上，開始的時(shí)候總是在改子程序，讀程序，后來開始嘗試一些自己寫字程序。在不斷的嘗試中摸索出來了一些方法和技巧，收獲了不少的東西無論是圖像處理上還是在編程上。我們總是在不斷地嘗試中，不斷地努力中，漸漸形成了自己的想法和思路。 -溫興泵第18頁，共20頁。 通過這次實(shí)驗(yàn)，我們幾個(gè)人分工合作，達(dá)到了很好的效果！首先，通過對(duì)程序的熟悉掌握相關(guān)的知識(shí)點(diǎn)，并能運(yùn)用其知識(shí)點(diǎn)進(jìn)行自己的設(shè)計(jì)，把前面幾次的實(shí)驗(yàn)的討論的結(jié)果成果運(yùn)用在了這次的實(shí)驗(yàn)中，我們從顯示字到畫矩形邊框，再到比較框里面的白色的面積比例確定顯示哪個(gè)字符，這個(gè)完全是不斷比較程序?qū)嵺`出來的，同時(shí)，我們對(duì)以前的顯示輪廓的程序進(jìn)行改進(jìn)，實(shí)現(xiàn)了能夠快速切換攝像頭的功能，從而使界面平滑流暢，可以方便快捷地進(jìn)行測(cè)試，達(dá)到了很好的效果！這次實(shí)驗(yàn)，幾個(gè)人搞了很長的時(shí)間，首先是程序的熟悉方面就花了大概半天的時(shí)間，然后反復(fù)實(shí)驗(yàn)反復(fù)修改，最后總算書縣的我們想要