基于 FPGA 的模式識別和人臉識別(共14頁)

1、基于(jy) FPGA 的圖像識別與語音(yyn)播報系統(tǒng)第一(dy)部分設(shè)計概述 /Design Introduction本設(shè)計實現(xiàn)了圖像識別與智能語音播報的功能。能實時的識別出當(dāng)前圖像，并進行智能的播報。本設(shè)計主要涉及到圖像采集，圖像處理與識別，語音技術(shù)等一系列當(dāng)前熱點技術(shù)，并將它們有機結(jié)合，構(gòu)建出了一個實用性很強的系統(tǒng)。主要可以應(yīng)用于機場，安檢，監(jiān)控等需要圖像處理技術(shù)的領(lǐng)域中。同時利用智能語音播報系統(tǒng)將圖像處理結(jié)果進行實時的播報，極大的增強了人機交互界面的友好性。另外，本設(shè)計根據(jù)圖像處理以及語音模塊的控制等特點，采用了FPGA 與單片機相組合的數(shù)字系統(tǒng)。即利用了FPGA 的高速處理能力（

2、主要處理圖像信號），同時又采用了單片機的強大控制驅(qū)動能力（主要控制智能語音播報系統(tǒng)），同時又借助于高效的數(shù)據(jù)傳輸協(xié)議，搭建出了一個集高速的數(shù)據(jù)處理能力與強大的控制能力于一身的多處理器系統(tǒng)。該架構(gòu)在現(xiàn)實的復(fù)雜數(shù)字系統(tǒng)中也有較多的應(yīng)用。具有一定的實用性。第二部分系統(tǒng)組成及功能說明 /System Construction & Function Description整個系統(tǒng)由攝像頭，前端FPGA，核心FPGA，語音MPU，VGA 顯示器構(gòu)成。系統(tǒng)通過攝像頭讀取圖像信息，由前端FPGA 進行圖像初步降噪二值化處理，僅保留有效信息后由前端FPGA 存儲，由后端FPGA 進行有效圖像區(qū)域的提取、壓縮、特

3、征對比過程，完成圖像識別的功能，并利用語音MCU 播報被識別的圖像1、可以手動設(shè)置(shzh)圖像的“亮度(lingd)”，以適應(yīng)(shyng)不同光照條件下的圖像采集。2、可以切換自動/手動模式。自動模式下系統(tǒng)將連續(xù)采集攝像頭數(shù)據(jù)。手動模式下，單擊按鍵進行一次圖像識別。3.語音模塊的詳細框圖如下：在本系統(tǒng)中，當(dāng)前端圖像識別完成(wn chng)后，按下播報按鈕后，語音模塊能將當(dāng)前識別出的圖像播報出來。交互(jioh)說明：前端FPGA1、4 鍵控制(kngzh)攝像頭二值化灰度閾值，2 鍵使閾值恢復(fù)為128。A 鍵切換自動和手動模式，自動模式下系統(tǒng)不斷采集新圖像進行(jnxng)識別，手動模

4、式下采集暫停，需要按下F 鍵才采集(cij)一幀。2、核心(hxn)FPGAA. 數(shù)碼管顯示當(dāng)前被識別的圖像序號及成功識別次數(shù)。B. LED 顯示前端FPGA 與后端通信情況。3.語音播報系統(tǒng)主要采用單片機來驅(qū)動語音模塊。在前端圖像識別完成后，當(dāng)按下語音播報按鈕后，單品機將要播報的內(nèi)容傳給語音模塊，進行播報。4、VGA 圖像VGA 顯示各區(qū)域意義解釋工作流程：能夠提取出有效圖像區(qū)域時的時序流程第三(d sn)部分完成(wn chng)情況及性能參數(shù)/Final Design & Performance Parameters1、能進行(jnxng)圖像識別，識別09 十個數(shù)字，少量字母，部分形狀

5、如方形、圓形、X 形。2、以VGA 顯示攝像頭采集的數(shù)據(jù)，能標(biāo)出有效圖像的區(qū)域；后端數(shù)碼管實時顯示識別結(jié)果。識別快速準(zhǔn)確。3、系統(tǒng)可識別圖像種類非常容易添加和更改，具有良好的編程可拓展性。4、可以手動設(shè)置圖像的“亮度”，能適應(yīng)不同光照條件下的圖像采集。5、可以切換自動/手動模式，手動模式下功耗低。6、可以語音播報被識別的圖像，聲音洪亮清晰?？勺R別內(nèi)容舉例：第四部分(b fen)總結(jié)(zngji) /Conclusions經(jīng)過幾個星期的努力，我們小組終于將作品(zupn)設(shè)計完成。經(jīng)過實際測試后，該系統(tǒng)基本完成了當(dāng)初的設(shè)計任務(wù)，即當(dāng)給出不同的圖像時，前端攝像頭能采集圖像，自動識別，并進行語音播報

6、。本系統(tǒng)中圖像識別速度快，準(zhǔn)確率較高，語音播報模塊聲音基本自然，沒有明顯播報的錯誤。當(dāng)然，此次設(shè)計還有一些不足之處。比如準(zhǔn)確率還沒有達到99%以上，對于一些奇怪的圖像無法準(zhǔn)確的檢測出來，語音播報模塊的聲音在自然度上還需進一步的提升等問題。可以進一步發(fā)揮提高的部分1.優(yōu)化識別流程，讓識別更快速，VGA 顯示的抖動更小。2.設(shè)置臨時模板，可以不再次編程而通過(tnggu)攝像頭輸入一個模板。3.語音模塊聲音更加的自然流暢，能使用(shyng)不同的聲音比如男聲，女聲以及方言等播報。組員(z yun)設(shè)計體會不同的處理器有不同的特點，比如本系統(tǒng)中使用的FPGA 與單片機就是兩個典型的處理器。FPGA

7、 具有強大的數(shù)據(jù)吞吐與處理能力，但是它在控制方面不太擅長，單片機有強大的控制能力，但是在數(shù)據(jù)處理上又顯得力不從心。因此，如果能將其二者合二為一，則構(gòu)建出來的系統(tǒng)就具有很強大的性能力。但是，如何有效的進行兩類處理器之間的通信則是一個非常關(guān)鍵的部分。一個高效的數(shù)據(jù)傳輸協(xié)議不緊能使兩個處理器之間數(shù)據(jù)傳輸誤差減小，還能保持整個系統(tǒng)合理快速的運行。圖像處理技術(shù)非常復(fù)雜，這個系統(tǒng)中每一個步驟去除多余圖像信息、圖像降噪、提取目標(biāo)區(qū)域、壓縮目標(biāo)區(qū)域、圖像識別都選擇了相對簡單的算法進行。其實這每一個步驟都值得深入研究。參加此次競賽對自己的查閱資料能力、設(shè)計能力、編程能力、動手實踐能力、團隊協(xié)作能力以及知識面都有

8、極大的提高?？吹阶罱K實現(xiàn)的成果得到的是對自己，對團隊的認可?；谌四樧R別技術(shù)的智能安保系統(tǒng)第一(dy)部分設(shè)計(shj)概述 /Design Introduction隨著信息技術(shù)及計算機網(wǎng)絡(luò)的發(fā)展(fzhn)，信息安全顯示出前所未有的重要性。身份鑒定是保證信息安全的必要部分，在很多領(lǐng)域都需要身份鑒定來達到保護信息安全的作用。傳統(tǒng)的身份認證技術(shù)主要是依靠證件、密碼和口令的認證方式，在現(xiàn)代科技快速發(fā)展的今天，這些都很容易丟失、破解或偽造，嚴(yán)重威脅到個人或公共財產(chǎn)信息安全。近年來，以人臉、虹膜、視網(wǎng)膜、指紋、聲音、基因等人的生物特征作為識別手段的生物特征識別技術(shù)漸漸發(fā)揮出了很好的作用，這類識別屬于模

9、式識別范疇，相比傳統(tǒng)的識別方式更安全、穩(wěn)定和方便。其中，人臉識別因具有友好、方便、直接等優(yōu)點成為一個熱門研究領(lǐng)域。本系統(tǒng)就決定采用人臉識別+密碼輸入的雙保險方式來構(gòu)建安保系統(tǒng)。第二部分系統(tǒng)組成及功能說明 /System Construction & Function Description1 硬件設(shè)計1.1 ov7620 攝像頭本系統(tǒng)是圖像采集與處理系統(tǒng)，所以攝像頭是非常關(guān)鍵的一個部分。文采用了Omnivision公司推出的CMOS圖像傳感器OV7620。OV7620結(jié)合CMOS技術(shù)，采用數(shù)字接口，低功率(120 mW)，單電源供電(5 V)，為實現(xiàn)更高質(zhì)量的視頻圖像應(yīng)用提供了一種簡單的解決方

10、法。0V7620的功能特點包括：單芯片13”鏡頭，最大664492像素分辨；IzC控制，標(biāo)準(zhǔn)SCCB接口；開窗功能，局部圖像輸出；自動曝光控制、自動白平衡、自動增益控制、自動亮度控制；圖像質(zhì)量控制，包括顏色飽和度、銳度、伽馬校正等功能。圖一：ov7620攝像頭本系統(tǒng)選取OV7620作為采集模塊的原因主要是OV7620圖像傳感器是CMOS彩色黑白圖像傳感器，支持連續(xù)和隔行兩種掃描方式，VGA與QVGA兩種圖像格式，幀速率可達30 fps，數(shù)據(jù)格式包括YUV、YCrCb、RGB三種，其中有我們作為看重的YUV模式，其中的Y代表著灰度。OV7620是八位灰度輸出最黑的時候輸出0，最白的時候輸出255

11、。這種特性對于圖像的處理是非常有利的，因為對于灰度的處理方法是很多的。OV7620 接口控制器分為SCCB 總線控制器和OV7620采集控制器2 部分。SCCB 總線控制器用于實現(xiàn)符合(fh)SCCB 總線協(xié)議的接口(ji ku)控制; OV7620 采集(cij)控制器根據(jù)OV7620 的視頻同步信號實現(xiàn)圖像數(shù)據(jù)采集。總線控制器的作用就是更改攝像頭內(nèi)部寄存器的數(shù)值，通過這樣的配置來設(shè)置攝像頭的工作模式。更改數(shù)值是通過SCCB協(xié)議來實現(xiàn)的，SCCB 是類似I2C 的串行總線協(xié)議, 定義了串行數(shù)據(jù)線SDA 和串行時鐘線SCL, 數(shù)據(jù)傳輸通過SDA、SCL2 條線上電平的狀態(tài)以及二者之間的相互配合

12、來實現(xiàn)。其傳輸時序如圖2 所示。由圖2 可以看出, SCCB 采用簡單的三相寫數(shù)據(jù)的方式, 即在寫寄存器的過程中先發(fā)送OV7620 的ID地址, 然后發(fā)送寫數(shù)據(jù)的目地寄存器地址, 最后發(fā)送要寫入的數(shù)據(jù)。其中具體具體過程就是SCCB_SCL為高電平時，SCCBSDA出現(xiàn)一個下降沿，此時傳輸啟動。在啟動條件滿足后，SCCB SDA為穩(wěn)定數(shù)據(jù)狀態(tài)，SCCBSCL產(chǎn)生一個正脈沖，將傳送一位數(shù)據(jù)。當(dāng)SCCBSCL為高電平時，SCCBSDA出現(xiàn)一個上升沿，傳輸停止。通過SCCB協(xié)議配置好攝像頭之后，就可以進行采集控制了。OV7620多種信號輸出。對于我們的系_統(tǒng)，我們只關(guān)心其中場中斷信號VSYN、行中斷信

13、號HREF、像素中斷信號PCLK。他們的時序關(guān)系如圖三所示：圖三：三個中斷信號的時序關(guān)系其中，VSYN 的周期是16.64ms，高電平時間為換場時間，約80us；低電平時間內(nèi)像素輸出。我們在采集VSYN脈沖時，既可以采集上升沿，也可以采集下降沿，采集下降沿更準(zhǔn)確些，這也是一場的開始。從VSYN的周期可以算出，1s/16.64ms=60幀，OV7620的幀率是60幀/s。HREF的周期63.6us，高電平時間為像素輸出時間，約47us；低電平時間為換行時間，因此采集HREF一定要采集其上升沿，下降沿后的數(shù)據(jù)是無效的。從HREF的周期可以算出，16.64ms/63.6us261，除去期間的間隙時間

14、，可以算出每場圖像有240行。PCLK的周期是73ns，高電平輸出像素，低電平像素?zé)o效。PCLK是一直輸出的，因此一定要在觸發(fā)VSYN并且觸發(fā)HREF以后，再去捕捉PCLK才能捕捉到像素數(shù)據(jù)。從PCLK的周期可以算出，47us/73ns640，可以算出每行圖像中有640個像素點。在之后的軟件設(shè)計中主要就是通過對于這三個信號的使用來完成系統(tǒng)的功能。1.2 VGA 顯示系統(tǒng)采集了圖像，在一定的情況下是需要查看圖像內(nèi)容的，同時也方便對系統(tǒng)進行控制。本系統(tǒng)才有VGA顯示屏進行(jnxng)顯示。VGA協(xié)議(xiy)主要由5個輸入信號(xnho)組成，亦是HSYNCSignal, VSYNC Signa

15、l, RGB Signal。說簡單一點，HSYNC Signal 是“列同步信號”，VSYNC Signal是“行同步信號”，RGB Signal是“紅色-綠色-藍色”顏色信號。VGA的掃描是固定的。一幀的屏幕是由“m行掃描”和“n列填充”組成。掃描的時序是通過行同步信號與列同步信號來控制的，同時掃描的頻率與數(shù)據(jù)輸出格式也是固定的。掃描時序圖見圖四，掃描頻率標(biāo)準(zhǔn)見圖五。 圖四：VGA時序圖圖五：VGA掃描頻率標(biāo)準(zhǔn)本系統(tǒng)為了配合OV7620的模式特點，采用了640*480，每秒60幀的標(biāo)準(zhǔn)。于超凡；040110362 圖像處理原理與方式（軟件設(shè)計）本系統(tǒng)的軟件開發(fā)采用模塊化的設(shè)計，一共分為四個模

16、塊：采集模塊、存儲模塊、處理模塊、顯示模塊。下面對這些模塊進行一一介紹。2.1 采集模塊通過對OV7620寄存器的配置，攝像頭的工作模式被設(shè)定為：輸出像素分辨率：640480；VGA 模式、隔行掃描、16 位YUV(取其8 位Y 輸出)。采集的控制主要就是依托場同步信號（vclk）、行同步信號（hclk）以及像素同步信號（pclk）。所以模塊首先要檢測出vclk的下降沿，此時說明新的一幀的數(shù)據(jù)發(fā)送開始了，使能采集模塊。然后開始檢測hclk的上升沿，檢測到上升沿后說明一行的采集開始了，并將行計數(shù)加1。然后開始檢測pclk的下降沿，每來一個下降沿就說明一個像素的信號發(fā)送的過來，然后將此數(shù)據(jù)存入數(shù)組

17、中，把像素計數(shù)加一。此時要檢測一下行計數(shù)是不是已經(jīng)到了640，如果是的話就要將行計數(shù)加一，像素計數(shù)歸零。此時也要檢測行計數(shù)，若行計數(shù)到了480， 圖六：數(shù)據(jù)采集流程圖說明一幀的數(shù)據(jù)采集結(jié)束。流程圖見圖六。由于圖像的數(shù)據(jù)量是非常大的，所以不可能也不必要一直采集，所以本系統(tǒng)也加上了定時模塊，也就是說每隔若干幀才使能一次采集模塊，這樣可以減小存儲模塊的壓力。2.2 存儲模塊數(shù)據(jù)采集中是把每一行的數(shù)據(jù)暫存在一個數(shù)組里，但是如果480 行都存入數(shù)組里，數(shù)據(jù)量會使一般的FPGA 開發(fā)板難以承受，所以必須將數(shù)據(jù)暫存在ram 中。在 xilinx 開發(fā)板配套的軟件ISE 中有著豐富的軟核資源，其中就有很多塊存

18、儲器。根據(jù)系統(tǒng)的需要，最終選取了其中單口RAM 的IP CORE。圖七就是單口ram 的接線圖。其中DINA 是數(shù)據(jù)輸入端，ADDRA 是地址輸入端，WE 是寫使能（本系統(tǒng)采用寫優(yōu)先模式），CLKA 是RAM 的時鐘輸入端。本系統(tǒng)的存儲(cn ch)是這樣設(shè)計的：沒到一行的數(shù)據(jù)采集(cij)結(jié)束后，就會使WE 信號(xnho)變高，然后這一行的數(shù)據(jù)就存了進去，也就是640 個像素點的數(shù)據(jù)并行輸 圖七：單口RAM入了 RAM 中，然后地址加一，這里的地址也就是行計數(shù)。在其余的時間里WE 都是低電平，這個時候RAM 就是讀模式，可以進行讀操作，為后面的數(shù)據(jù)處理提供數(shù)據(jù)。2.3 顯示模塊顯示模塊主要

19、分為兩個部分，一個是同步模塊，一個是VGA 控制模塊。顯示模塊的整體結(jié)構(gòu)圖如圖八所示。首先是同步模塊。簡單的說該模塊就是通過對時鐘的計數(shù)來控制輸向VGA 顯示屏的信號：行同步與列同步。之前提到過VGA 是有頻率標(biāo)準(zhǔn)的，而且并不是任何時間輸入的數(shù)據(jù)都是有效數(shù)據(jù)，在一個周期內(nèi)有空閑的時間段，只有中間的一部分是有效顯示段。所以同步模塊就根據(jù)這些行業(yè)標(biāo)準(zhǔn)來進行定時，輸出行同步、列同步信號。同時，于行、列的計數(shù)就是VGA 圖像上相應(yīng)的位置坐標(biāo)，這與攝像頭采集到的一幅圖像的坐標(biāo)信息是相對應(yīng)的，所以很自然地這個模塊也會輸出這種坐標(biāo)，其中行計數(shù)可以作為讀取RAM 里數(shù)據(jù)時的地址。然后是 VGA 控制模塊。這個

20、模塊的任務(wù)就是輸出RGB 數(shù)據(jù)給VGA 顯示屏。這里RGB 的數(shù)據(jù)是存在RAM 里面的，之前通過同步模塊輸出的地址信號對RAM 進行了讀取，這里就相應(yīng)的將RAM 里的數(shù)據(jù)進行輸出。2.4 處理模塊處理模塊是本系統(tǒng)的核心。人臉自動識別系統(tǒng)主要包括人臉檢測和定位、人臉特征的提取和識別兩個主要部份。人臉檢測和定位，即從輸入圖像中找到人臉及人臉的位置，并將人臉從背景中分割出來，然后才是對歸一化的人臉圖像進行特征提取和識別。對人臉的基本特征如眼睛、鼻子和嘴巴的準(zhǔn)確定位在很多人臉識別方法中也是必不可少的步驟，尤其是眼睛的準(zhǔn)確定位，這是因為兩眼間距受光照或表情變化的影響最小，所以常被用于幾何特征或臉像尺寸的

21、歸一化標(biāo)準(zhǔn)。本系統(tǒng)主要依靠人臉整體粗略識別與人眼識別兩種方式。首先介紹人眼識別。由于眼睛虹膜、瞳孔部位的灰度值明顯比其鄰近區(qū)域(眼部周圍皮膚、眼白)灰度值要低，因此能夠從適當(dāng)光照條件下拍照的圖像中分割眼睛虹膜、瞳孔部位的灰度值總是存在的，并且不是唯一的，而是有一定的小范圍。然而尋找這樣的最佳分割閾值并不是一件容易的事，眼睛虹膜、瞳孔(tngkng)部位及其鄰近區(qū)域的灰度值會因人而異，并隨光照條件、帶眼鏡時鏡片的反光(fngung)而變化，加上復(fù)雜背景的變化，使得最佳分割閾值的估計十分困難，但通過圖像灰度直方圖分析和統(tǒng)計的方法(fngf)，對最佳分割閡值可能所在的灰度區(qū)間進行粗估計還是可以做到的

22、。若選擇固定的背景和光照條件，由統(tǒng)計的方法可估計出更小的最佳分割閾值可能所在的區(qū)間。本系統(tǒng)就采用固定的背景，而且是只拍攝頭部部分（作為安保系統(tǒng)是合理的安排），這樣就大大提升了檢測的水平。具體做法是：首先用某一分割閾值T 將包含人臉的灰度圖像二值化，對二值化圖像進“Majority”形態(tài)運算以去除二值化圖像中小的黑斑點，再對二值化圖像中黑色塊進行標(biāo)記、計算每塊面積(像素數(shù))、確定每塊的外按矩形位置及寬高。人眼位置的判定是根據(jù)眼睛在二值化人臉圖像中的幾何位置確定的，主要有以下幾條準(zhǔn)則：1)雙眼中心距應(yīng)在某個范圍內(nèi)：設(shè)圖像尺寸為160 x120，考慮到人臉在圖像中大小的變化，雙眼中心距變化大約在20

23、-50個像素距離范圍內(nèi)；2)雙眼下方一定距離內(nèi)不能有其它黑塊：雙眼下方一定距離內(nèi)沒有其它器官，因此在二值化圖像中不能有其它黑塊，這一特點也是區(qū)分眉毛與眼睛的重要判據(jù)；3)雙眼中心位置上下相差不超過一定距離：由于人臉在圖像中可能向兩側(cè)傾斜，雙眼中心位置常常不在水平線上。作為判據(jù)，允許人臉在一定程度上向兩側(cè)傾斜，雙眼中心位置在垂直方向相差不超過一定距離(如1 5個像素距離)；4)眼睛黑塊所包含的像素數(shù)應(yīng)在某個范圍內(nèi)：二值化圖像中眼塊所包含的像素數(shù)應(yīng)在某個范圍內(nèi)(如5-50個像素)，太大的黑塊不太可能是眼塊；5)眼睛黑塊的外接矩形應(yīng)是一寬大于高的矩形或接近于正方形：由于眼睛的結(jié)構(gòu)特點，二值化圖像中眼

24、塊的外接矩形常常是一寬大于高的矩形或接近于正方形，眼塊的幾何中心位于圓形的眼睛虹膜(含瞳孔)位置，高遠大于寬的外接矩形對應(yīng)的黑塊不可能是眼塊；6)與圖像四邊接壤或非常接近的黑塊不是眼塊：由于拍攝人臉圖像時，要求人臉在照片中應(yīng)完整，且較靠近圖像中心，因此在二值化圖像中與圖像四邊接壤或非常接近的黑塊不是眼塊。在這些原理的基礎(chǔ)上，結(jié)合實驗得到的閥值，使用RAM里的數(shù)據(jù)就可以進行人臉識別了。系統(tǒng)主要是依靠人眼間距來進行人臉識別。在大多數(shù)情況下其實是不需要進行麻煩的人眼識別的，粗略的識別就可以完成預(yù)定功能，具體來說主要基于對圖像每一個像素點的灰度值比較。對于判斷比對人臉來說，我們(w men)這里是比較

25、簡單的一種方式，因為我們是設(shè)計密碼鎖，所以要求解鎖者在指定位置進行(jnxng)人臉的測試，這也就是說圖像中除了人臉的部分，其余的背景是固定的，所以這就為我們進行簡單(jindn)的人臉識別提供了基礎(chǔ)：我們只需要先預(yù)存一幅人臉圖像，然后與被測試者的人臉圖像想比對，然后把誤差率與先前設(shè)定好的閥值相比對，然后就可以加以判斷了。事實證明，這種方法可以完成多數(shù)情況下的識別，可以作為第一級識別，而人臉識別作為第二級識別，這樣既準(zhǔn)確又高效。3 系統(tǒng)結(jié)構(gòu)總圖第三部分完成情況及性能參數(shù)/Final Design & Performance Parameters作品可以比較好的完成可輸入密碼鎖與人臉識別的功能，并在VGA 上顯示界面與菜單，并可以用PS2鍵盤來控制整個系統(tǒng)。系統(tǒng)運轉(zhuǎn)穩(wěn)定、良好。第四部分總結(jié) /Conclusions我們覺得這個作品較為成功的利用了ov7620 的功能，與VGA 和FPGA 結(jié)合，做出了具有一定實用價值的人臉識別安保系統(tǒng)，系統(tǒng)能夠較為靈敏地對人臉進行識別，