數(shù)字圖像處理課程報(bào)告基于FPGA的視頻圖像處理系統(tǒng)

1、 青 島 工 學(xué) 院數(shù)字圖像處理課程報(bào)告i 基于fpga的視頻圖像處理系統(tǒng) 學(xué)生姓名 學(xué)號(hào) 學(xué) 院 信息工程學(xué)院 專 業(yè) 電子信息工程 年級(jí) 2010級(jí) 青 島 工 學(xué) 院摘要 由于指紋的唯一性和不變性，指紋識(shí)別己成為當(dāng)前最流行、最方便、最可靠的個(gè)人身份認(rèn)證技術(shù)之一。本文以自動(dòng)指紋識(shí)別系統(tǒng)的處理流程為線索，介紹了系統(tǒng)的三個(gè)部分：指紋預(yù)處理、特征提取和指紋匹配。在前人工作的基礎(chǔ)上，我們?cè)诟鱾€(gè)環(huán)節(jié)都提出了自己的方法，結(jié)合那些經(jīng)典的算法，在很大程度上提高了圖像的處理效果與匹配結(jié)果。在指紋增強(qiáng)階段，我們結(jié)合方向圖與頻率圖修改了gabor濾波器；在細(xì)化階段，我們對(duì)傳統(tǒng)的opta算法進(jìn)行了一些改進(jìn)；在指紋

2、匹配階段，我們著重研究了基于點(diǎn)模式的細(xì)節(jié)匹配。此外，我們還成功的實(shí)現(xiàn)了各個(gè)算法，完成該指紋識(shí)別系統(tǒng)，經(jīng)實(shí)驗(yàn)證明，該系統(tǒng)能夠快速準(zhǔn)確的識(shí)別指紋，達(dá)到了預(yù)期目的。 關(guān)鍵字:圖像分割，圖像增強(qiáng)，二值化，細(xì)化，特征提取，特征匹配 abstract fingerprint image enhancement process in the fingerprint image pre-processing has a very important role, directly affect the fingerprint recognition rate and recognition speed. gen

3、eral image enhancement algorithm can not meet the requirements of the fingerprint identification system, ingerprint enhancement algorithm to improve the overall performance, are proposed a gabor filter to enhance the fingerprint image and effectively eliminate noise, and gabor filters parameters can

4、 be quantified. the algorithm can make the image quality significantly enhanced to facilitate follow-up fingerprint feature extraction, fingerprint recognition algorithm to improve the efficiency and accuracy. key words: fingerprint enhancement intensification gabor filter 目 錄 第1章緒論1 11視頻圖像技術(shù)的發(fā)展和應(yīng)用1

5、 111視頻圖像技術(shù)的發(fā)展1 112視頻圖像技術(shù)的應(yīng)用范圍1 12課題的研究意義1 13論文組織結(jié)構(gòu)2 第2章頻圖像處理的整體設(shè)計(jì)3 2.1視頻信號(hào)的處理過程3 2.2典型視頻圖像處理系統(tǒng)3 23本論文視頻圖像處理系統(tǒng)的總體框圖設(shè)計(jì)3 第3章系統(tǒng)開發(fā)平臺(tái)fpga技術(shù)及硬件選型4 31 fpga的結(jié)構(gòu)及開發(fā)流程4 311 fpga的基本結(jié)構(gòu)4 312 fpga的開發(fā)流程4 32課題中fpga的開發(fā)軟件和器件概述4 321集成開發(fā)軟件4 322 vertexli pro系列器件結(jié)構(gòu)5 33dsp開發(fā)工具systemgenerator7 331 system generator for dsp7 3

6、32使用system generator for dsp實(shí)現(xiàn)系統(tǒng)級(jí)建模7 第4章視頻圖像采集模塊設(shè)計(jì)8 4. 1采集模塊實(shí)現(xiàn)框圖8 42視頻輸入處理芯片saa71 13初始化8 421 saa71 1 3概述9 422 總線時(shí)序分析9 43視頻圖像數(shù)據(jù)采集9 431 saa71 13輸出視頻數(shù)據(jù)格式9 432視頻圖像采集的軟件設(shè)計(jì)10 第5章視頻圖像算法模塊設(shè)計(jì)11 51視頻圖像算法11 511圖像平滑算法12 512圖像銳化算法13ii 52模板卷積的實(shí)現(xiàn)16 53圖像算法仿真結(jié)果及分析16 54硬件語(yǔ)言文件的生成17 參考文獻(xiàn)18 致謝19 基于fpga的視頻圖像處理系統(tǒng) 第1章緒論11視

7、頻圖像技術(shù)的發(fā)展和應(yīng)用111視頻圖像技術(shù)的發(fā)展 圖像(視覺)信息是人們由客觀世界獲得信息的主要來源之一，約占人們依靠五官由外界獲得信息量的70以上。因此由圖像所提供的直觀作用是其它途徑獲取信息所無(wú)法比擬的。視頻圖像就是連續(xù)的靜態(tài)圖像的序列，是一種對(duì)客觀事物更為形象，生動(dòng)地描述。隨著電子技術(shù)和計(jì)算機(jī)技術(shù)的飛速發(fā)展，視頻圖像技術(shù)近年來得到了極大的重視和長(zhǎng)足的發(fā)展，人們?cè)谶x擇學(xué)習(xí)和娛樂信息時(shí)，不再是單純的枯燥文信息，豐富多彩的圖片和視頻信息越來越成為人們的首選。并且對(duì)視和圖像處理技術(shù)的要求不斷攀升，新的需求催生新的技術(shù)，主要體現(xiàn)在從標(biāo)準(zhǔn)清(sd)到高清(hd)，分辨率越來越高，要求實(shí)時(shí)處理的數(shù)據(jù)量越

8、來越大；視頻和圖像壓縮技術(shù)日益復(fù)雜，如mpeg4第2部分，h264avc，jpeg2000等；對(duì)視頻系統(tǒng)智能化的要求提高，如智能拍攝、運(yùn)動(dòng)檢測(cè)、對(duì)象識(shí)別、多通道、畫中畫、透明疊加效果等；消費(fèi)者欣賞能力的提高，希望圖像更穩(wěn)定、更清晰、色彩更艷麗、亮度更符合人眼的感官需求。112視頻圖像技術(shù)的應(yīng)用范圍 隨著計(jì)算機(jī)技術(shù)和半導(dǎo)體工業(yè)的發(fā)展，視頻圖像處理技術(shù)的應(yīng)用將更加廣泛，總結(jié)其應(yīng)用領(lǐng)域，大致有以下幾個(gè)方面： (1)在通信和電子商務(wù)中的應(yīng)用。當(dāng)前通信的主要發(fā)展方向是聲音、文字、圖像和數(shù)據(jù)相結(jié)合的多媒體通信，也就是將電話，電視和計(jì)算機(jī)以三網(wǎng)合一的方式在數(shù)字通信網(wǎng)上傳輸。其中以視頻圖像通信最為復(fù)雜和困難，

9、因其數(shù)據(jù)量十分巨大，如傳送彩色電視信號(hào)的速率達(dá)100mbs以上。要將這樣高的速率的數(shù)據(jù)實(shí)時(shí)傳送出去，必須采用圖像處理中的編碼壓縮技術(shù)來達(dá)到目的。 (2)在生物醫(yī)學(xué)中的應(yīng)用。視頻圖像處理在生物醫(yī)學(xué)工程方面有非常廣泛的應(yīng)用，無(wú)論是臨床診斷還是病理研究都采用圖像處理技術(shù)，而且很有成就。它的直觀、無(wú)創(chuàng)傷、第1章緒論安全方便等優(yōu)點(diǎn)受到了普遍的接受。除了最成功的x射線、ct技術(shù)之外，還有一類是對(duì)醫(yī)用顯微圖像的處理分析，即自動(dòng)細(xì)胞分析儀，如紅細(xì)胞、白細(xì)胞分類，染色體分析，癌細(xì)胞識(shí)別以及超聲波圖像的分析等。 (3)在軍事、公安中的應(yīng)用。在軍事方面主要用于導(dǎo)彈的精確制導(dǎo)、各種偵察相片的判讀，具有圖像、傳輸、存儲(chǔ)

10、和顯示的軍事自動(dòng)化、指揮系統(tǒng)，飛機(jī)、坦克和軍艦?zāi)M訓(xùn)練系統(tǒng)等；在公安業(yè)務(wù)方面實(shí)時(shí)監(jiān)控、案件偵破、指紋識(shí)別、人臉識(shí)別、虹膜識(shí)別以及交通流量監(jiān)控、事故跟蹤、銀行防盜等。特別是目前已全面投入運(yùn)行的高速公路不停車自動(dòng)收費(fèi)系統(tǒng)中的車輛和車牌的自動(dòng)識(shí)別。12課題的研究意義 傳統(tǒng)的視頻圖像處理技術(shù)主要用pc機(jī)來做實(shí)時(shí)圖像處理，由于pc機(jī)的結(jié)構(gòu)是基于馮諾依曼的復(fù)雜指令計(jì)算機(jī)，本質(zhì)上是順序執(zhí)行指令，不能實(shí)現(xiàn)并行處理，故實(shí)時(shí)性很差；用數(shù)字信號(hào)處理專用芯片來做實(shí)時(shí)圖像處理，由于數(shù)字信號(hào)處理專用芯片采用數(shù)據(jù)與程序空間相分離的哈佛結(jié)構(gòu)，加上數(shù)字信號(hào)處理專用芯片比較適合做復(fù)雜的算法，可以實(shí)現(xiàn)一定的并行處理能力和容易實(shí)現(xiàn)一

11、些算法，故用來做圖像處理比pc機(jī)有一定優(yōu)勢(shì)。不過隨著新的需求，像實(shí)時(shí)壓縮(h264)高清視頻，最為強(qiáng)大的單片dsp也無(wú)法實(shí)現(xiàn)。因此就需要一種新的開發(fā)環(huán)境，實(shí)現(xiàn)視頻圖像處理技術(shù)的新要求。隨著半導(dǎo)體工藝的不斷進(jìn)步，fpga不僅告別了傳統(tǒng)觀念的價(jià)格昂貴，而且性能也顯著提升，同時(shí)不斷集成一些新的硬件資源，比如內(nèi)嵌dsp塊、內(nèi)嵌ram塊、鎖相環(huán)(pll)、高速外部存儲(chǔ)器接i(ddr)等，作為一個(gè)平臺(tái)，fpga顯然已經(jīng)非常適合于高性能的視頻和圖像技術(shù)，用fpga來做實(shí)時(shí)圖像處理，由于可編程邏輯的大容量、靈活性，可以實(shí)現(xiàn)圖像極大的并行處理能力，速度可以比pc機(jī)和數(shù)字信號(hào)處理芯片快，可以實(shí)現(xiàn)sopc(片上可編

12、程系統(tǒng))，幫助用戶定制系統(tǒng)，縮短產(chǎn)品研發(fā)和更新?lián)Q代的周期，快速做出有自己特色的，自主知識(shí)產(chǎn)權(quán)的產(chǎn)品，越來越多的研究人員開始致力于有關(guān)fpga的視頻圖像處理技術(shù)。13論文組織結(jié)構(gòu) 本論文主要研究的是基于fpga的視頻圖像處理系統(tǒng)各功能模塊的設(shè)計(jì)與實(shí)現(xiàn)，并基于fpga的視頻圖像處理系統(tǒng)對(duì)這些模塊算法進(jìn)行仿真。全文共分5章，其內(nèi)容安排如下： 第1章緒論。簡(jiǎn)要介紹了當(dāng)前視頻圖像處理技術(shù)的發(fā)展和應(yīng)用，本論文提出的意義以及論文的組織結(jié)構(gòu)。 第2章視頻圖像處理的整體設(shè)計(jì)。首先簡(jiǎn)要地介紹視頻信號(hào)及視頻信號(hào)處理過程。其次在研究典型視頻圖像處理系統(tǒng)的前提下，設(shè)計(jì)基于fpga的視頻圖像處理系統(tǒng)，系統(tǒng)主要包含兩個(gè)部分

13、：視頻圖像采集模塊，視頻圖像算法模塊。 第3章系統(tǒng)開發(fā)平臺(tái)fpga及硬件選型。討論了fpga的結(jié)構(gòu)特點(diǎn)、開發(fā)流程及開發(fā)軟件和視頻圖像處理系統(tǒng)的硬件選擇。如何在matla中實(shí)現(xiàn)fpga設(shè)計(jì)，以實(shí)現(xiàn)后端視頻圖像算法的處理。 第4章視頻圖像采集模塊設(shè)計(jì)。視頻圖像采集、存儲(chǔ)部分的具體實(shí)現(xiàn)。首先利用12 c總線對(duì)采集卡saa7113初始化及配置；其次通過分析視頻數(shù)據(jù)格式，采用軟件的方式控制視頻圖像數(shù)據(jù)的采集；然后根據(jù)存儲(chǔ)器的讀寫時(shí)序，完成存儲(chǔ)器模塊的設(shè)計(jì)。最后對(duì)各部分產(chǎn)生的仿真結(jié)果進(jìn)行分析。 第5章視頻圖像算法模塊設(shè)計(jì)。首先簡(jiǎn)述了常用的視頻圖像算法及濾波原理；然后根據(jù)模板卷積實(shí)現(xiàn)的框圖，以基于模型的設(shè)計(jì)

14、思想，matlab中應(yīng)用exilian公司嵌入到simul ink中的模塊，構(gòu)建一款頻圖像處理的模型，實(shí)現(xiàn)圖像平滑和圖像銳化算法。最后對(duì)不伺算法能進(jìn)行仿真，并生成硬件描述語(yǔ)言及網(wǎng)表，在ise中調(diào)用實(shí)現(xiàn)，并對(duì)硬件資源消耗情況做簡(jiǎn)要分析。 第2章頻圖像處理的整體設(shè)計(jì)2.1視頻信號(hào)的處理過程 一幅平面圖像可以看成是由許許多多的小單元組成，在圖像處理系統(tǒng)中，這些組成畫面的細(xì)小單元稱為像素。像素越小，單位面積上的像素?cái)?shù)目就越多，由其構(gòu)成的圖像就越清晰。電視系統(tǒng)中把構(gòu)成一幅圖像的各像素傳送一遍稱為進(jìn)行了一個(gè)幀處理，或稱為傳送了一幀。將組成一幀圖像的像素，按順序轉(zhuǎn)換成電信號(hào)的過程稱為掃描。在pal制中，圖像

15、掃描是隔行的，即一幀圖像分兩次掃描，掃描到的兩幅圖像分別稱作奇數(shù)場(chǎng)和偶數(shù)場(chǎng)。視頻圖像信號(hào)的處理過程就是拍攝視頻信號(hào)的逆過程。攝像頭輸出的是標(biāo)準(zhǔn)pal制電視信號(hào)。攝像頭通過光電轉(zhuǎn)換實(shí)現(xiàn)圖像到視頻信號(hào)的轉(zhuǎn)換，也就是掃描的過程。攝像頭每掃描一行圖像，加入一個(gè)行脈沖，每掃描完一場(chǎng)圖像加入一個(gè)場(chǎng)同步信號(hào)。同時(shí)了保證掃描逆程光柵不顯示，應(yīng)加入和同步信號(hào)同周期的消隱信號(hào)。對(duì)視頻信號(hào)進(jìn)行處理，需要先進(jìn)行ad轉(zhuǎn)換、行場(chǎng)同步信號(hào)的分離等步驟。采用專用的視頻信號(hào)進(jìn)行轉(zhuǎn)換，然后再啟用工具處理數(shù)字圖像信號(hào)并得到需要的結(jié)果。最后將結(jié)果用適當(dāng)?shù)姆绞竭M(jìn)行傳輸。2.2典型視頻圖像處理系統(tǒng) 典型的視頻處理系統(tǒng)使用一個(gè)微處理器來控

16、制一個(gè)視頻流水線，該視頻流水線包括一個(gè)視頻源和宿，一個(gè)用于存儲(chǔ)視頻數(shù)據(jù)的大型存儲(chǔ)器，和個(gè)視頻算法函數(shù)，實(shí)現(xiàn)一些算法處理功能。23本論文視頻圖像處理系統(tǒng)的總體框圖設(shè)計(jì) 根據(jù)對(duì)視頻信號(hào)處理的基本過程和對(duì)典型視頻圖像處理系統(tǒng)框圖的理解，結(jié)合fpga的開發(fā)優(yōu)勢(shì)，本論文構(gòu)建的基于fpga的視頻圖像處理系統(tǒng)框圖，如圖24所示。第3章系統(tǒng)開發(fā)平臺(tái)fpga技術(shù)及硬件選型31 fpga的結(jié)構(gòu)及開發(fā)流程311 fpga的基本結(jié)構(gòu) 它主要由可配置邏輯模塊(clb)、用戶可編程io(iob)、blockram、數(shù)字時(shí)鐘管理模塊(dcm)冪i硬件乘法器等組成。312 fpga的開發(fā)流程 fpga設(shè)計(jì)流程分為設(shè)計(jì)規(guī)范、設(shè)

17、計(jì)輸入、功能仿真、綜合設(shè)計(jì)、布局布線、時(shí)序仿真。32課題中fpga的開發(fā)軟件和器件概述321集成開發(fā)軟件 目前，fpga的常用丌發(fā)工具軟件大體上可分為兩類：一類是由專業(yè)的eda軟件開發(fā)公司提供的第二方軟件，另一類是山fpga芯片廠商直接提供的開發(fā)軟件。在此僅對(duì)本論義所用劍的exilian公司集成化，發(fā)工具ise做簡(jiǎn)要介紹。322 vertexli pro系列器件結(jié)構(gòu) 1嵌入式power pc 405處理器 在vertexii pro系列器件中，最多嵌入4個(gè)同樣規(guī)模的power pc 405處理器內(nèi)核。每個(gè)處理器模塊包含power pc 405risc硬核、ocm(onchip memory)控

18、制器、時(shí)鐘和控制邏輯、cpufpga接口、各種內(nèi)部總線等。2千兆位高速串行收發(fā)a(mgt)模塊 在vertexii pro系列器件中，exilian嵌入了多達(dá)24個(gè)通道的千兆位高速串行收發(fā)器模塊，可提供單通道全雙工600mbs一3125gbs的數(shù)據(jù)傳輸能力。多個(gè)收發(fā)器組合起來應(yīng)用，可使vertexii pro系列器件實(shí)現(xiàn)高達(dá)75gbs的有效帶寬。3可配置邏輯模塊(clb) vertexii pro系列器件的每個(gè)clb模塊由4個(gè)相同的slice和附加邏輯構(gòu)成，用于實(shí)現(xiàn)組合邏輯和時(shí)序邏輯。每個(gè)slice由兩個(gè)4輸入函數(shù)發(fā)生器、進(jìn)位邏輯、算術(shù)邏輯、存儲(chǔ)邏輯和函數(shù)復(fù)用器組成。4輸入函數(shù)發(fā)生器可以用于實(shí)

19、現(xiàn)4輸入查找表(lut)、分布式ram或16位基于查找表的移位寄存器。每個(gè)clb既可配置為分布式ram，也可配置為分布式rom。4數(shù)字時(shí)鐘管理器(dcm) vertexii pro系列器件提供了性能更高的數(shù)字時(shí)鐘管理器(dcm)。dcm模塊是基于xilinx的其它系列器件所采用的數(shù)字延遲鎖相環(huán)(dll,deiaylocked loop)模塊發(fā)展起來的。在時(shí)鐘的管理和控制方面，dcm比dll功能更強(qiáng)大，使用更靈活。系統(tǒng)中采用dcm設(shè)計(jì)可以實(shí)現(xiàn)零時(shí)鐘漂移，消除時(shí)鐘分配延遲，并實(shí)現(xiàn)時(shí)鐘閉環(huán)控制；另外，使用dcm使時(shí)鐘可以映射到pcb上用于同步外部芯片，這樣就減少了對(duì)外部芯片的要求，將芯片內(nèi)部的時(shí)鐘控

20、制一體化，以利于時(shí)鐘設(shè)計(jì)。vinexii pro系列器件的dcm共由四部分組成。其中最底層仍采用成熟的dll模塊；其次分別是數(shù)字頻率合成器(dfs，digitalfrequency synthesizer)、數(shù)字移相器(dps，digitalphase shifter)和數(shù)字頻譜擴(kuò)展器(dss，di西tal spread spectrum)。基y-fpga的視頻圖像處理系統(tǒng)。5可編程輸入輸出邏輯塊(iob) iob模塊用于提供fpga內(nèi)部邏輯與器件封裝管腳之間的接口。virtexii pro系列器件的lob在select0技術(shù)基礎(chǔ)上發(fā)展到系統(tǒng)級(jí)的system io技術(shù)。該技術(shù)不僅支持常用的一些

21、接口標(biāo)準(zhǔn)，而且提供內(nèi)部端接電阻和數(shù)字控制阻抗(dci，digital controlledimpedance)技術(shù)，輸出驅(qū)動(dòng)強(qiáng)度控制，從而支持更復(fù)雜的系統(tǒng)接口，有效改善信號(hào)傳輸質(zhì)量。這些接口包括：?jiǎn)味私涌趇，唧，、lvcmos、sstl3iii、pci、pcix、agp、agp2x、sstl21ii、hstl-liihiw、gtl和gtl+等；差分接口lvds、buslvds、lvpecl、ldt；此外還支持ddr接口。為了能夠適應(yīng)系統(tǒng)中存在的各種接口標(biāo)準(zhǔn)，virtexiipro系列器件將io引腳分成了8個(gè)塊(bank)，每個(gè)bank有各自的工作電壓和參考電源?？筛鶕?jù)當(dāng)前使用的io接口標(biāo)準(zhǔn)不同

22、，設(shè)置不同的接口工作電壓(vcco)和參考電源(vref)。6乘法-器(multipler) virtexii pro系列器件提供多達(dá)556個(gè)嵌入式18位18位二進(jìn)制乘法器。這些嵌入式乘法器可實(shí)現(xiàn)18位x 18位帶符號(hào)高速乘法運(yùn)算。18位18位的有符號(hào)乘法運(yùn)算速度可達(dá)140mhz，而4位4位的有符號(hào)乘法運(yùn)算速度可達(dá)255 mhz。乘法器模塊不僅可以通過交換矩陣與18kb的塊存儲(chǔ)器配合使用，也可以單獨(dú)使用。乘法器模塊的物理分布與塊存儲(chǔ)器的物理分布是一致的，兩個(gè)模塊彼此相鄰，這種結(jié)構(gòu)非常適合于高速的數(shù)字信號(hào)處理。7存儲(chǔ)器體系結(jié)構(gòu)(1)分布式存儲(chǔ)器結(jié)構(gòu) 分布式存儲(chǔ)器(distributed sele

23、ctram)是由clb中的查找表(lut)實(shí)現(xiàn)的。每個(gè)clb有8個(gè)ujt，可以構(gòu)成8個(gè)16x 1或128x 1、642的存儲(chǔ)器，通常用來構(gòu)成小容量的片內(nèi)存儲(chǔ)器。這種存儲(chǔ)器具有訪問速度快的特點(diǎn)，可以達(dá)到05as，因此常常用于數(shù)字信號(hào)處理的數(shù)據(jù)緩存等。virtexii pro系列器件最多可提供15mb的分布式存儲(chǔ)器。(2)塊存儲(chǔ)器結(jié)構(gòu) 塊存儲(chǔ)器(block ram)是fpga內(nèi)部的專用存儲(chǔ)器模塊，bram存儲(chǔ)器是真正雙口(true dualport)ram，在器件內(nèi)提供了大量快速分散的存儲(chǔ)器塊。bram存儲(chǔ)器的總量隨著virtexii pro器件的規(guī)模而增長(zhǎng)(高達(dá)38mbit)。18kb每塊的br

24、am塊是可級(jí)聯(lián)的，從而可支持更深和更寬的存儲(chǔ)器設(shè)計(jì)，同時(shí)通過專門的布線資源使得時(shí)序代價(jià)極小。塊存儲(chǔ)器可以配置成單端口blockram或完全的雙端口blockram，雙端口blockram的結(jié)構(gòu)和標(biāo)準(zhǔn)原型如圖所示。33dsp開發(fā)工具systemgenerator331 system generator for dsp 本論文在開發(fā)視頻圖像算法中將采用xilinx公司開發(fā)的基于matlab的systemgenerator fordsp工具114j。systemgenerator for dsp是基于fpga的信號(hào)處理建模和設(shè)計(jì)工具。在matlabsimulink的環(huán)境下完成算法的建模和設(shè)計(jì)，可以將

25、一個(gè)dsp系統(tǒng)表示為一個(gè)高度抽象的模塊，并自動(dòng)將系統(tǒng)映射為一個(gè)基于fpga的硬件方案，而且systemgenerator for dsp實(shí)現(xiàn)這些功能并沒有降低硬件性能。此外它還能自動(dòng)生成硬件描述語(yǔ)言，測(cè)試程序，支持軟硬件仿真，且支持用戶創(chuàng)建的simulink模塊，并能在xilinxfpga上自動(dòng)實(shí)現(xiàn)硬件系統(tǒng)。ise可對(duì)工程進(jìn)行仿真、綜合、最后完成算法的硬件化。332使用system generator for dsp實(shí)現(xiàn)系統(tǒng)級(jí)建模第4章視頻圖像采集模塊設(shè)計(jì) 由第二章設(shè)計(jì)的系統(tǒng)總體框圖可知，視頻圖像處理可以主要分為兩大模塊：視頻圖像采集模塊和視頻圖像算法模塊。本章主要介紹視頻圖像采集模塊設(shè)計(jì)。4

26、. 1采集模塊實(shí)現(xiàn)框圖42視頻輸入處理芯片saa71 13初始化 本設(shè)計(jì)中saa7113的初始化是利用l2c總線來實(shí)現(xiàn)的，使之開始正常工作。從cvbs端口引進(jìn)的電視信號(hào)構(gòu)成極為復(fù)雜。我們采用了philips公司的視頻輸入處理芯片saa7113來完成數(shù)據(jù)的ad轉(zhuǎn)換。fpga通過12 c總線和saa7113相連接，可以輕松的對(duì)其進(jìn)行配置，以獲取需要的數(shù)據(jù)信息。421 saa71 1 3概述 saa7113是philips公司的一種高集成度視頻解碼芯片1191，采用cmos工藝，在很多視頻產(chǎn)品如電視卡、mpeg2、mpeg4中都有應(yīng)用，支持隔行掃描和多種數(shù)據(jù)輸出格式，通過簡(jiǎn)潔的總線與采樣控制器連接可

27、方便地構(gòu)成圖像采集系統(tǒng)。本系統(tǒng)對(duì)視頻解碼芯片saa7113的控制連接電路。422 總線時(shí)序分析 (inter-integrated circuit)總線是由philips公司開發(fā)的串行兩線式總線，自80年代產(chǎn)生以來，由于其簡(jiǎn)單性和可靠性，被廣泛應(yīng)用于集成電路(ic，intergratedcircuit)及外圍設(shè)備中僅需要兩條線工作，串行數(shù)據(jù)線sda和串行時(shí)鐘線scl。通過簡(jiǎn)單的主從協(xié)議，每個(gè)連接到總線上的設(shè)備都具有唯一的軟可編址的地址。作為主設(shè)備或從設(shè)備，取決于其在某時(shí)刻所起的功能，由主設(shè)備發(fā)起數(shù)據(jù)傳輸。在標(biāo)準(zhǔn)模式傳輸中，串行8位傳輸方式和雙向傳輸方式能達(dá)到100kbits的速度。 43視頻圖

28、像數(shù)據(jù)采集 開始采集視頻時(shí)，saa7113輸出視頻圖像數(shù)據(jù)通過8位總線vpo傳輸給fpga。由于pal制電視信號(hào)是隔行掃描，分為奇數(shù)場(chǎng)和偶數(shù)場(chǎng)傳輸，數(shù)字化以后仍然格式不變，因此需要將奇數(shù)場(chǎng)和偶數(shù)場(chǎng)的數(shù)據(jù)還原成一幅完整的圖像。本論文通過分析視頻數(shù)據(jù)流中的“ff 00 00 saveav”時(shí)間參考代碼段，獲得奇偶場(chǎng)信號(hào)，場(chǎng)參考信號(hào)，行參考信號(hào)，有效行數(shù)據(jù)開始和結(jié)束信號(hào)，并根據(jù)這些信號(hào)，編寫verilog語(yǔ)言控制數(shù)據(jù)的采集。431 saa71 13輸出視頻數(shù)據(jù)格式 saa7113數(shù)字化后輸出的視頻圖像數(shù)據(jù)是標(biāo)準(zhǔn)的11ru656 yuv 4：2-2格式，yuv顏色空間是pal電視信號(hào)傳輸過程中基本的格

29、式，它充分利用傳輸通道的帶寬。y分量代表黑白亮度分量，u和v分量表示彩色信息，輸出數(shù)字視頻信號(hào)數(shù)據(jù)格式表41 saa7113輸出的數(shù)據(jù)格式tab41 saa71 13 output data format1rimlng 11mingblanking reference 72d plxels yuv 4：2：2 data referenceperiodcode core80 10 ff 00 00 sav cb0 y0 cm y1 y719 ff 00 00 eav表41中，“80 10”表示當(dāng)前視頻信號(hào)處于行消隱階段?！癴f 00 00 sav”是時(shí)間參考代碼段，標(biāo)志有效視頻數(shù)據(jù)的開始。其中“

30、sav”是“有效視頻數(shù)據(jù)的開始”(startof activevideo)?！癱b0y0 cro y1y719是有效數(shù)據(jù)段。cbn：u(b色差分量，n是像素標(biāo)號(hào)n=0，2，4718，yn：y亮度分量，n是像素標(biāo)號(hào)n=0，1，2719，cmv(ry)色差分量，n是像素標(biāo)號(hào)n=0，2，4718，“ff00 00 eav是時(shí)間參考代碼段，標(biāo)志有效視頻數(shù)據(jù)的結(jié)束。其中eav是“有效視頻數(shù)據(jù)的結(jié)束(end of active video)。saa7113對(duì)sav和eav數(shù)據(jù)格式的定義如表42所示。第7位 第6位 第5位 第4位 03位場(chǎng)標(biāo)志位，第一 處于場(chǎng)消隱階段 在sav中為“0”始終為“1 場(chǎng)為0”

31、，第 為“1”，有效數(shù) 在eav中為“1 保留二場(chǎng)“1 據(jù)階段位為“0”從表42中可以看到在完整的一幀圖像數(shù)據(jù)中第一場(chǎng)場(chǎng)消隱階段sav為“1010xxxx”，第一場(chǎng)有效數(shù)據(jù)階段sav為“1000xxxx。“x表示該位的狀態(tài)沒有作用。其它場(chǎng)的sav和eav狀態(tài)類推。432視頻圖像采集的軟件設(shè)計(jì)(1)軟件設(shè)計(jì)分析 8位總線數(shù)據(jù)vpo傳輸給fpga，fpga需要將數(shù)據(jù)保存到sram中，由于pal制電視信號(hào)是隔行掃描，奇數(shù)場(chǎng)和偶數(shù)場(chǎng)分別傳輸，因此在將數(shù)據(jù)保存到sram之前，需要將奇數(shù)場(chǎng)和偶數(shù)場(chǎng)的數(shù)據(jù)還原成一幅完整的圖像。通常的設(shè)計(jì)都是利用saa7113的rst0，rstl兩個(gè)引腳判斷控制信號(hào)，但控制信

32、號(hào)有場(chǎng)參考信號(hào)vref、行參考信號(hào)href和奇偶場(chǎng)信號(hào)3個(gè)，所以剩下的奇偶場(chǎng)信號(hào)需要通過計(jì)數(shù)器來模擬，給設(shè)計(jì)帶來繁瑣且準(zhǔn)確度不高。此外在實(shí)踐中發(fā)現(xiàn)，采用該設(shè)計(jì)方法有時(shí)候難以保證每一行采集的有效數(shù)據(jù)位置都一樣，容易導(dǎo)致圖像錯(cuò)位?；谏鲜鰞牲c(diǎn)考慮，決定利用視頻數(shù)據(jù)流的格式標(biāo)準(zhǔn)，來識(shí)別需要得到的圖像數(shù)據(jù)，目前這種方法在視頻采集系統(tǒng)中應(yīng)用還不多。利用數(shù)據(jù)流的格式標(biāo)準(zhǔn)，通過分析vpo總線上視頻數(shù)據(jù)流中的“ff 00 00sa眥v”時(shí)間參考代碼段，來識(shí)別奇偶場(chǎng)信號(hào)、場(chǎng)消隱信號(hào)和有效行數(shù)據(jù)的開始和結(jié)束?？梢垣@得奇偶場(chǎng)信號(hào)，場(chǎng)消隱信號(hào)，行消隱信號(hào)，有效行數(shù)據(jù)開始和結(jié)束信號(hào)，根據(jù)這些控制信號(hào)，可以將奇數(shù)場(chǎng)和偶數(shù)

33、場(chǎng)的數(shù)據(jù)還原成一幅完整的圖像。確定了saa7113采集方法，可以利用verilog語(yǔ)言編寫出fpga采集基t fpga的視頻圖像處理系統(tǒng)saa7113輸出數(shù)據(jù)流的程序。以下是采集一行視頻數(shù)據(jù)時(shí)的流程圖，如圖 采集一行視頻數(shù)據(jù)時(shí)的流程圖第5章視頻圖像算法模塊設(shè)計(jì) 在實(shí)際應(yīng)用系統(tǒng)，經(jīng)常會(huì)由于一些噪聲、光照等因素使圖像的質(zhì)量往往不高，為了便于顯示、觀察或進(jìn)一步的處理，常常需要對(duì)原始的數(shù)字圖像進(jìn)行特征提取、噪聲平滑濾波、幾何校正等處理，這類圖像處理技術(shù)稱為圖像的低級(jí)處理。在低級(jí)處理中，圖像處理算法具有數(shù)據(jù)量與運(yùn)算量大，算法簡(jiǎn)單的特點(diǎn)，因此，該環(huán)節(jié)在系統(tǒng)中最為耗時(shí)，對(duì)整個(gè)系統(tǒng)速度影響較大。目前，越來越多

34、的算法可以用硬件來實(shí)現(xiàn)。但是，由于圖像處理算法的復(fù)雜性、多樣性，一個(gè)系統(tǒng)只能采用一種結(jié)構(gòu)，限制了其應(yīng)用范圍；而且在實(shí)現(xiàn)和調(diào)試各種視頻算法時(shí)，需要通過軟件和硬件仿真來驗(yàn)證其功能性，視頻流的實(shí)時(shí)特性，令視頻處理應(yīng)用的仿真產(chǎn)生了挑戰(zhàn)。本論文提出的是一種在system generatorfor dsp開發(fā)環(huán)境中，用基于模型的方式設(shè)計(jì)視頻圖像算法的硬件平臺(tái)，其優(yōu)點(diǎn)是靈活性強(qiáng)，設(shè)計(jì)周期短，算法驗(yàn)證方便，利于開發(fā)者改進(jìn)新的算法，是視頻圖像處理發(fā)展趨勢(shì)。51視頻圖像算法 圖像平滑濾波和圖像銳化濾波是常見的圖像增強(qiáng)算法。平滑濾波用于模糊處理和減小噪聲，可用低通濾波器實(shí)現(xiàn)；銳化濾波為了增強(qiáng)被模糊的細(xì)節(jié)邊緣，可用高

35、通濾波器實(shí)現(xiàn)。不管使用何種濾波器，基本的濾波算法是對(duì)圖像模板下面的像素與模板系數(shù)的乘積求和，也稱為模板卷積。主要步驟為：(1)將模板在圖像中漫游，并將模板中心與圖像中某個(gè)像素重合；(2)將模板上系數(shù)與模板下對(duì)應(yīng)像素相乘；(3)將所有乘積相加；(4)將模板的輸出響應(yīng)賦值給圖中對(duì)應(yīng)模板中心位置的像素。 如圖52 a)給出圖像的一部分，其中所標(biāo)為一些像素的灰度值，現(xiàn)在假設(shè)有一個(gè)33的模板如圖52 b)所示，模板內(nèi)所標(biāo)為模板系數(shù)，如將所在位置與圖中灰基于fpga的視頻圖像處理系統(tǒng)度值為s。的像素重合，模板的輸出相j婦為r=koso+k 1 sl+k (51)511圖像平滑算法 平滑濾波器用于模糊處理和

36、減小噪聲，其原理是平滑濾波器能減弱或消除傅立葉空間的高頻分量，而高頻分量對(duì)應(yīng)圖像中的區(qū)域邊緣等灰度值具有較大較快變化的部分，濾波器將這些分量濾去可使圖像平滑。圖像平滑濾波，屬于線性低通濾波器，需用到模板操作。平滑模板的思想是通過一點(diǎn)和周圍幾個(gè)點(diǎn)的運(yùn)算(通常為平均運(yùn)算)來去除突然變化的點(diǎn)，從而濾掉一定的噪聲，但圖像有一定的模糊。模板操作實(shí)現(xiàn)了一種鄰域運(yùn)算，即某個(gè)像素點(diǎn)的結(jié)果不僅和本像素灰度值有關(guān)，而且和其鄰域點(diǎn)的值有關(guān)。鄰域平均法是一種對(duì)局部空間處理的算法，這種方法的基本思想是用幾個(gè)像素灰度的平均值來代替每個(gè)像素的灰度。假定有一幅nn個(gè)像素的圖像觸，y)，平滑處理后得到一幅圖像gg，y)。g(x

37、，y)由下式?jīng)Q定?？?|古伽黔)(52)式中：x，y=0，1，2，n1， s是g，y)點(diǎn)鄰域中點(diǎn)的坐標(biāo)的集合，但其中不包括(x，y)點(diǎn)，m是集合內(nèi)坐標(biāo)點(diǎn)的總數(shù)。上式說明，平滑后的圖像g(x，y)中的每個(gè)像素的灰度值均由包含在0，y)的預(yù)定鄰域中的幾個(gè)像素的狄度值的平均值來決定。 一種常見的平滑算法將原圖中一個(gè)像素的灰度值和它周闈鄰近像素的狄復(fù)值相加，然后將求得的平均值(除以25)作為新圖像中該像素的灰度值。如下方法來表示該操作。以上模板雖然簡(jiǎn)單常見，但是其平滑效果不是很好，圖52 b1為使用這一模板后的仿真圖，經(jīng)過大量實(shí)驗(yàn)，本論文將采用的一下55的平滑模板。matlab工具f26l對(duì)兩個(gè)模板進(jìn)

38、行仿真結(jié)果如圖52所示。由圖可以看出，本論文采用的模板對(duì)原圖像起到平滑的作用，而不使圖像失真。512圖像銳化算法 圖像銳化的目的是使邊緣和輪廓線模糊的圖像變得清晰，并使其細(xì)節(jié)清晰。邊緣和輪廓一般都位于灰度突變的地方，因此可以用灰度差分提取出來。然而，由于邊緣和輪廓在一幅圖像中常常具有任意方向，而差分運(yùn)算是有方向性的，因此與差分方向一致的邊緣和輪廓便檢測(cè)不出來，因而希望找到一些各向同性的檢測(cè)算子，他們對(duì)任意方向的邊緣和輪廓都有相同的檢測(cè)能力。具有這種性質(zhì)的銳化算子有梯度算子、拉普拉斯(laplacian)算子。其中，laplacian算子在用于邊緣檢測(cè)時(shí)，對(duì)噪聲過于敏感，要得到好的邊緣檢測(cè)效果，

39、往往在使用laplacian算子后，還需要施以閾值運(yùn)算。一般說來，laplacian檢測(cè)邊緣的效果不如梯度算子好。因此本論文在做圖像銳化處理的時(shí)候采用梯度算子的方式，以下介紹幾種常用的梯度算予robert、sobel和prewitt算子。(1robert算子梯度運(yùn)算是圖像處理的最常甩的微分方法。設(shè)圖像灰度函數(shù)為2可，夕)，x，y為像素坐標(biāo)，則它在點(diǎn)f(x，y)處的梯度、梯度大小、相位公式分別表示為：(2)sobel算子 用robert算子銳化圖像時(shí)，圖像中的噪聲、條紋等同樣得到加強(qiáng)，這在圖像處理中會(huì)造成偽的邊緣和輪廓。sobel算子則在一定程度上克服了這個(gè)問題。sobel算子的基本思想是：以原

40、圖像的任意像素“，_)為中心，分別計(jì)算窗口中心像素機(jī)，y方向上的梯度。增對(duì)于數(shù)字圖像，由于其計(jì)算公式的繁簡(jiǎn)對(duì)處理工作量影響較大可以看出，sobel算子在計(jì)算x方向和y方向上的梯度時(shí)，不像普通梯度算子那樣只用兩個(gè)像素灰度差值來表示，而是采用兩列或兩行像素灰度加權(quán)和的差值來表示，這使得sobel算子具有如下優(yōu)點(diǎn)：幻由于引入加權(quán)平均，因而對(duì)圖像中的隨機(jī)噪聲具有一定的平滑作用。b)由于sobel算子采用間隔兩行或者兩列的差分，所以圖像中邊緣兩側(cè)的像素得到增強(qiáng)。sobel算子得到的銳化圖像的邊緣顯得粗而亮。sobel算子可以通過以下兩個(gè)模板實(shí)現(xiàn)：(3)prewitt算子prewitt算子與sobel算子區(qū)別僅在于選用的模板不同。采用matlabt具仿真三個(gè)邊緣檢測(cè)算子如圖53所示。由上圖可以發(fā)現(xiàn)，sobel算子和prewitt算子的效果比較好。因此本論文將實(shí)現(xiàn)sobel算子實(shí)現(xiàn)邊緣檢測(cè)。52模板卷積的實(shí)現(xiàn) 模板卷積運(yùn)算是圖像低級(jí)處理中最基礎(chǔ)、最重要的算法之一，以上介紹的幾種常見圖像算法均需要模板卷積來實(shí)現(xiàn)，不同之處只在選擇不同的乘積系數(shù)，因此模板卷積的實(shí)現(xiàn)是實(shí)現(xiàn)各個(gè)圖像算法的關(guān)鍵所在。 ，在圖像算法中，所使用的模板需要的是二維卷積，也就是二維濾波，而一維卷積是二維卷積的基礎(chǔ)，所以先討論一維卷積模板匹配的實(shí)現(xiàn)。521一維卷積實(shí)現(xiàn)對(duì)于兩個(gè)長(zhǎng)度分別為m和n的序列f(i)和g(