基于FPGA的圖像處理現(xiàn)狀分析

1、精選優(yōu)質(zhì)文檔-傾情為你奉上基于FPGA的圖像處理現(xiàn)狀分析摘要：本文首先介紹了現(xiàn)場可編程門陣列（FPGA）的基本特點(diǎn)和設(shè)計(jì)流程。針對圖像處理中處理速度的瓶頸問題，本文回顧了基于FPGA的圖像處理算法，包括圖像的采集和壓縮存儲(chǔ)、預(yù)處理、圖像檢測、視頻圖像的實(shí)時(shí)處理和顯示等。這些實(shí)現(xiàn)算法，在提高圖像的處理速度上都有明顯的效果，在圖像的實(shí)時(shí)處理方面具有現(xiàn)實(shí)的意義。關(guān)鍵字：FPGA，圖像處理，實(shí)時(shí)，硬件設(shè)計(jì).1引言隨著數(shù)字多媒體技術(shù)的不斷發(fā)展,數(shù)字圖像處理技術(shù)被廣泛應(yīng)用于航空航天、通信、醫(yī)學(xué)及工業(yè)生產(chǎn)等領(lǐng)域中，新開發(fā)的產(chǎn)品在圖像存儲(chǔ)容量、圖像質(zhì)量、圖像處理速度等方面有了新的要求。數(shù)字圖像處理，一般是通過

2、對像素的一些運(yùn)算提高圖像質(zhì)量,在圖像處理過程中,雖然處理算法簡單,但參與運(yùn)算的數(shù)據(jù)量大,數(shù)據(jù)需多次重復(fù)使用,因此,圖像處理往往是圖像處理系統(tǒng)中最為耗時(shí)的環(huán)節(jié),對整個(gè)系統(tǒng)速度影響較大。在當(dāng)前圖像處理算法研究已經(jīng)很成熟的背景下，提高圖像處理的時(shí)效性有很大的應(yīng)用前景。隨著微電子技術(shù)的高速發(fā)展,FPGA為數(shù)字圖像信號(hào)處理在算法、系統(tǒng)結(jié)構(gòu)上帶來了新的方法和思路。由于圖像中的所有元素均可施以同樣的操作,存在固有的并行性,非常適合于映射到FPGA架構(gòu)中由硬件算法實(shí)現(xiàn),使得圖像的處理速度大大加快。對于數(shù)字圖像處理，底層圖像處理的數(shù)據(jù)量很大,要求處理速度快,但運(yùn)算結(jié)果相對比較簡單,以FPGA作為主要處理芯片的圖

3、像處理系統(tǒng)非常適合于對圖像進(jìn)行處理。2現(xiàn)場可編程門陣列（FPGA）概述FPGA（Field Programmable Gate Array）是一類高集成度的可編程邏輯器件，起源于美國的XILINX公司，該公司于1985年推出了世界上第一塊FPGA芯片。FPGA技術(shù)結(jié)合了微電子技術(shù)、電路技術(shù)、EDA技術(shù)，使設(shè)計(jì)者可以集中精力進(jìn)行所需邏輯功能的設(shè)計(jì)。與專用集成電路ASCI(Application Specific Integrated Circuit)相比，F(xiàn)PGA具有靈活性高、設(shè)計(jì)周期短、成本低、風(fēng)險(xiǎn)小等優(yōu)勢，因而得到了廣泛應(yīng)用。隨著工藝的發(fā)展和市場需求的擴(kuò)大，超大規(guī)模、高速、低功耗的新型FPG

4、A不斷推陳出新。新一代的FPGA甚至集成了中央處理器（CPU）或數(shù)字處理器（DSP）內(nèi)核1，在一片F(xiàn)PGA開發(fā)板上進(jìn)行軟硬件協(xié)同設(shè)計(jì)，為實(shí)現(xiàn)片上可編程系統(tǒng)提供了強(qiáng)大的硬件支持。目前，F(xiàn)PGA的主要發(fā)展動(dòng)向是實(shí)現(xiàn)片上可編程系統(tǒng)，芯片朝著高密度、低電壓、低功耗方向發(fā)展，實(shí)現(xiàn)在速度和集成方面的進(jìn)一步提高。迄今為止，F(xiàn)PGA的品種繁多，主要有XILINX公司的Spartan、vertex、Atrix-7、Kintex-7系列，以及ALTERA公司的FIEX系列等。根據(jù)FPGA基本結(jié)構(gòu)的不同，可以將其分為基于乘積項(xiàng)技術(shù)的FPGA和基于查找表技術(shù)的FPGA兩種。FPGA主要有6個(gè)部分組成：可編程輸入/輸出

5、單元、基本可編程邏輯單元、完整的時(shí)鐘管理、內(nèi)嵌SRAM、豐富的布線單元、底層嵌入功能單元和內(nèi)嵌專用單硬件模塊等。基于FPGA的硬件設(shè)計(jì)流程大致可以分為7個(gè)步驟。一是設(shè)計(jì)輸入。FPGA支持的輸入方式有硬件描述語言Verilog和VHDL、狀態(tài)圖與原理圖三種輸入方式。各種圖像處理算法，需要轉(zhuǎn)化成硬件語言或是原理圖的形式，輸入到FPGA中去。二是功能仿真。電路設(shè)計(jì)完成后，要用專用的仿真工具進(jìn)行功能仿真，驗(yàn)證電路功能是否符合設(shè)計(jì)的要求。通過仿真能夠及時(shí)發(fā)現(xiàn)設(shè)計(jì)中的錯(cuò)誤，加快設(shè)計(jì)進(jìn)度，提高設(shè)計(jì)可靠性。功能仿真中沒有加入時(shí)序信息，不涉及具體的硬件特性。三是設(shè)計(jì)綜合。綜合就是針對給定的電路實(shí)現(xiàn)功能和實(shí)現(xiàn)此電

6、路的約束條件。四是綜合后仿真。綜合完成后需要做綜合后仿真，以檢查綜合結(jié)果是否與原設(shè)計(jì)一致。在仿真時(shí)，把綜合生成的延時(shí)文件反標(biāo)到綜合仿真模型中去，可估計(jì)門延時(shí)帶來的影響。五是布局與布線。這一步是根據(jù)所選芯片的型號(hào)，將綜合輸出的邏輯網(wǎng)表適配到具體的FPGA硬件上。六是布局布線后仿真。將布局布線的時(shí)延文件反標(biāo)到設(shè)計(jì)中，使仿真既包含門延時(shí)信息，又包含線延時(shí)信息。七是下載配置。整個(gè)設(shè)計(jì)開發(fā)的最后步驟就是在線調(diào)試或者將生成的配置文件寫入到芯片中進(jìn)行測試，從硬件上驗(yàn)證整個(gè)設(shè)計(jì)。3研究現(xiàn)狀 近年來，F(xiàn)PGA發(fā)展迅速，在圖像的壓縮2-4、拼接5、分割6、融合7以及視頻影像的實(shí)時(shí)處理8-11等方面，有了較大的發(fā)展

7、，特別是在提高計(jì)算速度上，現(xiàn)場可編程門陣列因?yàn)槠湓O(shè)計(jì)方式靈活，斷電可擦除、可靠性高等方面的優(yōu)點(diǎn)，極大的方便了用戶的開發(fā)和使用。3.1圖像壓縮及存儲(chǔ)在傳統(tǒng)的數(shù)據(jù)采集系統(tǒng)中，A/D的控制和數(shù)據(jù)的轉(zhuǎn)存均通過CPU或者M(jìn)CU來完成。在這種方式下，將A/D轉(zhuǎn)換的結(jié)果讀入，然后再轉(zhuǎn)存到片外的存儲(chǔ)器中，這個(gè)過程至少需要四個(gè)機(jī)器周期。在高速采樣系統(tǒng)中，這種方法一方面占用太多CPU資源，另一方面也遠(yuǎn)遠(yuǎn)滿足不了高速采樣的速度要求。為解決這個(gè)問題，王強(qiáng)等設(shè)計(jì)了以Virtex-5系列的XC5VLX50為核心處理芯片的多路數(shù)據(jù)采集系統(tǒng)，在硬件電路上用流水采樣來提高速度1。實(shí)現(xiàn)時(shí)，采用高帶寬（1GHz）高速低功耗A/D芯

8、片作為A/D轉(zhuǎn)換器件，采樣時(shí)鐘由芯片內(nèi)部的鎖相環(huán)實(shí)現(xiàn)。每級(jí)電路一次采樣可在一個(gè)時(shí)鐘周期內(nèi)完成，但是存在流水線延遲的問題。張學(xué)全2等利用FPGA解決了圖像壓縮時(shí)因數(shù)據(jù)量大造成的存儲(chǔ)和傳輸時(shí)效性的問題。鄧廣興3采用一種優(yōu)化組合編碼算法對高光譜圖像進(jìn)行無損壓縮編譯碼，將這一算法在FPGA上實(shí)現(xiàn)，設(shè)計(jì)了OCC編碼器和譯碼器，滿足了機(jī)載圖像采集系統(tǒng)的實(shí)時(shí)性要求。雷震霖4針對星上壓縮低功耗、高性能，靈活性的要求，研究了基于CCSDS星載圖像壓縮標(biāo)準(zhǔn)利用FPGA實(shí)現(xiàn)星載圖像壓縮系統(tǒng)的方法，并提出來一種基于并行和流水的位平面編碼實(shí)現(xiàn)結(jié)構(gòu)，改進(jìn)了原有的掃描方法，使掃描速率大大提高。Kim11，Angus12設(shè)計(jì)

9、了一種自適應(yīng)差分編碼方法，在降低壓縮比的同時(shí)提高了影像解碼的速率。3.2圖像預(yù)處理原始圖像，由于傳感器自身?xiàng)l件，成像環(huán)境，地球曲率等影響，不可避免的存在變形或噪聲，降低了圖像的質(zhì)量，因此在進(jìn)行下一步應(yīng)用之前，首先要進(jìn)行圖像的預(yù)處理。一般來說，圖像的預(yù)處理包括圖像裁剪、幾何配準(zhǔn)、噪聲處理、輻射校正、幾何精糾正、圖像融合等幾部分。在現(xiàn)有的研究中，Uzun13 ,葛茂林14等在FPGA平臺(tái)上實(shí)現(xiàn)了FFT變換，Gavin 等15-22等人研究了中值濾波算法在FPGA上的實(shí)現(xiàn)方法，去除了椒鹽噪聲，達(dá)到了圖像增強(qiáng)的目的。對于中值濾波，過程中用到卷積運(yùn)算，若采用3x3因此，必須設(shè)計(jì)行緩存器，同時(shí)存儲(chǔ)9個(gè)數(shù)據(jù)

10、，這9個(gè)數(shù)據(jù)在中值濾波模塊中，排序取中值取代最中間的值。流程如圖1所示:圖1.中值濾波數(shù)據(jù)處理流程圖像分割是圖像預(yù)處理的基本環(huán)節(jié)，也是進(jìn)行圖像處理的第一步，是減少后期圖像分析量的重要方法。圖像分割把圖像表示為物理上有意義的幾個(gè)連通區(qū)域的集合，篩選出有效信息，為以后的目標(biāo)識(shí)別、特征提取打好基礎(chǔ)。在FPGA上設(shè)計(jì)一種圖像高速分割系統(tǒng)，替代傳統(tǒng)PC機(jī)和DSP的構(gòu)架，不少學(xué)者進(jìn)行了這方面的研究。孫寧建6做了詳盡的基于FPGA高速圖像分割系統(tǒng)的設(shè)計(jì)方案，并結(jié)合具體的應(yīng)用做了驗(yàn)證,結(jié)果顯示，基于FPGA的高速圖像分割系統(tǒng)不僅具有很高的精度，在分割速度上更是有了很大的提升。3.3邊緣檢測邊緣檢測與圖像縮放是

11、圖像處理中重要的研究內(nèi)容，廣泛的應(yīng)用于圖像模式識(shí)別、分割和圖像增強(qiáng)中。隨著新興技術(shù)和相關(guān)理論的發(fā)展，新的邊緣檢測和圖像分割技術(shù)不斷涌現(xiàn)。段詠龍23等針對遙感影像在軌云檢測技術(shù)中圖像紋理特征提取功能的實(shí)現(xiàn)需求，采用FPGA實(shí)現(xiàn)紋理特征提取算法，以此提高遙感圖像的紋理特征提取的效率。設(shè)計(jì)中充分利用 FPGA片上 RAM、ROM寄存器等邏輯資源，發(fā)揮FPGA并行處理的優(yōu)勢，構(gòu)建了16個(gè)灰度共生矩陣并行計(jì)算的結(jié)構(gòu)，進(jìn)一步計(jì)算得到4個(gè)紋理特征參數(shù)，利用 Xilinx公司的 System generator工具實(shí)現(xiàn)設(shè)計(jì)并通過仿真。在遙感圖像云檢測的實(shí)現(xiàn)過程中，紋理特征提取的基本應(yīng)用流程如圖2所示。3.4視

12、頻影像的處理FPGA目前的研究集中在視頻圖像的采集和壓縮顯示方面。 Steffen Klupsch利用FPGA實(shí)現(xiàn)醫(yī)學(xué)圖像的預(yù)處理，加快了處理速度，可以及時(shí)的進(jìn)行圖像理解，對醫(yī)學(xué)病癥的診療有很實(shí)際的意義。隨著視頻流的分辨率越來越高，同時(shí)視頻流的背景也越來越復(fù)雜，如何設(shè)計(jì)一套高性能的硬件平臺(tái)來完成運(yùn)動(dòng)目標(biāo)的實(shí)時(shí)監(jiān)控是一個(gè)值得研究的問題。傳統(tǒng)的DSP芯片的方法成本較高、會(huì)受到高頻干擾并且功率消耗較大；而FPGA具有編程靈活，相比較ASIC設(shè)計(jì)周期較短，其可靠性、靈活性和低功耗等特點(diǎn)，比較適用于星上系統(tǒng)。采用基于FPGA（內(nèi)嵌DSP模塊）的硬件架構(gòu)設(shè)計(jì)，具有更高的性能和更低的功耗，同時(shí)滿足實(shí)時(shí)性和復(fù)

13、雜性的要求，降低硬件設(shè)計(jì)的復(fù)雜度，大大提高系統(tǒng)的整體性能。在視頻目標(biāo)的檢測中，F(xiàn)PGA主要用于視頻圖像的接收、存儲(chǔ)、預(yù)處理等大規(guī)模簡單操作；內(nèi)嵌DSP模塊充分利用其高速運(yùn)算能力，主要負(fù)責(zé)計(jì)算復(fù)雜的跟蹤算法。這樣設(shè)計(jì)使硬件平臺(tái)具有更大的靈活性。運(yùn)動(dòng)目標(biāo)檢測的FPGA實(shí)現(xiàn)流程圖見圖3.圖3.運(yùn)動(dòng)目標(biāo)跟蹤流程圖結(jié)論圖像處理系統(tǒng)中,底層的圖像預(yù)處理的數(shù)據(jù)量很大,要求處理速度快,但運(yùn)算結(jié)果相對比較簡單,適用于用FPGA通過硬件實(shí)現(xiàn),這樣能同時(shí)兼顧速度及靈活性。FPGA結(jié)構(gòu)的最大特點(diǎn)是結(jié)構(gòu)靈活,有較強(qiáng)的通用性,適于模塊化設(shè)計(jì),從而能夠提高運(yùn)算、處理的效率,同時(shí)開發(fā)周期短,易于維護(hù)和擴(kuò)展,適于實(shí)時(shí)圖像處理。

14、因此，基于FPGA的實(shí)時(shí)圖像處理為應(yīng)急響應(yīng)系統(tǒng)提供及時(shí)的圖像資料，具有廣泛的應(yīng)用前景和深遠(yuǎn)的現(xiàn)實(shí)意義。 參考文獻(xiàn) 1 禇振勇，翁木云.FPGA設(shè)計(jì)與應(yīng)用.西安：西安電子科技大學(xué)出版社.2002. 2 張學(xué)全.基于FPGA的星載圖像壓縮系統(tǒng)實(shí)現(xiàn)方法研究D.中國科學(xué)院空間科學(xué)與應(yīng)用研究中心.2009. 3 鄧廣興.高光譜圖像無損壓縮編譯碼器的FPGA實(shí)現(xiàn)D.山東大學(xué).2012. 4 雷震霖.空間圖像CCSDS壓縮算法研究與FPGA實(shí)現(xiàn)D.大連理工大學(xué).2007. 5 董林粒.基于FPGA的數(shù)字圖像拼接器系統(tǒng)設(shè)計(jì)D.成都理工大學(xué).2012. 6 孫寧建.基于FPGA的一種高速實(shí)時(shí)圖像分割系統(tǒng)研究及其

15、應(yīng)用D.南京理工大學(xué).2013. 7 Feng Qu, Bochao Liu, Jian Zhao, Qiang Sun. Image Fusion Real-time System Based on FPGA and Multi-DSPJ. Optics and Photonics Journa. 2013, 3:76-78. 8 Pierre Greisen, Simon Heinzle, Markus Gross and Andreas P Burg. An FPGA-based processing pipeline for highdefinition stereo videoJ.

16、Greisen et al. EURASIP Journal on Image and Video Processing. 2011, 18. 9 鄭永瑞, 李潔,劉曉宏, 林秋華. 基于FPGA 的視頻圖像實(shí)時(shí)幾何畸變校正J. 電光與控制.2013,20(6):75-78. 10 朱奕丹,方怡冰. 基于 FPGA的圖像采集與VGA顯示系統(tǒng)J.計(jì)算機(jī)應(yīng)用.2011,31(5):1258-1261. 11 Jong-hak Kim, Jung-kyun Oh, Seong-muk Kang and Jun-dong Cho. A Real-time Rectification using an

17、Adaptive Differential Encoding for High-resolution VideoJ.2014. 12 Angus Wu, P.W.M. Tsang, Johnson Tang. FPGA implementation of a near computation free image compression scheme based on adaptive decimation. INTEGRATION, the VLSI journal 2003 (36): 121143. 13 I.S. Uzun, A. Amira and A. Bouridane, “FP

18、GA implementations of fast Fourier transforms for real-time signal and image processing”, IEE Proc.-Vis. Image Signal Process, IEEE, pp.283-296, 2005. 14 葛茂林. 基于 FPGA 的分?jǐn)?shù)階傅立葉變換在圖像處理中的應(yīng)用研究D.北京工業(yè)大學(xué).2013. 15 G.L. Bates and S. Nooshabadi, “FPGA Implementation of a Median Filter”, Speech and Image Techno

19、logies for Computing and Telecommunications, IEEE, Queensland, pp. 437-440, 1997. 16 S.A. Fahmy, P.Y.K. Cheung and W. Luk, “Novel FPGA-Based Implementation of Median and Weighted Median Filters for Image Pocessing”, Field Programmable Logic and Applications, IEEE, PP. 142-147, 2005. 17 Y.Q. Dong and

20、 S.F. Xu, “A New Directional Weighted Median Filter for Removal of Random-Valued Impulse Noise”, Signal Process Letters, IEEE, pp.193-196, 2007. W. Luo, “A New Efficient Impulse Detection Algorithm for the Removal of Impulse Noise”, Trans. Fundam., IEICE, pp.2579-2586, 2005. 18 R.N. Kulkarni, P.C. Bhaskar, “Decision Based Median Filter Algorithm using Resource Optimized FPGA to Extract Impulse Noise”, Journal of Embedded System, IEEE, pp.18-22, 2014. 19 P.Greisen, S.heinzle, M.Gross and A.P.Burg, “An FPGA-based processing pipeline for high-definition stereo Video”, EURASIP