基于FPGA的圖像處理現(xiàn)狀分析

1、精選優(yōu)質(zhì)文檔-傾情為你奉上基于FPGA的圖像處理現(xiàn)狀分析摘要：本文首先介紹了現(xiàn)場可編程門陣列（FPGA）的基本特點和設(shè)計流程。針對圖像處理中處理速度的瓶頸問題，本文回顧了基于FPGA的圖像處理算法，包括圖像的采集和壓縮存儲、預(yù)處理、圖像檢測、視頻圖像的實時處理和顯示等。這些實現(xiàn)算法，在提高圖像的處理速度上都有明顯的效果，在圖像的實時處理方面具有現(xiàn)實的意義。關(guān)鍵字：FPGA，圖像處理，實時，硬件設(shè)計.1引言隨著數(shù)字多媒體技術(shù)的不斷發(fā)展,數(shù)字圖像處理技術(shù)被廣泛應(yīng)用于航空航天、通信、醫(yī)學及工業(yè)生產(chǎn)等領(lǐng)域中，新開發(fā)的產(chǎn)品在圖像存儲容量、圖像質(zhì)量、圖像處理速度等方面有了新的要求。數(shù)字圖像處理，一般是通過

2、對像素的一些運算提高圖像質(zhì)量,在圖像處理過程中,雖然處理算法簡單,但參與運算的數(shù)據(jù)量大,數(shù)據(jù)需多次重復(fù)使用,因此,圖像處理往往是圖像處理系統(tǒng)中最為耗時的環(huán)節(jié),對整個系統(tǒng)速度影響較大。在當前圖像處理算法研究已經(jīng)很成熟的背景下，提高圖像處理的時效性有很大的應(yīng)用前景。隨著微電子技術(shù)的高速發(fā)展,FPGA為數(shù)字圖像信號處理在算法、系統(tǒng)結(jié)構(gòu)上帶來了新的方法和思路。由于圖像中的所有元素均可施以同樣的操作,存在固有的并行性,非常適合于映射到FPGA架構(gòu)中由硬件算法實現(xiàn),使得圖像的處理速度大大加快。對于數(shù)字圖像處理，底層圖像處理的數(shù)據(jù)量很大,要求處理速度快,但運算結(jié)果相對比較簡單,以FPGA作為主要處理芯片的圖

3、像處理系統(tǒng)非常適合于對圖像進行處理。2現(xiàn)場可編程門陣列（FPGA）概述FPGA（Field Programmable Gate Array）是一類高集成度的可編程邏輯器件，起源于美國的XILINX公司，該公司于1985年推出了世界上第一塊FPGA芯片。FPGA技術(shù)結(jié)合了微電子技術(shù)、電路技術(shù)、EDA技術(shù)，使設(shè)計者可以集中精力進行所需邏輯功能的設(shè)計。與專用集成電路ASCI(Application Specific Integrated Circuit)相比，F(xiàn)PGA具有靈活性高、設(shè)計周期短、成本低、風險小等優(yōu)勢，因而得到了廣泛應(yīng)用。隨著工藝的發(fā)展和市場需求的擴大，超大規(guī)模、高速、低功耗的新型FPG

4、A不斷推陳出新。新一代的FPGA甚至集成了中央處理器（CPU）或數(shù)字處理器（DSP）內(nèi)核1，在一片F(xiàn)PGA開發(fā)板上進行軟硬件協(xié)同設(shè)計，為實現(xiàn)片上可編程系統(tǒng)提供了強大的硬件支持。目前，F(xiàn)PGA的主要發(fā)展動向是實現(xiàn)片上可編程系統(tǒng)，芯片朝著高密度、低電壓、低功耗方向發(fā)展，實現(xiàn)在速度和集成方面的進一步提高。迄今為止，F(xiàn)PGA的品種繁多，主要有XILINX公司的Spartan、vertex、Atrix-7、Kintex-7系列，以及ALTERA公司的FIEX系列等。根據(jù)FPGA基本結(jié)構(gòu)的不同，可以將其分為基于乘積項技術(shù)的FPGA和基于查找表技術(shù)的FPGA兩種。FPGA主要有6個部分組成：可編程輸入/輸出

5、單元、基本可編程邏輯單元、完整的時鐘管理、內(nèi)嵌SRAM、豐富的布線單元、底層嵌入功能單元和內(nèi)嵌專用單硬件模塊等?；贔PGA的硬件設(shè)計流程大致可以分為7個步驟。一是設(shè)計輸入。FPGA支持的輸入方式有硬件描述語言Verilog和VHDL、狀態(tài)圖與原理圖三種輸入方式。各種圖像處理算法，需要轉(zhuǎn)化成硬件語言或是原理圖的形式，輸入到FPGA中去。二是功能仿真。電路設(shè)計完成后，要用專用的仿真工具進行功能仿真，驗證電路功能是否符合設(shè)計的要求。通過仿真能夠及時發(fā)現(xiàn)設(shè)計中的錯誤，加快設(shè)計進度，提高設(shè)計可靠性。功能仿真中沒有加入時序信息，不涉及具體的硬件特性。三是設(shè)計綜合。綜合就是針對給定的電路實現(xiàn)功能和實現(xiàn)此電

6、路的約束條件。四是綜合后仿真。綜合完成后需要做綜合后仿真，以檢查綜合結(jié)果是否與原設(shè)計一致。在仿真時，把綜合生成的延時文件反標到綜合仿真模型中去，可估計門延時帶來的影響。五是布局與布線。這一步是根據(jù)所選芯片的型號，將綜合輸出的邏輯網(wǎng)表適配到具體的FPGA硬件上。六是布局布線后仿真。將布局布線的時延文件反標到設(shè)計中，使仿真既包含門延時信息，又包含線延時信息。七是下載配置。整個設(shè)計開發(fā)的最后步驟就是在線調(diào)試或者將生成的配置文件寫入到芯片中進行測試，從硬件上驗證整個設(shè)計。3研究現(xiàn)狀 近年來，F(xiàn)PGA發(fā)展迅速，在圖像的壓縮2-4、拼接5、分割6、融合7以及視頻影像的實時處理8-11等方面，有了較大的發(fā)展

7、，特別是在提高計算速度上，現(xiàn)場可編程門陣列因為其設(shè)計方式靈活，斷電可擦除、可靠性高等方面的優(yōu)點，極大的方便了用戶的開發(fā)和使用。3.1圖像壓縮及存儲在傳統(tǒng)的數(shù)據(jù)采集系統(tǒng)中，A/D的控制和數(shù)據(jù)的轉(zhuǎn)存均通過CPU或者MCU來完成。在這種方式下，將A/D轉(zhuǎn)換的結(jié)果讀入，然后再轉(zhuǎn)存到片外的存儲器中，這個過程至少需要四個機器周期。在高速采樣系統(tǒng)中，這種方法一方面占用太多CPU資源，另一方面也遠遠滿足不了高速采樣的速度要求。為解決這個問題，王強等設(shè)計了以Virtex-5系列的XC5VLX50為核心處理芯片的多路數(shù)據(jù)采集系統(tǒng)，在硬件電路上用流水采樣來提高速度1。實現(xiàn)時，采用高帶寬（1GHz）高速低功耗A/D芯

8、片作為A/D轉(zhuǎn)換器件，采樣時鐘由芯片內(nèi)部的鎖相環(huán)實現(xiàn)。每級電路一次采樣可在一個時鐘周期內(nèi)完成，但是存在流水線延遲的問題。張學全2等利用FPGA解決了圖像壓縮時因數(shù)據(jù)量大造成的存儲和傳輸時效性的問題。鄧廣興3采用一種優(yōu)化組合編碼算法對高光譜圖像進行無損壓縮編譯碼，將這一算法在FPGA上實現(xiàn)，設(shè)計了OCC編碼器和譯碼器，滿足了機載圖像采集系統(tǒng)的實時性要求。雷震霖4針對星上壓縮低功耗、高性能，靈活性的要求，研究了基于CCSDS星載圖像壓縮標準利用FPGA實現(xiàn)星載圖像壓縮系統(tǒng)的方法，并提出來一種基于并行和流水的位平面編碼實現(xiàn)結(jié)構(gòu)，改進了原有的掃描方法，使掃描速率大大提高。Kim11，Angus12設(shè)計

9、了一種自適應(yīng)差分編碼方法，在降低壓縮比的同時提高了影像解碼的速率。3.2圖像預(yù)處理原始圖像，由于傳感器自身條件，成像環(huán)境，地球曲率等影響，不可避免的存在變形或噪聲，降低了圖像的質(zhì)量，因此在進行下一步應(yīng)用之前，首先要進行圖像的預(yù)處理。一般來說，圖像的預(yù)處理包括圖像裁剪、幾何配準、噪聲處理、輻射校正、幾何精糾正、圖像融合等幾部分。在現(xiàn)有的研究中，Uzun13 ,葛茂林14等在FPGA平臺上實現(xiàn)了FFT變換，Gavin 等15-22等人研究了中值濾波算法在FPGA上的實現(xiàn)方法，去除了椒鹽噪聲，達到了圖像增強的目的。對于中值濾波，過程中用到卷積運算，若采用3x3因此，必須設(shè)計行緩存器，同時存儲9個數(shù)據(jù)

10、，這9個數(shù)據(jù)在中值濾波模塊中，排序取中值取代最中間的值。流程如圖1所示:圖1.中值濾波數(shù)據(jù)處理流程圖像分割是圖像預(yù)處理的基本環(huán)節(jié)，也是進行圖像處理的第一步，是減少后期圖像分析量的重要方法。圖像分割把圖像表示為物理上有意義的幾個連通區(qū)域的集合，篩選出有效信息，為以后的目標識別、特征提取打好基礎(chǔ)。在FPGA上設(shè)計一種圖像高速分割系統(tǒng)，替代傳統(tǒng)PC機和DSP的構(gòu)架，不少學者進行了這方面的研究。孫寧建6做了詳盡的基于FPGA高速圖像分割系統(tǒng)的設(shè)計方案，并結(jié)合具體的應(yīng)用做了驗證,結(jié)果顯示，基于FPGA的高速圖像分割系統(tǒng)不僅具有很高的精度，在分割速度上更是有了很大的提升。3.3邊緣檢測邊緣檢測與圖像縮放是

11、圖像處理中重要的研究內(nèi)容，廣泛的應(yīng)用于圖像模式識別、分割和圖像增強中。隨著新興技術(shù)和相關(guān)理論的發(fā)展，新的邊緣檢測和圖像分割技術(shù)不斷涌現(xiàn)。段詠龍23等針對遙感影像在軌云檢測技術(shù)中圖像紋理特征提取功能的實現(xiàn)需求，采用FPGA實現(xiàn)紋理特征提取算法，以此提高遙感圖像的紋理特征提取的效率。設(shè)計中充分利用 FPGA片上 RAM、ROM寄存器等邏輯資源，發(fā)揮FPGA并行處理的優(yōu)勢，構(gòu)建了16個灰度共生矩陣并行計算的結(jié)構(gòu)，進一步計算得到4個紋理特征參數(shù)，利用 Xilinx公司的 System generator工具實現(xiàn)設(shè)計并通過仿真。在遙感圖像云檢測的實現(xiàn)過程中，紋理特征提取的基本應(yīng)用流程如圖2所示。3.4視

12、頻影像的處理FPGA目前的研究集中在視頻圖像的采集和壓縮顯示方面。 Steffen Klupsch利用FPGA實現(xiàn)醫(yī)學圖像的預(yù)處理，加快了處理速度，可以及時的進行圖像理解，對醫(yī)學病癥的診療有很實際的意義。隨著視頻流的分辨率越來越高，同時視頻流的背景也越來越復(fù)雜，如何設(shè)計一套高性能的硬件平臺來完成運動目標的實時監(jiān)控是一個值得研究的問題。傳統(tǒng)的DSP芯片的方法成本較高、會受到高頻干擾并且功率消耗較大；而FPGA具有編程靈活，相比較ASIC設(shè)計周期較短，其可靠性、靈活性和低功耗等特點，比較適用于星上系統(tǒng)。采用基于FPGA（內(nèi)嵌DSP模塊）的硬件架構(gòu)設(shè)計，具有更高的性能和更低的功耗，同時滿足實時性和復(fù)

13、雜性的要求，降低硬件設(shè)計的復(fù)雜度，大大提高系統(tǒng)的整體性能。在視頻目標的檢測中，F(xiàn)PGA主要用于視頻圖像的接收、存儲、預(yù)處理等大規(guī)模簡單操作；內(nèi)嵌DSP模塊充分利用其高速運算能力，主要負責計算復(fù)雜的跟蹤算法。這樣設(shè)計使硬件平臺具有更大的靈活性。運動目標檢測的FPGA實現(xiàn)流程圖見圖3.圖3.運動目標跟蹤流程圖結(jié)論圖像處理系統(tǒng)中,底層的圖像預(yù)處理的數(shù)據(jù)量很大,要求處理速度快,但運算結(jié)果相對比較簡單,適用于用FPGA通過硬件實現(xiàn),這樣能同時兼顧速度及靈活性。FPGA結(jié)構(gòu)的最大特點是結(jié)構(gòu)靈活,有較強的通用性,適于模塊化設(shè)計,從而能夠提高運算、處理的效率,同時開發(fā)周期短,易于維護和擴展,適于實時圖像處理。

14、因此，基于FPGA的實時圖像處理為應(yīng)急響應(yīng)系統(tǒng)提供及時的圖像資料，具有廣泛的應(yīng)用前景和深遠的現(xiàn)實意義。 參考文獻 1 禇振勇，翁木云.FPGA設(shè)計與應(yīng)用.西安：西安電子科技大學出版社.2002. 2 張學全.基于FPGA的星載圖像壓縮系統(tǒng)實現(xiàn)方法研究D.中國科學院空間科學與應(yīng)用研究中心.2009. 3 鄧廣興.高光譜圖像無損壓縮編譯碼器的FPGA實現(xiàn)D.山東大學.2012. 4 雷震霖.空間圖像CCSDS壓縮算法研究與FPGA實現(xiàn)D.大連理工大學.2007. 5 董林粒.基于FPGA的數(shù)字圖像拼接器系統(tǒng)設(shè)計D.成都理工大學.2012. 6 孫寧建.基于FPGA的一種高速實時圖像分割系統(tǒng)研究及其

15、應(yīng)用D.南京理工大學.2013. 7 Feng Qu, Bochao Liu, Jian Zhao, Qiang Sun. Image Fusion Real-time System Based on FPGA and Multi-DSPJ. Optics and Photonics Journa. 2013, 3:76-78. 8 Pierre Greisen, Simon Heinzle, Markus Gross and Andreas P Burg. An FPGA-based processing pipeline for highdefinition stereo videoJ.

16、Greisen et al. EURASIP Journal on Image and Video Processing. 2011, 18. 9 鄭永瑞, 李潔,劉曉宏, 林秋華. 基于FPGA 的視頻圖像實時幾何畸變校正J. 電光與控制.2013,20(6):75-78. 10 朱奕丹,方怡冰. 基于 FPGA的圖像采集與VGA顯示系統(tǒng)J.計算機應(yīng)用.2011,31(5):1258-1261. 11 Jong-hak Kim, Jung-kyun Oh, Seong-muk Kang and Jun-dong Cho. A Real-time Rectification using an

17、Adaptive Differential Encoding for High-resolution VideoJ.2014. 12 Angus Wu, P.W.M. Tsang, Johnson Tang. FPGA implementation of a near computation free image compression scheme based on adaptive decimation. INTEGRATION, the VLSI journal 2003 (36): 121143. 13 I.S. Uzun, A. Amira and A. Bouridane, “FP

18、GA implementations of fast Fourier transforms for real-time signal and image processing”, IEE Proc.-Vis. Image Signal Process, IEEE, pp.283-296, 2005. 14 葛茂林. 基于 FPGA 的分數(shù)階傅立葉變換在圖像處理中的應(yīng)用研究D.北京工業(yè)大學.2013. 15 G.L. Bates and S. Nooshabadi, “FPGA Implementation of a Median Filter”, Speech and Image Techno

19、logies for Computing and Telecommunications, IEEE, Queensland, pp. 437-440, 1997. 16 S.A. Fahmy, P.Y.K. Cheung and W. Luk, “Novel FPGA-Based Implementation of Median and Weighted Median Filters for Image Pocessing”, Field Programmable Logic and Applications, IEEE, PP. 142-147, 2005. 17 Y.Q. Dong and

20、 S.F. Xu, “A New Directional Weighted Median Filter for Removal of Random-Valued Impulse Noise”, Signal Process Letters, IEEE, pp.193-196, 2007. W. Luo, “A New Efficient Impulse Detection Algorithm for the Removal of Impulse Noise”, Trans. Fundam., IEICE, pp.2579-2586, 2005. 18 R.N. Kulkarni, P.C. Bhaskar, “Decision Based Median Filter Algorithm using Resource Optimized FPGA to Extract Impulse Noise”, Journal of Embedded System, IEEE, pp.18-22, 2014. 19 P.Greisen, S.heinzle, M.Gross and A.P.Burg, “An FPGA-based processing pipeline for high-definition stereo Video”, EURASIP