基于DSP-FPGA的紅外熱成像偽彩色變換系統(tǒng)

1、基于DSP+FPGA的紅外熱成像偽彩色變換系統(tǒng)*摘 要：提出了一種基于數(shù)字信號處理器(DSP)和可編程邏輯門陣列(FPGA)雙芯片架構(gòu)的紅外熱成像偽彩色變換系統(tǒng)，可應(yīng)用于高速圖像采集和數(shù)據(jù)處理，該技術(shù)在石油化工、冶金、電力、軍事偵查等行業(yè)應(yīng)用十分有效，是一種新興的非接觸式診斷技術(shù)。該系統(tǒng)采用雙處理器流水線體系結(jié)構(gòu)，F(xiàn)PGA首先從紅外探測器中采集出來的一幀Raw格式的原始灰度溫度圖像，傳送到DM642運行核心處理算法，計算出三段式分割參數(shù)，傳回FPGA修正原始灰度溫度圖像，再按一定的格式打包傳給DM642進行基于通道的灰度到彩色線性插值算法變換，轉(zhuǎn)換為24位RGB格式圖像，最終通過以太網(wǎng)口傳到上

2、位機顯示圖像和后序處理。實驗結(jié)果表明：該系統(tǒng)處理一幅大小為320 x240像素的原始圖像的時間約為15ms，相比單芯片處理系統(tǒng)， 雙芯片處理架構(gòu)使系統(tǒng)處理數(shù)據(jù)的實時性得到了提高, 縮短了系統(tǒng)開發(fā)周期。關(guān)鍵詞： DSP；FPGA；紅外探測器；雙線性插值中文分類號：TP338.6文獻標志碼：A文章編號：A Study on Pseudo Color Transformation System Controlled by DSP and FPGA in Infrared Thermal ImagingAbstract：Here, a pseudo color transformation is pr

3、esented. It was applied in an infrared thermal imaging system controlled by dual-processor pipeline architecture of digital signal processor (DSP) and field programmable gate array (FPGA), in order to improve the speed of image acquisition and data processing in real-time. This technology is a moder

4、n non-contact diagnostic technique, which is widely available in petroleum chemical industry, metallurgy, electric power, military reconnaissance, etc. Double chips work coordinately and effectively. Firstly, the FPGA collected a raw format of the original gray image from an infrared detector, and t

5、hen sent it to the DM642 to execute the core processing algorithm. After calculating three-segment pretreatment parameters, it returned back to the FPGA for data pre-processing to recover the lost pixels. In FPGA, a certain format was packaged and passed to the DM642, where the algorithm of bilinear

6、 interpolation converted the gray format image to color one, termed as RGB format image, and ultimately the RGB format image was transmitted to the host computer through the Ethernet port to display. It took 15 ms for the system to process a raw image of 320 x240 pixels. The framework of double-chip

7、 improve the speed of real-time processing compared to single-chip system, shortening the development cycle.Key Words: DSP, FPGA, Infrared detector, Bilinear interpolation0 引言隨著紅外焦平面陣列和紅外探測器技術(shù)的發(fā)展，紅外熱成像技術(shù)越來越多地應(yīng)用到軍事、航天航空、醫(yī)學和監(jiān)控等領(lǐng)域，從而促進了各種各樣的紅外熱像儀的產(chǎn)生和發(fā)展。紅外探測器接受物體輻射能量的同時，還受到周圍環(huán)境溫度、輻射系統(tǒng)等因素共同作用，通過一種光電轉(zhuǎn)換裝置，

8、就可以得到物體表面溫度的分布圖像，所以，紅外熱圖像也是溫度圖像。由于圖像視覺質(zhì)量會受到外界輻射等因素影響無法與可見光圖像相比，因而加重了系統(tǒng)后續(xù)處理的負擔。設(shè)計出一個高效、實時的紅外熱成像系統(tǒng)就成為一項很重要的任務(wù)?；贒SP+FPGA的紅外熱成像偽彩色變換系統(tǒng)將數(shù)字信號處理器DSP的強大實時運算功能和片上技術(shù)FPGA的現(xiàn)場可編程邏輯功能控制技術(shù)結(jié)合起來，解決了紅外熱成像偽彩色變換的實時性、穩(wěn)定性、可靠性等問題。它作為一種新興的非接觸式診斷技術(shù)，廣泛應(yīng)用在石油化工、冶金、電力、軍事偵查等領(lǐng)域。無需與被測對象進行任何接觸，也避免了因檢測不當而使元器件受到損傷等誤操作。該方案是以DSP+FPGA為

9、架構(gòu)，紅外探測器采集出來的是8-Bit Raw格式的灰度圖像數(shù)據(jù)，F(xiàn)PGA利用DM642傳遞的參數(shù)提取出來三個通道RGB數(shù)據(jù)，打包后再發(fā)送給DSP，運行嵌入其中的雙線性插值算法后，以太網(wǎng)可以10Mb/s的帶寬傳送給上位機PC進行后續(xù)處理，將8-Bit原始灰度圖變換成24-Bit的RGB格式偽彩色圖像。這大大提高了圖像的精確度，為進一步進行算法處理提供良好的基礎(chǔ)。該系統(tǒng)還充分發(fā)揮了FPGA的設(shè)計靈活和DSP的算法運行速度快的優(yōu)勢，能更好的提高系統(tǒng)實時處理圖像的性能，降低了處理成本。1 偽彩色變換原理偽彩色變換是一種常用的增強技術(shù)，其實質(zhì)就是把8位的灰度圖像轉(zhuǎn)變成24位偽彩色圖像，在變換過程中，需

10、要選取一個映射函數(shù)，這個函數(shù)可以是線性的，也可以是非線性的，用來完成一對三的映射，一就是需要進行轉(zhuǎn)變的原灰度圖像中每一個像素，三就是該像素在轉(zhuǎn)換后的圖像中相應(yīng)的R、G、B值，最后把三個分量值進行融合疊加，一幅偽彩色圖像就轉(zhuǎn)換成功了。灰度圖像：8位256個灰度等級的圖像，整幅圖像中每個像素值只用一個分量來表示，可以顯示0255范圍內(nèi)共256個灰度。有人可能會把它與黑白圖像混淆，黑白圖像整幅圖像中只用0或1來表示，所以它們還是有著本質(zhì)的不同。彩色圖像：24位224個灰度等級的圖像，圖像中每一個像素值都由三個分量疊加表示，這三個分量分別是R、G、B。當R、G和B分別取0255內(nèi)任意一個值并融合在一起

11、時就形成了人眼所熟知的各種各樣的顏色。2 偽彩色變換算法2.1 紅外熱圖像灰度值的分段線性化變換在圖像的某塊區(qū)間，我們將需要分析使用的像素區(qū)間定義為感興趣的目標區(qū)間。那么為了更突出該圖像區(qū)域，就要濾除那些我們不需要的區(qū)間，然后再對這些灰度值進行不同的線性變換，在這里我們使用三段式線性區(qū)間分割判別法，如圖1，其數(shù)學關(guān)系可表示為： (1)圖1中，首先，我們對紅外熱圖像像素值的灰度值進行了線性擴展，擴展后的區(qū)間增加到，從而減小了灰度區(qū)間和的范圍。其次，我們通過數(shù)據(jù)算法調(diào)節(jié)分段區(qū)間中直接的斜率的大小，從而調(diào)整該曲線的拐點位置和傾斜度，它可以擴充低灰度級區(qū)域范圍，并對高灰度級的區(qū)域范圍進行壓縮變換。通過

12、這種算法變換，可以有效地平衡圖像的灰度分布，使算法處理后的圖像視覺特征更真實，圖像細節(jié)更詳細。bf(x, y)Z1ZfZ2aMg圖1圖像區(qū)間的分段線性變換g(x,y)2.2 灰度偽彩色變換算法灰度彩色變換是在空間域?qū)崿F(xiàn)的，其實質(zhì)就是選取三個映射函數(shù)，針對灰度圖像中的像素做映射，一個像素值轉(zhuǎn)化成了三個不同的分量值R、G和B，接下來把這三個分量值融合到一起，合成偽彩色圖像。由于該變換是由一個變量到三個變量的轉(zhuǎn)換，即由少量信息推出更多信息，因此要用到一些預測和假設(shè)，映射函數(shù)的選取也顯的尤為重要。具體實現(xiàn)過程：第一步要選定三個映射函數(shù)進行各個像素到R、G和B的轉(zhuǎn)換，函數(shù)如下式： (2) 其中是用來表示

13、灰度圖像中的每個像素的數(shù)值的二維變量，、和是選定的三個映射函數(shù)，分別完成灰度圖像像素向紅、綠以及藍變量的映射，得到相應(yīng)的、和之后三者進行疊加，可以由下式配色方程表示。 (3) 具體編碼方式可以根據(jù)實際情況自行選擇。如圖2編碼變換函數(shù)，現(xiàn)在我們以灰度級大小來表示紅外輻射能量的強弱，假設(shè)灰度值越小能量越低，灰度值越大能量越高，如果把0255分成了四個區(qū)間，那么就能稱0L1為低溫區(qū)，稱L1L2為中低溫區(qū)，L2L3為中溫區(qū)，L3L4為高溫區(qū)。圖(a)表示紅色分量的映射，0L2范圍紅色分量為0；L2L3區(qū)間紅色分量值按選區(qū)的映射函數(shù)呈線性升高，在最后一個區(qū)間L3255內(nèi)紅色分量值等于255。圖(b)和圖

14、(c)則分別表示綠色和藍色分量映射情況，和圖(a)所述情況類似。圖(d)表示的是三者的融合，即是圖(a)、圖(b)、圖(c)三個映射函數(shù)的疊加。通過這種編碼可以在不同的溫度區(qū)域很容易地分辨出高溫與低溫，并且該編碼方式采用了自動取大小值來進行層次劃分，使最終變換后的紅外圖像層次分明，更容易辨別出不同的溫度區(qū)域。圖2編碼變換函數(shù)紅色分量像素數(shù)(b)(d)合成像素數(shù)L2255L3L20L1255L30L1L2255L3L20L1255L30L1(a)綠色分量像素數(shù)藍色分量像素數(shù)(c)灰度級3 系統(tǒng)的整體設(shè)計方法基于DSP和FPGA的紅外熱圖像偽彩色變換系統(tǒng)由紅外探測器、DSP、FPGA、以及擴展出的

15、EPCS配置存儲器、FLASH、SDRAM和EMAC組成。系統(tǒng)總體結(jié)構(gòu)如圖3所示。圖像傳感器采用FLIR 公司的Photon320型號的紅外熱像探測器，它采用采用非制冷氧化釩(VOx)工藝研制而成，具有76800像素(320 x 240)平面陣列，它夠探測到小于或等于95mK的溫差，大大提高了溫度數(shù)據(jù)的精確度，同時提供PAL制式和NTSC制式兩種模式的視頻信號。它內(nèi)部嵌入模數(shù)轉(zhuǎn)換裝置，可將模擬格式圖像輸出為8bit或14bit的數(shù)字視頻信號。FPGA選取了Altera公司Cyclone III系列的EP3C80F484C8。Cyclone 系列的FPGA 是Altera 公司針對低成本高性能的

16、應(yīng)用而推出, 具有很高的性價比。EP3C16F484C8的最大可用IO數(shù)量347，片內(nèi)504Kbit的RAM可以配為單雙口RAM,ROM,FIFO等各式存儲模塊；四個高精度的鎖相環(huán),方便地為片內(nèi)的各個模塊提供所需要的時鐘；15408個LE(邏輯單元)為接口電路的實現(xiàn)提供豐富的邏輯資源。FPGA系統(tǒng)時鐘50MHz，采用主動串行(AS)配置方式，配置芯片選擇EPCS16。擴展出來的Flash存儲芯片可以作為數(shù)據(jù)存儲區(qū)。DSP選用TI公司的DM642，它是一款32位定點DSP芯片，屬于C6000系列處理器，它采用第2代高性能增強型超長指令字(VelociTI.2)結(jié)構(gòu)的DSP核及增強的并行機制，當工

17、作在720MHz的時鐘頻率下，其處理性能最高可達5760MI/s。集成了諸如Mcbsp, IIC, VP, EMAC等豐富的接口，通過EMIF總線擴展出Flash存儲芯片，能夠?qū)崿F(xiàn)系統(tǒng)上電自啟動。SDRAM最大的時鐘頻率133MHz，提高了DM642處理數(shù)據(jù)的速度，EMAC擴展出來的以太網(wǎng)接口使用TCP/IP協(xié)議進行與上位機進行高可靠性數(shù)據(jù)傳輸。圖3 系統(tǒng)總體結(jié)構(gòu)圖4 圖像處理系統(tǒng)工作原理該紅外熱圖像系統(tǒng)由DM642和FPGA組成，偽彩色變換算法嵌入于DSP中，其工作流程圖如圖4所示。系統(tǒng)上電啟動后，通過PC配置傳感器參數(shù)，開始采集一幀圖像，F(xiàn)PGA從Photon320紅外探測器中采集一幀ra

18、w格式的圖像數(shù)據(jù)，并將其切換到DM642的VP0口，DM642利用核心算法計算該圖像，得出三段式線性區(qū)間分割算法參數(shù)；然后通過由Mcbsp擴展出來的SPI接口傳回FPGA進行參數(shù)配置。FPGA則對的圖像數(shù)據(jù)進行r、g、b通道數(shù)據(jù)提取，按1/3原始數(shù)據(jù)幀大小重新組成一幀320 x 240大小的數(shù)據(jù)包發(fā)送到DM642的VP1口。DM642通過配置EDMA完成RGB通道數(shù)據(jù)搬運，然后將各個數(shù)據(jù)通道傳到算法線程進行線性插值算法處理，最終轉(zhuǎn)換成一幀24位的RGB圖像，通過EMAC接口接TCP/IP協(xié)議傳輸格式將圖像傳輸?shù)缴衔粰C進行圖像實時顯示和后序算法處理。圖4 系統(tǒng)工作流程圖5實驗結(jié)果實驗使用Photon320紅外探測器采集出來的一張320 x 240像素的8位raw格式圖像如圖5中(a)和(c)所示，經(jīng)FPGA上傳出來的修正后1/3幀格式(320 x 240像素) r、g、b三通道圖像傳輸?shù)紻M642，最終DSP完成偽彩色算法變換，生成320 x 240 x 3像素的24位RGB圖像，如圖5中(b)和(d)所示。系統(tǒng)使用Altera公司提供的QuartusII9.0開發(fā)工具對選用的EP3C80F484C8進行編譯綜合，并在signalTap下進行實