實(shí)時(shí)紅外弱小目標(biāo)檢測(cè)跟蹤系統(tǒng)

1、實(shí)時(shí)紅外弱小目標(biāo)檢測(cè)跟蹤系統(tǒng)電子技術(shù)應(yīng)用2007年第1期楊燦軍1, 李建勛2，林志行2， 時(shí)間:2007年11月13日 字 體: 大 中 小關(guān)鍵詞:摘 要：關(guān)鍵詞：紅外熱成像儀? 雙DSPC6201? 目標(biāo)檢測(cè)與跟蹤?1 硬件原理硬件系統(tǒng)結(jié)構(gòu)如圖1所示。為了確保構(gòu)建的圖像處理系統(tǒng)可以達(dá)到原理樣機(jī)的要求，同時(shí)在實(shí)際條件又沒有合作飛機(jī)的前提下，將圖像處理系統(tǒng)的樣機(jī)功能分解為：高精度圖像的高速穩(wěn)定傳輸和實(shí)測(cè)數(shù)據(jù)的實(shí)時(shí)處理兩個(gè)部分。(1)針對(duì)Sofradir中波（35m）紅外熱成像儀，基于HEPC9母卡的雙DSP管理功能，采用雙DSPTMSC6201實(shí)現(xiàn)對(duì)圖像的并行處理，提高運(yùn)算性能。同時(shí)采用一個(gè)FP

2、GA用于實(shí)現(xiàn)數(shù)據(jù)接收的時(shí)序和控制，其時(shí)序嚴(yán)格按照法國(guó)Sofradir中波紅外熱成像儀的實(shí)際時(shí)序(見圖4)，以驗(yàn)證系統(tǒng)的高速穩(wěn)定通信能力。(2)基于HEPC9母卡的雙DSP管理功能，采用雙DSPTMSC6201實(shí)現(xiàn)對(duì)圖像的并行處理，提高運(yùn)算性能，同時(shí)采用雙FPGA系統(tǒng)。一個(gè)FPGA用于實(shí)現(xiàn)數(shù)據(jù)接收的時(shí)序和控制，其時(shí)序嚴(yán)格按照法國(guó)Sofradir中波（35m）紅外熱成像儀的實(shí)際時(shí)序(見圖4)；而另一個(gè)FPGA用于與調(diào)用硬盤中存儲(chǔ)的實(shí)際測(cè)試數(shù)據(jù)一起模擬實(shí)際的測(cè)量環(huán)境。為實(shí)現(xiàn)每秒50幀的處理能力，采用了具有可編程序的板卡HERON-FPGA3S，實(shí)現(xiàn)對(duì)真實(shí)環(huán)境和實(shí)測(cè)數(shù)據(jù)的有效測(cè)試。?該系統(tǒng)可廣泛地應(yīng)用

3、于實(shí)際測(cè)試圖像的后期處理和檢測(cè)跟蹤算法的實(shí)際性能考核，具有極大的試驗(yàn)和測(cè)試功能。實(shí)時(shí)紅外圖像處理系統(tǒng)由三部分組成：（1） 紅外成像儀紅外成像儀采用法國(guó)SOFTDIR生產(chǎn)的紅外頭部以及美國(guó)CEDIP公司生產(chǎn)的后續(xù)處理板卡組成。紅外攝像儀具有兩個(gè)輸出端口和一個(gè)RS232控制端口。一個(gè)輸出端口為模擬的視頻輸出端口，可以使用監(jiān)視器進(jìn)行圖像的實(shí)時(shí)觀察。另一個(gè)輸出端口是RS422平衡式差分?jǐn)?shù)字信號(hào)輸出端口。RS232串行控制端口用來控制攝像頭的性能參數(shù)，如：調(diào)節(jié)數(shù)字圖像的輸出速率（25幀/秒、50幀/秒和100幀/秒可選）、圖像的積分時(shí)間以及校正圖像以達(dá)到最佳的成像效果。(2) 圖像的接收和處理模塊紅外圖

4、像的接收和處理板卡及芯片采用英國(guó)HUNT公司生產(chǎn)的板卡HEPC9和HERON-FPGA3S以及HERON4。HEPC9是一塊母卡，作為HUNT公司各種處理板卡的載體，采用環(huán)形的HEART總線來規(guī)劃各個(gè)模塊的通訊功能，通過PCI總線與主機(jī)通訊。HERON-FPGA3S是一塊FPGA板卡，用于解析紅外攝像儀的電平信號(hào)和接收紅外圖像數(shù)據(jù)。HERON4是TIC6201DSP板卡，負(fù)責(zé)對(duì)紅外弱小目標(biāo)的檢測(cè)和識(shí)別。另外還需要一個(gè)由多個(gè)MC3486組成的板卡模塊將紅外攝像儀的RS422差分信號(hào)轉(zhuǎn)換為TTL單端信號(hào)。（3） 系統(tǒng)控制和顯示模塊整個(gè)系統(tǒng)的控制和顯示部分由PC機(jī)完成，這里使用ADLINK公司的工控

5、機(jī)PENTIUM 866，內(nèi)存128MB。2 各子模塊具體實(shí)現(xiàn)2.1 Hunt Engineering 產(chǎn)品簡(jiǎn)介8 （1）母卡HEPC9HEPC9是一個(gè)可以集成4個(gè)HERON模塊的主板卡，各個(gè)模塊之間的連接關(guān)系是可編程的，具體由network文件規(guī)定。母卡具有6個(gè)32bit的同步虛擬輸入FIFO，6個(gè)32bit的同步虛擬輸出FIFO，模塊之間通過這些虛擬的FIFO進(jìn)行連接。虛擬FIFO是母卡中環(huán)形HEART總線的一部分,如圖2所示，通過令牌環(huán)（標(biāo)志位）的設(shè)置分配數(shù)據(jù)的傳輸帶寬和時(shí)間片，這部分功能對(duì)于用戶是透明的。每個(gè)FIFO的同步時(shí)鐘可以達(dá)到60M100MHz，使FIFO的輸入輸出速度可以達(dá)到

6、4100MBps。?（2）HERON-FPGA3SHERON-FPGA3S可編程邏輯芯片在系統(tǒng)中用于接收紅外攝像儀圖像數(shù)據(jù)，并具有存儲(chǔ)功能。具有200K門，最大時(shí)鐘頻率可達(dá)180MHz，I/O帶寬達(dá)400MBps。（3）HERON4-DSPC6201這是一塊基于TI公司TIC6201DSP的HERON系列的板卡，具有200MHz主頻的16位定點(diǎn)DSP，采用哈佛結(jié)構(gòu)，具有64KB的片內(nèi)程序存儲(chǔ)器PROM和64KB的片內(nèi)數(shù)據(jù)存儲(chǔ)器IDRAM。HERON4DSP板卡增加了512KB的片外突發(fā)存儲(chǔ)器SBSRAM和16MB的片外動(dòng)態(tài)數(shù)據(jù)存儲(chǔ)器SDRAM。DSP具有八條流水線，可以使指令并行執(zhí)行，這對(duì)于大

7、數(shù)據(jù)量的圖像處理非常重要。2.2 系統(tǒng)的邏輯構(gòu)成實(shí)時(shí)紅外圖像處理系統(tǒng)在邏輯上要完成一個(gè)完整的數(shù)據(jù)傳輸、處理、顯示過程。其邏輯構(gòu)成如圖3所示。?母卡通過編寫network文件下載到母卡的存儲(chǔ)器中，修改特定的標(biāo)志寄存器，實(shí)現(xiàn)拓?fù)溥B接方式。這里的兩片DSP采用流水線處理方式，即兩者協(xié)同完成同一圖像處理工作的先后兩部分，以提高處理速度。在一些情況下，也可以將兩塊DSP描采取并行處理的方式，即兩塊DSP同時(shí)處理不同的數(shù)據(jù)。（1）FPGA圖像數(shù)據(jù)的采集模塊紅外攝像儀的邏輯時(shí)序如圖4所示。圖中：幀控信號(hào)FRAME高電平有效，在FRAME信號(hào)上升沿后出現(xiàn)第一幀數(shù)據(jù)時(shí)鐘；行控信號(hào)LINE_VALID上升沿有效，

8、在其上升沿后每行數(shù)據(jù)有效，則時(shí)鐘信號(hào)CLOCK上升沿像素信息有效；數(shù)據(jù)信號(hào)PIXEL_DATA共有14對(duì)數(shù)據(jù)線，產(chǎn)生14位數(shù)據(jù)，每行有320個(gè)時(shí)鐘，每幀有240行，一幀總共具有32024076 800個(gè)14bit的有效像素信息。（2） DSP數(shù)字圖像處理模塊這是整個(gè)系統(tǒng)的核心模塊，其功能是利用采集到的圖像數(shù)據(jù)進(jìn)行數(shù)字圖像的處理。利用HUNT公司的嵌入式模塊“Create New HREONAPI project”，可以建立一個(gè)完整的基于以上硬件結(jié)構(gòu)的系統(tǒng)程序框架。該軟件框架基于TIDSP的DSP/BIOS結(jié)構(gòu)，是一種小型的嵌入式實(shí)時(shí)操作系統(tǒng)，可以對(duì)DSP系統(tǒng)的各種資源（如內(nèi)存、信號(hào)量等）進(jìn)行規(guī)

9、劃管理。本系統(tǒng)中DSP圖像處理模塊的整體框圖如圖5所示。?通過FPGA上的標(biāo)志寄存器協(xié)調(diào)DSP和FPGA之間的通訊，在準(zhǔn)備接收?qǐng)D像數(shù)據(jù)之前，清空接收FIFO，然后通過串口HSB使能FPGA的發(fā)送允許標(biāo)志位通知FPGA發(fā)送數(shù)據(jù)。在接收?qǐng)D像到幀存之后，同樣通過HSB設(shè)置這個(gè)標(biāo)志使FPGA停止發(fā)送。（3）主機(jī)控制顯示模塊這部分是運(yùn)行于PC機(jī)上的程序。其作用是完成整個(gè)系統(tǒng)的控制模塊和顯示模塊功能。紅外攝像儀所拍攝的數(shù)字圖像具有14位的像素精度，雖然是有利于圖像處理精度，但由于無法在一般的顯卡上顯示超過256級(jí)灰度的灰度圖像，因此有必要采用先灰度均衡再線性映射的方法，將14位的高精度圖像壓縮為8位的灰度

10、圖來顯示，以達(dá)到人機(jī)界面顯示的功能。3 弱小目標(biāo)檢測(cè)跟蹤及在DSP上的實(shí)現(xiàn)紅外序列圖像中運(yùn)動(dòng)的弱小目標(biāo)的檢測(cè)算法包括形態(tài)學(xué)濾波和能量特征匹配兩部分，即基于能量特征的弱小目標(biāo)檢測(cè)方法。同時(shí)還包括利用數(shù)據(jù)關(guān)聯(lián)進(jìn)行多幀積累實(shí)現(xiàn)的序列圖像跟蹤，從而實(shí)現(xiàn)了對(duì)低信噪比的復(fù)雜序列圖像的實(shí)時(shí)、有效的檢測(cè)和跟蹤4。在實(shí)時(shí)紅外圖像處理系統(tǒng)中，由于圖像數(shù)據(jù)量大，數(shù)據(jù)間相關(guān)性高，需要滿足嚴(yán)格的實(shí)時(shí)性要求，因此需要對(duì)圖像處理算法及程序進(jìn)行基于數(shù)字信號(hào)處理器（DSP)的優(yōu)化編程，從而大大提高算法的運(yùn)行速度，來滿足系統(tǒng)的實(shí)時(shí)性能。TI公司的C6x系列DSP5，具有很高的運(yùn)算速度和良好的優(yōu)化結(jié)構(gòu)，完全可以滿足圖像的實(shí)時(shí)處理要

11、求。3.1 算法結(jié)構(gòu)的優(yōu)化算法結(jié)構(gòu)的優(yōu)化方法針對(duì)具體的處理算法具有特殊性，這部分的優(yōu)化與DSP的結(jié)構(gòu)沒有關(guān)系，優(yōu)化的目的是使算法本身具有良好的時(shí)間空間復(fù)雜度和簡(jiǎn)單的邏輯結(jié)構(gòu)。如在圖像處理中，通常要實(shí)現(xiàn)一個(gè)NX-N的二維數(shù)字濾波。在不做任何優(yōu)化的情況下，得到一個(gè)結(jié)果要進(jìn)行N2l次內(nèi)存讀寫，內(nèi)存操作耗時(shí)長(zhǎng)，需要占用專用的功能單元，因而成為功能提高的瓶頸。因此通常對(duì)該二維模板進(jìn)行線形化，即先對(duì)源圖進(jìn)行一個(gè)N1的一維濾波，再對(duì)中間結(jié)果圖也進(jìn)行N1的一維濾波，從而得到最終的結(jié)果圖。這樣只需要進(jìn)行 2(N+1)次內(nèi)存讀寫操作就可以得到一個(gè)結(jié)果。當(dāng)N比較大時(shí)（如1111高斯平滑），程序的性能有明顯提高。3.

12、2 DSP程序的結(jié)構(gòu)優(yōu)化DSP的內(nèi)部結(jié)構(gòu)具有特殊性，如果程序的編寫能夠在一定程度上與DSP的結(jié)構(gòu)相適應(yīng)，利用C編譯器的優(yōu)化功能就可以在程序級(jí)的基礎(chǔ)上大大提高算法的性能48。具體如下：?(1) 盡量使用int 類型中間變量在圖像處理程序中，數(shù)據(jù)通常為8bit的變量，而C6XDSP的內(nèi)部寄存器和數(shù)據(jù)通道為32bit，在圖像處理的濾波、卷積等過程中，需要較多的中間變量，如果采用8bit的中間變量存儲(chǔ)方式，勢(shì)必迫使編譯器使用額外的數(shù)據(jù)調(diào)整指令，因此采用32bit的中間變量具有最好的效率。?(2) 使用移位代替除法運(yùn)算DSP中的移位運(yùn)算具有硬件支持，由一條指令完成，而除法運(yùn)算使用程序?qū)崿F(xiàn)，比較復(fù)雜耗時(shí)。

13、DSP的浮點(diǎn)運(yùn)算往往采用調(diào)用子函數(shù)方法，效率低，編譯器無法進(jìn)行軟件流水優(yōu)化，而采用移位運(yùn)算可以代替一些定值的浮點(diǎn)運(yùn)算,如：for(I=0;I10);? ?以上兩條程序完成同樣的功能，但是第一條含有浮點(diǎn)數(shù)的乘法，運(yùn)行時(shí)間為222 775;第二條只有定點(diǎn)數(shù)的乘法和移位運(yùn)算,運(yùn)行時(shí)間僅為881，可見效率差距非常大。?(3) 使用C6x內(nèi)聯(lián)函數(shù)C6x編譯器內(nèi)部提供了許多指令，可以在單周期內(nèi)完成許多復(fù)雜的函數(shù)功能，從而提高了代碼的運(yùn)行速度。如:?“飽和加法”：int sadd(int a, int b)int result;result = a + b;if (a b) & 0x80000000) =

14、0)if (result a) & 0x80000000)result = (a 0) ? 0x80000000 : 0x7fffffff;return (result);這樣一個(gè)復(fù)雜的算法可以用一條內(nèi)聯(lián)函數(shù)_sadd( a,b)實(shí)現(xiàn)。?(4) 使用32bit數(shù)據(jù)類型訪問16bit數(shù)據(jù)由于C6x系列DSP具有32位的寄存器和內(nèi)部通道，在操作16bit的數(shù)據(jù)如short類型時(shí)，往往浪費(fèi)一半的寄存器空間和通道帶寬。為了充分利用這些資源，編譯器設(shè)置了一些內(nèi)聯(lián)函數(shù)同時(shí)對(duì)兩個(gè)16bit的數(shù)據(jù)進(jìn)行操作，如_add2、_sub2。short in1、 short in2 是兩個(gè)short類型的數(shù)組，具有N項(xiàng)

15、，以下是將兩者對(duì)應(yīng)項(xiàng)相加的操作。for (i = 0; i (N/2); i+)_amem4(&sumi) = add2(_amem4_const(&in1i), _amem4_const(&in2i);程序中，_amem4_const、_amem4將in1、in2和sum進(jìn)行了32bit的對(duì)齊操作，然后同時(shí)進(jìn)行兩個(gè)short數(shù)據(jù)的加法運(yùn)算和讀取存儲(chǔ)運(yùn)算，從而提高了運(yùn)算效率。?(5) 使用restrict關(guān)鍵字消除內(nèi)存關(guān)聯(lián)為提高代碼效率,6編譯器總是盡可能多地安排指令并行,而指令能否并行取決于指令之間的相關(guān)性。對(duì)于編譯器而言,內(nèi)存讀寫指令之間是否獨(dú)立是很難判斷的,如下列程序:void vecs

16、um(short *sum, short *in1, short *in2, unsigned int N)int i;for (i = 0; i N; i+)sumi = in1i + in2i;程序中，sum的存儲(chǔ)對(duì)于in1、in2的讀取地址產(chǎn)生影響，只有等到sum存儲(chǔ)完畢以后，才可以再次進(jìn)行in1、in2的讀取操作。這個(gè)問題叫做“別名問題”，因?yàn)閟um可能和in1是一個(gè)地址，使其無法將讀取數(shù)據(jù)和寫結(jié)果的操作并行起來。為了讓編譯器放心地將讀取源數(shù)據(jù)和寫結(jié)果數(shù)據(jù)兩者并行操作，可以利用restrict變量申明當(dāng)前數(shù)組名（或指針）是指向這段內(nèi)存的惟一變量，如下列程序所示：void vecsum(

17、short *sum, short * restrict? in1, short * restrict in2, unsigned int N)int i;for (i = 0; i 2。4 系統(tǒng)測(cè)試本實(shí)驗(yàn)采用法國(guó)Sofradir中波熱成像儀采集到的320240像素6733幀8位真實(shí)紅外對(duì)空序列圖像，截取其中的100幀數(shù)據(jù)驗(yàn)證能量匹配濾波檢測(cè)與數(shù)據(jù)關(guān)聯(lián)跟蹤算法的適用性。由于目標(biāo)很遠(yuǎn)，此時(shí)的信噪比小于2，屬于典型的強(qiáng)雜波環(huán)境下的弱小目標(biāo)檢測(cè)問題。實(shí)拍紅外圖像的顯示如圖6所示。?本文介紹的系統(tǒng)成功實(shí)現(xiàn)了弱小目標(biāo)檢測(cè)和跟蹤程序的移植和優(yōu)化。針對(duì)紅外弱小目標(biāo)檢測(cè)和跟蹤的實(shí)時(shí)測(cè)試表明：該系統(tǒng)實(shí)時(shí)和有效檢

18、測(cè)跟蹤了每秒50幀，每幀320240像素，每像素14位的低信噪比的復(fù)雜序列圖像。參考文獻(xiàn)1?BRUNO M S, MOURA J F. Multiframe detector/tracker:optimal performance, IEEE Trans. AES, 2001,37(3):925.2 ?TZANNES A P, BROOKS D H. Point target detection in?IR image sequences: A hypothesis testing approach based?on target and clutter temporal profile modeling. Optical?Engineering, 2000,38(2):2270-2278.3 ?TZANNES A P, BROOKS D H. Detecting small moving?objects using temporal hypothesis testing. IEEE Trans. ?AES, 2002,38(2):570-585.4 ?田元，葉秀清.實(shí)時(shí)圖像處理中的DSP優(yōu)化編程，電子技術(shù)，2000,(10):43-46.5 ?Texas Instruments Incor