基于維納濾波的紅外焦平面非均勻性校正算法

1、第35卷第7期 光電工程 Vol.35, No.7 2008年7月 Opto-Electronic Engineering July, 2008 文章編號：1003-501X(2008)07-0136-04基于維納濾波的紅外焦平面非均勻性校正算法劉永進(jìn)，朱 紅，趙亦工( 西安電子科技大學(xué) 電子工程學(xué)院，西安 710071 )摘要：針對焦平面陣列上各探測單元光電響應(yīng)的非均勻性，本文使用了維納濾波技術(shù)來實(shí)現(xiàn)紅外焦平面陣列非均勻校正。該方法首先根據(jù)實(shí)際情況確定一個(gè)輸出延遲，然后采用維納濾波并借助前后幀信息對當(dāng)前幀進(jìn)行多次估計(jì)，最后取其均值作為此幀的最終校正結(jié)果。文中使用了真實(shí)紅外圖像對算法性能進(jìn)行驗(yàn)

2、證，由于能夠充分利用過去和將來的場景信息，因而本算法可以有效地去除原圖像上的固定圖案噪聲。關(guān)鍵詞：紅外焦平面陣列；非均勻校正；固定圖案噪聲；維納濾波中圖分類號：TN215 文獻(xiàn)標(biāo)志碼：ANonuniformity Correction Algorithm for InfraredFocal Plane Arrays Based on Wiener Filtering LIU Yong-jin，ZHU Hong，ZHAO Yi-gong( School of Electronic Engineering, Xidian University, Xian 710071, China )Abstra

3、ct: The performance of an infrared imaging system is affected by spatial fixed-pattern noise badly due to the different photoresponse of each detector in a focal plane array for the same irradiance. A novel nonuniformity correction algorithm based on Wiener filtering is developed, which first determ

4、ines an output delay for being able to use the later information of an uncorrected image, and then by depending on the front and back information of a current frame, Wiener filter is adopted to estimate the current frame for several times. At last, take the average value of the estimations as the fi

5、nal correction result. The performance of the proposed algorithm is demonstrated with a real infrared image, and its advantage is that it can employ sufficient information to eliminate the fixed-pattern noise.Key words: infrared focal plane array; nonuniformity correction; fixed-pattern noise; Wiene

6、r filtering1 引 言紅外焦平面陣列(Infrared Focal Plane Array, IRFPA)探測器現(xiàn)已廣泛應(yīng)用于國防、民用等各個(gè)領(lǐng)域。但由于制造工藝水平的限制，焦平面陣列上各探測單元對于同一輻照的響應(yīng)度不完全一致，因此產(chǎn)生了固定圖案噪聲(Fixed-Pattern Noise, FPN)，它嚴(yán)重影響了紅外系統(tǒng)的成像質(zhì)量，并且該噪聲參數(shù)還會隨著外界環(huán)境的變化而緩慢漂移。由此可見，如何有效地跟蹤并去除固定圖案噪聲實(shí)現(xiàn)非均勻校正(Nonuniformity Correction, NUC)是提高紅外焦平面陣列成像質(zhì)量的關(guān)鍵。到目前為止，國內(nèi)外已經(jīng)提出了許多關(guān)于焦平面陣列非均勻

7、校正的算法，但主要可以分為兩大類。一類是基于標(biāo)定的方法1，這類方法具有較高的校正精度，但在標(biāo)定過程中需要成像系統(tǒng)暫停工作，因此其使用范圍受到一定的限制。另一類是基于場景的方法2-6，它直接利用每幀圖像的場景信息進(jìn)行非均勻校正，克服了第一類方法的缺陷，因此是目前研究的焦點(diǎn)。本文提出了一種基于維納濾波(Wiener Filter, WF)的紅外焦平面陣列非均勻校正算法，它能夠利用過去收稿日期：2007-10-21；收到修改稿日期：2008-05-20基金項(xiàng)目：國家自然科學(xué)基金資助項(xiàng)目(60572151)作者簡介：劉永進(jìn)(1983-)，男(漢族)，安徽金寨人，博士研究生，主要研究工作是圖像與信號處理

8、。E-mail: lyj8309242008年7月 劉永進(jìn) 等：基于維納濾波的紅外焦平面非均勻性校正算法 137和將來的信息校正當(dāng)前圖像，所以該方法會產(chǎn)生延遲，其具體大小可根據(jù)實(shí)際情況而定，并且延遲越大算法的校正性能越好，但此時(shí)的計(jì)算量和存儲量也越大，因此我們要權(quán)衡選擇。2 算法原理描述2.1 算法模型在許多實(shí)際應(yīng)用中，傳感器都要求工作在線性響應(yīng)區(qū)。因此本文假設(shè)焦平面陣列上各探測單元的輸入輸出滿足線性關(guān)系，這樣，陣列坐標(biāo)是(i，j)的探測器在第k幀的輸出可以表示為Yk(i,j)=Ak(i,j)Tk(i,j)+Bk(i,j)+Vk(i,j) (1)其中：Ak(i，j)和Bk(i，j)分別表示該探

9、測器的增益(Gain)噪聲參數(shù)和偏置(Offset)噪聲參數(shù)，Tk(i，j)表示所接收到的真實(shí)紅外輻照，Vk(i，j)表示隨機(jī)產(chǎn)生的電子噪聲(Electronic Noise，EN)。2.2 維納濾波為方便起見，略去坐標(biāo)(i，j)，將式(1)改寫成矩陣形式：0TkBkVkYkAk#=#+#+# (2) %Ak+d1Tk+d1Bk+d1Vk+d1Yk+d10其中d表示預(yù)先存儲的幀數(shù)?；蛘呤?2)可以用貝葉斯線性模型來描述：Yk=HkTk+Bk+Vk (3)這樣假設(shè)Vk均值為零，則由貝葉斯高斯馬爾可夫定理7可知，真實(shí)紅外輻照向量Tk的最優(yōu)估計(jì)值為=E(T)+CHTHCHT+C1(YE(Y) (4)

10、 TkkTkkkTkkVkkk這里：Hk表示d×d的增益矩陣，E(Tk)和E(Yk)分別表示Tk和Yk的均值，其確定方法可參見文獻(xiàn)3，CTk和CVk分別表示Tk和Vk的協(xié)方差矩陣。2為簡化計(jì)算，本文假設(shè)CVk是常量，Vk中各噪聲項(xiàng)互不相關(guān)且擁有相同的方差V，這樣，2CVk=CV=IdV (5)其中Id表示d×d的單位陣。另外，由于噪聲參數(shù)的漂移非常緩慢，因而我們可以認(rèn)為Hk和Bk恒定不變，則式(4)應(yīng)改寫為=E(T)+CHTHCHT+C1(YE(Y) (6) TTkTkVkkkk2為獲得V的估計(jì)值，我們現(xiàn)考慮Yk的一步差分：Dk=Yk+1Yk (7)由于輻照度Tk的變化較慢

11、，而電子噪聲的變化較快，因此：DkVk+1Vk (8)2則V可以通過Dk的樣本方差的一半來估計(jì)：12V=2kpk=kp(Dk)2 (9) 1其中：kp表示初始圖像的幀數(shù)，D表示Dk的樣本均值：11=Dk (10) kpk=kp2.3 校正輸出由2.2節(jié)可知，維納濾波器能夠根據(jù)d幀噪聲圖像的信息估計(jì)出真實(shí)紅外輻照圖像，但由于信息量的限制，校正效果不是很理想。本算法采用“滑動”方式對每一幀圖像進(jìn)行多次估計(jì)，然后取其均值作為最終校正輸出，這樣大大增加了信息量，因而具有很好的校正效果。圖1顯示了本算法的校正方式，其具體步驟如下：step 1: 預(yù)先存儲d幀噪聲圖像(這樣，算法將延遲d1幀)。138 光

12、電工程 第35卷第7期step 2: 利用d階維納濾波器估計(jì)出各幀圖像的真實(shí)值。 step 3: 當(dāng)k1時(shí)，將此d幀估計(jì)值則，將此d幀估計(jì)值與該隊(duì)列中相應(yīng)幀的以前估計(jì)值做平均，如果是第一次估計(jì)某一幀，則直接將其結(jié)果存入隊(duì)尾即可。Estimation for d timesk+2 k+d-1 412 16 8Queue length / frames20直接存入一長度為d的隊(duì)列(Queue)；否k-d+1d frames of noise imagesk-d+2k-2k -1k-1kk󵗫kk+11.8Roughness1.41.00.6×10-30.2k+1step

13、4: 輸出隊(duì)首的一幀圖像作為該幀的最終校正結(jié)果。順次讀入第step 5: 當(dāng)kNtotald時(shí)，圖1 本算法對第k幀噪聲圖像的校正過程Fig.1 Correction course of the proposed algorithm towards the noise image of frame kk+d幀噪聲圖像，kk+1，轉(zhuǎn)step 2；否則，轉(zhuǎn)step 6；其中Ntotal表示總幀數(shù)。step 6: 直接輸出最后d1幀校正圖像。3 算法仿真與結(jié)果分析本部分將使用真實(shí)紅外圖像序列對算法性能進(jìn)行測試，該序列是利用法國ULIS公司的320×240、工作在814 µm波長范

14、圍的IRFPA所采集，共400幀，采樣速率是30幀/s，14位量化(最大灰度值為16 383)。 3.1 算法的評價(jià)指標(biāo)為了定量度量算法的校正效果，本文將使用粗糙度(Roughness)參數(shù)3作為評價(jià)指標(biāo)。對于任一幀圖像f，其定義如下： (f)=|h1f|1+|h2f|1(11)|f|1其中：h1=11為水平模板(Horizontal Mask)，h2=h1T為豎直模板(Vertical Mask)，表示離散卷積，1 表示L1范數(shù)。從式(11)可以看出，分子上的兩項(xiàng)是為了度量圖像在水平和垂直方向的不一致程度；分母則是為了歸一化，從而使指標(biāo)具有統(tǒng)一的尺度。顯然，對于一幅均勻灰度圖像，其粗糙度為0

15、，并且隨著像素間差異的加大，值也隨之增加。由于噪聲的空間相關(guān)性很小，因此粗糙度指標(biāo)可以在真實(shí)圖像未知的情況下評價(jià)算法的校正性能。 3.2 算法的校正性能由第一部分可知：延遲越大，本算法能夠利用的圖像信息就越多，因此校正效果也越好。為證明這一點(diǎn)，圖2顯示了噪聲圖像在不同延遲情況下的校正結(jié)果。其中，圖2(a)為第200幀原始圖像，顯然其上有非常嚴(yán)重的固定圖案噪聲，圖2(b)和圖2(c)分別為當(dāng)隊(duì)列長度d=1 (無延遲)和d=20 (延遲19幀)時(shí)圖2(a)的校正結(jié)果。由圖可見，本算法在這兩種情況下都具有很好的校正效果，粗糙度也比原始圖像下降了12個(gè)數(shù)量級，但圖2(b)的左下角偏黑，即“鬼影”8(G

16、hosting Artifact)明顯要比圖2(c)嚴(yán)重，這主要是由于真(a) Original image (=0.032 6); (b) NUC (d=1, =0.001 8); (c) NUC (d=20, =0.000 3)圖2 本算法在不同延遲情況下的校正性能Fig.2 Correction performance of the proposed algorithmunder different delay conditions圖3 延遲對本算法校正性能的影響Fig.3 Impact of the delay on the correction performance of the

17、proposed algorithm2008年7月 劉永進(jìn) 等：基于維納濾波的紅外焦平面非均勻性校正算法139實(shí)圖像序列的幀與幀之間存在強(qiáng)相關(guān)性，這樣，算法在小延遲情況下能夠利用的有效信息非常有限，因此會引入大量冗余信息，而這些冗余正是產(chǎn)生“鬼影”的關(guān)鍵。隨著延遲的增加，算法能夠利用更多的有用信息，自然可以有效抑制“鬼影”，取得較好的校正結(jié)果。圖3給出了粗糙度和延遲幀數(shù)(d-1)之間的關(guān)系，由圖可見，隨著可用幀數(shù)的增多，值不斷減小，它同樣也證明了上述結(jié)論。 3.3 算法的其它性能Memory requirements / Bytes算法的時(shí)間和空間復(fù)雜度也是兩個(gè)非常重要的性能指標(biāo)，它直接CPU

18、 time / s16012080400(a) CPU time6420決定了算法的使用范圍。本節(jié)將利用PC機(jī)(CPU是Pentium III1.4GHz，內(nèi)存大小是512MB)在Matlab環(huán)境下測試延遲對算法運(yùn)算量和存儲量的影響。如圖4所示，其中圖4(a)和圖4(b)分別表示在不同延遲情況下校正一幀圖像所需要由圖可的CPU時(shí)間和內(nèi)存占用量。(b) Memory requirements圖4 延遲對本算法時(shí)間和空間復(fù)雜度的影響Fig.4 Impact of the delay on the temporal and spatial complexity of the proposed alg

19、orithm見，當(dāng)d=1(無延遲)時(shí)本算法有較小的運(yùn)算量和存儲量，所以非常適合對采集的數(shù)據(jù)進(jìn)行實(shí)時(shí)校正；但隨著延遲的增加，算法的時(shí)間和空間復(fù)雜度都不斷提高，因此可以應(yīng)用在對實(shí)時(shí)性和存儲量要求不嚴(yán)格的場合。4 結(jié) 論本文提出了一種基于維納濾波的紅外焦平面陣列非均勻校正算法，它可以通過延遲校正輸出進(jìn)而充分利用過去和將來的信息估計(jì)當(dāng)前圖像。實(shí)驗(yàn)結(jié)果表明：無論延遲大小，本算法都具有很好的校正性能，但由于延遲越大算法能夠利用更多的有用信息，因此其校正效果會越好，而此時(shí)的計(jì)算量和存儲量也越大。由此可見，我們在確定算法延遲時(shí)需要根據(jù)實(shí)際情況進(jìn)行選擇：如果要求實(shí)時(shí)處理，則d取值為1；如果只注重圖像的校正質(zhì)量而

20、對算法的實(shí)時(shí)性和存儲占用量不作要求，則d值可以取較大一些。 參考文獻(xiàn)：1 童央群，郭繼昌. 一種改進(jìn)的紅外焦平面非均勻性校正算法 J. 光電工程，2005，32(5)：35-37.TONG Yang-qun，GUO Ji-chang. Improved non-uniformity correction algorithm for infrared focal plane array detector J. Opto-Electronic Engineering，2005，32(5)：35-37.2 Harris J G，Chiang Y M. Nonuniformity correction

21、 of infrared image sequences using the constant-statistics constraint J. IEEETrans Image Processing，1999，8(8)：1148-1151.3 Hayat M M，Torres S N，Armstrong E E，et al. Statistical algorithm for nonuniformity correction in focal-plane arrays J. Appl.Opt，1999，38(8)：772-780.4 Ratliff B M，Hayat M M，Tyo J S. Generalized algebraic scene-based nonuniformi