神經(jīng)網(wǎng)絡(luò)重建高分辨力圖像及在紅外成像中的應(yīng)用

1、神經(jīng)網(wǎng)絡(luò)重建高分辨力圖像及在紅外成像中的應(yīng)用1張楠,金偉其,蘇秉華北京理工大學(xué)信息科學(xué)技術(shù)學(xué)院光電工程系(100081Email:zhangnan摘 要:數(shù)字圖像技術(shù)的廣泛應(yīng)用對(duì)圖像分辨力的要求越來越高。傳統(tǒng)的插值方法由于不能增加新的高頻信息,因此無法真正提高分辨力。采用多幀技術(shù)重建高分辨力圖像是一種有效方法,但由于計(jì)算量大和獲取圖像序列不易而限制了它的實(shí)際應(yīng)用。本文提出了一種用神經(jīng)網(wǎng)絡(luò)進(jìn)行高分辨力圖像重建的新方法。利用神經(jīng)網(wǎng)絡(luò)建立低分辨力和高分辨力圖像中高頻分量之間的映射關(guān)系。得到的高分辨力圖像無論是在視覺還是定量分析(采用MSE和MAE評(píng)價(jià)參數(shù)都優(yōu)于傳統(tǒng)幀內(nèi)插值方法。對(duì)紅外圖像也能得到滿意

2、的結(jié)果。并且由于采用單層線性網(wǎng)絡(luò),計(jì)算量小,易于實(shí)時(shí)實(shí)現(xiàn)。關(guān)鍵詞:圖像重建;紅外;高頻分量;神經(jīng)網(wǎng)絡(luò);MSE;MAE1.引言就典型的光學(xué)成像系統(tǒng)而言,鏡頭的衍射效應(yīng)和焦平面上的欠采樣是造成獲取圖像分辨力降低的兩個(gè)非常重要的因素。隨著數(shù)字圖像技術(shù)的廣泛應(yīng)用,人們對(duì)清晰的高質(zhì)量的圖像需求日益迫切。因而,高分辨力圖像重建問題具有非常重要的意義。由一幅低分辨力圖像中的信息重建高分辨力圖像是一個(gè)病態(tài)問題。傳統(tǒng)的圖像插值算法,由于不能產(chǎn)生新的高頻信息,所以不能真正提高分辨力。因此人們提出了一些采用非線性技術(shù)的單幀重建算法,如多卷積核和非線性濾波法、Bayesian分析法1等。但由于這些方法所基于的假設(shè)與實(shí)

3、際情況有一定差距,因此無法保證復(fù)原高頻信息的準(zhǔn)確性。多幀圖像重建技術(shù)從相互之間存在亞像素位移的圖像序列中抽取一幅高分辨力圖像,由于每幅低分辨力圖像中包含相關(guān)而又不同的高分辨力圖像信息,因此這種方法得到的效果較好2。在紅外成像系統(tǒng)中,由微掃描機(jī)構(gòu)產(chǎn)生各幀圖像之間的相互位移重建出高分辨力圖像,稱為微掃描技術(shù)。實(shí)踐證明,微掃描可有效消除由欠采樣引起的頻率混淆,提高系統(tǒng)的分辨力3。但在實(shí)際應(yīng)用中,多幀圖像重建技術(shù)存在計(jì)算復(fù)雜不能實(shí)時(shí)實(shí)現(xiàn)和圖像序列不易獲得等問題。而微掃描技術(shù)多采用光機(jī)掃描,機(jī)械結(jié)構(gòu)復(fù)雜,并會(huì)降低紅外FPA的靈敏度。因此,研究有效的單幅圖像高分辨力重建方法在一些具體應(yīng)用中具有更高的應(yīng)用價(jià)

4、值。針對(duì)單幅圖像,本文提出了一種用神經(jīng)網(wǎng)絡(luò)進(jìn)行高分辨力圖像重建的方法。由于圖像中的高頻分量決定了圖像邊緣的銳利度,直接影響觀察效果。因此,利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)特性,建立起低分辨力和高分辨力圖像中高頻分量之間的映射關(guān)系,將神經(jīng)網(wǎng)絡(luò)輸出高頻信息與原低分辨力圖像相加,即可實(shí)現(xiàn)高分辨力圖像重建。實(shí)驗(yàn)結(jié)果證明,該神經(jīng)網(wǎng)絡(luò)具有較強(qiáng)的泛化能力,并且訓(xùn)練時(shí)間短,計(jì)算量小,易于實(shí)時(shí)處理。該方法得到的放大圖像無論是在視覺1本課題得到高等學(xué)校博士學(xué)科點(diǎn)專項(xiàng)科研基金(項(xiàng)目編號(hào):20020007006資助- 1 - 2 -還是定量分析中都優(yōu)于一般插值算法,特別對(duì)紅外圖像也能取得滿意的結(jié)果。2.用神經(jīng)網(wǎng)絡(luò)重建高分辨力圖像的

5、原理Burt 和Adelson 曾引入基于高斯函數(shù)的編碼策略4:用具有高斯脈沖響應(yīng)的低通濾波器L H ,對(duì)一幅圖像0f 進(jìn)行濾波得到低頻圖像01f (式(1, 原圖0f 減去低頻圖像01f 得到高頻分量0H (式(2,0H 保存了精細(xì)的邊緣信息。再對(duì)低頻圖像01f 降采樣得到1f (式(3。這一過程在降采樣后的圖像上迭代進(jìn)行,最終得到只包含一點(diǎn)(直流分量的圖像m f 。迭代公式如下: n L n f H f =+01 (101+=n n n f f H (2(011+=n n f subsample f (3式中11,0=m n L 。m f 和1m H 2m H 0H 組成了圖像的金字塔表示

6、。同編碼過程相反,對(duì)圖像1+n f 進(jìn)行升采樣,恢復(fù)到降采樣前的大尺寸圖像01+n f ,然后迭加上相應(yīng)的邊緣信息圖像n H 可以重建n f 。迭代執(zhí)行解碼算法將重建原始圖像0f 。由金字塔結(jié)構(gòu)的解碼過程可知,一幅低分辨力圖像升采樣后加上相位一致的高頻邊緣圖像可以得到高分辨力圖像。如果能夠構(gòu)造出一幅圖像在更大尺度上具有一致相位的高頻信息,就可以重建出比簡(jiǎn)單插值算法具有更多細(xì)節(jié)的高分辨力圖像。假設(shè)低分辨力圖像是由高分辨力圖像經(jīng)過低通濾波加降采樣以后得到的,低分辨力圖像的大小為N ×N 。首先將低分辨力圖像1f 用線性插值法進(jìn)行增采樣得到大尺度(2N ×2N 上01f 的估計(jì)為

7、(101f Z f = (4 式中算子(Z 表示升采樣操作。圖像01f 中的高頻分量為 01010f H f H L = (5 根據(jù)(1式和(2式關(guān)系,上式可寫為0000(H H f H f H H L L L = (6 用G 表示0H 和0H 之間的逆向映射關(guān)系有 00H G H = (7 根據(jù)(2式和(7式,得到高分辨力圖像0f 的估計(jì)為010010H G f H f f +=+= (8 將(4式中的估計(jì)值代入上式,可以得到我們的算法對(duì)高分辨力圖像的估計(jì)為(1110f Z H f Z G f Z f L += (9 我們用線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)0H 和0H 之間的逆向映射關(guān)系G ,便可以得到大尺

8、度上相位- 3 -一致的高頻信息,與插值后的圖像疊加便可得到高分辨力重建圖像。算法實(shí)現(xiàn)過程如圖1所示。 3.具體實(shí)現(xiàn)方法3.1 圖像預(yù)處理由高分辨力圖像降采樣得到低分辨力圖像的方法是:首先將高分辨力圖像沿行和列方向分別進(jìn)行一次低通濾波,以避免抽樣時(shí)產(chǎn)生混頻。濾波后的圖像表示為51283,(3,(61281,(1,(38,(64,(+=y x f y x f y x f y x f y x f y x f LC (10128,3(,3(6128,1(,1(38,(64,(y x f y x f y x f y x f y x f y x f LC LC LC LC LC L +=然后抽取偶數(shù)行和

9、偶數(shù)列,得到低分辨力圖像的大小為原來的1/4。3.2 線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)在線性位移不變系統(tǒng)假設(shè)條件下,我們采用分塊處理的方法來估計(jì)高頻分量,不但可以減小網(wǎng)絡(luò)的規(guī)模,還可以減小所需訓(xùn)練圖像的數(shù)量。圖像子塊的大小必須不小于低通濾波的支撐域。本文中輸入低分辨力圖像中圖像子塊大小為7×7,輸出高分辨力圖像子塊的大小為5×5。低分辨力圖像子塊和高分辨力圖像子塊的中心重合,依次掃過整幅圖像,將子塊中像素按行列方向展開為列矢量,分別得到神經(jīng)網(wǎng)絡(luò)的輸入和輸出矢量,對(duì)應(yīng)的線性神經(jīng)網(wǎng)絡(luò)有49個(gè)輸入,25個(gè)輸出。3.3 高分辨力圖像重建用神經(jīng)網(wǎng)絡(luò)重建高分辨力圖像時(shí),首先將低分辨力圖像插值放大,可

10、以選用任何已有的圖像插值算法,本文中選用雙線性插值算法,然后按式(1(2中方法分離高頻分量。按前述方法將低分辨力高頻分量劃分為圖像子塊作為神經(jīng)網(wǎng)絡(luò)的輸入,輸出為相應(yīng)的理想高頻圖像子塊,拼合為一幅圖像后與升采樣圖像相加即得到高分辨力圖像。4.實(shí)驗(yàn)及結(jié)果分析我們以128×128的lena 、jane 和lily 圖像作為原始的高分辨力圖像對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練。以128×128的cat 和cameraman 圖像作為測(cè)試原圖像。使用一維高斯低通濾波器,截高分辨力高頻 圖1 算法實(shí)現(xiàn)過程- 4 -止頻率為8/,在行列方向進(jìn)行二次低通濾波以分離高頻分量。為了評(píng)價(jià)放大圖像的效果,采用均方

11、差(MSE和平均絕對(duì)差(MAE作為評(píng)價(jià)參數(shù)。=1010210210(N k N l kl N k N l kl kl f f f MSE , =10101010|N k N l kl N k N l kl kl f f f MAE (11MSE 和MAE 的值越小說明重建圖像越接近于原圖像。與傳統(tǒng)雙線性插值方法的比較結(jié)果由表1給出。數(shù)據(jù)表明:本方法能獲得比插值方法更加精確的重建結(jié)果。圖2給出了對(duì)cat 圖的實(shí)驗(yàn)結(jié)果。為了說明頻譜拓展,圖2中還給出了相應(yīng)的頻譜圖。由圖2可以看出,用本文方法獲得的圖像無論是從圖像的主觀視覺銳利度還是頻譜的拓展觀察,增強(qiáng)效果都非常明顯。 表1 與傳統(tǒng)插值方法的比較M

12、SE MAE圖像名稱 雙線性 本文方法 雙線性 本文方法 Lena 0.0401 0.0163 0.1745 0.0935cat 0.0316 0.0108 0.1532 0.0728cameraman 0.0563 0.0405 0.2006 0.1779(a原圖像 (b雙線性插值圖 (c本文方法重建的圖像 (d原圖像頻譜 (e插值圖像頻譜 (f重建圖像頻譜(g 重建圖與原圖頻譜相關(guān)圖 (h 插值圖與原圖頻譜相關(guān)圖圖2 cat 圖實(shí)驗(yàn)結(jié)果- 5 -圖3為一幅實(shí)際紅外圖像。圖4給出分別用雙線性插值法和本文方法對(duì)圖3中虛線框內(nèi)局部圖像(32×32進(jìn)行4倍放大的圖像?？梢钥闯霰疚姆椒ǖ囊?/p>

13、覺效果更佳。 圖3 紅外圖像 5.結(jié)論 本文提出了一種用線性神經(jīng)網(wǎng)絡(luò)重建高分辨力圖像的方法。利用神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力建立低分辨力與高分辨力圖像中高頻分量之間的映射關(guān)系,從而得到更精確更清晰的高分辨力圖像估計(jì)。并且由于高頻分量圖像中沒有低頻信息,因此神經(jīng)網(wǎng)絡(luò)需要學(xué)習(xí)的種類大大減少,使網(wǎng)絡(luò)具有很強(qiáng)的泛化能力,訓(xùn)練時(shí)間縮短。實(shí)驗(yàn)結(jié)果表明,本文方法適用于各類圖像的精確放大,對(duì)紅外圖像也能給出邊緣清晰的結(jié)果。由于采用單層線性神經(jīng)網(wǎng)絡(luò),計(jì)算量很小,易于實(shí)時(shí)實(shí)現(xiàn)。參考文獻(xiàn)1 Schultz R R, Stevenson R L. A Bayesian approach to image expansion f

14、or improved definitionJ. IEEE transimage processing, 1994, 3(3: 233242.2 Russell C H et al. High-resolution image reconstruction from a sequence of rotated and translated frames andits application to an infrared imaging systemJ. Optical engineering, 1998, 37(1: 247260.3 Fred P B, Dr Peter N J D, Dr

15、Derek J B. The Effects of Microscan Operation on Staring Infrared SensorImageryJ. SPIE,1991, 1540: 653664.4 戴天榮, 張立明. 一種改進(jìn)的非線性外推圖像增強(qiáng)算法及在高分辨率圖像重建中的應(yīng)用J. 紅外與毫米波學(xué)報(bào), 2003, 22(3: 197202.Dai tianrong, Zhang liming. An improved image enhancement algorithm by nonlinear extrapolation in frequency space and th

16、e application to high resolution image reconstructionJ. J. Infrared Millim. Waves, 22(3: 197202.5 Plaziac N. Image interpolation using neural networksJ. IEEE Trans image processing, 1999, 8(11:16471651.6 柏森, 張邦禮, 曹長(zhǎng)修. 神經(jīng)網(wǎng)絡(luò)圖象復(fù)原方法的研究進(jìn)展J. 中國(guó)圖象圖形學(xué)報(bào), 2002, 7(11:11051112.Bai sen, Zhang bangli, Cao changxi

17、u. Review of neural network for image restorationJ. Journal of image and graphics, 2002, 7(11: 11051112.7 Binghua Su, Weiqi Jin, Lihong Niu, Guangrong Liu. MLP neural network super-resolution restoration for theundersampled low-resolution imageJ.SPIE, 2002, 4787: 232235.8 Freeman W T, Jones T R, Pas

18、ztor E C. example-based super-resolutionJ. IEEE computer graphics andapplications, 2002, 5665.(a 雙線性插值圖 (b 本文方法重建的圖像 圖4 紅外圖實(shí)驗(yàn)結(jié)果 High Resolution Reconstruction by Neural Network and The Application to Infrared Images Nan ZHANG WeiQi JIN BingHua SU Department of Optical Engineering, School of Informat

19、ion Science and Technology, Beijing institute of technology , Beijing 100081, China 1. Abstract Along with digital image techniques are widely used today, the requests for high resolution images become stringent. Traditional single-frame interpolation techniques can not add new high frequency inform

20、ation to the expanded images, so can not improve resolution in deed. Multiframe-based techniques are effective ways for high resolution image reconstruction, but their computation complexities and the difficulties in achieving image sequences limit their applications. An original method using an artificial neural network is proposed in this paper. Using the inherent merits in neural