圖像融合的方法研究

1、東 北 大 學研 究 生 考 試 試 卷評分考試科目： 現代信號處理理論和方法 課程編號： 閱 卷 人： 考試日期： 2011年11月24日 姓 名： 朱學歡 學 號： 1101139 注 意 事 項1考 前 研 究 生 將 上 述 項 目 填 寫 清 楚2字 跡 要 清 楚，保 持 卷 面 清 潔3交 卷 時 請 將 本 試 卷 和 題 簽 一 起 上 交東北大學研究生院基于MATLAB的圖像融合方法姓名：朱學歡 學號：1101139 一、圖像融合算法數字圖像融合（Digital Image Fusion）是以圖像為主要研究內容的數據融合技術，是把多個不同模式的圖像傳感器獲得的同一場景的多幅

2、圖像或同一傳感器在不同時刻獲得的同一場景的多幅圖像合成為一幅圖像的過程。由于不同模式的圖像傳感器的成像機理不同，工作電磁波的波長不同，所以不同圖像傳感器獲得的同一場景的多幅圖像之間具有信息的冗余性和互補性，經圖像融合技術得到的合成圖像則可以更全面、更精確地描述所研究的對象。正是由于這一特點，圖像融合技術現已廣泛地應用于軍事、遙感、計算機視覺、醫(yī)學圖像處理等領域中。數字圖像融合是圖像分析的一項重要技術，其目的是將兩幅或多幅圖像拼接起來構成一副整體圖像，以便于統(tǒng)一處理，該技術在數字地圖拼接、全景圖、虛擬現實等領域有著重要應用。雖然Photoshop等圖像處理軟件提供了圖像處理功能，可以通過拖放的方

3、式進行圖像拼接，但由于完全是手工操作，單挑乏味，且精度不高，因此，有必要尋找一種方便可行的圖像融合方法。Matlab具有強大的計算功能和豐富的工具箱函數，例如圖像處理和小波工具箱包含了大多數經典算法，并且它提供了一個非常方便快捷的算法研究平臺，可讓用戶把精力集中在算法而不是編程上，從而能大大提高研究效率。在圖像融合中，參加融合的源圖像是由不同的傳感器或者是同一傳感器在不同時刻得到的，所以在進行融合之前需要對圖像進行配準和一些預處理操作。在本實驗中所提到的參加融合的圖像都是經過了配準了的，圖像融合的過程可以發(fā)生在信息描述的不同層。 1、圖像融合算法的層次分類 圖像融合系統(tǒng)的算法按層次結構劃分可分

4、為信號級、像素級、特征級和決策級。 信號級融合：是指合成一組傳感器信號，目的是提供與原始信號形式相同但品質更高的信號。 像素級圖像融合：是指直接對圖像中像素點進行信息綜合處理的過程，像素級圖像融合的目的是生成一幅包含更多信息、更清晰的圖像。像素級圖像融合屬于較低層次的融合。目前，大部分研究集中在該層次上。像素層圖像融合一般要求原始圖像在空間上精準配準。 特征級圖像融合： 是指從各個傳感器圖像中提取特征信息，并將其進行綜合分析和處理的過程。提取的特征信息應是像素信息的充分表示量或充分統(tǒng)計量，典型的特征信息由邊緣、形狀、輪廓、角、紋理、相似亮度區(qū)域、相似景深區(qū)域等。在進行融合處理時，所關心的主要特

5、征信息的具體形式和內容與多傳感器圖像融合的應用目的場合密切相關。通過特征級圖像融合可以在原始圖像中挖掘相關特征信息、增加特征信息的可信度、排除虛假特征、建立新的復合特征等。特征級圖像融合是中間層次上的融合，為決策級融合做準備。特征級融合對傳感器對準要求不如信號級和像素級要求嚴格，因此圖像傳感器可分布于不同平臺上。特征級融合的優(yōu)點在于可觀的信息壓縮，便于實時處理。由于所提出的特征直接與決策分析有關，因而融合結果能最大限度地給出決策分析所需要的特征信息。目前大多數C4I系統(tǒng)的數據融合研究都是在該層次上展開的。 決策級圖像融合： 是指對每個圖像的特征信息進行分類、識別等處理，形成相應的結果后，進行進

6、一步的融合過程最終的決策結果是全局最優(yōu)決策。決策級融合是一種更高層次的信息融合，其結果將為各種控制或決策提供依據。為此，決策級融合必須結合具體的應用及需求特點，有選擇地利用特征級融合所抽取或測量的有關目標的各類特征信息，才能實現決策級融合的目的，其結果將直接影響最后的決策水平。由于輸入為各種特征信息，而結果為決策描述，因此決策級融合數據量最小，抗干擾能力強。決策級融合的主要優(yōu)點可概括為:通信及傳輸要求低，這是由其數據量少決定的；容錯性高，對于一個或若十個傳感器的數據干擾，可以通過適當的融合方法予以消除；數據要求低，傳感器可以是同質或異質，對傳感器的依賴性和要求降低；分析能力強，能有效反映目標及

7、環(huán)境的信息，滿足不同應用的需要。二、圖像融合的常用方法研究1、加權平均法：最簡單的圖像融合方法是對兩幅源圖像A和B,圖像大小為N1 X N2，經融合后得到的融合圖像為F，那么對A、B兩個源圖像的灰度加權平均融合過程可表示為：F（n1，n2）=1A（n1，n2）+2B（n1，n2）式中：W1+W2=1，W1、W2在不同類的圖像融合當中，通過仿真確定他們的值。當兩幅圖像很相似時，合成圖像就采用兩幅圖的平均值也就是權值分別為0.5和0.5；當兩幅圖像差異很大是，就選擇最顯著的那一幅圖像，此時的權值為0和1。 加權平均的融合方法具有實現簡單，運行速度快和抑制噪聲的優(yōu)點。但是同時也會抑制源圖像中的某些顯

8、著性特征，因而融合圖像的對比度較低，有可能出現褪色。 可以通過選擇“最優(yōu)”權值消除這些缺點。主成分分析方法就是一種尋找使融合圖像F的強度方差最大的權值Wa和Wb的方法。2、HIS融合法 HIS融合法在多傳感器像素級融合方面應用較廣，可以實現不同空間頻率分辨率的圖像之間的幾何信息的疊加。它首先將RGB顏色空間的3個波段的多光譜圖像轉化到HIS空間的3個量，即色調（H），亮度（I）、飽和度（S）。亮度（I）代表空間信息，色調（H）代表光譜信息。然后將高空間分辨率圖像進行對比度拉伸，使它和亮度分量(I)有相同的直方圖；最后用拉伸后的高空間分辨率圖像代替亮度分量(I)，把它同色調(H),飽和度(S)進

9、行HIS逆變換得到融合圖像。例如：一低分辨率三波段圖像與一高分辨率單波段圖象進行融合處理。這種方法將三個波段的低分辨率的數據通過HIS變換轉換到HIS空間，同時將單波段高分辨率圖象進行對比度拉伸以使其灰度的均值與方差和HIS空間中亮度分量圖像一致，然后將拉伸過的高分辨率圖象作為新的亮度分量代入HIS反變換到原始空間中。這樣獲得的高分辨率彩色圖像既具有較高空間分辨率，同時又具有與影像相同的色調和飽和度，有利于目視解譯和計算機識別。3、KL變換融合法 KL變換融合法又稱為主成分分析法。與HIS變換法類似，它將低分辨率的圖象（三個波段或更多）作為輸入分量進行主成分分析，而將高分辨率圖象拉伸使其具有于

10、第一主成分相同的均值和方差，然后用拉伸后的高分辨率影像代替主成分變換的第一分量進行逆變換。高空間分辨率數據與高光譜分辨率數據通過融合得到的新的數據包含了源圖像的高分辨率和高光譜分辨率特征，保留了原圖像的高頻信息。這樣，融合圖像上目標細部特征更加清晰，光譜信息更加豐富。4、高通濾波融合法 高通濾波融合法將高分辨率圖象中的邊緣信息提取出來，加入到低分辨率高光譜圖像中。首先，通過高通濾波器提取高分辨率圖象中的高頻分量，然后將高通濾波結果加入到高光譜分辨率的圖象中，形成高頻特征信息突出的融合影像。5、小波變換融合法、 利用離散的小波變換，將N幅待融合的圖像的每一幅分解成M幅子圖象，然后在每一級上對來自

11、N幅待融合圖像的M幅子圖象進行融合，得到該級的融合圖象。在得到所有M級的融合圖像后，實施逆變換得到融合結果。下面是依據圖像融合的方法的幾個例子，得到的結果分別如下圖所示。clearg_R=0;g_G=0;g_B=0;h_R=0;h_G=0;h_B=0;fenzi_R=0;fenzi_G=0;fenzi_B=0;fenmu_up_R=0;fenmu_up_G=0;fenmu_up_B=0;fenmu_low_R=0;fenmu_low_G=0;fenmu_low_B=0;tableR=;tableG=;tableB=;up=imread(high.jpg); %讀圖像low=imread(low

12、.jpg);figure(1)imshow(up); %讀RGB數值M,N,color=size(up);title(加權-RGB表示的高分辨率圖像);figure(2)imshow(low); title(加權-RGB表示的低分辨率圖像);r=double(up(:,:,1);g=double(up(:,:,2);b=double(up(:,:,3);r_low=double(low(:,:,1);g_low=double(low(:,:,2);b_low=double(low(:,:,3);RGB(:,:,1)=0.5*r+0.5*r_low;RGB(:,:,2)=0.5*g+0.5*g_

13、low;RGB(:,:,3)=0.5*b+0.5*b_low;R=RGB(:,:,1);G=RGB(:,:,2);B=RGB(:,:,3);RGB=uint8(round(RGB); figure(3)imshow(RGB)title(加權-RGB轉化后的圖像); % % 下面是計算平均梯度G % % for ii=1:M-1 for jj=1:N-1 g_R=g_R+sqrt(r(ii+1,jj)-r(ii,jj)2+(r(ii,jj+1)-r(ii,jj)2)/2); g_G=g_G+sqrt(g(ii+1,jj)-g(ii,jj)2+(g(ii,jj+1)-g(ii,jj)2)/2);

14、g_B=g_B+sqrt(b(ii+1,jj)-b(ii,jj)2+(b(ii,jj+1)-b(ii,jj)2)/2); endendfprintf(nn highR的清晰度為:%.4fn highG的清晰度為:%.4fn highG的清晰度為:%.4f,. g_R/(M-1)/(N-1),g_G/(M-1)/(N-1),g_B/(M-1)/(N-1); g_R=0;g_G=0;g_B=0; for ii=1:M-1 for jj=1:N-1 g_R=g_R+sqrt(r_low(ii+1,jj)-r_low(ii,jj)2+(r_low(ii,jj+1)-r_low(ii,jj)2)/2);

15、 g_G=g_G+sqrt(g_low(ii+1,jj)-g_low(ii,jj)2+(g_low(ii,jj+1)-g_low(ii,jj)2)/2); g_B=g_B+sqrt(b_low(ii+1,jj)-b_low(ii,jj)2+(b_low(ii,jj+1)-b_low(ii,jj)2)/2); endendfprintf(nn lowR的清晰度為:%.4fn lowG的清晰度為:%.4fn lowG的清晰度為:%.4f,. g_R/(M-1)/(N-1),g_G/(M-1)/(N-1),g_B/(M-1)/(N-1); g_R=0;g_G=0;g_B=0; for ii=1:M-

16、1 for jj=1:N-1 g_R=g_R+sqrt(R(ii+1,jj)-R(ii,jj)2+(R(ii,jj+1)-R(ii,jj)2)/2); g_G=g_G+sqrt(G(ii+1,jj)-G(ii,jj)2+(G(ii,jj+1)-G(ii,jj)2)/2); g_B=g_B+sqrt(B(ii+1,jj)-B(ii,jj)2+(B(ii,jj+1)-B(ii,jj)2)/2); endendfprintf(nn resultR的清晰度為:%.4fn resultG的清晰度為:%.4fn resultG的清晰度為:%.4f,. g_R/(M-1)/(N-1),g_G/(M-1)/(

17、N-1),g_B/(M-1)/(N-1); clearg_R=0; %r清晰度描述g_G=0; %g清晰度描述g_B=0; %b清晰度描述h_R=0; %熵的描述 h_G=0;h_B=0;u1=zeros(3,1);u2=zeros(3,1);v11=zeros(3,1); %高分辨率RGB值v12=zeros(3,1); %低分辨率RGB值AA=zeros(3,3);BB=zeros(3,3);%AA=1/sqrt(3),1/sqrt(3),1/sqrt(3); 1/sqrt(6),1/sqrt(6),-2/sqrt(6); %RGBIHS正變換矩陣 1/sqrt(2),-1/sqrt(2)

18、,0;%BB=1/sqrt(3),1/sqrt(6),1/sqrt(2); 1/sqrt(3),1/sqrt(6),-1/sqrt(2); %IHS-RGB逆變換矩陣 1/sqrt(3),-2/sqrt(6),0;%RGB_up=imread(high.jpg); %讀圖像RGB_low=imread(low.jpg); figure(1)imshow(RGB_up); title(IHS-RGB表示的高分辨率圖像);figure(2) imshow(RGB_low); title(IHS-RGB表示的低分辨率圖像);M,N,color=size(RGB_up);R_up=RGB_up(:,:,1);G_up=RGB_up(:,:,2);B_up=RGB_up(:,:,3);hang,lie,color=size(RGB_up);for i=1:hang for j=1:lie v11(1)=double(RGB_up(i,j,1); %把函數類型unit8為double型 v11(2)=double(RGB_up(i,j,2); v11(3)=double(RGB_up(i,j,3); v12(1)=double(RGB_low(i,j,1); %把函數類型unit8為double型 v12(2)=double(RGB_low