第九章 圖像融合及應(yīng)用

第九章圖像融合及應(yīng)用第1頁，課件共81頁，創(chuàng)作于2023年2月第2頁，課件共81頁，創(chuàng)作于2023年2月第3頁，課件共81頁，創(chuàng)作于2023年2月第4頁，課件共81頁，創(chuàng)作于2023年2月第5頁，課件共81頁，創(chuàng)作于2023年2月第6頁，課件共81頁，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價(jià)第7頁，課件共81頁，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價(jià)第8頁，課件共81頁，創(chuàng)作于2023年2月1.什么是信息融合(informationFusion)？

數(shù)據(jù)融合技術(shù)是隨雷達(dá)信息處理及C3I系統(tǒng)的發(fā)展而發(fā)展起來的。它對各種數(shù)據(jù)源進(jìn)行綜合、過濾、相關(guān)、識別和融合，得出戰(zhàn)場態(tài)勢圖、進(jìn)行態(tài)勢威脅與判別，制定出作戰(zhàn)行動方案，供指揮員決策參考。數(shù)據(jù)融合的過程就是各種信息源處理、控制及決策的一體化過程。C3I——Command（指揮），Control（控制）、Communication（通信），intelligence（情報(bào)）。Ｃ3I系統(tǒng)，1953年首先在美國研制和建立，由于其對提高軍隊(duì)指揮效能和作戰(zhàn)能力具有重要作用，因而受到世界各國高度重視。

C4I——C3I+Computers一、信息融合概述第9頁，課件共81頁，創(chuàng)作于2023年2月2.什么是圖像融合？

圖像融合(ImageFusion)是用特定的算法將兩幅或多幅圖像綜合成一幅新的圖像。融合結(jié)果由于能利用兩幅(或多幅)圖像在時(shí)空上的相關(guān)性及信息上的互補(bǔ)性，并使得融合后得到的圖像對場景有更全面、清晰的描述，從而更有利于人眼的識別和機(jī)器的自動探測。圖像傳感器A圖像傳感器B冗余信息互補(bǔ)信息一、信息融合概述第10頁，課件共81頁，創(chuàng)作于2023年2月起源：20世紀(jì)70年代初3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述20世紀(jì)70年代初，美國研究機(jī)構(gòu)發(fā)現(xiàn)，利用計(jì)算機(jī)技術(shù)對多個獨(dú)立的連續(xù)聲納信號進(jìn)行融合后，可以自動檢測出敵方潛艇的位置。這一嘗試使得信息融合作為一門獨(dú)立的技術(shù)首先在軍事應(yīng)用中得到青睞。第11頁，課件共81頁，創(chuàng)作于2023年2月發(fā)展：20世紀(jì)80年代－20世紀(jì)末3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述20世紀(jì)80年代后，對信息融合技術(shù)的研究更加活躍；國際上，關(guān)于信息融合的專著論文等數(shù)量可觀；圖像融合在軍事和民用等諸多領(lǐng)域得到廣泛的應(yīng)用。第12頁，課件共81頁，創(chuàng)作于2023年2月完善：20世紀(jì)末－今3.圖像融合技術(shù)的研究現(xiàn)狀及發(fā)展一、信息融合概述由于其研究領(lǐng)域覆蓋范圍的廣泛性、多傳感器數(shù)據(jù)形式的多樣性以及融合處理的多樣性和復(fù)雜性，信息融合理論至今尚未形成系統(tǒng)的理論框架和有效的通用融合模型和算法。大部分研究工作都是針對特定應(yīng)用領(lǐng)域的問題來展開的。第13頁，課件共81頁，創(chuàng)作于2023年2月國內(nèi)出版物第14頁，課件共81頁，創(chuàng)作于2023年2月參考書第15頁，課件共81頁，創(chuàng)作于2023年2月國內(nèi)出版物[1]覃征等,數(shù)字圖像融合,西安交通大學(xué)出版社,2005年[2]張永生等,天基多源遙感信息融合—理論算法與應(yīng)用系統(tǒng),科學(xué)出版社,2005[3]韓崇昭等,多源信息融合,清華大學(xué)出版社,2006[4]那彥,焦李成等,基于多分辨分析理論的圖像融合方法(研究生系列教材),西安電子科技大學(xué)出版社,2007[5]李振華等,圖像融合—理論與應(yīng)用,高等教育出版社,2007[6]胡良梅等,基于信息融合的圖像理解方法研究,合肥工業(yè)大學(xué)出版社,2007.[7]郭雷,李暉暉等,圖像融合,電子工業(yè)出版社,2008[8]劉衛(wèi)光等,圖像信息融合與識別,電子工業(yè)出版社,2008第16頁，課件共81頁，創(chuàng)作于2023年2月4.圖像融合的應(yīng)用領(lǐng)域一、信息融合概述近年來，圖像融合(ImageFusion)技術(shù)得到迅猛發(fā)展，在遙感探測、安全導(dǎo)航、醫(yī)學(xué)圖像分析、反恐檢查、環(huán)境保護(hù)、交通監(jiān)測、清晰圖像重建、災(zāi)情檢測與預(yù)報(bào)等領(lǐng)域都有著重大的應(yīng)用價(jià)值。第17頁，課件共81頁，創(chuàng)作于2023年2月醫(yī)學(xué)圖像分析：一、信息融合概述第18頁，課件共81頁，創(chuàng)作于2023年2月一、信息融合概述醫(yī)學(xué)圖像分析：PETCTFusedimage第19頁，課件共81頁，創(chuàng)作于2023年2月遙感遙測：一、信息融合概述SpatialSpectral

+panchromatic&highgeometricresolutionmulti-/hyperspectralimage&lowgeometricresolutionmulti-/hyperspectral&highgeometricresolution遙感遙測第20頁，課件共81頁，創(chuàng)作于2023年2月SurveillanceandTargetingNavigationSatellitesGuidance/DetectionSystems一、信息融合概述第21頁，課件共81頁，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價(jià)第22頁，課件共81頁，創(chuàng)作于2023年2月1、不同成像傳感器圖像的融合電視圖像(TV/VisibleImage)紅外/紫外圖像(Infrared/UVImage)合成孔徑雷達(dá)(SyntheticApertureRadar，SAR)超聲圖像(UltrasonicImage)X-RAY,CT,PET核磁共振(Magneticresonanceimaging,MRI)二、圖像融合簡介因此，紅外圖像融合包括與不同成像傳感器圖像的融合，及不同波段的紅外圖像的融合。第23頁，課件共81頁，創(chuàng)作于2023年2月2、圖像融合的層次（或級）①像素（pixels)級融合

——對應(yīng)像素的融合。②特征(Feature)級融合

——對應(yīng)特征的融合③決策(decision-making)級融合

——在①、②級基礎(chǔ)上，通過分類、識別和綜合評價(jià)，進(jìn)行的最后決策。二、圖像融合簡介第24頁，課件共81頁，創(chuàng)作于2023年2月像素級融合決策級融合特征級融合二、圖像融合簡介第25頁，課件共81頁，創(chuàng)作于2023年2月可見光圖像遠(yuǎn)紅外圖像融合結(jié)果一融合結(jié)果二二、圖像融合簡介第26頁，課件共81頁，創(chuàng)作于2023年2月可見光圖像紅外圖像融合結(jié)果一融合結(jié)果二二、圖像融合簡介第27頁，課件共81頁，創(chuàng)作于2023年2月FocusonrightpartFocusonleftpartImagetakenusingautofocusfunctionFusedimage二、圖像融合簡介第28頁，課件共81頁，創(chuàng)作于2023年2月3、圖像融合的基本流程圖像預(yù)處理二、圖像融合簡介第29頁，課件共81頁，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價(jià)第30頁，課件共81頁，創(chuàng)作于2023年2月IRMMWRADARSATIRSMRT2CTPETMRT1Multi-modalityRegistrationExamples第31頁，課件共81頁，創(chuàng)作于2023年2月2圖像配準(zhǔn)簡介

圖像配準(zhǔn)是是像素級圖像融合的先決條件，從不同探測器、不同時(shí)間、不同角度所獲得的兩幅或多幅圖像在空間上的最佳匹配。其中一幅是參考圖像數(shù)據(jù)，其它圖像作為待配準(zhǔn)圖像與之匹配。

圖1待配準(zhǔn)圖像圖2參考圖像三、圖像配準(zhǔn)(ImageRegistration)第32頁，課件共81頁，創(chuàng)作于2023年2月三、圖像配準(zhǔn)配準(zhǔn)原理圖1與圖2之間存在一個縮放、旋轉(zhuǎn)、平移的關(guān)系，圖像配準(zhǔn)的目標(biāo)就是找到這三種變換的對應(yīng)關(guān)系。即：其中g(shù)表示二維空間坐標(biāo)變換。配準(zhǔn)的目的就是要找出最佳坐標(biāo)，灰度變換參數(shù)。第33頁，課件共81頁，創(chuàng)作于2023年2月Figure3:FeatureDetectionFigure4:FeatureMatching(ImagesadaptedfromZitova,2003)ImageRegistration第34頁，課件共81頁，創(chuàng)作于2023年2月ImageRegistrationFigure5:TransformationModelEstimationFigure6:ImageResamplingandTransformation(ImagesadaptedfromZitova,2003)第35頁，課件共81頁，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

搜索空間是待配準(zhǔn)的圖像坐標(biāo)之間所有可能的變換關(guān)系。例如：剛體變換仿射變換投影變換非線性變換等三、圖像配準(zhǔn)第36頁，課件共81頁，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

三、圖像配準(zhǔn)

從待配準(zhǔn)的圖像中提取出來用于匹配的特征，包括邊緣、輪廓、面目標(biāo)拐角、曲線上的交叉點(diǎn)和高曲率的點(diǎn)等地物特征以及人工選取的配準(zhǔn)控制點(diǎn)等外部特征。

第37頁，課件共81頁，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

在搜索空間尋找最佳的變換模型參數(shù)的過程中所采用的方法。

三、圖像配準(zhǔn)第38頁，課件共81頁，創(chuàng)作于2023年2月配準(zhǔn)步驟圖像配準(zhǔn)的過程也就是“確定空間變換模型——求解變換模型參數(shù)”的過程。

1.搜索空間2.特征空間

3.搜索策略

4.相似性度量

衡量搜索空間中不同的參數(shù)變換模型的優(yōu)異程度。

三、圖像配準(zhǔn)第39頁，課件共81頁，創(chuàng)作于2023年2月圖像幾何變換

對圖像進(jìn)行重新采樣和插值

配準(zhǔn)實(shí)例待匹配圖像

參考圖像匹配圖像

與參考圖像的疊加效果三、圖像配準(zhǔn)第40頁，課件共81頁，創(chuàng)作于2023年2月通過相關(guān)判據(jù)求出匹配點(diǎn)求解仿射變換參數(shù)

特征點(diǎn)匹配點(diǎn)三、圖像配準(zhǔn)第41頁，課件共81頁，創(chuàng)作于2023年2月(c)OriginalimagesResultsExample1第42頁，課件共81頁，創(chuàng)作于2023年2月OriginalimagesResultsExample2第43頁，課件共81頁，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價(jià)第44頁，課件共81頁，創(chuàng)作于2023年2月簡單組合式圖像融合方法邏輯濾波器法數(shù)學(xué)形態(tài)法圖像代數(shù)法空間域融合方法HIS變換PCA變換高通濾波法(HPF)塔式分解法變換域融合方法小波變換法四、圖像融合方法常用的融合方法第45頁，課件共81頁，創(chuàng)作于2023年2月四、圖像融合方法1、空間域融合方法常見的融合規(guī)則：對應(yīng)像素取最大值對應(yīng)像素取最小值對應(yīng)像素取平均值加權(quán)平均法邏輯運(yùn)算第46頁，課件共81頁，創(chuàng)作于2023年2月簡單組合融合（取小）融合實(shí)例第47頁，課件共81頁，創(chuàng)作于2023年2月對應(yīng)像素取平均融合實(shí)例第48頁，課件共81頁，創(chuàng)作于2023年2月對應(yīng)像素加權(quán)平均融合實(shí)例第49頁，課件共81頁，創(chuàng)作于2023年2月

RGB-IHS變換法。

Brovery變換法。四、圖像融合方法2、顏色空間變換法IHS(Intensity，Hue，Saturation)

第50頁，課件共81頁，創(chuàng)作于2023年2月四、圖像融合方法(1)RGB-IHS變換法

IRBG

IHS柱形空間對任何3個[0,1]范圍內(nèi)的R、G、B值都可以用下面的公式轉(zhuǎn)換到對應(yīng)IHS模型中的I、H、S分量：

第51頁，課件共81頁，創(chuàng)作于2023年2月（5）RGB-IHS變換法

RGB

R’G’B’

HIp’S

彩色合成

HISIHS變換Ip’代替I

IHS逆變換高空間分辨率全色影像P代替I分量。逆變換過程中可有不同的變換模式,HIS變換過程也有多種模式,因此該方法有多種模型。四、圖像融合方法(1)RGB-IHS變換法

第52頁，課件共81頁，創(chuàng)作于2023年2月(2)Brovery變換法Brovery變換是一種顏色歸一化變換方法，它將RGB影像進(jìn)行多光譜波段顏色歸一化，并將高分辨率全色影像與各個波段灰度值分別相乘得到融合影像。融合后的第i個波段影像的灰度值原波段影像的灰度值高分辨率影像的灰度值四、圖像融合方法第53頁，課件共81頁，創(chuàng)作于2023年2月

四、圖像融合方法3、小波變換法

首先，將已經(jīng)配準(zhǔn)后的兩幅（或多幅）圖像分別進(jìn)行小波變換，分解為小波系數(shù)；然后，將其對應(yīng)的小波系數(shù)依據(jù)一定的準(zhǔn)則進(jìn)行融合，最后，將融合的系數(shù)進(jìn)行逆變換，進(jìn)行圖像重構(gòu)，即可獲得融合后的圖像。該方法充分利用了小波分解的多尺度、多分辨特性。第54頁，課件共81頁，創(chuàng)作于2023年2月低頻四、圖像融合方法小波變換示意圖第55頁，課件共81頁，創(chuàng)作于2023年2月WaveletTransform小波變換示意圖第56頁，課件共81頁，創(chuàng)作于2023年2月四、圖像融合方法

小波1級及2級分解圖示第57頁，課件共81頁，創(chuàng)作于2023年2月小波變換圖像融合流程四、圖像融合方法第58頁，課件共81頁，創(chuàng)作于2023年2月融合規(guī)則

多數(shù)融合算法都是基于這樣的假設(shè)，即圖像中的特征都表現(xiàn)在小波系數(shù)絕對值大的地方，因此出現(xiàn)了一些基本規(guī)則：四、圖像融合方法取最大值加權(quán)平均法

方差協(xié)方差準(zhǔn)則

梯度準(zhǔn)則局部能量法第59頁，課件共81頁，創(chuàng)作于2023年2月小波變換圖像融合Malab代碼四、圖像融合方法[X,map]=imread('E:\Fusion_img\TV_002.bmp');X1=X;map1=map;subplot(2,2,1);image(X1);colormap(map1);title('電視圖像');[X,map]=imread('E:\Fusion_img\IR_002.bmp');X2=X;map2=map;subplot(2,2,2);image(X2);colormap(map2);title('紅外圖像');[c1,l1]=wavedec2(X1,1,'sym4');[c2,l2]=wavedec2(X2,1,'sym4');c=0.5*(1.2*c1+0.8*c2);XX=waverec2(c,l1,'sym4');subplot(2,2,3);image(XX);title('融合結(jié)果一');Csize1=size(c1);fori=1:Csize1c1(i)=0.8*c1(i);endCsize2=size(c2);forj=1:Csize2c2(j)=1.2*c2(j);endc=0.6*(c1+c2);XXX=waverec2(c,l2,'sym4');subplot(2,2,4);image(XXX);title('融合結(jié)果二');第60頁，課件共81頁，創(chuàng)作于2023年2月小波單尺度分解融合舉例四、圖像融合方法第61頁，課件共81頁，創(chuàng)作于2023年2月PanchromaticImageMultispectralImageRGBBasis:IHStransformandfilteringintheFourierdomain.FFTFourier

SpectrumFFTFourier

SpectrumHPFPanHPLPFILPIHSR‘G‘B‘IHS-1ILP+PanHPHSFFT-14、EhlersFusion四、圖像融合方法第62頁，課件共81頁，創(chuàng)作于2023年2月OriginalpanchromaticimagePanchromaticSpectrum四、圖像融合方法4、EhlersFusion第63頁，課件共81頁，創(chuàng)作于2023年2月|F(u)|Cut-offFrequencyfnFilteredPanchromaticSpectrumFiltersettingeffects第64頁，課件共81頁，創(chuàng)作于2023年2月FilteredpanchromaticimageFusedimageEffectsinthespatialdomain第65頁，課件共81頁，創(chuàng)作于2023年2月FilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffects第66頁，課件共81頁，創(chuàng)作于2023年2月FilteredpanchromaticimageFusedimageEffectsinthespatialdomain第67頁，課件共81頁，創(chuàng)作于2023年2月FilteredPanchromaticSpectrum|F(u)|Cut-offFrequencyfnFiltersettingeffects第68頁，課件共81頁，創(chuàng)作于2023年2月FilteredpanchromaticimageFusedimageEffectsinthespatialdomain第69頁，課件共81頁，創(chuàng)作于2023年2月主要內(nèi)容信息融合概述圖像融合簡介圖像配準(zhǔn)方法圖像融合方法融合效果評價(jià)第70頁，課件共81頁，創(chuàng)作于2023年2月五、融合效果評價(jià)經(jīng)過各種方法融合后的圖像質(zhì)量，需要客觀的評價(jià)，評價(jià)方法大致可以分為：主觀評價(jià)定量評價(jià)

依靠人的主觀感覺對融合圖像效果進(jìn)行評價(jià)。由于受到人的視覺特性、心理狀態(tài)、感興趣目標(biāo)不同等因素的影響，采用主觀評價(jià)方法對圖像融合效果進(jìn)行客觀的評價(jià)十分困難。

第71頁，課件共81頁，創(chuàng)作于2023年2月五、融合效果評價(jià)經(jīng)過各種方法融合后的圖像質(zhì)量，需要客觀的評價(jià)，評價(jià)方法大致可以分為：主觀評價(jià)定量評價(jià)

定量評價(jià)可以對圖像融合質(zhì)量進(jìn)行客觀定量的分析，通過不同的評價(jià)指標(biāo)來區(qū)分融合結(jié)果的優(yōu)劣。第72頁，課件共81頁，創(chuàng)作于2023年2月其中：五、融合效果評價(jià)一般定量評價(jià)采用的指標(biāo)：1、熵：2、交叉熵：3、交互信息量：4、空間頻率：第73頁，課件共81頁，創(chuàng)作于2023年2月圖像融合實(shí)例

——不同小波，采用能量法：(a)可見光圖像(b)紅外圖像

五、融合效果評價(jià)第74頁，課件共81