《多源圖像融合技術(shù)及其遙感應(yīng)用-圖像融合技術(shù)》課件

——圖像融合技術(shù)多源圖像融合技術(shù)及其遙感應(yīng)用圖像融合技術(shù)概述灰度圖像融合技術(shù)彩色圖像融合技術(shù)實(shí)時圖像融合系統(tǒng)遙感圖像融合技術(shù)圖像融合前沿應(yīng)用123456課程內(nèi)容CONTENTS01圖像融合技術(shù)概述圖像融合概念圖像融合(ImageFusion)技術(shù)是多傳感器信息融合（MultisensorDataFusion）領(lǐng)域的重要分支。隨著科學(xué)技術(shù)的發(fā)展，傳感器性能獲得了很大的提高，各種面向復(fù)雜應(yīng)用背景的多傳感器系統(tǒng)大量涌現(xiàn)。在多傳感器系統(tǒng)中，由于信息表現(xiàn)形式的多樣性，信息數(shù)量的巨大性，信息關(guān)系的復(fù)雜性，以及要求信息處理的及時性，都已大大超出了人腦的信息綜合處理能力。如何能夠在保證信息內(nèi)容的真實(shí)性及完整性的同時，迅速有效地從結(jié)構(gòu)多樣復(fù)雜的海量信息資源中捕獲到最感興趣的內(nèi)容已變得尤為重要。常用的圖像傳感器傳感器類型主要特點(diǎn)TV可見光，可獲得豐富的對比度、顏色和形狀信息。微光夜視儀夜視，探測距離一般在800~1000m。紅外（IR）熱像儀晝夜兩用，探測距離一般在幾km~十幾km。成像激光雷達(dá)兼有測距、測速和成像三功能，成像距離3~5km。由于激光束很細(xì)（小于10mm），探測分辨能力強(qiáng)，能夠探測出架空電纜之類的細(xì)小物體。毫米波雷達(dá)全天候特性優(yōu)于TV及IR，抗干擾性能好，分辨率較高。合成孔徑雷達(dá)（SAR）天線尺寸小，成像分辨能力高（地面分辨寬度可達(dá)1~3m），由于微波對土壤和水有一定穿透能力，因此SAR可探測淺層地下和水下目標(biāo)。多光譜/高光譜/超光譜

成像儀多個光譜譜段同時、精確測量目標(biāo)。可用于地形測繪、監(jiān)測和分析等。熱島Theindustry’shighestpointdensitycombineswithunlimitedreturnsfromeachoutboundpulsetoprovideoutstandingcanopydetailforforestrystudies.Highsensitivityallowshighdefinitiononpowerlineinfrastructure,includingthesmalleststructuralelementsandsmall-diametergroundwires,anddoessofromgreaterflyingheightsthanothersensors.多傳感器信息融合從上世紀(jì)70年代起，多傳感器信息融合（又稱多傳感器數(shù)據(jù)融合）作為一門新興的學(xué)科迅速地發(fā)展起來。所謂的信息融合是一種多層次的、多方面的處理過程，這個過程是對多源數(shù)據(jù)進(jìn)行檢測、互聯(lián)、相關(guān)、估計和組合以達(dá)到精確的狀態(tài)估計和身份估計，以及完整、及時的態(tài)勢評估和威脅估計。（Waltz和Llinas，1995）信息融合的特點(diǎn)信息融合技術(shù)的優(yōu)點(diǎn)體現(xiàn)在：能獲得更準(zhǔn)確、更及時、低成本的信息和僅靠單一傳感器無法獲得的新信息。多傳感器信息有冗余、互補(bǔ)等特點(diǎn)，通過信息融合可帶來：擴(kuò)大時空覆蓋范圍增加信息維數(shù)增大電磁譜的偵察范圍提高探測率提高精度增大置信度提高空間分辨力提高系統(tǒng)可靠性等由于可以通過低成本的多個傳感器協(xié)調(diào)完成任務(wù)來替代高成本的高精度高性能的傳感器，從而有可能實(shí)現(xiàn)系統(tǒng)的相對低成本與高性價比。AB冗余信息互補(bǔ)信息互補(bǔ)信息圖像融合技術(shù)所謂圖像融合技術(shù)，就是指將多源信道所采集的關(guān)于同一目標(biāo)的圖像經(jīng)過一定的圖像處理，提取各自信道的信息，最后綜合成統(tǒng)一圖像或綜合圖像特征以供觀察或進(jìn)一步處理。圖像融合技術(shù)的優(yōu)點(diǎn)提高系統(tǒng)探測性能提高系統(tǒng)自動化程度降低系統(tǒng)相對成本提高指揮決策的正確性和可靠性圖像融合技術(shù)應(yīng)用軍用領(lǐng)域偵察、探測、識別、跟蹤及制導(dǎo)系統(tǒng)中：采用圖像融合技術(shù)可使現(xiàn)代軍事偵察手段發(fā)生革命性變化，將多個圖像傳感器得到的信息資源得以最大限度的發(fā)揮。民用領(lǐng)域機(jī)器視覺：是克服目前某些技術(shù)難點(diǎn)的突破方向。航空航天遙感：各種遙感器所獲得的大量光譜遙感圖像（其中分辨力差別、灰度等級差別可能很大）的融合與分析，為信息的高效提取提供了良好的處理手段。醫(yī)學(xué)成像：輔助疾病診斷和病灶定位。生產(chǎn)過程控制：產(chǎn)品巡檢、智能機(jī)器人控制。圖像融合技術(shù)分類像素級融合：在嚴(yán)格配準(zhǔn)的條件下，直接使用來自各個傳感器的信息進(jìn)行像素與像素關(guān)聯(lián)的融合方法，達(dá)到疊加不同信道圖像的特征或提高融合圖像的質(zhì)量的目的，用來提高信號的靈敏度與信噪比，以利于特征提取。特征級融合：在像素級融合的基礎(chǔ)上，使用參數(shù)模板、統(tǒng)計分析、模式相關(guān)等方法進(jìn)行幾何關(guān)聯(lián)、目標(biāo)識別、特征提取的融合方法，用以排除虛假特征，以利于系統(tǒng)判決。決策級融合：基于認(rèn)知模型的方法，模擬人在識別分析推理的思維過程，采用人工智能的處理方法來進(jìn)行融合處理。關(guān)聯(lián)各傳感器提供的判決，以增加識別的置信度。圖像融合技術(shù)分類

像素級融合特征級融合決策級融合信息種類多維（圖像）特征判決的符號信息的表征層次低到中中高信息模型具有多維特性的隨機(jī)過程非不變量；各方面的特征包括：幾何方式、方向、位置等。不確定度量的符號配準(zhǔn)要求時間中中低空間髙中低配準(zhǔn)方法時間同步同步若需要，歸類符號的時間特性。空間傳感器對準(zhǔn)共同光學(xué)系統(tǒng)幾何交換若需要，歸類符號的空間特性。融合方法圖像估計或像素特性合成。幾何、時間上關(guān)聯(lián)；特征特性的合成。邏輯或統(tǒng)計推理融合的作用提高人眼對環(huán)境的識別能力；提高圖像處理的質(zhì)量。提高特征的度量精度；提供新特征。提高（認(rèn)識）概率的置信度。雙傳感器圖像融合功能模型一個完整的融合系統(tǒng)接收到的最初信息是像素級信息。融合的策略一般從低到高。先對同一層次上的信息進(jìn)行融合處理，獲得可供更高層次進(jìn)行融合處理的信息后，再將信息匯入相應(yīng)的高層次融合級進(jìn)行下一級融合。像素級融合的研究意義當(dāng)前，大多數(shù)的圖像融合系統(tǒng)均是輔助人眼觀察以進(jìn)行目標(biāo)探測、識別的像素級融合設(shè)備。圖像本身的可視性，像素級融合具有濃厚的圖像處理色彩。融合后圖像的易接受性也要求圖像融合的輸出結(jié)果應(yīng)需還原到像素級上，這也使得某些已具備特征級融合架構(gòu)的融合算法（如金字塔法）仍被認(rèn)為是像素級的，并帶來了算法的復(fù)雜化。由于缺乏對多信道的原始數(shù)據(jù)所包含的特性進(jìn)行一致性檢驗(yàn)的有效手段，像素級上的合成具有較大的盲目性，因此，信息融合原則上不贊成在像素級直接進(jìn)行。像素級圖像融合的應(yīng)用（遙感）提高分辨力具有立體成像能力突出感興趣區(qū)域提高分類效果彌補(bǔ)某一路傳感器成像缺陷(a)Landsat衛(wèi)星圖像

(b)Spot衛(wèi)星圖像

(c)融合結(jié)果圖像偽彩色融合多光譜圖像的彩色編碼以近紅外代替紅色進(jìn)行合成，有效區(qū)分了生物區(qū)域與人造目標(biāo)。(a)CT圖像(b)PET圖像(c)融合結(jié)果圖像像素級圖像融合的應(yīng)用（醫(yī)學(xué)）利用不同成像診斷設(shè)備聯(lián)合進(jìn)行病灶的精確定位計算機(jī)輔助手術(shù)臨床懷疑坐骨內(nèi)生軟骨瘤診斷（紅十字線為病灶定位）利用不同成像診斷設(shè)備聯(lián)合進(jìn)行病灶的精確定位計算機(jī)輔助手術(shù)(a)NMR圖像(b)SPECT圖像(c)融合結(jié)果圖像像素級圖像融合的應(yīng)用（醫(yī)學(xué)）數(shù)字減影成像像素級圖像融合的應(yīng)用（醫(yī)學(xué)）改善曝光時間對成像質(zhì)量的影響(a)曝光不足圖像(b)曝光過度圖像(c)融合結(jié)果圖像像素級圖像融合的應(yīng)用（數(shù)碼成像）高動態(tài)范圍圖像合成像素級圖像融合的應(yīng)用（數(shù)碼成像）DynamicrangesofcommondevicesDeviceStopsContrastLCD9.5700:1(250:1–1750:1)Negativefilm(KodakVISION3)138192:1Humaneye10–141024:1–16384:1DSLRcamera(NikonD800)14.421744:1多聚焦圖像可提高像質(zhì)和分辨力(a)聚焦于前面鐘表的圖像

(b)聚焦于中間磁盤盒的圖像(d)融合結(jié)果圖像(c)聚焦于后面人員的圖像像素級圖像融合的應(yīng)用（數(shù)碼成像）多聚焦圖像可進(jìn)行3D重建像素級圖像融合的應(yīng)用（顯微成像）違禁品檢查暗藏槍支檢查輔助導(dǎo)航(a)可見光成像結(jié)果

(b)毫米波(MMW)成像結(jié)果(c)融合結(jié)果圖像

像素級圖像融合的應(yīng)用（安檢）像素級圖像融合的應(yīng)用（安檢）可見光彩色圖像紅外圖像融合圖像像素級圖像融合的應(yīng)用（安檢）海天目標(biāo)探測、識別與與跟蹤偽裝識別戰(zhàn)場監(jiān)視(a)可見光圖像

(b)熱紅外圖像

(c)灰度融合圖像

(d)偽彩色融合圖像

像素級圖像融合的應(yīng)用（軍事）像素級圖像融合的應(yīng)用（立體視覺）像素級圖像融合的應(yīng)用（立體視覺）thelastpicturethatSpiritsenthome像素級圖像融合的基本過程預(yù)處理預(yù)處理可見光圖像紅外圖像融合圖像圖像配準(zhǔn)融合融合參考圖像融合中需解決的問題圖像預(yù)處理圖像配準(zhǔn)圖像空間分辨力的匹配幀頻同步非光學(xué)圖像的融合融合信息的闡述融合效果的客觀評價規(guī)則圖像預(yù)處理技術(shù)由于成像系統(tǒng)的使用環(huán)境不同，傳感器的信噪比不同，光學(xué)系統(tǒng)不同，圖像質(zhì)量也不同。圖像預(yù)處理是為了減少原始圖像中的噪聲和其它贗像的影響，技術(shù)關(guān)鍵是圖像去噪。同時兼顧濾除高斯噪聲和脈沖噪聲的效果，在濾除噪聲的同時要較好地保留邊緣等細(xì)節(jié)信息。圖像配準(zhǔn)概念圖像配準(zhǔn)（ImageRegistration）：是將兩幅圖像的一對一的映射（或者說變換）過程，即將兩幅圖像中對應(yīng)于空間同一位置的點(diǎn)對應(yīng)起來。根據(jù)實(shí)際情況可以做剛體變換，也可以是較復(fù)雜的彈性變換。圖像配準(zhǔn)的關(guān)鍵問題是圖像之間的空間變換或幾何變換。圖像配準(zhǔn)是像素級圖像融合的前提。圖像配準(zhǔn)的數(shù)學(xué)形式圖像配準(zhǔn)可描述為兩（相鄰）圖像之間的空間變換與灰度變換數(shù)學(xué)形式表示

——待配準(zhǔn)圖像和參考圖像——二維空間坐標(biāo)變換——一維灰度變換一般地，空間變換和灰度變換是非線性變換。圖像配準(zhǔn)的基本條件是相鄰圖像之間有一部分在邏輯上是相同的比如：這是對應(yīng)于同一物體同一位置的兩幅圖像。這兩幅圖有兩點(diǎn)明顯的不同，第一是方向上有差異，第二是形狀上少了一部分。我們可以認(rèn)為它們由不同的成像設(shè)備得到（少的那部分代表兩種成像設(shè)備成像模式的差異），也可以認(rèn)為它們來自同一個成像設(shè)備（如手術(shù)前和手術(shù)后，少的那部分代表病變組織），但它們都有著共同的成分。圖像配準(zhǔn)的數(shù)學(xué)形式圖像配準(zhǔn)過程我們這里解決的“空間配準(zhǔn)”問題是指圖像傳感器相對位置保持不變、光學(xué)系統(tǒng)光軸保持平行時、視場不變的“對準(zhǔn)”（Alignment），原則上經(jīng)過一次標(biāo)定好配準(zhǔn)參數(shù)后，只要光學(xué)系統(tǒng)的參數(shù)不變，對待配準(zhǔn)通道圖像進(jìn)行空間變換和灰度變換即可完成圖像的配準(zhǔn)過程。圖像對準(zhǔn)常用的空間變換平移（Translation）旋轉(zhuǎn)/拉伸/平移（Rotation/Scale

/Translation）仿射（Affine）投影（Projective）ComplexTransformationsGlobalPolynomialTransformation(splines)前向映射后向映射圖像的重采樣待配準(zhǔn)圖像I1(x,y)經(jīng)過空間變換后，其原像不一定是整數(shù)的網(wǎng)格，所謂重采樣就是利用待配準(zhǔn)圖像與幾何變換的逆變換T-1座標(biāo)最臨近的像素點(diǎn)的灰度，使用插值逼近的變換G獲得T(x,y)的灰度，得到最終的配準(zhǔn)圖像I2(i,j)。幾何變換T幾何逆變換T-1圖像的重采樣常用的插值算法包括

設(shè)對待配準(zhǔn)圖像g(x,y)進(jìn)行空間變換T:(x,y)→(i,j)得到圖像gT(i,j)，如果變換可逆T-1：(i,j)→(x,y)，則最近鄰域法（計算速度快，但幾何精度較差。）雙線性插值法（精度較好，但會造成分辨率下降。）其中圖像的重采樣雙三次卷積（誤差可以為雙線性插值的1/3，較好地保留了圖像細(xì)節(jié)，但計算過于復(fù)雜），設(shè)則雙三次卷積法的計算式為其中x方向y方向5423421563521241最近鄰點(diǎn)插值5423421563521241雙線性插值5423421563521241雙三次插值BilinearInterpolationCubicConvolution遙感圖像配準(zhǔn)意義地理坐標(biāo)尋址（地理編碼）多源數(shù)據(jù)融合方案圖像→地圖←圖像圖像?圖像地圖?圖像配準(zhǔn)圖像?圖像配準(zhǔn)基于控制點(diǎn)的幾何配準(zhǔn)坐標(biāo)的空間變換（空間插值）灰度級內(nèi)插（亮度插值，重采樣。）后向映射空間變換方法仿射變換模型簡單多項(xiàng)式變換直觀，控制點(diǎn)數(shù)量與多項(xiàng)式階數(shù)相關(guān)。三角網(wǎng)格變換可以在不同的局部區(qū)域，應(yīng)用不同的多項(xiàng)式。仿射變換幾何變換的類型：剛性變換（Rigid）：包括平移和旋轉(zhuǎn)。仿射變換（Affine）：將平行線變換為平行線。投影變換（Projection）：將直線映射為直線。曲線變換（curve）：將直線映射為曲線。圖像的配準(zhǔn)利用映射函數(shù)進(jìn)行圖像配準(zhǔn)地圖

–圖像利用映射多項(xiàng)式進(jìn)行圖像配準(zhǔn)精確形式難以獲得→用多項(xiàng)式替代如二階：如何估計多項(xiàng)式的系數(shù)？地面控制點(diǎn)(GCPs)紅色曲線是龍格函數(shù)，藍(lán)色曲線是5階多項(xiàng)式，綠色曲線是9階多項(xiàng)式。隨著階次的增加，誤差逐漸變大局部三角網(wǎng)格變換在圖像變化較大、失真扭曲復(fù)雜、特征點(diǎn)多的區(qū)域，三角網(wǎng)密集，能很好地配準(zhǔn)失真細(xì)節(jié)變化。而在圖像內(nèi)容簡單、失真扭曲小的區(qū)域，特征點(diǎn)少，三角網(wǎng)稀疏，不會造成大量的冗余數(shù)據(jù)，也不會無謂地增加計算量。三角網(wǎng)格變換Delaunay三角剖分（Delaunaytriangulation）對平面有限點(diǎn)集P的三角剖分DT，P中的點(diǎn)不在任意一個DT三角形外接圓里。它滿足兩個重要準(zhǔn)則三角網(wǎng)格變換Delaunay三角剖分——準(zhǔn)則1空圓特性。Delaunay三角網(wǎng)是唯一的（任意四點(diǎn)不能共圓），在Delaunay三角形網(wǎng)中任一三角形的外接圓范圍內(nèi)不會有其它點(diǎn)存在。三角網(wǎng)格變換Delaunay三角剖分——準(zhǔn)則2最大化最小角特性。在散點(diǎn)集可能形成的三角剖分中，Delaunay三角剖分所形成的三角形的最小角最大。

ABCDABCD三角網(wǎng)格變換Delaunay三角剖分——優(yōu)異的性質(zhì)：最接近的點(diǎn)形成三角形。唯一性，無論何種算法，最后得到的Delaunay三角剖分是唯一的。最規(guī)則，由最大化最小角特性可以推出，Delaunay三角網(wǎng)是“最接近于規(guī)則化的”的三角網(wǎng)。所有三角形并集為點(diǎn)集的凸包。（這個所有剖分都是）三角網(wǎng)格變換Delaunay邊假設(shè)E中的一條邊e（其端點(diǎn)為a,b），若e滿足條件：存在一個圓經(jīng)過a,b兩點(diǎn)，圓內(nèi)不含點(diǎn)集中任何其他的點(diǎn)，這一特性又稱空圓特性，則稱之為Delaunay邊。Delaunay三角剖分如果點(diǎn)集的一個三角剖分只包含Delaunay邊，那么該三角剖分稱為Delaunay三角剖分?？刂泣c(diǎn)的選擇手工選擇GCPs(thesameasImagetoMap)自動算法直接從像素值中提取從頻域提?。ɑ贔FT）利用如邊緣、角點(diǎn)等低級特征利用高級特征，如識別出的物體、特征間的關(guān)系等控制點(diǎn)的選擇數(shù)量位置分布在圖像邊緣覆蓋整個圖像曲線擬合類比高階外推的不良影響從圖主圖GCP分散GCP集中三階多項(xiàng)式雙三次插值一階多項(xiàng)式雙三次插值地圖原圖配準(zhǔn)圖LandsatMSS圖像悉尼11個控制點(diǎn)二階映射多項(xiàng)式雙三次插值GCPImagepixelImagelineMapeastingactualMapeastingestimateMapeastingresidualMapnorthingactualMapnorthingestimateMapnorthingresidualI19091473432279432230.149.4836471836410.160.7219501625431288431418.0-130.1822844822901.4-56.9319511747428981428867.9112.6812515812418.296.8419591851427164427196.9-33.2803313803359.4-46.7517971847417151417170.3-18.9805816805759.357.1614961862397860397871.6-11.2808128808187.2-59.6715551705404964404925.838.6821084820962.6121.6815991548411149411138.510.5833796833857.3-61.1916751584415057415129.0-72.4829871829851.119.81018291713422019421986.632.7816836816884.5-48.11118231625423530423507.822.0824422824504.8-83.2Standarderrorineasting=55.92mStandarderrorinnorthing=63.06m控制點(diǎn)的提取常見的特征點(diǎn)提取算法有：Harris算子（改進(jìn)后的Shi-Tomasi算法）、Moravec算子、Forstner算子、小波變換算子等。簡單介紹一下最常用的Harris角點(diǎn)檢測算法。角點(diǎn)附近的區(qū)域相比于其他區(qū)域有一個顯著的特點(diǎn)：無論沿著哪一個方向，灰度變化率始終是很大。假設(shè)我們有一個矩形窗口罩在角點(diǎn)附近，將這個窗口沿任意方向移動一小段距離得到一個新的區(qū)域，新、舊區(qū)域?qū)?yīng)點(diǎn)的灰度差值始終很大。相比之下，平滑區(qū)域的變化就很小，而邊緣區(qū)域沿著某些方向變化率大、某些方向變化率小?？刂泣c(diǎn)的提取Harris算法首先定義了一個窗口函數(shù)w(x,y)表示選擇的窗口區(qū)域，w(x,y)表示這個坐標(biāo)所占的權(quán)值。有時用0-1賦值，有時候用高斯濾波減少噪聲影響；定義E(u,v)表示窗口沿著(u,v)方向移動后的梯度變化情況：為了簡化計算，泰勒展開其中Ix,Iy

分別為灰度沿x,y方向的導(dǎo)數(shù)?？刂泣c(diǎn)的提取Harris算法轉(zhuǎn)化為矩陣形式：最后定義一個評價函數(shù)R：其中k是一個控制參數(shù)，λ1,λ2

為M的特征值。當(dāng)R較小時，圖像是平坦的；當(dāng)R<０時，圖像是一個邊緣；當(dāng)R很大時，圖像是一個角點(diǎn)。因此通常會對R設(shè)置一個閾值，大于這個閾值的點(diǎn)可以看做是角點(diǎn)。控制點(diǎn)的提取Harris算法HARRISC,STEPHENSM.

“ACombinedCornerandEdgeDetector”ProceedingsofFourthAlveyVisionConference.1988,147-151.控制點(diǎn)的精確對準(zhǔn)SequentialSimilarityDetectionAlgorithms(SSDA)相關(guān)定位附近搜索簡化相關(guān)計算計算窗口內(nèi)絕對值差之和。改進(jìn)：平均亮度差異很大時，計算窗內(nèi)相對各自均值的差的絕對值。錯誤定位時：改變搜索區(qū)域大小與窗口尺寸。EOimageCompositebeforeAlignmentIRimageCompositeafterAlignment圖A圖B配準(zhǔn)效果CharacteristicsofRegistrationMethodsFeatureSpaceSimilarityMetricsSearchStrategyFeatureSpacesSimilarityMetricsSimilarityMetricAdvantagesNormalized,cross-correlationfunction[Rosenfeld82]accurateforwhitenoisebutnottolerantoflocaldistortions,sharppeakincorrelationspacedifficulttofindCorrelationcoefficient[Svedlow76]similartoabovebuthasabsolutemeasureStatisticalcorrelationandmatchedfil-ters[Pratt78]ifnoisecanbemodeledPhase-correlation[DeCastro87]tolerantoffrequencydependentnoiseSumofabsolutedifferencesofintensity[Barnea72]efficientcomputation,goodforfindingmatcheswithnolocaldistortionsSumofabsolutedifFereaicesofcontoiuis[Barrow77]canbeefficientlycomputedusing“chamfer”matching,morerobustagainstlocaldistortions-notassharplypeakedContour/surfacedifferences[Pelizzari89]forstructuralregistrationNumberofsignchangesinpointwiseintensitydifference[Venot89]goodfordissimilarimagesHigher-levelmetrics:structuralmatching:treeandgraphdistances[Mohr90].Syntacticmatching:automata.[Bunke90]optimizesmatchbasedonfeaturesorrelationsofinterestSearchStrategies02灰度圖像融合技術(shù)基于灰度的圖像融合方法代數(shù)法灰度調(diào)制法高通濾波法……多分辨算法金字塔算法小波變換……在下面的分析中：l多分辨力分析分解的第l級G1,G2,G3,…輸入的序列圖像i,m像素橫坐標(biāo)GV輸入的可見光圖像j,n像素縱坐標(biāo)GI輸入的紅外圖像M圖像行數(shù)GF融合后圖像N圖像列數(shù)

代數(shù)法（加權(quán)平均）加權(quán)平均法的優(yōu)點(diǎn)是簡單直觀，適合實(shí)時處理，但多幅圖像簡單的疊加會使合成圖像的信噪比降低。當(dāng)融合圖像的灰度差異較大時，就會出現(xiàn)明顯的拼接痕跡，不利于人眼識別和后續(xù)的目標(biāo)識別過程?；叶日{(diào)制算法灰度調(diào)制是一種線性處理，采用線性歸一化的手段將圖像進(jìn)行變換一般仍然對兩路圖像中細(xì)節(jié)較多的一路GH進(jìn)行歸一化。然后以歸一化的該路圖像對另一路圖像GL進(jìn)行調(diào)制得到GF。將得到融合圖像重新量化，使之灰度范圍與顯示設(shè)備動態(tài)范圍R相匹配，則得到最后的融合圖像GF*。高通濾波法對于兩幅圖像，利用高通濾波器H計算出細(xì)節(jié)豐富的圖像GHI的高頻部分，與低分辨力圖像GLO相加形成融合圖像。由于圖像的邊緣等細(xì)節(jié)特征都是由高頻信號表示，因此高通濾波器方法可以增強(qiáng)低分辨力圖像的邊緣特征，增強(qiáng)的程度可以通過改變高通濾波器來實(shí)現(xiàn)。幾個常用的3×3高通濾波器多分辨分析多分辨分析（MultiResolutionAnalysis，MRA）的思想是將信號表示為一系列逼近的極限，這一系列逼近的分辨力以一定規(guī)律變化，其定義如下：多分辨融合算法多分辨結(jié)構(gòu)的融合算法（如圖像金字塔和小波等）是當(dāng)前圖像融合算法的主流，其基本思想來自于人眼視覺系統(tǒng)對于局部對比度變化的敏感性，因此可直接將融合圖像作為一種融合多尺度邊緣的描述。多分辨融合能較好地保留圖像的細(xì)節(jié)部分，并具有較好的目視效果。常用的多分辨融合算法有。金字塔算法Laplacian金字塔FSD金字塔Contrast金字塔Gradient金字塔小波算法（圖像的金字塔結(jié)構(gòu)）LN… L2 L1 L0多分辨融合算法近似金字塔Gaussianpyramid殘差預(yù)測金字塔Laplacianpyramid（512×512）Gaussian和Laplacian金字塔（高斯金字塔）（Laplacian金字塔）Laplacian金字塔實(shí)質(zhì)上就是局部亮度差異的分解結(jié)構(gòu)Gaussian金字塔實(shí)質(zhì)上是圖像在較粗分辨力上的逼近多分辨圖像融合算法的實(shí)現(xiàn)流程輸入源圖像；確定分解層數(shù)、低頻融合策略、高頻融合策略等參數(shù)；分別構(gòu)建兩幅圖像的多分辨結(jié)構(gòu)；利用低頻融合策略融合源圖像的低頻部分；利用高頻融合策略融合源圖像的高頻細(xì)節(jié)部分；重構(gòu)圖像，獲得融合圖像。金字塔多分辨結(jié)構(gòu)圖像融合算法融合策略選擇“或“融合策略對于分解后圖像的低頻部分采取加權(quán)平均融合策略。而對于高頻分量采用“或”運(yùn)算進(jìn)行融合。即取兩個源圖像第l級高頻分量中的最大值。該算法簡單，運(yùn)算量小，但對噪聲敏感。

融合策略選擇匹配融合策略分解后圖像的低頻部分依然采取加權(quán)平均融合策略，而對于高頻分量采取區(qū)域特征匹配融合策略。如：選取局部能量為區(qū)域特征。若兩幅圖像的區(qū)域特征匹配，則進(jìn)行加權(quán)平均處理，若不匹配，選擇特征明顯即局部能量大的作為融合后的高頻分量。計算兩幅圖像各級高頻分量的區(qū)域能量。計算兩源圖像第l級的局部區(qū)域匹配度。融合策略選擇確定融合算子：確定匹配度閾值a<1。若MIVl(i,j)>a，則利用加權(quán)平均計算融合圖像。否則選取局部區(qū)域特征更明顯的源圖像作為融合圖像：Gaussian金字塔圖像多分辨結(jié)構(gòu)中的每一級圖像均是前一級圖像低通濾波形成的。（Burt,Adelson，1983）其中r(i),r(j)為對稱濾波器核，二者乘積組成一個Gaussian形式的二維低通濾波器，上式也可寫為。其中*表示卷積，[·]↓2表示“2抽1”的下采樣，用REDUCE表示。Gaussian金字塔對Gaussian金字塔進(jìn)行擴(kuò)展EXPAND。定義EXPAND函數(shù)為REDUCE函數(shù)的逆運(yùn)算，其作用是利用插值在給定的數(shù)值間插補(bǔ)新的樣本值，將Gaussian金字塔結(jié)構(gòu)中某一級圖像擴(kuò)展成其前一級圖像的尺寸大小。（Burt,Adelson，1983）Laplacian金字塔Laplacian金字塔Dl（多分辨力帶通濾波器）是一組帶通濾波圖像序列，定義為Gaussian金字塔中相繼各級低通濾波圖像之差。（L為分解層數(shù)）原始圖像G0可以由Laplacian金字塔精確恢復(fù)。Laplacian金字塔Laplacian金字塔生成近似和預(yù)測殘差金字塔的系統(tǒng)結(jié)構(gòu)

上采樣器下采樣器近似濾波器可選，比如：鄰域平均→平均金字塔低通高斯濾波→高斯金字塔不濾波

→取樣金字塔插值濾波器可選，比如：最近鄰域雙線性雙三次（迭代方式）FSD金字塔FSD（FilterSubtractDecimate）金字塔是一種類似于Laplacian金字塔的多分辨力結(jié)構(gòu)。FSD金字塔的帶通序列圖像Dl定義為。（Anderson,1984）重構(gòu)算法其中[·]↑2表示“1插2”的上采樣Contrast金字塔Contrast金字塔把Gaussian金字塔的Gl內(nèi)插放大，得到放大圖像Gl,1，將其視為Gl的“背景”，故可定義圖像的Contrast金字塔為（Toet,1992） 其中I表示單位灰度圖像重構(gòu)算法

Gradient金字塔Gradient金字塔相比Laplacian金字塔和FSD金字塔的最大優(yōu)點(diǎn)在于分解后的帶通細(xì)節(jié)圖像具有方向性，細(xì)化了圖像性質(zhì)。（Burt,Kolczyski，1993）引入矩陣 其中

表示代表源圖像的第l級第k個方向的分解利用d1、d2、d3、d4，Gradient金字塔可以分解出水平、45°、垂直、135°四個方向上的細(xì)節(jié)圖像。Gradient金字塔第l級細(xì)節(jié)圖像Dl定義為Gradient金字塔的重構(gòu)可以借助FSD金字塔來完成小波分析（WaveletAnalysis）一個L2(R)的信號可以根據(jù)一個確定函數(shù)

的伸縮、平移系展開為一系列的子帶信號

(A.Grossman,1984)L2(R)可表示為關(guān)于一系列子空間WJ的直和分解關(guān)系

1986年，Y.Meyer構(gòu)建出具有一定衰減性的光滑函數(shù)，其二進(jìn)制伸縮與平移系

構(gòu)成L2(R)的規(guī)范正交基=>VJ空間（尺度函數(shù)）=>WJ空間（小波函數(shù)）離散小波變換離散小波變換（DWT）展開系數(shù)規(guī)范小波正交基信號重構(gòu)小波變換許多小波函數(shù)和縮放函數(shù)都是以開發(fā)者名字命名的，例如。Moret小波函數(shù)是Grossmann和Morlet在1984年開發(fā)的db6縮放函數(shù)和db6小波函數(shù)是Daubechies開發(fā)的小波變換——計算過程小波ψ(t)和原始信號f(t)的開始部分進(jìn)行比較。計算系數(shù)C——該部分信號與小波的近似程度；C值越高表示信號與小波相似程度越高。小波右移k得到的小波函數(shù)為ψ(t-k)

，然后重復(fù)步驟1和2，……直到信號結(jié)束。擴(kuò)展小波，如擴(kuò)展一倍，得到的小波函數(shù)為ψ(t/2)

。重復(fù)步驟1~4。小波變換——粗略的解釋小波變換的公式有內(nèi)積形式和卷積形式，兩種形式的實(shí)質(zhì)都是一樣的。它要求的就是一個個小波分量的系數(shù)也就是”權(quán)”。其直觀意義就是首先用一個時窗最窄，頻窗最寬的小波作為尺子去一步步地“量”信號，也就是去比較信號與小波的相似程度。信號局部與小波越相似，則小波變換的值越大，否則越??！當(dāng)一步比較完成后，再將尺子拉長一倍，又去一步步地比較，從而得出一組組數(shù)據(jù)。如此這般循環(huán)，最后得出的就是信號的小波分解（小波級數(shù)）。小波變換系數(shù)的含義小波變換的系數(shù)表示了：小波與處在分析時段內(nèi)的信號的波形近似程度C=0.2247C=0.0102不同的分析時段不同的分析尺度二維小波分解1987年，Mallat巧妙地將計算機(jī)視覺領(lǐng)域內(nèi)的多尺度分析思想引入到小波分析中，提出多分辨力分析概念，提出了相應(yīng)的分解與重構(gòu)快速算法（1988）在圖像的小波分解中每一層圖像被分解為LL（輪廓，

空間），HL（垂直向細(xì)節(jié)，

空間），LH（水平向細(xì)節(jié)，空間）和HH（135?對角線細(xì)節(jié)，

空間）四個頻帶，下一層對LL繼續(xù)分解。圖像的小波分解圖像分解上式中h(·),g(·)為選定的濾波器系數(shù)，h具有低通性質(zhì)，g具有高通性質(zhì)。待分解圖像Gl(i,j)與濾波器進(jìn)行卷積，然后對結(jié)果進(jìn)行下采樣，從而得到Gl、Dl1、Dl2、Dl3，分別代表圖像第l級分解的低頻信息及水平、垂直、對角線方向的高頻信息。圖像的小波重構(gòu)圖像重構(gòu)將分解的圖像Gl、Dl1、Dl2、Dl3與鏡像濾波器h(·),g(·)分別卷積，進(jìn)行行列重構(gòu)，每兩列和兩行重構(gòu)時進(jìn)行補(bǔ)零上采樣。4.小波變換系數(shù)取自H2灰度直方圖近似方向敏感性256×256128×12864×64圖像的小波分解與重構(gòu)原始圖像2層小波分解結(jié)果如：采用的Daubechies(2,2)小波函數(shù)對原始圖像分解?；谛〔ǚ纸獾膱D像融合基本的融合過程MultifocusfusioninwaveletdomaininputchannelswaveletdecompositionsMax-ruleinhighpassfusedwaveletdecompositionfusedimage小波在圖像融合處理中的優(yōu)勢小波變換的完善重建能力，理論上保證了信號在分解過程中沒有任何信息損失和冗余信息。小波變換把圖像分解成逼近圖像和細(xì)節(jié)圖像，分別代表了圖像的不同結(jié)構(gòu)，因此原始圖像的結(jié)構(gòu)和細(xì)節(jié)信息容易提取。小波變換具有快速算法（Mallat算法），基于小波分析的多分辨結(jié)構(gòu)回避了層與層之間的反饋運(yùn)算，計算效率高。小波多分辨結(jié)構(gòu)的分解過程中會自然生成具有方向性的高頻分量，符合人眼視覺對比度感知的方向性，其恒帶通頻率分析的特性與人的感覺過程十分類似。小波具有空間和頻域上的局部性，利用小波變換可以將源圖像分解到一系列頻率通道中，類似于人眼視網(wǎng)膜的處理過程，在多頻率分量、多方向上的融合，可以充分利用源圖像的信息，得到特征更突出、細(xì)節(jié)信息更豐富的融合圖像。小波算法vs.金字塔算法無論金字塔法還是小波變換法，多分辨分解的數(shù)據(jù)結(jié)構(gòu)其內(nèi)在機(jī)理是統(tǒng)一的?；诟咚顾浇Y(jié)構(gòu)的金字塔算法雖然運(yùn)算簡潔，但算法的穩(wěn)定性則相對差些。小波可以選取不同的小波基以改善融合效果，而金字塔結(jié)構(gòu)中高頻成分采用空域差值圖像表征，分解后的多通道多頻信息不具備正交性，不能精確地反映兩不同分辨力圖像的信息差。融合的評價規(guī)則主觀評價由觀察者根據(jù)一些事先規(guī)定的評價尺度或自己的經(jīng)驗(yàn)，對被評價圖像提出質(zhì)量判決。有些情況下，也可提供一組標(biāo)準(zhǔn)圖像作為參考，幫助觀察者對圖像質(zhì)量作出合適的評價。圖像主觀評價的尺度(即評分標(biāo)準(zhǔn))往往要根據(jù)應(yīng)用場合等因素來選擇和制定。對一般人來講多采用質(zhì)量尺度，對專業(yè)人員來講，則多采用防礙尺度。為了保證圖像主觀評價在統(tǒng)計上有意義，參加評價的觀察者應(yīng)足夠多。分?jǐn)?shù)質(zhì)量尺度妨礙程度5分非常好絲毫看不出圖像質(zhì)量變化4分好能看出圖像質(zhì)量變化，但不妨礙觀看。3分一般能清楚的看出圖像質(zhì)量變壞，對觀看稍有妨礙。2分差對觀看有妨礙1分非常差非常嚴(yán)重地妨礙觀看主觀評價尺度表客觀評價利用圖像的統(tǒng)計參數(shù)進(jìn)行判定，主要分2類：反映空間細(xì)節(jié)信息，如方差、信息熵和清晰度。反映光譜信息，如扭曲程度、偏差指數(shù)與相關(guān)系數(shù)。融合的評價規(guī)則均值與標(biāo)準(zhǔn)方差均值反映平均亮度，如果均值適中，則視覺效果良好；方差反映了灰度相對于灰度均值的離散情況，方差越大，灰度級分布越散，圖像中所有灰度級出現(xiàn)概率越趨于相等，包含的信息量越趨于最大。信息熵融合的評價規(guī)則融合的評價規(guī)則熵的大小反應(yīng)了圖像攜帶的信息量的多少。融合圖像的熵值越大，說明融合圖像攜帶的信息量越大。

交叉熵交叉熵反映了融合圖像對原始圖像綜合的信息量的多少。偏差熵偏差熵反映了融合圖像信息量的差異。融合的評價規(guī)則清晰度清晰度反映了融合圖像邊緣的清晰度。偏差指數(shù)

偏差指數(shù)比較融合圖像和原圖像偏離程度。融合效果比較可見光圖像紅外圖像代數(shù)法高通濾波法Laplacian金字塔法FSD金字塔法Contrast金字塔法Gradient金字塔法小波算法融合算法性能對比融合算法性能分析一些參數(shù)原始圖像大小：640×384由于可見光圖像細(xì)節(jié)更豐富，后三種指標(biāo)的值都是融合圖像與可見光圖像相比較得到。上表中1表示“或”融合策略、2表示采用了匹配融合策略。多分辨力融合算法匹配融合策略中。選用了DB(2,2)小波。融合算法性能分析分析結(jié)果可以看出代數(shù)法各指標(biāo)都十分突出。除代數(shù)法外，各融合算法均使融合圖像的平均灰度和方差介于原始圖像的數(shù)值之間，處于較合理范圍。高通濾波法的交叉熵、偏差熵和均方差都是最小的，說明其融合結(jié)果與可見光圖像非常接近，很少包含紅外圖像的信息。幾種金字塔算法和小波算法融合結(jié)果平均亮度近似。Laplacian金字塔算法的熵最大，因此細(xì)節(jié)也最豐富。從交叉熵和偏差熵相關(guān)指標(biāo)來看，對比度金字塔與原始圖像差異較大，而Laplacian金字塔與原始圖像最為接近。05遙感圖像融合效果評價本章內(nèi)容圖像融合效果評價與異源遙感圖像融合基于視覺注意的可見光/紅外圖像融合技術(shù)雙通道紅外圖像融合技術(shù)138圖像融合的評價規(guī)則評價融合圖像的質(zhì)量是圖像融合的一個重要步驟。評價融合效果主要包括定性（主觀）和定量（客觀）評價定性評價一般選用目視法解譯定量評價分為融合圖像的整體質(zhì)量融合圖像與源圖像的關(guān)系評價融合圖像和低分辨率圖像的光譜信息保真度融合圖像與高分辨率圖像的高頻信息保真度（紋理信息）基于參考圖像的融合效果評價圖像融合的評價規(guī)則圖像融合的主觀評價規(guī)則分?jǐn)?shù)MOS質(zhì)量尺度Quality妨礙尺度Impairment5分非常好絲毫看不出圖像質(zhì)量變化4分好能看出圖像質(zhì)量變化，但不妨礙觀看。3分一般能清楚地看出圖像質(zhì)量變壞，對觀看稍有妨礙。2分差對觀看有妨礙1分非常差非常嚴(yán)重地妨礙觀看141國際無線電咨詢委員會制定的CCIR-500五級質(zhì)量評價標(biāo)準(zhǔn)由觀察者根據(jù)一些事先規(guī)定的評價尺度或自己的經(jīng)驗(yàn)，對被評價圖像提出質(zhì)量判決。有些情況下，也可提供一組標(biāo)準(zhǔn)圖像作為參考，幫助觀察者對圖像質(zhì)量作出合適的評價。圖像主觀評價的尺度(即評分標(biāo)準(zhǔn))往往要根據(jù)應(yīng)用場合等因素來選擇和制定。對一般人來講多采用質(zhì)量尺度，對專業(yè)人員來講，則多采用防礙尺度。主觀評價尺度表MeanOpinionScore(MOS)圖像融合的主觀評價規(guī)則為了保證圖像主觀評價在統(tǒng)計上有意義，參加評價的觀察者應(yīng)足夠多。在每個人給出打分后，對分?jǐn)?shù)進(jìn)行計算統(tǒng)計：N

指評價總?cè)藬?shù)，M

指失真類型總數(shù)為了限制評價人員的個人習(xí)慣、數(shù)值度量差異，可以轉(zhuǎn)換為Z-Score。142成功的圖像融合結(jié)果失敗的圖像融合結(jié)果圖像融合的主觀評價規(guī)則優(yōu)秀主觀圖像質(zhì)量標(biāo)準(zhǔn)的特征：(1)足夠?qū)挼馁|(zhì)量覆蓋范圍。

不僅要滿足當(dāng)前的使用要求，而且必須兼顧以后的技術(shù)發(fā)展。(2)恒定性。

一旦標(biāo)準(zhǔn)被建立，就不應(yīng)隨時間變化，盡管標(biāo)準(zhǔn)中的樣本圖像可能需要及時擴(kuò)充和更新，但恒定性對于保證圖像質(zhì)量評價實(shí)驗(yàn)在不同時期的精確重復(fù)非常重要。(3)小的奇異性。

當(dāng)多名圖像分析人員使用同樣的標(biāo)準(zhǔn)對同一幅圖像進(jìn)行評定時，評價的均方誤差越小，標(biāo)準(zhǔn)本身的性能越好，說明任務(wù)的描述清晰準(zhǔn)確，參照物的選擇科學(xué)，樣本圖像的數(shù)量充分且分布合理，易于被圖像分析人員把握。145圖像融合的主觀評價規(guī)則主觀質(zhì)量評價是進(jìn)行遙感圖像質(zhì)量評價常用的方法，并且是檢驗(yàn)客觀評價指標(biāo)是否與人類視覺一致的唯一標(biāo)準(zhǔn)。但是由于主觀評價需要耗費(fèi)大量人力和時間，評價結(jié)果受實(shí)驗(yàn)條件的影響常常不夠穩(wěn)定，因此對效率和穩(wěn)定性要求較高的實(shí)時系統(tǒng)一般不太傾向于選擇這一方法。146美國國家圖像解譯度分級標(biāo)準(zhǔn)NationalImageryInterpretabilityRatingScale

(NIIRS)

它定義了一組解譯任務(wù)，覆蓋范圍從大目標(biāo)的低級檢測到小目標(biāo)的細(xì)節(jié)分析。IRARS（美國圖像分辨率評估和報告標(biāo)準(zhǔn)委員會）對執(zhí)行這些解譯任務(wù)的難度進(jìn)行分級，為每個任務(wù)賦予一個數(shù)值等級，判斷圖像能執(zhí)行的最高級的解譯任務(wù)，將任務(wù)的數(shù)值等級賦予圖像，從而達(dá)到對圖像質(zhì)量量化的目的。NIIRS作為一種定量的主觀圖像質(zhì)量標(biāo)準(zhǔn)，將用戶的任務(wù)需求同遙感圖像質(zhì)量聯(lián)系了起來，是目前西方情報機(jī)構(gòu)廣為使用的一種圖像質(zhì)量標(biāo)準(zhǔn)。開發(fā)NIIRS最初的目的是建立一個量化表，來表示從一副特定圖像中可以提取什么信息以及不可以提取什么信息。147148等級判據(jù)0由于圖像模糊、惡化或極差的分辨能力致使解譯工作無法進(jìn)行。1發(fā)現(xiàn)中等大小的港口設(shè)施或辨別大型機(jī)場的跑道和滑道。2發(fā)現(xiàn)機(jī)場的大型機(jī)庫。發(fā)現(xiàn)大型固定雷達(dá)站（如AN/FPS-85，COBRADANE，PECHORA，HANHOUSE）。發(fā)現(xiàn)軍事訓(xùn)練區(qū)域。

由道路的類型和場地形狀辨認(rèn)SA-5基地。發(fā)現(xiàn)海軍設(shè)施的大型建筑（如倉庫和建造大廳）。發(fā)現(xiàn)大型建筑（如醫(yī)院和工廠）。3辨認(rèn)所有大型飛機(jī)（如707，CONCORD，BEAR，BLACKJACK）的機(jī)翼形狀（直翼、掠翼和三角翼）。由形狀、土丘及混凝土頂罩辨認(rèn)地對空導(dǎo)彈基地的雷達(dá)和制導(dǎo)區(qū)域。由形狀和標(biāo)志發(fā)現(xiàn)直升機(jī)升降場。發(fā)現(xiàn)移動導(dǎo)彈基地的支持車輛。辨別停泊在港口的大型海面艦只的類型(巡洋艦、補(bǔ)給艦、非戰(zhàn)斗艦或商船)。發(fā)現(xiàn)鐵路線上的火車或標(biāo)準(zhǔn)滾動臺座(但不要求辨認(rèn)出每個車廂)。4辨認(rèn)所有大型戰(zhàn)斗機(jī)(如FENCER，F(xiàn)OXBAT，F(xiàn)-15，F(xiàn)-14)。發(fā)現(xiàn)獨(dú)立的大型雷達(dá)天線(如TALLKING)。辨別履帶車輛、野戰(zhàn)炮、大型舟橋設(shè)施以及成群出現(xiàn)的輪式車輛。發(fā)現(xiàn)開啟的導(dǎo)彈豎井。判定中等大小潛艇(ROMEO，HAN，Type209，CHARLIEⅡ，ECHOⅡ，VICTORⅡ／Ⅲ)的頭部形狀(尖頭、鈍頭或園頭)。辨認(rèn)鐵路調(diào)車場中每一節(jié)火車、鐵路線、控制塔以及鐵道交叉點(diǎn)。等級判據(jù)5基于加油設(shè)備辨別MIDAS和CANDID。辨認(rèn)雷達(dá)是安裝在汽車上還是安裝在拖車上。辨認(rèn)已展開地對地戰(zhàn)術(shù)導(dǎo)彈系統(tǒng)的類型(FROG，SS-2l，SCLID)。一個已知的支援基地沒有被偽裝的情況下，辨別SS-25移動導(dǎo)彈運(yùn)輸、安裝、豎立、發(fā)射裝備和導(dǎo)彈支持搬運(yùn)車。辨認(rèn)KIROV-，SOVREMENNY-，SLAVA，MOSKVA-，KARA-，KRESTA-Ⅱ級艦只的TOPSTEER或TOPSAIL對空監(jiān)視雷達(dá)。辨別每節(jié)火車的類型(敞蓬車、平板車或廂式貨車)以及機(jī)車的類型(蒸汽機(jī)車還是內(nèi)燃機(jī)車)。6辨認(rèn)小型或中型直升機(jī)的型號(如HELIXA、HELLXB和HELLXC，HINDD和HINDE，HAZEA、HAZEB和HAZEC。辨認(rèn)EW／GCI／ACQ雷達(dá)天線的形狀，是拋物面、有剪邊的拋物面或矩形。辨別中型卡車的備用輪胎。辨別SA-6，SA-11和SA-17的導(dǎo)彈彈體。辨認(rèn)在SLAVA級艦艇上SA-N-6導(dǎo)彈的每一個垂直發(fā)射器頂蓋。辨認(rèn)轎車和廂式旅行車。7辨認(rèn)戰(zhàn)斗機(jī)大小飛機(jī)(如FULCRUM，F(xiàn)OXHOUND)的附件和整流罩。辨認(rèn)電子車輛的入口、階梯和通風(fēng)口。發(fā)現(xiàn)反坦克導(dǎo)彈的安裝(如BMP-1上的SAGGER)。發(fā)現(xiàn)Ⅲ-F，Ⅲ-G和Ⅱ-H發(fā)射井和Ⅲ-X發(fā)射控制井頂蓋的鉸鏈機(jī)構(gòu)細(xì)節(jié)。辨認(rèn)在KIROV-，KARA-和KRIVAK級艦只上RBU的每個炮管。辨認(rèn)鐵軌的每個結(jié)點(diǎn)。8辨認(rèn)轟炸機(jī)上的鉚釘線。發(fā)現(xiàn)安裝在BACKTRAP和BACKNET雷達(dá)頂部的角狀和W狀天線。辨認(rèn)手持式地對地導(dǎo)彈(如SA-7/14，REDEYE，STINGER)。辨認(rèn)TEL或TELAR的接點(diǎn)和焊點(diǎn)。發(fā)現(xiàn)安裝在甲板上的起重機(jī)的卷揚(yáng)機(jī)鋼索。辨認(rèn)汽車的雨刮器。9從飛機(jī)體表嵌板緊固件的一字槽中辨認(rèn)十字槽。辨認(rèn)天線罩連接導(dǎo)線的淺色調(diào)的小型陶瓷絕緣予。辨認(rèn)卡車的車牌號。辨認(rèn)導(dǎo)彈部件上的螺栓和螺釘。辨認(rèn)編織繩索(直徑在1-3英寸之間)。發(fā)現(xiàn)鐵路線上的每一個道釘?？梢姽釴IIRS分級標(biāo)準(zhǔn)(1994年3月)空軍：偵察空軍目標(biāo)或設(shè)施的任務(wù)電子：偵察電子目標(biāo)或設(shè)施的任務(wù)陸軍：偵察陸軍目標(biāo)或設(shè)施的任務(wù)導(dǎo)彈：偵察導(dǎo)彈目標(biāo)或設(shè)施的任務(wù)海軍：偵察海軍目標(biāo)或設(shè)施的任務(wù)文化：偵察民用或文化設(shè)施的任務(wù)149等級判據(jù)0由于模糊、質(zhì)量退化或空間分辨率極差無法解譯。1在大型飛機(jī)場，根據(jù)配置和布局辨別跑道和滑行道。探測稠密森林中的火面積（例如，超過1km2)開闊區(qū)域。在開闊的水域探測遠(yuǎn)洋大型艦船（例如：航空母艦、超級游船、“基洛夫”巡洋艦）探測大面積的（例如，超過1km2）濕地或沼澤。2探測大型飛機(jī)（例如：C-141、波音707、“熊”轟炸機(jī)、“文豪”運(yùn)輸機(jī)）在城區(qū)探測單個的大型建筑（例如：醫(yī)院、工廠）。辨別密林、稀疏林和開闊地。通過建筑和道路的圖案辨認(rèn)SS-25基地?；诖笮凸δ軈^(qū)域的類型和格局辨別軍用和民用港口設(shè)施3區(qū)分大型（如：C-141、波音707、“熊”轟炸機(jī)、空中客車A-300）和小型飛機(jī)（如：A-4、L-39）在熱電廠中辨認(rèn)連接煙囪與鍋爐房之間的單根煙道。通過塹壕、警戒防護(hù)設(shè)施、混凝土掩體探測大型防空雷達(dá)陣地。在地面部隊營區(qū)探測駕駛員訓(xùn)練場。辨認(rèn)薩姆-5綜合發(fā)射的獨(dú)立功能區(qū)域(例如：發(fā)射井、電子設(shè)備部分、支持部分和導(dǎo)彈存儲部分)。分辨大型(例如：超過200m)貨船和游船。4辨認(rèn)小型戰(zhàn)斗飛機(jī)(例如：FROGFOOT、F-16、FISHBED)的機(jī)翼外形。在市區(qū)探測小型(例如：超過50m2)變電站。在電子設(shè)備工廠中探測大型(例如，直徑超過超過10m)圓形屋頂。在部隊營區(qū)中探測每一個內(nèi)燃機(jī)車輛。在部隊營區(qū)中探測發(fā)動引擎的SS-25導(dǎo)彈支撐搬運(yùn)車。辨認(rèn)大型商船上每個關(guān)閉著的貨物艙門。等級判據(jù)5辨別單尾翼(例如：FROGFOOT、F-16、TORNADO)和雙尾翼戰(zhàn)斗機(jī)(例如：F-15、FLANKER、FOXBAT)。辨認(rèn)室外網(wǎng)球場。辨認(rèn)大型(例如，近似為75m)無線電中繼塔的金屬網(wǎng)格結(jié)構(gòu)。探測塹壕內(nèi)的裝甲車輛。探測SA-10站展開的移動式電子設(shè)備塔(TET)。辨認(rèn)大型(例如，超過200m)商船的貨船形狀(例如：方形、圓形、橢圓形)。6探測大型轟炸機(jī)(例如：B-52、“熊”轟炸機(jī)、BADGER)機(jī)翼上突出安裝的裝備(即空對地導(dǎo)彈、炸彈)。辨認(rèn)柴油機(jī)車頂部的每個發(fā)熱的出煙口?；谔炀€型式和間距辨別FIXFOUR和FIXSIX基地。區(qū)分發(fā)動引擎的坦克和裝甲運(yùn)兵車。區(qū)分雙軌和4軌SA-3發(fā)射臺。辨認(rèn)潛水艇上的導(dǎo)彈發(fā)射艙口。7基于飛機(jī)前端形狀區(qū)分MIG-23的地面攻擊型和攔截型機(jī)種。辨認(rèn)汽車為轎車還是廂式貨車。辨認(rèn)無線電中繼站的反射面天線(直徑小于3m)。辨認(rèn)SA-6上裝運(yùn)機(jī)的導(dǎo)彈轉(zhuǎn)運(yùn)起重機(jī)。在沒有裝載導(dǎo)彈時區(qū)分SA-2／CAS-1和SCUD-B導(dǎo)彈索引車。在碼頭探測船只泊停板或系船柱。8辨認(rèn)殲擊機(jī)FISHBEDJ／K／L背部的滑塊式(RAM)空氣進(jìn)氣口。辨認(rèn)單兵的肢體(例如：胳膊、雙腿)。辨認(rèn)雷達(dá)天線上水平的和垂直的單根桁肋。探測坦克炮塔上關(guān)閉的艙口。根據(jù)半自動拖車前部單個或成對的配件，區(qū)分油料和氧化劑多系統(tǒng)推進(jìn)劑運(yùn)輸車。在甲板邊緣的救生道上辨認(rèn)單根立柱和圍欄。9辨認(rèn)戰(zhàn)斗機(jī)的進(jìn)出艙口。在輕型敞棚卡車?yán)锉嬲J(rèn)貨物(例如：撅鏟、摟耙、梯子)。根據(jù)小型振子單元的存在與否區(qū)分BIRDSEYE和BELLLACE天線。辨認(rèn)裝甲車上艙口鉸鏈。辨認(rèn)SA-2／CSA-1導(dǎo)彈上單個帶狀制導(dǎo)天線。辨認(rèn)艙壁梯子上的每個梯蹬。紅外NIIRS分級標(biāo)準(zhǔn)(1996年4月)均值：均值越大說明圖像含信息量越高。標(biāo)準(zhǔn)差：反映圖像灰度相對于灰度均值的離散情況。標(biāo)準(zhǔn)差大，則圖像灰度級分散，圖像反差大，信息量豐富。熵：熵越大說明整體圖像的信息含量高融合圖像的整體質(zhì)量評價融合圖像的整體質(zhì)量評價

融合圖像的整體質(zhì)量評價空間頻率——

基于清晰度的評價其中，RF和CF分別表示空間行頻率和列頻率SF

越大，說明融合圖像越清晰。融合圖像與源圖像的關(guān)系評價互信息之和——基于信息量的評價

F為融合圖像，A、B為原始圖像。融合圖像與源圖像的互信息之和越大，表示融合圖像從源圖像獲取的信息越豐富，融合效果越好。互信息和有時也被稱為FusionFactor（FF）融合圖像與源圖像的關(guān)系評價FusionSymmetry（FS）——基于信息量的評價互信息和高，并不能表示融合圖像的信息均衡（對稱）地來自于兩幅源圖像FS可以表征圖像融合過程中信息來源的對稱性。

FS越小，表示融合圖像過程越均衡。如果某一圖像源較差，互信息和高更重要。如果兩個圖像源均具有高像質(zhì)，則