遙感信息融合

遙感影像融合西南交通大學(xué)遙感信息工程系羅小軍參考書目[1]徐青，張艷，耿則勛等.遙感影像融合與分辨率增強(qiáng)技術(shù).科學(xué)出版社，2007一、多源遙感影像數(shù)據(jù)融合概念多源遙感影像數(shù)據(jù)融合，是將同一環(huán)境或?qū)ο蟮亩嘣催b感影像數(shù)據(jù)綜合的方法或工具的框架，以獲得滿足某種應(yīng)用的高質(zhì)量信息，產(chǎn)生比單一信息源更精確、更完全、更可靠的估計(jì)和判決。數(shù)據(jù)融合基本結(jié)構(gòu)數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)N

數(shù)據(jù)融合機(jī)信息融合輔助信息數(shù)據(jù)庫(kù)經(jīng)驗(yàn)知識(shí)庫(kù)決策與估計(jì)多源遙感影像數(shù)據(jù)融合的理解（1）融合的對(duì)象不僅僅是遙感圖像，還包括其他非圖像形式的遙感數(shù)據(jù)，如數(shù)字地圖、GPS導(dǎo)航信息、地理信息等；（2）強(qiáng)調(diào)了要產(chǎn)生高質(zhì)量的信息，融合后產(chǎn)生的信息必須能夠比原始數(shù)據(jù)更好地滿足用戶的需要；（3）融合的目的，就是要產(chǎn)生比單一信源更精確、更完全、更可靠的估計(jì)和判決。多源遙感影像數(shù)據(jù)融合的優(yōu)點(diǎn)（1）可靠的數(shù)據(jù)來(lái)源。某些傳感器不能被利用或被干擾，或某個(gè)目標(biāo)/事件不在覆蓋范圍內(nèi)時(shí)，至少有一種傳感器可以提供圖像信息。（2）增加測(cè)量維數(shù)，增加了置信度。利用對(duì)同一目標(biāo)的多波段、多時(shí)相、多角度的圖像數(shù)據(jù)可以更全面地揭示目標(biāo)的本質(zhì)特性，提高目標(biāo)判別結(jié)果的可靠性。（3）容錯(cuò)性好，性能穩(wěn)定。（4）改進(jìn)探測(cè)性能，增加響應(yīng)的有效性。各個(gè)傳感器信息的有效互補(bǔ)，對(duì)某個(gè)目標(biāo)/事件產(chǎn)生更全面的響應(yīng)。（5）提高了空間分辨率。（6）降低了對(duì)單個(gè)傳感器的性能要求。多源遙感影像數(shù)據(jù)融合技術(shù)分類1.增強(qiáng)光譜信息的圖像融合技術(shù)

高空間分辨率的影像光譜分辨率低，多光譜或高光譜影像光譜分辨率高，但空間分辨率低，兩者融合以提高多光譜或高光譜影像空間分辨率，以及高空間分辨率影像的光譜分辨率。2.增強(qiáng)幾何信息的圖像融合技術(shù)

即超分辨率技術(shù)，從一系列低分辨率圖像復(fù)原（或重建）出更高分辨率的圖像。多源遙感影像數(shù)據(jù)融合技術(shù)分級(jí)像素級(jí)、特征級(jí)、決策級(jí)1.像素級(jí)融合

直接在采集到的原始圖像數(shù)據(jù)層上進(jìn)行，在各像元一一對(duì)應(yīng)的前提下進(jìn)行圖像像元級(jí)的合并處理，以改善圖像處理的效果。

像素級(jí)融合目的，圖像增強(qiáng)、圖像分割和圖像分類，為圖像人工判讀或更進(jìn)一步的特征層融合提供良好的基礎(chǔ)數(shù)據(jù)。優(yōu)點(diǎn)：能保持盡可能多的現(xiàn)場(chǎng)數(shù)據(jù)，提供其他融合層次所不能提供的細(xì)微信息。局限性：效率低，高精度配準(zhǔn)，分析能力差，抗干擾性差。2.特征級(jí)融合

首先對(duì)來(lái)自不同傳感器的原始信息進(jìn)行特征抽取，然后對(duì)從多傳感器獲得的多個(gè)特征信息進(jìn)行綜合分析和處理，以實(shí)現(xiàn)對(duì)多傳感器數(shù)據(jù)的分類、匯集和綜合。融合結(jié)果能最大限度地給出決策分析所需要的特征信息。特征信息就是像素信息的充分表示量或充分統(tǒng)計(jì)量，包括目標(biāo)邊緣、方向、運(yùn)動(dòng)速度等。應(yīng)用：在指揮、控制、通信和信息系統(tǒng)中常用。特征級(jí)融合框架數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)N

特征提取特征提取特征提取特征級(jí)影像融合融合結(jié)果特征級(jí)融合分類（1）目標(biāo)狀態(tài)數(shù)據(jù)融合：首先通過(guò)融合系統(tǒng)對(duì)傳感器數(shù)據(jù)進(jìn)行預(yù)處理以完成數(shù)據(jù)校準(zhǔn)，再實(shí)現(xiàn)主要參數(shù)的狀態(tài)向量估計(jì)。用于多傳感器目標(biāo)跟蹤。（2）目標(biāo)特性融合：即特征層聯(lián)合識(shí)別，就是采用模式識(shí)別等相關(guān)技術(shù)，在融合前對(duì)特征進(jìn)行相關(guān)處理，從而把特征向量分類成有意義的組合。特征級(jí)融合主要方法貝葉斯估計(jì)法、Dempster-shafer推理法、聚類分析法、神經(jīng)網(wǎng)絡(luò)法。3.決策級(jí)融合

是一種高層次信息融合，其結(jié)果將為各種控制或決策提供依據(jù)。決策級(jí)融合必須結(jié)合具體的應(yīng)用需求特點(diǎn)，有選擇的利用特征級(jí)融合所抽取或測(cè)量的有關(guān)對(duì)象的各類特征信息，才能實(shí)現(xiàn)決策級(jí)別融合的目標(biāo)。特征級(jí)融合框架數(shù)據(jù)1數(shù)據(jù)2數(shù)據(jù)N

特征提取特征提取特征提取決策級(jí)影像融合融合結(jié)果

屬性說(shuō)明屬性說(shuō)明屬性說(shuō)明方法：貝葉斯估計(jì)法以、神經(jīng)網(wǎng)絡(luò)法、模糊聚類法、專家系統(tǒng)背景：空間分辨率與光譜分辨率是一對(duì)矛盾，如何增強(qiáng)高空間分辨率影像的光譜信息？或者是如何增強(qiáng)高光譜分辨率影像的空間分辨率？屬于像素級(jí)的影像融合技術(shù)。(像素級(jí))融合的基本思路對(duì)多源影像進(jìn)行空間配準(zhǔn)，當(dāng)空間分辨率不同時(shí)，要求配準(zhǔn)后空間分辨率保持一致。將多光譜影像按某種變換方法分解成不同級(jí)別的子影像，然后采用某種融合方法進(jìn)行處理。將處理后的子影像進(jìn)行逆變換，得到融合后的影像。二、增強(qiáng)圖像光譜信息的數(shù)據(jù)融合方法像素級(jí)融合方法代數(shù)運(yùn)算法基于空間變換的方法基于金字塔式分解和重建的融合方法加權(quán)融合法比值融合法高通濾波法Brovey變換融合法IHS變換融合法PCA變換融合法YIQ變換融合法Lab變換融合法拉普拉斯金字塔融合法梯度金字塔融合法小波變換融合法像素級(jí)融合的方法一般塔式融合方法（一）代數(shù)運(yùn)融合法

1.加權(quán)融合法基于像元的加權(quán)和方法對(duì)兩個(gè)波段影像進(jìn)行融合：例：SPOT全色影像與其多光譜影像融合1.對(duì)兩幅影像進(jìn)行配準(zhǔn)，并將多光譜影像重采樣(與全色分辨率相同)2.計(jì)算全色波段與第j個(gè)波段影像的相關(guān)系數(shù)Rj3.將全色波段影像與第j個(gè)波段影像按下式組合：融合的效果主要與權(quán)值有關(guān)，權(quán)值選取得當(dāng)，可以獲得較好的效果。金劍秋（2002）提出了一種基于人類視覺系統(tǒng)的自適應(yīng)加權(quán)平均融合法，就是根據(jù)相應(yīng)像元領(lǐng)域內(nèi)的能量、方差和熵來(lái)確定權(quán)值，得到具有較強(qiáng)真實(shí)感的融合圖像。（1）2.比值融合法對(duì)于多光譜影像而言，比值處理可將反映地物細(xì)節(jié)的反射分量擴(kuò)大，不僅有利于地物的識(shí)別，還能在一定程度上消除太陽(yáng)照度、地形起伏陰影和云影等的影響。比值融合算法（Munechicka,1993）

（2）（3）Resolutionenhancementofmultispectralimagedatatoimproveclassificationaccuracy3.高通濾波法就是將高空間分辨率圖像中的高頻信息（細(xì)節(jié)、邊緣）提取出來(lái)，疊加到低分辨率高光譜圖像中。

首先采用高通濾波器提取高空間分辨率圖像中空間信息的高頻分量，去掉了大部分的低頻信息；然后將高通濾波結(jié)果加入到低分辨率光譜圖像中，形成高頻特征信息突出的融合影像。高通濾波融合算法

式中，F(xiàn)k(i,j)表示第k波段像素(i,j)的融合值，

Mk(i,j)表示低分辨率多光譜影像第k波段像素(i,j)的值，HPH(i,j)表示高空間分辨率圖像在高通濾波后的高頻圖像像素(i,j)的值。（4）4.Brovey變換融合法它是為RGB影像顯示進(jìn)行多光譜波段顏色歸一化，將高分辨率全色與各自相乘完成融合。融合算法方法簡(jiǎn)單，但存在一定的光譜扭曲，同時(shí)沒辦法解決波譜范圍不一致的全色影像和多光譜影像融合的問(wèn)題。（5）

（二）基于空間變換的融合方法

1.IHS變換融合法IHS變換可以把影像的亮度、色調(diào)(度)和飽和度分開，影像融合只在亮度通道上進(jìn)行，影像的色調(diào)和飽和度保持不變。基本數(shù)據(jù)處理步驟：（1）

將全色影像和多光譜影像進(jìn)行幾何配準(zhǔn)，并將多光譜影像重采樣(與全色分辨率相同)。（2）將多光譜影像變換到IHS空間（RGB空間變換到IHS空間）。（3）

對(duì)全色影像和IHS空間中的亮度分量I進(jìn)行直方圖匹配，得到新的全色影像I’。（4）用全色影像I’代替IHS空間的亮度分量，即得到I’HS。（5）將I’HS逆變換到RGB空間，即得到融合影像?！蛔悖号で嗽嫉墓庾V特性，產(chǎn)生了光譜退化現(xiàn)像。同時(shí)，該方法只能同時(shí)對(duì)多光譜影像的3個(gè)波段進(jìn)行融合。RGB到IHS的轉(zhuǎn)換M：R、G、B中的最大值m：R、G、B中的最小值IHS到RGB的轉(zhuǎn)換m=2*I-M

2.PCA變換融合法

主成份分析(PrincipalComponentsAnalysis，PCA)—K-L變換（Karhunen-Loeve）主成份分析可以用作數(shù)據(jù)壓縮的一種方法，也可以用于影像融合。它可以將多光譜影像壓縮為較少的波段，也就是譜空間的維數(shù)可以被減少。通過(guò)主成份變換得到的各波段影像間是不相關(guān)的，更容易被解譯。主成份變換核心：將相關(guān)性較高的多波段影像數(shù)據(jù)變換為相互垂直、不相關(guān)的多波段影像數(shù)據(jù)。2個(gè)波段影像的散點(diǎn)圖

如果影像灰度服從正態(tài)分布，散點(diǎn)圖的形狀為橢圓(ellipse)；如果是3波段，則為橢球(ellipsoid)；如果是3波段以上，則為超橢球(hyper-ellipsoid)。PCA變換原理—以2個(gè)波段數(shù)據(jù)為例PCA變換——經(jīng)過(guò)坐標(biāo)軸旋轉(zhuǎn)、平移操作，將每一像素在光譜空間(Spectralspace)的坐標(biāo)（各波段的灰度值序列）變換到新的坐標(biāo)空間。橢圓的長(zhǎng)、短軸分別對(duì)應(yīng)于第一、第二主成份，其長(zhǎng)度、方向分別由特征值(eigenvalue)、特征向量(eigenvector)所決定。第一分量（第一主軸）對(duì)應(yīng)的灰度值波動(dòng)范圍最大，表明其包含最豐富的信息。主成份變換的數(shù)學(xué)實(shí)現(xiàn)坐標(biāo)軸的平移、旋轉(zhuǎn)通過(guò)線性變換

(Lineartransform)實(shí)現(xiàn)。主成份變換基于多光譜影像（波段數(shù)為n）的協(xié)方差矩陣來(lái)完成。Cov：波段間的協(xié)方差矩陣；

EV：特征向量矩陣；

E：主成份變換后的協(xié)方差矩陣，是一個(gè)對(duì)角陣，對(duì)角線元素稱為特征值，它表示某個(gè)主成份的方差，非對(duì)角線元素為各主成份之間的協(xié)方差。非對(duì)角線元素均為0，這表示各主成份之間的協(xié)方差為0，即各主成份彼此間沒有關(guān)聯(lián)，相互獨(dú)立。對(duì)于像元(i,j)，在某個(gè)主成份p中的值Pi,j,p為BVi,j,k：像元(i,j)在第k個(gè)波段中的亮度值，(k=1,2,…,n)。主成份變換為線性變換過(guò)程例：有某地區(qū)landsatTM的7個(gè)波段影像12345671100.9356.679.4361.49134.2723.7290.13256.634.1446.7140.6885.2214.3355.14379.4346.7168.8369.59141.0422.9286.91461.4940.6869.59248.4330.7143.62148.55134.2785.22141.04330.71568.8478.91280.97623.7214.3322.9243.6278.9117.7842.65790.1355.1486.91148.5280.9742.65154.92方差-協(xié)方差矩陣1234567Bandk10.2050.6370.327-0.0540.249-0.611-0.07920.1270.3420.169-0.0770.0120.3960.82130.2040.4280.159-0.076-0.0750.649-0.56240.443-0.4710.7390.107-0.153-0.019-0.00450.742-0.177-0.4374-0.3000.3700.0070.01160.1060.033-0.0800.8870.4240.1220.00570.3760.179-0.309-0.312-0.769-0.1810.051Componentp特征向量(EV)矩陣12345671010.920000000131.20000000037.6000000006.7300000003.9500000002.1700000001.24Componentp特征值(λp)矩陣第一個(gè)像元(1,1)在7個(gè)波段中的值為第一個(gè)像元(1,1)在第1主成份中的值為每個(gè)主成份所占信量—依據(jù)特征值計(jì)算百分含量84.6810.993.150.560.330.180.10累計(jì)值84.6995.6798.8299.3899.7199.89100.00上例中，7個(gè)主成份所占的信息量第一主成份包含最豐富的信息。某個(gè)主成份P代表的各波段信息的貢獻(xiàn)量（或各波段信息分解到各主成分上的信息量）

—依據(jù)主成份P與每個(gè)波段k的相關(guān)系數(shù)計(jì)算上例中，各個(gè)主成份所代表的各波段信息的貢獻(xiàn)量（該矩陣又稱特征矢量矩陣）1234567Bandk10.6490.7260.199-0.0140.049-0.089-0.00820.6940.6700.178-0.0340.0040.0990.15730.7850.5920.118-0.023-0.0180.115-0.07540.894-0.3.420.2870.017-0.019-0.002-0.00050.989-0.084-0.112-0.0320.0300.0000.00060.7990.089-0.1160.5450.2000.0420.00170.9610.181-0.1520.065-0.122-0.0210.004Componentp基于主成份變換的影像融合方法（1）對(duì)多光譜影像進(jìn)行主成份變換，變換后的第一主成份含有變換前各波段影像的綜合信息，而各波段中其余對(duì)應(yīng)的部分，被分配到變換后的其它波段。（2）將高分辨率影像和第一主成份進(jìn)行直方圖匹配，使高分辨率影像與第一主成份影像有相近的均值和方差。（3）用直方圖匹配后的高分辨率影像代替主成份中的第一主成份，然后與其余主成份一起進(jìn)行主成份逆變換，最終得到融合影像。全色影像多光譜影像融合影像QuickBird影像的融合

3.YIQ變換融合法什么是YIQ？

跟IHS一樣，是一種顏色系統(tǒng)，是用于電視信號(hào)傳輸NTSC制式的彩色編碼系統(tǒng)。Y是亮度信息，通過(guò)基于人眼視覺敏感特征對(duì)圖像R、G、B波段的加權(quán)平均而獲得。I、Q分量反映了圖像與硬件相關(guān)的彩色信息。YIQ的正、反變換關(guān)系式Y(jié)IQ變換融合算法