遙感影像數(shù)據(jù)融合原理與方法

遙感影像數(shù)據(jù)融合原理與方法第一頁(yè)，共二十二頁(yè)，2022年，8月28日一.數(shù)據(jù)融合基本涵義數(shù)據(jù)融合（datafusion）最早被應(yīng)用于軍事領(lǐng)域。現(xiàn)在數(shù)據(jù)融合的主要應(yīng)用領(lǐng)域有：多源影像復(fù)合、機(jī)器人和智能儀器系統(tǒng)、戰(zhàn)場(chǎng)和無(wú)人駕駛飛機(jī)、圖像分析與理解、目標(biāo)檢測(cè)與跟蹤、自動(dòng)目標(biāo)識(shí)別等等。在遙感中，數(shù)據(jù)融合屬于一種屬性融合，它是將同一地區(qū)的多源遙感影像數(shù)據(jù)加以智能化合成，產(chǎn)生比單一信息源更精確、更完全、更可靠的估計(jì)和判斷。

第二頁(yè)，共二十二頁(yè)，2022年，8月28日相對(duì)于單源遙感影象數(shù)據(jù)，多源遙感影象數(shù)據(jù)所提供的信息具有以下特點(diǎn)：1.冗余性：表示多源遙感影像數(shù)據(jù)對(duì)環(huán)境或目標(biāo)的表示、描述或解譯結(jié)果相同；

2.互補(bǔ)性：指信息來(lái)自不同的自由度且相互獨(dú)立3.合作性：不同傳感器在觀測(cè)和處理信息時(shí)對(duì)其它信息有依賴關(guān)系；

4.信息分層的結(jié)構(gòu)特性：數(shù)據(jù)融合所處理的多源遙感信息可以在不同的信息層次上出現(xiàn)，這些信息抽象層次包括像素層、特征層和決策層，分層結(jié)構(gòu)和并行處理機(jī)制還可保證系統(tǒng)的實(shí)時(shí)性。

第三頁(yè)，共二十二頁(yè)，2022年，8月28日實(shí)質(zhì)：

在統(tǒng)一地理坐標(biāo)系中將對(duì)同一目標(biāo)檢測(cè)的多幅遙感圖像數(shù)據(jù)采用一定的算法，生成一幅新的、更能有效表示該目標(biāo)的圖像信息。目的：將單一傳感器的多波段信息或不同類別傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，加以互補(bǔ)，改善遙感信息提取的及時(shí)性和可靠性，提高數(shù)據(jù)的使用效率。

第四頁(yè)，共二十二頁(yè)，2022年，8月28日二、數(shù)據(jù)融合原理及過(guò)程

一般來(lái)說(shuō)，遙感影像的數(shù)據(jù)融合分為預(yù)處理和數(shù)據(jù)融合兩步

1.預(yù)處理：主要包括遙感影像的幾何糾正、大氣訂正、輻射校正及空間配準(zhǔn)

（1）幾何糾正、大氣訂正及輻射校正的目的主要在于去處透視收縮、疊掩、陰影等地形因素以及衛(wèi)星擾動(dòng)、天氣變化、大氣散射等隨機(jī)因素對(duì)成像結(jié)果一致性的影響；（2）影像空間配準(zhǔn)的目的在于消除由不同傳感器得到的影像在拍攝角度、時(shí)相及分辨率等方面的差異。

第五頁(yè)，共二十二頁(yè)，2022年，8月28日影像的空間配準(zhǔn)時(shí)遙感影像數(shù)據(jù)融合的前提

空間配準(zhǔn)一般可分為以下步驟:(1）特征選擇：在欲配準(zhǔn)的兩幅影像上，選擇如邊界、線狀物交叉點(diǎn)、區(qū)域輪廓線等明顯的特征。

（2）特征匹配：采用一定配準(zhǔn)算法，找處兩幅影像上對(duì)應(yīng)的明顯地物點(diǎn)，作為控制點(diǎn)。（3）空間變化：根據(jù)控制點(diǎn)，建立影像間的映射關(guān)系。（4）插值：根據(jù)映射關(guān)系，對(duì)非參考影像進(jìn)行重采樣，獲得同參考影像配準(zhǔn)的影像。

空間配準(zhǔn)的精度一般要求在1~2個(gè)像元內(nèi)。空間配準(zhǔn)中最關(guān)鍵、最困難的一步就是通過(guò)特征匹配尋找對(duì)應(yīng)的明顯地物點(diǎn)作為控制點(diǎn)。

第六頁(yè)，共二十二頁(yè)，2022年，8月28日2.數(shù)據(jù)融合

根據(jù)融合目的和融合層次智能地選擇合適的融合算法，將空間配準(zhǔn)的遙感影像數(shù)據(jù)（或提取的圖像特征或模式識(shí)別的屬性說(shuō)明）進(jìn)行有機(jī)合成，得到目標(biāo)的更準(zhǔn)確表示或估計(jì)。對(duì)于各種算法所獲得的融合遙感信息，有時(shí)還需要做進(jìn)一步的處理，如“匹配處理”和“類型變換”等，以便得到目標(biāo)的更準(zhǔn)確表示或估計(jì)。

第七頁(yè)，共二十二頁(yè)，2022年，8月28日三、數(shù)據(jù)融合分類及方法

1數(shù)據(jù)融合方法分類

遙感影像的數(shù)據(jù)融合方法分為三類：基于像元（pixel）級(jí)的融合、基于特征(feature)級(jí)的融合、基于決策(decision)級(jí)的融合。融合的水平依次從低到高。1.1像元級(jí)融合

像元級(jí)融合是一種低水平的融合。像元級(jí)融合的流程為：經(jīng)過(guò)預(yù)處理的遙感影像數(shù)據(jù)——數(shù)據(jù)融合——特征提取——融合屬性說(shuō)明。

第八頁(yè)，共二十二頁(yè)，2022年，8月28日優(yōu)點(diǎn)：保留了盡可能多的信息，具有最高精度。

局限性：1.效率低下。由于處理的傳感器數(shù)據(jù)量大，所以處理時(shí)間較長(zhǎng)，實(shí)時(shí)性差。

2.分析數(shù)據(jù)限制。為了便于像元比較，對(duì)傳感器信息的配準(zhǔn)精度要求很高，而且要求影像來(lái)源于一組同質(zhì)傳感器或同單位的。3.分析能力差。不能實(shí)現(xiàn)對(duì)影像的有效理解和分析4.糾錯(cuò)要求。由于底層傳感器信息存在的不確定性、不完全性或不穩(wěn)定性，所以對(duì)融合過(guò)程中的糾錯(cuò)能力有較高要求。5.抗干擾性差。

像元級(jí)融合所包含的具體融合方法有：代數(shù)法、IHS變換、小波變換、主成分變換（PCT）、K-T變換等

第九頁(yè)，共二十二頁(yè)，2022年，8月28日1.2特征級(jí)融合

特征級(jí)融合是一種中等水平的融合。在這一級(jí)別中，先是將各遙感影像數(shù)據(jù)進(jìn)行特征提取，提取的特征信息應(yīng)是原始信息的充分表示量或充分統(tǒng)計(jì)量，然后按特征信息對(duì)多源數(shù)據(jù)進(jìn)行分類、聚集和綜合，產(chǎn)生特征矢量，而后采用一些基于特征級(jí)融合方法融合這些特征矢量，作出基于融合特征矢量的屬性說(shuō)明。

特征級(jí)融合的流程為：經(jīng)過(guò)預(yù)處理的遙感影像數(shù)據(jù)——特征提取——特征級(jí)融合——（融合）屬性說(shuō)明。

第十頁(yè)，共二十二頁(yè)，2022年，8月28日1.3決策級(jí)融合決策級(jí)融合是最高水平的融合。融合的結(jié)果為指揮、控制、決策提供了依據(jù)。在這一級(jí)別中，首先對(duì)每一數(shù)據(jù)進(jìn)行屬性說(shuō)明，然后對(duì)其結(jié)果加以融合，得到目標(biāo)或環(huán)境的融合屬性說(shuō)明。決策級(jí)融合的優(yōu)點(diǎn)時(shí)具有很強(qiáng)的容錯(cuò)性，很好的開(kāi)放性，處理時(shí)間短、數(shù)據(jù)要求低、分析能力強(qiáng)。而由于對(duì)預(yù)處理及特征提取有較高要求，所以決策級(jí)融合的代價(jià)較高。決策級(jí)融合的流程：經(jīng)過(guò)預(yù)處理的遙感影像數(shù)據(jù)——特征提取——屬性說(shuō)明——屬性融合——融合屬性說(shuō)明。第十一頁(yè)，共二十二頁(yè)，2022年，8月28日表1三級(jí)融合層次的特點(diǎn)

融合框架

信息損失

實(shí)時(shí)性

精度

容錯(cuò)性

抗干擾力

工作量

融合水平

像元級(jí)

小差高差差小低特征級(jí)

中中中中中中中決策級(jí)

大優(yōu)低優(yōu)優(yōu)大高第十二頁(yè)，共二十二頁(yè)，2022年，8月28日表2三級(jí)融合層次下的融合方法像元級(jí)特征級(jí)決策級(jí)代數(shù)法熵法專家系統(tǒng)IHS變換表決法神經(jīng)網(wǎng)絡(luò)小波變換聚類分析Bayes估計(jì)K-T變換Bayes估計(jì)模糊聚類法主成分變換神經(jīng)網(wǎng)絡(luò)法可靠性理論回歸模型法加權(quán)平均法基于知識(shí)的融合法Kalman濾波法Dempater-shafer推理法Dempater-shafer推理法第十三頁(yè)，共二十二頁(yè)，2022年，8月28日2數(shù)據(jù)融合方法介紹

2.1代數(shù)法

代數(shù)法包括加權(quán)融合、單變量圖像差值法、圖像比值法等。（1）加權(quán)融合法（2）單變量圖象差值法（3）圖象比值法

第十四頁(yè)，共二十二頁(yè)，2022年，8月28日2.2圖像回歸法（ImageRegression）

圖像回歸法是首先假定影像的像元值是另一影像的一個(gè)線性函數(shù)，通過(guò)最小二乘法來(lái)進(jìn)行回歸，然后再用回歸方程計(jì)算出的預(yù)測(cè)值來(lái)減去影像的原始像元值，從而獲得二影像的回歸殘差圖像。經(jīng)過(guò)回歸處理后的遙感數(shù)據(jù)在一定程度上類似于進(jìn)行了相對(duì)輻射校正，因而能減弱多時(shí)相影像中由于大氣條件和太陽(yáng)高度角的不同所帶來(lái)的影響。

第十五頁(yè)，共二十二頁(yè)，2022年，8月28日2.3主成分變換（PCT）

也稱為W-L變換，數(shù)學(xué)上稱為主成分分析（PCA）。PCT是應(yīng)用于遙感諸多領(lǐng)域的一種方法，包括高光譜數(shù)據(jù)壓縮、信息提取與融合及變化監(jiān)測(cè)等。PCT的本質(zhì)是通過(guò)去除冗余，將其余信息轉(zhuǎn)入少數(shù)幾幅影像（即主成分）的方法，對(duì)大量影像進(jìn)行概括和消除相關(guān)性。PCT使用相關(guān)系數(shù)陣或協(xié)方差陣來(lái)消除原始影像數(shù)據(jù)的相關(guān)性，以達(dá)到去除冗余的目的。對(duì)于融合后的新圖像來(lái)說(shuō)各波段的信息所作出的貢獻(xiàn)能最大限度地表現(xiàn)出來(lái)。

PCT的優(yōu)點(diǎn)是能夠分離信息，減少相關(guān)，從而突出不同的地物目標(biāo)。另外，它對(duì)輻射差異具有自動(dòng)校正的功能，因此無(wú)須再做相對(duì)輻射校正處理。第十六頁(yè)，共二十二頁(yè)，2022年，8月28日2.4K-T變換

即Kauth-Thomas變換，簡(jiǎn)稱K-T變換，又形象地成為“纓帽變換”[14]。它是線性變換的一種，它能使座標(biāo)空間發(fā)生旋轉(zhuǎn)，但旋轉(zhuǎn)后的坐標(biāo)軸不是指向主成分的方向，而是指向另外的方向，這些方向與地面景物有密切的關(guān)系，特別是與植物生長(zhǎng)過(guò)程和土壤有關(guān)。以此，這種變換著眼于農(nóng)作物生長(zhǎng)過(guò)程而區(qū)別于其他植被覆蓋，力爭(zhēng)抓住地面景物在多光譜空間的特征。通過(guò)這種變換，既可以實(shí)現(xiàn)信息壓縮，又可以幫助解譯分析農(nóng)業(yè)特征，因此有很大的實(shí)際應(yīng)用意義。

目前對(duì)這個(gè)變換在多源遙感數(shù)據(jù)融合方面的研究應(yīng)用主要集中在MSS與TM兩種遙感數(shù)據(jù)的應(yīng)用分析方面。

第十七頁(yè)，共二十二頁(yè)，2022年，8月28日2.5小波變換

小波變換是一種新興的數(shù)學(xué)分析方法，已經(jīng)受到了廣泛的重視。小波變換是一種全局變換，在時(shí)間域和頻率域同時(shí)具有良好的定位能力，對(duì)高頻分量采用逐漸精細(xì)的時(shí)域和空域步長(zhǎng)，可以聚焦到被處理圖像的任何細(xì)節(jié)，從而被譽(yù)為“數(shù)學(xué)顯微鏡”。

小波變換常用于雷達(dá)影像SAR與TM影像的融合。它具有在提高影像空間分辨率的同時(shí)又保持色調(diào)和飽和度不變的優(yōu)越性。

第十八頁(yè)，共二十二頁(yè)，2022年，8月28日2.6IHS變換

3個(gè)波段合成的RGB顏色空間是一個(gè)對(duì)物體顏色屬性描述系統(tǒng)，而IHS色度空間提取出物體的亮度I，色度H，飽和度S，它們分別對(duì)應(yīng)3個(gè)波段的平均輻射強(qiáng)度、3個(gè)波段的數(shù)據(jù)向量和的方向及3個(gè)波段等量數(shù)據(jù)的大小。RGB顏色空間和IHS色度空間有著精確的轉(zhuǎn)換關(guān)系。以TM和SAR為例，變換思路是把TM圖像的3個(gè)波段合成的RGB假彩色圖像變換到IHS色度空間，然后用SAR圖像代替其中的I值，再變換到RGB顏色空間，形成新的影像。

第十九頁(yè)，共二十二頁(yè)，2022年，8月28日2.7貝葉斯（Bayes）估計(jì)

2.8D-S推理法(Dempster-Shafter)2.9人工神經(jīng)網(wǎng)絡(luò)（ANN）

2.10專家系統(tǒng)

第二十頁(yè)，共二十二頁(yè)，2022年，8月28日遙感數(shù)據(jù)融合存在問(wèn)題及發(fā)展趨勢(shì)

遙感影像數(shù)據(jù)融合還是一門很不成熟的技術(shù)，有待于進(jìn)一步解決的關(guān)鍵問(wèn)題