數(shù)據(jù)融合原理與方法

1、數(shù)據(jù)融合(data fusion)原理與方法2007年01月21日 星期日18:41數(shù)據(jù)融合(data fusion) 原理與方法數(shù)據(jù)融合(data fusion)最早被應(yīng)用于軍事領(lǐng)域?，F(xiàn)在數(shù)據(jù)融合的主要應(yīng)用領(lǐng)域有：多源影像復(fù)合、機(jī)器人和智能儀器系統(tǒng)、戰(zhàn)場和無人 駕駛飛機(jī)、圖像分析與理解、目標(biāo)檢測與跟蹤、自動(dòng)目標(biāo)識別等等。在遙感中，數(shù)據(jù)融合屬 于一種屬性融合，它是將同一地區(qū)的多源遙感影像數(shù)據(jù)加以智能化合成，產(chǎn)生比單一信息源 更精確、更完全、更可靠的估計(jì)和判斷數(shù)據(jù)融合基本涵義數(shù)據(jù)融合(data fusion)最早被應(yīng)用于軍事領(lǐng)域。現(xiàn)在數(shù)據(jù)融合的主要應(yīng)用領(lǐng)域有：多源影像復(fù)合、機(jī)器人和智能儀器系統(tǒng)、

2、戰(zhàn)場和無人 駕駛飛機(jī)、圖像分析與理解、目標(biāo)檢測與跟蹤、自動(dòng)目標(biāo)識別等等。在遙感中，數(shù)據(jù)融合屬 于一種屬性融合，它是將同一地區(qū)的多源遙感影像數(shù)據(jù)加以智能化合成，產(chǎn)生比單一信息源 更精確、更完全、更可靠的估計(jì)和判斷。相對于單源遙感影象數(shù)據(jù)，多源遙感影象數(shù)據(jù)所提 供的信息具有以下特點(diǎn)：冗余性：表示多源遙感影像數(shù)據(jù)對環(huán)境或目標(biāo)的表示、描述或解譯結(jié)果相同；互補(bǔ)性：指信息來自不同的自由度且相互獨(dú)立合作性：不同傳感器在觀測和處理信息時(shí)對其它信息有依賴關(guān)系；信息分層的結(jié)構(gòu)特性:數(shù)據(jù)融合所處理的多源遙感信息可以在不同的信息層次上出現(xiàn)， 這些信息抽象層次包括像素層、特征層和決策層，分層結(jié)構(gòu)和并行處理機(jī)制還可保證系

3、統(tǒng)的 實(shí)時(shí)性。實(shí)質(zhì)：在統(tǒng)一地理坐標(biāo)系中將對同一目標(biāo)檢測的多幅遙感圖像數(shù)據(jù)采用一定的算法，生成一幅新的、更能有效表示該目標(biāo)的圖像信息。目的：將單一傳感器的多波段信息或不同類別傳感器所提供的信息加以綜合，消除多傳 感器信息之間可能存在的冗余和矛盾，加以互補(bǔ)，改善遙感信息提取的及時(shí)性和可靠性，提 高數(shù)據(jù)的使用效率。二、數(shù)據(jù)融合原理及過程一般來說，遙感影像的數(shù)據(jù)融合分為預(yù)處理和數(shù)據(jù)融合兩步預(yù)處理：主要包括遙感影像的幾何糾正、大氣訂正、輻射校正及空間配準(zhǔn)幾何糾正、大氣訂正及輻射校正的目的主要在于去處透視收縮、疊掩、陰影等地形因 素以及衛(wèi)星擾動(dòng)、天氣變化、大氣散射等隨機(jī)因素對成像結(jié)果一致性的影響；影像空間

4、配準(zhǔn)的目的在于消除由不同傳感器得到的影像在拍攝角度、時(shí)相及分辨率等 方面的差異。影像的空間配準(zhǔn)時(shí)遙感影像數(shù)據(jù)融合的前提空間配準(zhǔn)一般可分為以下步驟：特征選擇：在欲配準(zhǔn)的兩幅影像上，選擇如邊界、線狀物交叉點(diǎn)、區(qū)域輪廓線等明顯 的特征。特征匹配：采用一定配準(zhǔn)算法，找處兩幅影像上對應(yīng)的明顯地物點(diǎn)，作為控制點(diǎn)?？臻g變化：根據(jù)控制點(diǎn)，建立影像間的映射關(guān)系。插值：根據(jù)映射關(guān)系，對非參考影像進(jìn)行重采樣，獲得同參考影像配準(zhǔn)的影像?？臻g配準(zhǔn)的精度一般要求在12個(gè)像元內(nèi)。空間配準(zhǔn)中最關(guān)鍵、最困難的一步就是通過 特征匹配尋找對應(yīng)的明顯地物點(diǎn)作為控制點(diǎn)。數(shù)據(jù)融合根據(jù)融合目的和融合層次智能地選擇合適的融合算法，將空間配準(zhǔn)

5、的遙感影像數(shù)據(jù)（或 提取的圖像特征或模式識別的屬性說明）進(jìn)行有機(jī)合成，得到目標(biāo)的更準(zhǔn)確表示或估計(jì)。對于各種算法所獲得的融合遙感信息，有時(shí)還需要做進(jìn)一步的處理，如匹配處理和 類型變換等，以便得到目標(biāo)的更準(zhǔn)確表示或估計(jì)。三、數(shù)據(jù)融合分類及方法1數(shù)據(jù)融合方法分類遙感影像的數(shù)據(jù)融合方法分為三類：基于像元（pixel）級的融合、基于特征（feature） 級的融合、基于決策（decision ）級的融合。融合的水平依次從低到高。1.1像元級融合像元級融合是一種低水平的融合。像元級融合的流程為：經(jīng)過預(yù)處理的遙感影像數(shù)據(jù)一一數(shù)據(jù)融合特征提取一一融 合屬性說明。優(yōu)點(diǎn)：保留了盡可能多的信息，具有最高精度。局限性

6、：效率低下。由于處理的傳感器數(shù)據(jù)量大，所以處理時(shí)間較長，實(shí)時(shí)性差。分析數(shù)據(jù)限制。為了便于像元比較，對傳感器信息的配準(zhǔn)精度要求很高，而且要求 影像來源于一組同質(zhì)傳感器或同單位的。分析能力差。不能實(shí)現(xiàn)對影像的有效理解和分析糾錯(cuò)要求。由于底層傳感器信息存在的不確定性、不完全性或不穩(wěn)定性，所以對融 合過程中的糾錯(cuò)能力有較高要求。抗干擾性差。像元級融合所包含的具體融合方法有:代數(shù)法、IHS變換、小波變換、主成分變換（PCT）、 K-T變換等1.2特征級融合特征級融合是一種中等水平的融合。在這一級別中，先是將各遙感影像數(shù)據(jù)進(jìn)行特征提 取，提取的特征信息應(yīng)是原始信息的充分表示量或充分統(tǒng)計(jì)量，然后按特征信息對

7、多源數(shù)據(jù) 進(jìn)行分類、聚集和綜合，產(chǎn)生特征矢量，而后采用一些基于特征級融合方法融合這些特征矢 量，作出基于融合特征矢量的屬性說明。特征級融合的流程為：經(jīng)過預(yù)處理的遙感影像數(shù)據(jù)特征提取特征級融合 （融合）屬性說明。1.3決策級融合決策級融合是最高水平的融合。融合的結(jié)果為指揮、控制、決策提供了依據(jù)。在這一級 別中，首先對每一數(shù)據(jù)進(jìn)行屬性說明，然后對其結(jié)果加以融合，得到目標(biāo)或環(huán)境的融合屬性 說明。決策級融合的優(yōu)點(diǎn)時(shí)具有很強(qiáng)的容錯(cuò)性，很好的開放性，處理時(shí)間短、數(shù)據(jù)要求低、分 析能力強(qiáng)。而由于對預(yù)處理及特征提取有較高要求，所以決策級融合的代價(jià)較高。決策級融合的流程：經(jīng)過預(yù)處理的遙感影像數(shù)據(jù)特征提取一一屬性

8、說明一一屬性融 合一一融合屬性說明。2數(shù)據(jù)融合方法介紹2.1代數(shù)法代數(shù)法包括加權(quán)融合、單變量圖像差值法、圖像比值法等。（1）加權(quán)融合法（2）單變量圖象差值法（3）圖象比值法2.2 圖像回歸法（Image Regression）圖像回歸法是首先假定影像的像元值是另一影像的一個(gè)線性函數(shù)，通過最小二乘法來進(jìn) 行回歸，然后再用回歸方程計(jì)算出的預(yù)測值來減去影像的原始像元值，從而獲得二影像的回 歸殘差圖像。經(jīng)過回歸處理后的遙感數(shù)據(jù)在一定程度上類似于進(jìn)行了相對輻射校正，因而能 減弱多時(shí)相影像中由于大氣條件和太陽高度角的不同所帶來的影響。2.3主成分變換（PCT）也稱為W-L變換，數(shù)學(xué)上稱為主成分分析（PCA

9、）。PCT是應(yīng)用于遙感諸多領(lǐng)域的一種方 法，包括高光譜數(shù)據(jù)壓縮、信息提取與融合及變化監(jiān)測等。PCT的本質(zhì)是通過去除冗余，將 其余信息轉(zhuǎn)入少數(shù)幾幅影像（即主成分）的方法，對大量影像進(jìn)行概括和消除相關(guān)性。PCT 使用相關(guān)系數(shù)陣或協(xié)方差陣來消除原始影像數(shù)據(jù)的相關(guān)性，以達(dá)到去除冗余的目的。對于融 合后的新圖像來說各波段的信息所作出的貢獻(xiàn)能最大限度地表現(xiàn)出來。PCT的優(yōu)點(diǎn)是能夠分離信息，減少相關(guān)，從而突出不同的地物目標(biāo)。另外，它對輻射差 異具有自動(dòng)校正的功能，因此無須再做相對輻射校正處理。2.4 K-T變換即Kauth-Thomas變換，簡稱K-T變換，又形象地成為纓帽變換14 0它是線性變換的 一種，

10、它能使座標(biāo)空間發(fā)生旋轉(zhuǎn)，但旋轉(zhuǎn)后的坐標(biāo)軸不是指向主成分的方向，而是指向另外 的方向，這些方向與地面景物有密切的關(guān)系，特別是與植物生長過程和土壤有關(guān)。以此，這 種變換著眼于農(nóng)作物生長過程而區(qū)別于其他植被覆蓋，力爭抓住地面景物在多光譜空間的特 征。通過這種變換，既可以實(shí)現(xiàn)信息壓縮，又可以幫助解譯分析農(nóng)業(yè)特征，因此 有很大的實(shí)際應(yīng)用意義。目前對這個(gè)變換在多源遙感數(shù)據(jù)融合方面的研究應(yīng)用主要集中在MSS與TM兩種遙感數(shù)據(jù) 的應(yīng)用分析方面。2.5小波變換小波變換是一種新興的數(shù)學(xué)分析方法，已經(jīng)受到了廣泛的重視。小波變換是一種全局變 換，在時(shí)間域和頻率域同時(shí)具有良好的定位能力，對高頻分量采用逐漸精細(xì)的時(shí)域和空

11、域步 長，可以聚焦到被處理圖像的任何細(xì)節(jié)，從而被譽(yù)為數(shù)學(xué)顯微鏡。小波變換常用于雷達(dá)影像SAR與TM影像的融合。它具有在提高影像空間分辨率的同時(shí)又 保持色調(diào)和飽和度不變的優(yōu)越性。2.6 IHS變換3個(gè)波段合成的RGB顏色空間是一個(gè)對物體顏色屬性描述系統(tǒng)，而IHS色度空間提取出 物體的亮度I，色度H，飽和度S，它們分別對應(yīng)3個(gè)波段的平均輻射強(qiáng)度、3個(gè)波段的數(shù)據(jù) 向量和的方向及3個(gè)波段等量數(shù)據(jù)的大小。RGB顏色空間和IHS色度空間有著精確的轉(zhuǎn)換關(guān) 系。以TM和SAR為例，變換思路是把TM圖像的3個(gè)波段合成的RGB假彩色圖像變換到IHS 色度空間，然后用SAR圖像代替其中的I值，再變換到RGB顏色空間

12、，形成新的影像。2.7貝葉斯（Bayes）估計(jì)2.8 D-S 推理法（Dempster-Shafter）2.9人工神經(jīng)網(wǎng)絡(luò)（ANN）2.10專家系統(tǒng)遙感數(shù)據(jù)融合存在問題及發(fā)展趨勢遙感影像數(shù)據(jù)融合還是一門很不成熟的技術(shù)，有待于進(jìn)一步解決的關(guān)鍵問題有：（1）空間配準(zhǔn)模型（2）建立統(tǒng)一的數(shù)學(xué)融合模型（3）提高數(shù)據(jù)預(yù)處理過程的精度（4）提高精確度與可信度隨著計(jì)算機(jī)技術(shù)、通訊技術(shù)的發(fā)展，新的理論和方法的不斷出現(xiàn)，遙感影像數(shù)據(jù)融合技 術(shù)將日趨成熟，從理論研究轉(zhuǎn)入到實(shí)際更廣泛的應(yīng)用，最終必將向智能化、實(shí)時(shí)化方向發(fā)展， 并同GIS結(jié)合，實(shí)現(xiàn)實(shí)時(shí)動(dòng)態(tài)融合用于更新和監(jiān)測。圖像融合效果的評價(jià)方法2007年01月21

13、日星期日18:44 當(dāng)前融合效果的評價(jià)問題一 直未得到很好的解決，原因是：同一融合算法，對不同類型的圖像，其融合效果不同；同一 融合算法，對同一圖像，觀察者感興趣的部分不同，則認(rèn)為效果不同；不同的應(yīng)用方面，對 圖像各項(xiàng)參數(shù)的要求不同，導(dǎo)致選取的評價(jià)方法不同。因而，需要尋找一種比較客觀評價(jià)融合圖像效果的方法，使計(jì)算機(jī)能夠自動(dòng)選取適合當(dāng) 前圖像的、效果最佳的算法。從而為不同場合下選擇不同較優(yōu)算法提供依據(jù)。1客觀評價(jià)1.1基于信息量的評價(jià)1.1.1 熵3圖像的熵是衡量圖像信息豐富程度的一個(gè)重要指標(biāo)。如果融合圖像的熵越大，說明融合 圖像的信息量增加。1.1.2交叉熵交叉熵直接反映了兩幅圖像對應(yīng)像素的差

14、異，是對兩幅圖像所含信息的相對衡量。1.1.3相關(guān)熵（互信息）相關(guān)熵（互信息）是信息論中的一個(gè)重要基本概念，它可作為兩個(gè)變量之間相關(guān)性的量 度，或一個(gè)變量包含另一個(gè)變量的信息量的量度，因此，融合圖像與原始圖像的相關(guān)熵（互 信息）越大越好。1.1.4偏差熵偏差熵反映了兩幅圖像像素偏差的程度，同時(shí)也反映了兩幅圖像信息量的偏差度，分別 有：單一偏差熵、總體平方平均偏差熵、總體算術(shù)平均偏差熵、總體幾何平均偏差熵、總體 調(diào)和平均偏差熵。1.1.5聯(lián)合熵聯(lián)合熵也是信息論中的一個(gè)重要基本概念，它可作為三幅圖像之間相關(guān)性的量度，同時(shí) 也反映了三幅圖像之間的聯(lián)合信息，因此，融合圖像與原始圖像的聯(lián)合熵越大越好。1

15、.2基于統(tǒng)計(jì)特性的評價(jià)1.2.1均值1.2.2標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差反映了灰度相對于灰度均值的離散情況，標(biāo)準(zhǔn)差越大，則灰度級分布越分散，有 標(biāo)準(zhǔn)差、對數(shù)標(biāo)準(zhǔn)差。1.2.3偏差度偏差度用來反映融合圖像與原始圖像在光譜信息上的匹配程度，如果偏差指數(shù)較小，則 說明融合后的圖像R在提高空間分辨率的同時(shí)，較好地保留7F的光譜信息，有：絕對偏差 度、相對偏差度。1.2.4均方差1.2.5平均等效視數(shù)平均等效視數(shù)8 可以用來衡量噪聲的抑制效果、邊緣的清晰度和圖像的保持性。1.2.6協(xié)方差1.3基于信噪比的評價(jià)圖像融合后去噪效果的評價(jià)原則為：（1）信息量是否提高；（2）噪聲是否得到抑制；（3） 均勻區(qū)域噪聲的抑制是否得

16、到加強(qiáng)；（4）邊緣信息是否得到保留；（5）圖像均值是否提高。 因此可以從下面幾個(gè)方面評價(jià)。1.3.1信噪比1.3.2峰值信噪比1.4基于梯度值的評價(jià)1.4.1清晰度（平均梯度）清晰度11反映圖像質(zhì)量的改進(jìn)，同時(shí)還反映出圖像中微小細(xì)節(jié)反差和紋理變換特征。1.4.2空間頻率空間頻率反映了一幅圖像空間域的總體活躍程度。1.7基于小波能量的評價(jià)1415對圖像進(jìn)行小波分解后，對小波系數(shù)處理，然后重構(gòu)得到融合圖像，這種方法融合圖像 的效果評價(jià)可以采用小波系數(shù)平均能量的辦法。2評價(jià)指標(biāo)的選取評價(jià)指標(biāo)的選取一般根據(jù)融合的目的選取，圖像融合的目的主要有以下幾個(gè)方面。2.1去噪一般而言，從傳感器得到的圖像都是有噪

17、圖像，而后續(xù)的圖像處理一般要求噪聲在一定 范圍內(nèi)，因此，可以采用融合的方法來降低噪聲，提高信噪比。對于這種方法一般采用基于 信噪比的評價(jià)。2.2提高分辨率提高分辨率也是圖像融合的一個(gè)重要目的，有時(shí)從衛(wèi)星得到的紅外圖像的分辨率不高， 這就要求用其它傳感器得到圖像（如光學(xué)圖像，合成孔徑圖像）與紅外圖像進(jìn)行融合來提高 分辨率。對于這種方法的融合效果評價(jià)可采用基于統(tǒng)計(jì)特性及光譜信息的評價(jià)方法。2.3提高信息量在傳輸圖像，圖像特征提取等方面需要提高信圖像的信息量。圖像融合是提高信息量的 一個(gè)重要手段。對于融合圖像的信息量是否提高，我們可采用基于信息量的評價(jià)方法。2.4提高清晰度在圖像處理中，往往需要在保

18、持原有信息不丟失的情況下，提高圖像的質(zhì)量、增強(qiáng)圖像 的細(xì)節(jié)信息和紋理特征、保持邊緣細(xì)節(jié)及能量，這對于一般的圖像增強(qiáng)很難辦到，因此需要 采用圖像融合的辦法，這時(shí)，對融合效果的評價(jià)可采用基于梯度的方法及模糊積分的辦法和 小波能量的評價(jià)方法.2.5特殊要求在有些方面融合的目的既不是提高信息量，也不是提高分辨率和降低噪聲。這就需要根 據(jù)特殊的要求來加以衡量。2.6定性描述定性描述就是主觀評價(jià)法，也就是目測法。這種方法主觀性比較強(qiáng)，但對一些明顯的圖 像信息進(jìn)行評價(jià)直觀、快捷、方便；對一些暫無較好客觀評價(jià)指標(biāo)的現(xiàn)象可以進(jìn)行定性的說 明。其主要用于判斷融合圖像是否配準(zhǔn)，如果配準(zhǔn)不好，那么圖像就會出現(xiàn)重影，反過來通 過圖像融合也可以檢查配準(zhǔn)精度；判斷色彩是否一致；判斷融合圖像整體亮度、色彩反差是 否合適，是否有蒙霧或馬賽克現(xiàn)象；判斷融合圖像的清晰度是否降低，圖像邊緣是否清楚； 判斷融合圖像紋理及色彩信息是否豐富，光譜與空間信息是否丟失等。幾何校正就是將圖像數(shù)據(jù)投影到平面上，使其符合地圖投影系統(tǒng)的過程，而將地圖坐標(biāo)系統(tǒng)賦予圖像 數(shù)據(jù)的過程，稱為地理參考。由于所有地圖投影系統(tǒng)都遵從于一定的地圖坐標(biāo)系統(tǒng)，所以幾 何校正過程包含了地理參考過程。多項(xiàng)式糾正模型：最少控制點(diǎn)計(jì)算公式(t+1)(t+2