多源遙感數(shù)據(jù)融合

多源遙感數(shù)據(jù)融合探討

李文波2007年5月28報(bào)告內(nèi)容安排Partone：多源遙感數(shù)據(jù)介紹Parttwo：多源遙感數(shù)據(jù)融合Partthree：融合算法探討Partfour：IKONOS&QB融合效果Partfive：融合中的難點(diǎn)

Partone：多源遙感數(shù)據(jù)介紹

1972年7月23日美國(guó)發(fā)射第一顆地球資源衛(wèi)星ERTS-1；

1975年發(fā)射ERTS-2，改名Landsat-2；

1978年發(fā)射Landsat-3；

1982年在Landsat1-3的基礎(chǔ)上改進(jìn)設(shè)計(jì)并發(fā)射Landsat-4；

1984年發(fā)射Landsat-5；

1993年發(fā)射Landsat-6衛(wèi)星，上天后由于故障隕落；

1999年發(fā)射Landsat-7。數(shù)據(jù)特點(diǎn)：光譜信息豐富覆蓋面積大空間分辨率相對(duì)較高覆蓋面積為185×185km2，回歸周期為16天或者18天。影像的空間分辨率從多光譜掃描儀MSS的80米－>專題制圖儀TM影像的30米－>增強(qiáng)性專題制圖儀ETM+的全色Pan波段的15米。Multi-sensordataSensorone：LandsatRGB321Sensorone：Landsat

RGB752Multi-sensordata1986年發(fā)射SPOT-1；1989年發(fā)射SPOT-2；1993年發(fā)射SPOT-3；1996年發(fā)射SPOT-4；2002年發(fā)射SPOT-5;該系列衛(wèi)星特點(diǎn)（1）前3顆SPOT衛(wèi)星搭載的是兩臺(tái)高分辨率傳感器HRV(highresolutionvisibleimagesystem)其2個(gè)可見光和一個(gè)近紅外的XS波段空間分辨率為20米，全色PA分辨率為10米；（2）4號(hào)衛(wèi)星搭載的是HRVIR和“植被”VI傳感器；（3）5號(hào)衛(wèi)星在4號(hào)衛(wèi)星的基礎(chǔ)上加了一個(gè)高分辨率(10米)立體成像裝置（HRS）,和前4顆衛(wèi)星相比其空間分辨率幾乎提高了一個(gè)數(shù)量級(jí)：?jiǎn)紊ǘ螢?0米，全色波段為2.5米；（4）SPOT系列衛(wèi)星的重復(fù)周期26天(369圈)，由于采用傾泄觀測(cè)技術(shù)，可以對(duì)同一個(gè)地區(qū)用4～5天間隔觀測(cè)；一幅影像最少可以覆蓋117×60km2。Multi-sensordataSensortwo：SPOT

RGB432Multi-sensordataSensortwo：SPOT

CBERS系列衛(wèi)星：即中巴資源衛(wèi)星（China-BrazilEarthResourceSatellite）1999年10月CBERS-1發(fā)射2003年11月CBERS-2發(fā)射該衛(wèi)星特點(diǎn)（1）20米分辨率的5譜段CCD(chargecoupleddevice)相機(jī),其采用推帚式掃描,掃描寬度113km；（2）80米分辨率的3波段多光譜掃描儀（MSS），掃描寬度120km；（3）160米分辨率的1個(gè)波段熱紅外掃描儀，掃描寬度120km；（4）256分辨率的2個(gè)波段寬視場(chǎng)成像儀（WFI），掃描寬度890km；（5）重復(fù)觀測(cè)周期是26天，由于CCD相機(jī)具有側(cè)視功能，觀測(cè)同一地區(qū)的最短周期可以為3天。Multi-sensordataSensorthree：CBERSRGB432(2006)Multi-sensordataSensorthree：CBERS高分辨率商業(yè)衛(wèi)星Quick-Bird單波段星下分辨率為2.44米,全色分辨率為0.61米,其一副圖象可以覆蓋16.5×16.5km2.IKONOS單波段星下分辨率為4米,全色分辨率為1米,其一副圖象可以覆蓋11×11km2低分辨率衛(wèi)星MODIS衛(wèi)星

其可見分辨率比陸地衛(wèi)星低,光譜分辨率高,回歸周期短,最多一天可以獲得4條過(guò)境圖象,共有36個(gè)波段數(shù)據(jù)。Multi-sensordataSensorfour：Quick-Bird&IKONOS&MODISParttwo：

多源遙感數(shù)據(jù)融合

多源遙感影象數(shù)據(jù)特點(diǎn)：冗余性：表示多源遙感影像數(shù)據(jù)對(duì)環(huán)境或目標(biāo)的表示、描述或解譯結(jié)果相同

互補(bǔ)性：指信息來(lái)自不同的自由度且相互獨(dú)立合作性：不同傳感器在觀測(cè)和處理信息時(shí)對(duì)其它信息有依賴關(guān)系

融合目的：將單一傳感器的多波段信息或不同類別傳感器所提供的信息加以綜合，消除多傳感器信息之間可能存在的冗余和矛盾，加以互補(bǔ)，改善遙感信息提取的及時(shí)性和可靠性，提高數(shù)據(jù)的使用效率。融合實(shí)質(zhì)：

在統(tǒng)一地理坐標(biāo)系中將對(duì)同一目標(biāo)檢測(cè)的多幅遙感圖像數(shù)據(jù)采用一定的算法，生成一幅新的、更能有效表示該目標(biāo)的圖像信息。DataFusion遙感數(shù)據(jù)融合發(fā)展和應(yīng)用

數(shù)據(jù)融合（datafusion）最早被應(yīng)用于軍事領(lǐng)域。融合數(shù)據(jù)的特點(diǎn)：融合產(chǎn)生的數(shù)據(jù)具有原始影像的優(yōu)點(diǎn)，其可以減少識(shí)別目標(biāo)的模糊性和不確定性，提高遙感圖像整體質(zhì)量和綜合分析精度同時(shí)又能滿足定量遙感需要更多的光譜信息和空間紋理信息的要求。融合模型要求：具有良好的信息保真度。分類：像素級(jí)、特征級(jí)和決策級(jí)主要應(yīng)用領(lǐng)域有：多源影像、機(jī)器人和智能儀器系統(tǒng)、戰(zhàn)場(chǎng)和無(wú)人駕駛飛機(jī)、圖像分析與理解、目標(biāo)檢測(cè)與跟蹤、自動(dòng)目標(biāo)識(shí)別等。DataFusionPartthree：融合算法探討遙感數(shù)據(jù)融合流程圖

問(wèn)題：低分辨率影像如何選擇？

問(wèn)題：高分辨率影像如何選擇？數(shù)據(jù)預(yù)處理

包括幾何糾正、大氣訂正、輻射校正及空間配準(zhǔn)

（1）幾何糾正、大氣訂正及輻射校正的目的主要在于去處透視收縮、疊掩、陰影等地形因素以及衛(wèi)星擾動(dòng)、天氣變化、大氣散射等隨機(jī)因素對(duì)成像結(jié)果一致性的影響；（2）影像空間配準(zhǔn)的目的在于消除由不同傳感器得到的影像在拍攝角度、時(shí)相及分辨率等方面的差異?？臻g配準(zhǔn)

空間配準(zhǔn)中最關(guān)鍵、最困難的問(wèn)題尋找地面控制點(diǎn)（GCP,GroundControlPoint）。

(1）GCP選擇：如邊界、線狀物交叉點(diǎn)、區(qū)域輪廓線等明顯的特征。

（2）插值：根據(jù)映射關(guān)系，對(duì)非參考影像進(jìn)行重采樣，獲得同參考影像配準(zhǔn)的影像。插值法有：鄰近點(diǎn)插值法、雙線性插值法和立方卷積插值法三種，精度要求：空間配準(zhǔn)的精度一般要求在0~2個(gè)像元內(nèi)，融合精度一般在一個(gè)像元以內(nèi)。

同一傳感器數(shù)據(jù)融合不需配準(zhǔn)。（JianGuoLiu,2000）DataPreparation融合分類：按照信息抽象程度可以分為像素層、特征層和決策層像素級(jí)：優(yōu)點(diǎn)：

保留了盡可能多的信息，具有最高精度，三級(jí)融合層中為研究最成熟的一級(jí)，已經(jīng)成了豐富的融合算法。

局限性：1.效率低下。由于處理的傳感器數(shù)據(jù)量大，所以處理時(shí)間較長(zhǎng)，實(shí)時(shí)性差2.對(duì)參與融合遙感影像配準(zhǔn)精度要求很高。特征級(jí)融合

特征級(jí)融合是一種中等水平的融合。其先是將各遙感影像數(shù)據(jù)進(jìn)行特征提取，提取的特征信息應(yīng)是原始信息的充分表示量或充分統(tǒng)計(jì)量，然后按特征信息對(duì)多源數(shù)據(jù)進(jìn)行分類、聚集和綜合，產(chǎn)生特征矢量，而后采用一些基于特征級(jí)融合方法融合這些特征矢量，作出基于融合特征矢量的屬性說(shuō)明。決策級(jí)融合決策級(jí)融合是最高水平的融合，融合的結(jié)果為指揮、控制、決策提供依據(jù)。在這一級(jí)別中，首先對(duì)每一數(shù)據(jù)進(jìn)行屬性說(shuō)明，然后對(duì)其結(jié)果加以融合，得到目標(biāo)或環(huán)境的融合屬性說(shuō)明。決策級(jí)融合的優(yōu)點(diǎn)時(shí)具有很強(qiáng)的容錯(cuò)性，很好的開放性，處理時(shí)間短、數(shù)據(jù)要求低、分析能力強(qiáng)。而由于對(duì)預(yù)處理及特征提取有較高要求，所以決策級(jí)融合的代價(jià)較高。表1三級(jí)融合層次的特點(diǎn)像素級(jí)特征級(jí)決策級(jí)代數(shù)法熵法專家系統(tǒng)IHS變換表決法神經(jīng)網(wǎng)絡(luò)小波變換聚類分析Bayes估計(jì)K-T變換Bayes估計(jì)模糊聚類法主成分變換神經(jīng)網(wǎng)絡(luò)法可靠性理論回歸模型法加權(quán)平均法基于知識(shí)的融合法Kalman濾波法Dempater-shafer推理法Dempater-shafer推理法表2三級(jí)融合層次下的融合方法像素級(jí)融合主要分類（1）基于光譜（彩色）域變換的融合技術(shù)

亮度－色調(diào)－飽和度變換（Intensity-Hue-Saturation，IHS）變換和比值變換(BroveyTransform,BT)和主成分變換(PrincipleComponentTransform,PCT)等特點(diǎn)：每次該類技術(shù)每次只能對(duì)3個(gè)波段數(shù)據(jù)融合（2）基于空間域信號(hào)分解和重構(gòu)的融合技術(shù)小波變化（Wavelettransform,WT）基于亮度平滑濾波變換(SmoothingFilter-basedIntensityModulation,SFIM)高通濾波變換（HighPassFilter,HPT）等特點(diǎn)：其能對(duì)任意波段進(jìn)行融合（3）基于算術(shù)運(yùn)算的融合技術(shù)

乘積變換(MultiplicationTransform,MT)和加法變換等

特點(diǎn)：模型簡(jiǎn)單可以對(duì)任意波段進(jìn)行融合FusionMethodsIHS變換

3個(gè)波段合成的RGB顏色空間是一個(gè)對(duì)物體顏色屬性描述系統(tǒng)，而IHS色度空間提取出物體的亮度I，色度H，飽和度S，它們分別對(duì)應(yīng)3個(gè)波段的平均輻射強(qiáng)度、3個(gè)波段的數(shù)據(jù)向量和的方向及3個(gè)波段等量數(shù)據(jù)的大小。RGB顏色空間和IHS色度空間有著精確的轉(zhuǎn)換關(guān)系。以TM和SAR為例，變換思路是把TM圖像的3個(gè)波段合成的RGB假彩色圖像變換到IHS色度空間，然后用SAR圖像代替其中的I值，再變換到RGB顏色空間，形成新的影像。FusionMethods比值法融合模型（BroveyTransform，BT）

特點(diǎn)：它將參與RGB組合的每個(gè)波段與該組合波段總和做比值計(jì)算進(jìn)行正規(guī)化，以保持低分辨率影像的光譜分辨率，然后將比值結(jié)果乘以高分辨率波段的亮度以獲取高頻空間信息。具有很高的光譜信息保真度。

缺點(diǎn)：對(duì)中高光譜的低空間分辨率RGB組合選擇比較麻煩。如TM/ETM+的RGB組合多大20種。問(wèn)題：如何改進(jìn)？FusionMethods小波變換

小波變換（Wavelettransform,WT）是一種新興的數(shù)學(xué)分析方法，已經(jīng)受到了廣泛的重視。小波變換是一種全局變換，在時(shí)間域和頻率域同時(shí)具有良好的定位能力，對(duì)高頻分量采用逐漸精細(xì)的時(shí)域和空域步長(zhǎng)，可以聚焦到被處理圖像的任何細(xì)節(jié)，從而被譽(yù)為“數(shù)學(xué)顯微鏡”。

WT方法首先對(duì)參與融合的遙感圖像數(shù)據(jù)進(jìn)行小波正變換，將圖像分解為高頻信息和低頻信息。分別抽取來(lái)自高空間分辨率影像分解后的高頻信息和低空間分辨率的低頻信息進(jìn)行小波逆變換，生成融合圖像。

特點(diǎn)：可以對(duì)任意波段融合

缺點(diǎn)：小波基選擇比較麻煩，融合速度不理想

小波變換示意圖見下圖

FusionMethodsSFIM融合算法

SFIM(SmoothingFilter-basedIntensityModulationTransform),即基于平滑濾波的亮度變換，其融合算法為：

特點(diǎn)：該算法可以視為在低分辨率影像中僅引入了高分辨率影像的紋理信息，它能很好保持低分辨率影像的光譜特性。

優(yōu)點(diǎn)：能對(duì)任意波段融合，光譜保真度好

缺點(diǎn)：融合效果中存在“胡椒面現(xiàn)象”問(wèn)題：如何改進(jìn)？FusionMethods乘法融合模型MT（MultiplicationTransform）變換采用乘法融合運(yùn)算，其算法公式為：

特點(diǎn)：該算法采用乘法能反映低分辨率和高分辨率影像的混和信息，為了避免生產(chǎn)后影像的亮度值過(guò)大采用開平方。

優(yōu)點(diǎn)：能對(duì)任意波段融合，算法簡(jiǎn)單

缺點(diǎn)：光譜保真度不好FusionMethods高通濾波（加法）融合算法

HPF（High-PassFilter）變換該算法采用高通濾波融合算法，算法公式為：

特點(diǎn)：該算法采用高通濾波來(lái)抑制高分辨率影像中的低頻光譜信息和增強(qiáng)高頻空間信息，處理后的高分辨率影像和低分辨率影像相加可以達(dá)到提高低分辨率影像的空間分辨率。

優(yōu)點(diǎn)：可以對(duì)任意波段融合

FusionMethodsModifiedBroveyTransform(MBT)

特點(diǎn)：計(jì)算簡(jiǎn)單可以對(duì)任意波段融合

優(yōu)點(diǎn)：具有高高頻信息融入度

缺點(diǎn)：光譜信息保證度比較查點(diǎn)問(wèn)題：n任何選擇？FusionMethods融合效果評(píng)價(jià)評(píng)價(jià)融合影像的質(zhì)量是遙感圖像融合的一個(gè)重要步驟。評(píng)價(jià)融合效果主要包括定性和定量評(píng)價(jià)兩種。定性評(píng)價(jià)一般選用目視法解譯。定量評(píng)價(jià)選擇：均值、標(biāo)準(zhǔn)差、熵、光譜偏差度、均方根差和相關(guān)系數(shù)等定量評(píng)價(jià)分為：融合圖像的整體質(zhì)量、融合圖像和低分辨率圖像的光譜信息保真度和融合圖像與高分辨率圖像的高頻信息保真度（紋理信息）三個(gè)方面。Evaluation融合圖像的整體質(zhì)量評(píng)價(jià)指標(biāo)均值：均值越大說(shuō)明影像含信息量越高標(biāo)準(zhǔn)差：反映圖象灰度相對(duì)于灰度均值的離散情況。標(biāo)準(zhǔn)差大，則圖像灰度級(jí)分散，圖像反差大，信息量豐富熵：熵越大說(shuō)明整體圖像的信息含量高Evaluation光譜保真度評(píng)價(jià)1.保真度D

F為融合影像均值，B為原始影像均值，MN為像元總數(shù)。D反映了融合圖像和原始圖像在光譜信息上的差異和光譜特性變化的平均程度，值越小說(shuō)明光譜信息損失少,在理想情況下D=0。2.原始圖像和融合后圖像的光譜曲線Evaluation高頻信息保真度評(píng)價(jià)相關(guān)系數(shù)F為融合生成圖像的灰度值，f為融合圖像的均值；A為源圖像灰度值，a為源圖像的均值，通過(guò)計(jì)算融合圖像和高空間分辨率圖像之間的相關(guān)系數(shù)，相關(guān)系數(shù)越大說(shuō)明高頻信息融入越高。

Evaluation高頻信息保真度評(píng)價(jià)方均根誤差(RootMeanSquareError,RMSE)

RMSE能靈敏地檢測(cè)出n維空間中任意兩個(gè)向量的相似性，故該方法能定量