高光譜數(shù)據(jù)降維與可分性準則詳解演示文稿

高光譜數(shù)據(jù)降維與可分性準則詳解演示文稿1現(xiàn)在是1頁\一共有46頁\編輯于星期五優(yōu)選高光譜數(shù)據(jù)降維與可分性準則2現(xiàn)在是2頁\一共有46頁\編輯于星期五一、高光譜數(shù)據(jù)的降維問題二、類別可分性準則三、基于幾何距離的可分性準則四、基于類的概率密度的可分性準則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準則3現(xiàn)在是3頁\一共有46頁\編輯于星期五高光譜分辨率的影響在給定的波長區(qū)間內，高的光譜分辨率導致影像波段數(shù)眾多、連續(xù)。一方面，高光譜遙感的核心優(yōu)勢是反映光譜特征的細微差異；另一方面眾多的波段數(shù)目給數(shù)據(jù)處理帶來新的問題。一、高光譜數(shù)據(jù)的降維問題1.1高光譜數(shù)據(jù)的高維特征4現(xiàn)在是4頁\一共有46頁\編輯于星期五波譜空間與光譜空間波段數(shù)眾多導致光譜空間維數(shù)的增多高光譜多光譜灰度值灰度值一、高光譜數(shù)據(jù)的降維問題1.1高光譜數(shù)據(jù)的高維特征波段數(shù)眾多導致波譜曲線信息的豐富“維數(shù)”是指光譜空間的維數(shù)5現(xiàn)在是5頁\一共有46頁\編輯于星期五

高光譜影像屬于高維空間數(shù)據(jù)，已有的研究結果表明，這種數(shù)據(jù)有許多不同于低維數(shù)據(jù)的分布特性，這些特性決定了人們在對高光譜影像分析時應采用不同策略和方法。一、高光譜數(shù)據(jù)的降維問題1.1高光譜數(shù)據(jù)的高維特征6現(xiàn)在是6頁\一共有46頁\編輯于星期五1.信息冗余大

波段數(shù)量多，但并非每個波段在任何時候都是有用信息。波段之間的相關性導致信息冗余很大，尤其是相鄰波段之間的相關性很強。一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題例如：對于有N個波段的高光譜數(shù)據(jù)來講，當前應用需求是區(qū)分w1類和w2類。如果利用任意一個波段都能達到這個目的，那么，僅取一個波段就包含了足夠信息，其余N-1維特征就是多余的。7現(xiàn)在是7頁\一共有46頁\編輯于星期五根據(jù)超維立方體的體積公式，隨著空間維數(shù)的增加，超立方體的體積急劇增加，并且向角部分布。一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題2.超維幾何體體積8現(xiàn)在是8頁\一共有46頁\編輯于星期五一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題2.超維幾何體體積伽馬函數(shù)超立方體中內切求的體積與超立方體之比9現(xiàn)在是9頁\一共有46頁\編輯于星期五例如：密度分析GRID算法一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題2.超維幾何體體積由于體積因素影響，高維空間中數(shù)據(jù)的分布呈現(xiàn)出稀疏、嚴重不規(guī)則等特點，使得常規(guī)的分析算法效果不佳。

10現(xiàn)在是10頁\一共有46頁\編輯于星期五思考：既然不同波段包含了不同光譜信息，那么，在利用遙感影像分類時，是否波段越多，分類越精確？研究表明，事實并非如此一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題3.“維數(shù)災難”問題11現(xiàn)在是11頁\一共有46頁\編輯于星期五一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題3.“維數(shù)災難”問題12現(xiàn)在是12頁\一共有46頁\編輯于星期五這說明高光譜數(shù)據(jù)區(qū)分地類之間的能力極大地受到訓練樣本的限制，在分析高光譜影像時，要獲得好的分類精度就需要更多的訓練樣本。如果訓練樣本不足時，往往會出現(xiàn)在樣本點數(shù)目一定的前提下，分類精度隨著特征維數(shù)的增加“先增后降”的現(xiàn)象，這就是所謂的Hughes”維數(shù)災難”現(xiàn)象。一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題3.“維數(shù)災難”問題13現(xiàn)在是13頁\一共有46頁\編輯于星期五隨著空間維數(shù)的增加，要得到同樣精度的估計值將需要更多的樣本數(shù)。研究表明，對于監(jiān)督分類而言，若要得到比較滿意的分類結果：一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題4.高維空間中的參數(shù)估計問題線性分類器需要的樣本數(shù)與空間的維數(shù)呈線性關系。對于基于二次估計量的分類器，所需的樣本數(shù)與空間的維數(shù)呈平方關系。14現(xiàn)在是14頁\一共有46頁\編輯于星期五模式識別的類別統(tǒng)計信息向量均值和方差等根據(jù)訓練樣本估算出來訓練樣本的數(shù)目相對于特征空間的維數(shù)的比例參數(shù)估計不準確分類精度較低多光譜圖像高高光譜圖像低一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題4.高維空間中的參數(shù)估計問題因此，“維數(shù)災難”現(xiàn)象可以從樣本數(shù)量與數(shù)據(jù)復雜度關系理論來解釋分類精度較高參數(shù)估計較準確15現(xiàn)在是15頁\一共有46頁\編輯于星期五

在高維數(shù)據(jù)空間中，除了數(shù)據(jù)點分布的絕對位置以外，數(shù)據(jù)分布的形狀和方向對于分類具有更加重要的影響作用。一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題5.高階統(tǒng)計特性16現(xiàn)在是16頁\一共有46頁\編輯于星期五一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題5.高階統(tǒng)計特性17現(xiàn)在是17頁\一共有46頁\編輯于星期五在低維空間，只使用均值向量進行分類的結果比只使用方差信息得到的結果的精度高，說明在此種情況下，在分類過程中數(shù)據(jù)分布的位置比分布的形狀和方向作用要大的多，這也是人們通常遇到的情況。但是，當維數(shù)增加時，只考慮均值信息進行分類的精度并不再增加，而考慮方差信息的分類精度卻隨著特征維數(shù)的增加而繼續(xù)增加。一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題5.高階統(tǒng)計特性18現(xiàn)在是18頁\一共有46頁\編輯于星期五綜上所述，高維特征引起了多種問題因此，在高光譜數(shù)據(jù)應用的特定階段，可以對高維數(shù)據(jù)進行降維處理，得到具有代表意義的低維光譜特征，并在低維光譜空間中進行相應分析（聚類分析）。信息冗余大超維幾何體體積“維數(shù)災難”問題高維空間中的參數(shù)估計問題高階統(tǒng)計特性一、高光譜數(shù)據(jù)的降維問題1.2高維特征帶來的新問題19現(xiàn)在是19頁\一共有46頁\編輯于星期五若為D維空間中的一個容量為N的數(shù)據(jù)集合，假設其來自于維數(shù)為D的某一數(shù)據(jù)集的采樣。降維的目標是探求數(shù)據(jù)集合適的低維坐標描述，將原數(shù)據(jù)集合投影到低維空間，獲得原數(shù)據(jù)集合的低維簡潔表示。一、高光譜數(shù)據(jù)的降維問題1.3高光譜降維方法：波段選擇特征變換20現(xiàn)在是20頁\一共有46頁\編輯于星期五注意不要走向另一個極端：降維絕對不是對高維光譜信息的舍棄，而是立足于高維數(shù)據(jù)，針對不同的使用目的得到相應低維數(shù)據(jù)。圖書館的書種類繁多，不同專業(yè)的同學各取所需，只選一小部分，但并不意味著其它的書是多余的。一、高光譜數(shù)據(jù)的降維問題1.3高光譜降維21現(xiàn)在是21頁\一共有46頁\編輯于星期五高光譜數(shù)據(jù)降維的方法波段選擇特征變換具體內容在下一講中介紹

降維后得到的低維特征空間是否有效進行類別區(qū)分？一、高光譜數(shù)據(jù)的降維問題1.3高光譜降維22現(xiàn)在是22頁\一共有46頁\編輯于星期五一、高光譜數(shù)據(jù)的降維問題二、類別可分性準則三、基于幾何距離的可分性準則四、基于類的概率密度的可分性準則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準則23現(xiàn)在是23頁\一共有46頁\編輯于星期五降維得到低維特征形成特征空間分布不同可分性存在差異衡量可分性？可分性判據(jù)定量化的指標指導降維二、類別可分性準則2.1高光譜數(shù)據(jù)降維與類別可分性判據(jù)的關系24現(xiàn)在是24頁\一共有46頁\編輯于星期五概念：從高維數(shù)據(jù)中得到了一組用來分類的特征，需要一個定量的標準來衡量特征對分類的有效性。2.2可分性準則基本概念可分性準則二、類別可分性準則可分性準則的主要類型：基于幾何距離的可分性準則基于概率密度的可分性準則特點：通過已知類別先驗知識，衡量當前特征空間對類別的區(qū)分效果。25現(xiàn)在是25頁\一共有46頁\編輯于星期五一、高光譜數(shù)據(jù)的降維問題二、類別可分性準則三、基于幾何距離的可分性準則四、基于類的概率密度的可分性準則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準則26現(xiàn)在是26頁\一共有46頁\編輯于星期五不同的類別不同的分布區(qū)域類別可分性區(qū)域可分性區(qū)域可分性通過幾何距離來度量三、基于幾何距離的可分性準則3.1基本思想27現(xiàn)在是27頁\一共有46頁\編輯于星期五1.點與點的距離在維特征空間中，特征點與特征點之間的歐氏距離為：3.2幾何距離可分性準則原理三、基于幾何距離的可分性準則28現(xiàn)在是28頁\一共有46頁\編輯于星期五當前點與點集中每個點逐個計算距離2.點與點集的距離3.2幾何距離可分性準則原理三、基于幾何距離的可分性準則29現(xiàn)在是29頁\一共有46頁\編輯于星期五總體的均值矢量類內的均值矢量3.類內及總體的均值矢量3.2幾何距離可分性準則原理三、基于幾何距離的可分性準則30現(xiàn)在是30頁\一共有46頁\編輯于星期五類內均方歐氏距離定義為：類內均方距離也可定義為：3.2幾何距離可分性準則原理4.類內距離先求出各自到類心的距離的平方，再求和兩兩運算，不涉及類心三、基于幾何距離的可分性準則31現(xiàn)在是31頁\一共有46頁\編輯于星期五類內離差矩陣，反映類內部樣本在均值周圍的散布情況。（矩陣的跡）與類內均方歐氏距離的關系：3.2幾何距離可分性準則原理5.類內離差矩陣三、基于幾何距離的可分性準則32現(xiàn)在是32頁\一共有46頁\編輯于星期五兩類樣本之間的距離X1X2X3Y1Y2A類B類兩兩之間3.2幾何距離可分性準則原理6.兩類之間的距離三、基于幾何距離的可分性準則33現(xiàn)在是33頁\一共有46頁\編輯于星期五取歐氏距離時，總的均方距離為總的樣本距離兩類樣本之間的距離類與類兩兩求和3.2幾何距離可分性準則原理7.各類總的均方距離三、基于幾何距離的可分性準則34現(xiàn)在是34頁\一共有46頁\編輯于星期五第i類的離差矩陣第i類的比例A.總的類內離差矩陣3.2幾何距離可分性準則原理7.多類情況離差矩陣三、基于幾何距離的可分性準則35現(xiàn)在是35頁\一共有46頁\編輯于星期五第i類樣本均值總體樣本均值每一類只有一個代表B.類間離差矩陣3.2幾何距離可分性準則原理7.多類情況離差矩陣三、基于幾何距離的可分性準則36現(xiàn)在是36頁\一共有46頁\編輯于星期五任一樣本實質是樣本總體的協(xié)方差矩陣不涉及類的概念總體樣本均值C.總體離差矩陣3.2幾何距離可分性準則原理7.多類情況離差矩陣三、基于幾何距離的可分性準則37現(xiàn)在是37頁\一共有46頁\編輯于星期五點與點的距離點到點集類內的均值矢量類內距離類內均方距離類內離差矩陣總體的均值矢量兩類之間的距離總體離差矩陣各類模式之間總的均方距離如何通過幾何距離衡量可分性？三、基于幾何距離的可分性準則3.3判據(jù)構造1.離差矩陣分析38現(xiàn)在是38頁\一共有46頁\編輯于星期五樣本的散布程度樣本越分散矩陣數(shù)值越大類的內部越緊密越好類之間越分散越好降維方案1降維方案2樣本的類別信息已知越小越好越大越好情況復雜三、基于幾何距離的可分性準則3.3判據(jù)構造1.離差矩陣分析39現(xiàn)在是39頁\一共有46頁\編輯于星期五原則：數(shù)值的大小直接體現(xiàn)降維后特征空間的類別可分性。常見判據(jù)：3.3判據(jù)構造2.依據(jù)可分性準則構造判據(jù)三、基于幾何距離的可分性準則40現(xiàn)在是40頁\一共有46頁\編輯于星期五一、高光譜數(shù)據(jù)的降維問題二、類別可分性準則三、基于幾何距離的可分性準則四、基于類的概率密度的可分性準則第四章第1節(jié)高光譜數(shù)據(jù)降維與可分性準則41現(xiàn)在是41頁\一共有46頁\編輯于星期五先驗概率后驗概率條件概率在樣本集中，預先已知的某一類出現(xiàn)的概率P(Wi)對于樣本集中的某一模式x，它屬于某類Wi的概率P(Wi|x)在某一類Wi中，模式x出現(xiàn)的概率P(x|Wi)4.1基本概念回顧四、基于概率密度的可分性準則42現(xiàn)在是42頁\一共有46頁\編輯于星期五W1

W2

P(x|W1)P(x|W2)P100%0%W2W1100%W1

W2

P(x|W1)P(x|W2)P0%W1W2各類的條件概率密度函數(shù)P(x|Wi)重疊度越低，特征可分性越好。四、基于概率密度的可分性準則4.2概率密度分析43現(xiàn)在是43頁\一共有46頁\編輯于星期五可分性判據(jù)的設定衡量概率密度重疊度立足于基本性質：

Jp>=0;當兩類概率密度完全不重疊時，Jp取最大值;當兩類概率密度完全重疊時，Jp等于0;兩類概率密度具有“對稱性”。四、基于概率密度的可分性準則4.3基本性質44現(xiàn)在是44頁\一共有46頁\編輯于星期五進行相關性運算，實際上是對兩個概