最大似然分類算法原理及實(shí)現(xiàn)學(xué)習(xí)課件

1、林業(yè)生態(tài)工程遙感監(jiān)測子課題項(xiàng)目小結(jié) 最大似然分類算法原理及實(shí)現(xiàn) 內(nèi)容提要內(nèi)容提要 項(xiàng)目背景及進(jìn)展 最大似然分類算法原理 最大似然分類算法先驗(yàn)概率 下一步工作計(jì)劃 2 1.項(xiàng)目背景及進(jìn)展 項(xiàng)目來源：項(xiàng)目來源：國家高新技術(shù)研究發(fā)展(863)計(jì)劃信息 技術(shù)領(lǐng)域高效能計(jì)算機(jī)及網(wǎng)絡(luò)服務(wù)環(huán)境題 項(xiàng)目名稱：項(xiàng)目名稱：基于多源數(shù)據(jù)的國家林業(yè)生態(tài)工程監(jiān)測與評 價網(wǎng)格應(yīng)用系統(tǒng) 課題名稱：課題名稱：網(wǎng)格環(huán)境下林業(yè)生態(tài)工程多源遙感監(jiān)測關(guān)鍵 技術(shù)研究 合作單位：合作單位：三北局，林科院，清華大學(xué)，林大 項(xiàng)目背景 3 核心 4 1.項(xiàng)目背景及進(jìn)展 整體技術(shù)路線 數(shù)據(jù)收集與整理 遙感影像預(yù)處理 土地覆蓋分類 土地覆蓋變化監(jiān)

2、測 沙地現(xiàn)狀信息 林地現(xiàn)狀信息 遙感野外調(diào)查 算法優(yōu)化調(diào)整 算法網(wǎng)格實(shí)現(xiàn) 造林工程遙感 監(jiān)測 分類系統(tǒng)確定 研究區(qū)選擇 沙地變化信息 林地變化信息 技術(shù)路線 5 1.項(xiàng)目背景及進(jìn)展 技術(shù)路線之分類 多源遙感影像 數(shù)據(jù)預(yù)處理 分類系統(tǒng)的確定分類系統(tǒng)的確定 研究尺度逐漸擴(kuò)大 高分辨率影像分類中分辨率影像分類低分辨率影像分類 AlosSpot5TMMODIS 分類方法的優(yōu)選 外業(yè)調(diào)查驗(yàn)證 林地信息提取沙地信息提取 算法優(yōu) 化調(diào)整 分類 6 1.項(xiàng)目背景及進(jìn)展 技術(shù)路線之變化檢測 多時相遙感影像 數(shù)據(jù)預(yù)處理 變化信息提取 中分辨率尺度變化檢測中分辨率尺度變化檢測 低分辨率尺度變化檢測低分辨率尺度變化檢

3、測 多時相TM遙感影像 插值法 植被指數(shù)插值法 外業(yè)調(diào)查驗(yàn)證 造林信息提取 分類后比較法比值法 長時間序列MODIS 遙感影像 算法優(yōu) 化調(diào)整 林地沙地 變化檢測 7 項(xiàng)目進(jìn)展 1 12 23 3 4 4 45 5 8 1.項(xiàng)目背景及進(jìn)展 項(xiàng)目進(jìn)展 1.變化檢測差值法部分移植；分類后比較獨(dú)立實(shí)現(xiàn) 2.紋理分析嵌入 3.SVM分類嵌入 4.特征優(yōu)選嵌入 待實(shí)現(xiàn) 1.基本功能：影像信息獲取、影像縮放、影像裁剪與合并、影像輸出等 2.樣本庫的建立、管理與應(yīng)用 3.3.最大似然分類最大似然分類 4.4.最小距離分類最小距離分類 5.NDVI提取，植被覆蓋度提取 已實(shí)現(xiàn) 9 最大似然分類 最小距離分類

4、10 1.項(xiàng)目背景及進(jìn)展 項(xiàng)目進(jìn)展 1.樣本庫 (1)樣本庫的管理與樣本選擇功能整合； (2)樣本選擇的動態(tài)顯示； (3)項(xiàng)目提交TM數(shù)據(jù)的各縣規(guī)范樣本庫的建立，利用ERDAS的 樣本純化功能。 2.分類 (1)分類閾值設(shè)置單機(jī)系統(tǒng)要求必須有； (2)決策樹分類，針對MODIS數(shù)據(jù)； (3)分類結(jié)果評價功能； (4)分類后統(tǒng)計(jì)功能結(jié)合需求。 待完善 2.最大似然分類算法原理 算法基本思想 11 2.12.1算法基本思想算法基本思想 最大似然法將遙感影像多波段數(shù)據(jù)的分布作為多維正態(tài)分布來構(gòu)造判別 分類函數(shù)?；舅枷胧牵焊黝惖囊阎裨臄?shù)據(jù)在平面或空間中構(gòu)成一定的 點(diǎn)群；每一類的每一維數(shù)據(jù)都在自己

5、的數(shù)軸上形成一個正態(tài)分布，該類的多 維數(shù)據(jù)就構(gòu)成該類的一個多維正態(tài)分布；各類的多維正態(tài)分布模型在位置、 形狀、密集或者分散程度等方面不同。以三維正態(tài)分布為例，每一類數(shù)據(jù)都 會形成近似銅鐘形的立方體。 2.最大似然分類算法原理 12 2.12.1算法基本思想算法基本思想 根據(jù)訓(xùn)練樣本，可以構(gòu)造出各類的多維正態(tài)分布模型，實(shí)際就是各類出 現(xiàn)各種數(shù)據(jù)向量的概率，即概率密度函數(shù)或者概率分布函數(shù)或概率函數(shù)。 g1(x) Maxg(x) n x x x X . 2 1 特征向量判別計(jì)算 決策 i xg2(x) gn(x) 最大值選擇器 . 在得到各類的多維分布模型后，對于未知類別的數(shù)據(jù)向量，便可通 過貝葉斯

6、公式計(jì)算它屬于各個類別的概率大小，比較這些概率，屬于哪 一類的概率大，就把該數(shù)據(jù)向量或者像元?dú)w到這類中。 算法基本思想 2.最大似然分類算法原理 13 2.22.2貝葉斯公式的引入貝葉斯公式的引入 v 以具體問題為例： 貝葉斯公式 池塘里有兩種魚，鯉魚和草魚；我們 下一條釣到的魚是哪類魚呢？ 下一條釣到的魚其類別狀態(tài)為W W=w1，鯉魚； W=w2，草魚 下一條魚是鯉魚的先驗(yàn)概率為P(w1) 下一條魚是草魚的先驗(yàn)概率為P(w2) 只利用先驗(yàn)概率的信息來判斷類別 P(w1)P(w2)鯉魚 P(w1)P(w2)草魚 鯉魚鯉魚 草魚草魚 ( |) j p x w 2.最大似然分類算法原理 14 2.

7、22.2貝葉斯公式的引入貝葉斯公式的引入 v 先驗(yàn)概率只是作為類別判斷信息之一；實(shí)際情況下，會加入其它信息作 為判別的依據(jù)。例如，魚的光澤度x，是一個連續(xù)的隨機(jī)變量，它的分 布取決于類別的狀態(tài)，稱為類條件概率密度，表示為p(x|w) ,即在類別 為w的時候x的概率密度函數(shù)。如下圖所示，鯉魚和草魚的光澤度的區(qū)別： 貝葉斯公式 X X存在的總的可能性存在的總的可能性 2.最大似然分類算法原理 15 2.22.2貝葉斯公式的引入貝葉斯公式的引入 v 已知兩類魚的先驗(yàn)概率 ,和類條件概率密度 ,下一條釣下一條釣 到的魚到的魚是鯉魚或者草魚類別的概率分別可以表示為： () j P w ( |) j p

8、x w 11 12 1 () ( |) (| ) () ( |) jj j P w p x w p wx P wp x w 22 22 1 () ( |) (| ) () ( |) jj j P wp x w p wx P wp x w () ( |) (| ) ( ) jj j P wp x w p wx P x 貝葉斯公式貝葉斯公式 likehoodprior posterior evidence 貝葉斯公式 2.最大似然分類算法原理 16 2.32.3像元值的概率密度函數(shù)像元值的概率密度函數(shù) v 概率分布函數(shù)：設(shè)X為連續(xù)型隨機(jī)變量，定義分布函數(shù)；F(x) = P(Xx)； v 概率密度函

9、數(shù)：如果存在一個非負(fù)函數(shù)p(x)使得下式成立，則p(x)稱為 的概率密度函數(shù)： v 概率密度函數(shù)應(yīng)該滿足以下條件， x F xp t dt Fxp x P Xxp x dx 概率密度函數(shù) 1)( )( , 0)( dxxp xxp )(xP X 2 2 95.0 1 2.最大似然分類算法原理 17 v 針對只有一個波段的影像， ，它的 正態(tài)分布密度函數(shù)，又稱高斯分布密度函數(shù)為： ,., 211kikkk xxxX 2 1 2 1 1 ki 2 1 exp 2 1 )/( k ki k Xx GxP ),( 2 1 exp 2 1 )( 2 2 N x xP 第K類中出現(xiàn) 的概率 ki x 2.

10、32.3像元值的概率密度函數(shù)像元值的概率密度函數(shù) 概率密度函數(shù) 2.最大似然分類算法原理 18 v 針對有兩個波段的影像， ， 它的第K類的二維正態(tài)分布密度函數(shù)為： ,., 112111ikkkk xxxX,., 222212ikkkk xxxX 2211 12 2211 2 2 1 112 22 2 2 2 11 2 1 1 2 1 2 122211 2 2 1 21 1 2 2 1 exp 2 1 )/,( k ik k ik k ik k ik kikik XxXxXxXx GxxP 第K類中出現(xiàn) ( ) 的概率 ikik xx 21 , 2.32.3像元值的概率密度函數(shù)像元值的概率密度

11、函數(shù) 概率密度函數(shù) 2.最大似然分類算法原理 19 v 針對m維，即有m個波段的影像，第k類對應(yīng)的正態(tài)分 布密度函數(shù)為： kkk m k k xSx S GxP 1 2 2 1 1 2 1 exp 2 )/( m x x x x . 2 1 注釋：注釋： km k k km k k k x x x . 2 1 2 1 k S 是第k類m個波段值的協(xié)方差矩陣 k k k W n S 1 1 2.32.3像元值的概率密度函數(shù)像元值的概率密度函數(shù) 概率密度函數(shù) 2.最大似然分類算法原理 20 v 假設(shè)影像可以分為g個類別，由前面我們可以得到g個概率分布密度函數(shù)， 可以計(jì)算g個類別中m維隨機(jī)變量x，即

12、m個波段的像元x，出現(xiàn)各類值的概 率；那么現(xiàn)在對于一個已知的m維隨機(jī)變量x，我們就可以反過來算它屬 于g個類別中第k類的概率，由貝葉斯公式得： )( )/()( )/( xP GxPGP xGP kk k )( )/()( )( )( )/( )( )( )/( BP ABPAP BP ABP BAP AP ABP ABP )/(xGP k ? )( k GP ? )/( k GxP ? )(xP =1? 2.32.3像元值的概率密度函數(shù)像元值的概率密度函數(shù) 概率密度函數(shù) 2.最大似然分類算法原理 21 2.42.4貝葉斯公式的化簡貝葉斯公式的化簡 推導(dǎo)過程 )( )/()( )/( xP G

13、xPGP xGP kk k )/()()/( kkk GxPGPxGP kkk m k k xSx S GxP 1 2 2 1 1 2 1 exp 2 )/( 代入公式，兩邊取對數(shù) 不考慮P(x) 2.最大似然分類算法原理 22 推導(dǎo)過程 )/(ln)(ln)/(ln kkk GxPGPxGP kkk m k kk xSx S GPxGP 1 2 2 1 1 2 1 2 ln)(ln)/(ln kkkkk xSxSP 1 2 1 ln 2 1 * 最終公式最終公式 2.42.4貝葉斯公式的化簡貝葉斯公式的化簡 2.最大似然分類算法原理 23 推導(dǎo)過程 2.42.4貝葉斯公式的化簡貝葉斯公式的化

14、簡 假設(shè)假設(shè)1 1：假設(shè)各個類別的各個特征之間是相互獨(dú)立的，并且每個特征具有相：假設(shè)各個類別的各個特征之間是相互獨(dú)立的，并且每個特征具有相 同的方差同的方差 ，這種情況下，協(xié)方差矩陣是對角陣，且僅僅是，這種情況下，協(xié)方差矩陣是對角陣，且僅僅是 與單位陣與單位陣 I I的乘積。因此，公式化簡為：的乘積。因此，公式化簡為： 2 2 kkkk xSxP 1 2 1 * 2 2 1 * 2 kk Px 2 * kk Px 最小距離分類最小距離分類 2.最大似然分類算法原理 24 推導(dǎo)過程 k k k W n S 1 1 kkk WnS ) 1( g k kgk WgnnnnS 1 21 ) 1*.(

15、g k k W gN W gN S 1 1 1 代入概率計(jì)算公式取代 S k S 2.42.4貝葉斯公式的化簡貝葉斯公式的化簡 假設(shè)假設(shè)2 2：假設(shè)各個類別的協(xié)方差矩陣都相等，稱其為總的協(xié)方差矩陣。：假設(shè)各個類別的協(xié)方差矩陣都相等，稱其為總的協(xié)方差矩陣。 kkkk SSxxSxSP 1 11 2 1 2 1 ln 2 1 * 2.最大似然分類算法原理 25 推導(dǎo)過程 kkkkkkkk SSxxSxSP 1 11 2 1 2 1 ln 2 1 * kkkk SSxf 1 1 2 1 2.42.4貝葉斯公式的化簡貝葉斯公式的化簡 2.最大似然分類算法原理 26 推導(dǎo)過程 kkkk SSxf 1 1

16、 2 1 kk Sc 1 kkkkk cSc 1 0 2 1 2 1 kkk ccxf 0 矩陣 OR 常數(shù)？ 2.42.4貝葉斯公式的化簡貝葉斯公式的化簡 2.最大似然分類算法原理 27 推導(dǎo)過程 kkk ccxf 0 g k k k f ff f g k f f k eee e e e xGP . )/( 21 1 g k ff ff k kk kk e e xGP 1 )max( )max( )/( 程序?qū)崿F(xiàn) 2.42.4貝葉斯公式的化簡貝葉斯公式的化簡 貝葉斯資料 Thomas Bayes Born: 1702 in London, England Died: 17 April 176

17、1 in Tunbridge Wells, Kent, England A Great Man !A Great Man ! 3.最大似然分類算法先驗(yàn)概率 先驗(yàn)概率解釋先驗(yàn)概率解釋 29 )( )/()( )/( xP GxPGP xGP kk k v 貝葉斯公式的核心在于概率密度函數(shù)和先驗(yàn)概率。 v 概率密度函數(shù)=遙感影像的波譜信息 v 先驗(yàn)概率=遙感影像中地物的空間分布信息 v 令各個類別的先驗(yàn)概率相等，便忽略了地理分布信息； 分類精度會受到影響；尤其對于光譜特征相似但是分布 面積差距很大的類別。 3.13.1先驗(yàn)概率的解釋先驗(yàn)概率的解釋 3.最大似然分類算法先驗(yàn)概率 30 v 地類1和地

18、類2，光譜特征相似； v 不考慮先驗(yàn)概率，假設(shè)像元x屬于類1的概率為1/3， 屬于類2的概率為1/2，那么x將歸為類2； v 如果考慮先驗(yàn)概率，那么x將歸為類1；因?yàn)轭?面 積的1/3要大于類2面積的1/2； 5 1 1 2 2 3 3 4 4 不考慮先驗(yàn)概率，像 元x歸屬取決于它在各個 類別中出現(xiàn)的概率； 考慮先驗(yàn)概率，像元x 歸屬取決于它在各個類別 中出現(xiàn)的絕對數(shù)！ 先驗(yàn)概率解釋先驗(yàn)概率解釋 3.最大似然分類算法先驗(yàn)概率 先驗(yàn)概率獲取方法先驗(yàn)概率獲取方法 31 3.23.2先驗(yàn)概率的獲取方法先驗(yàn)概率的獲取方法 v 土地利用類型統(tǒng)計(jì)數(shù)據(jù)獲取各個地類面積的比率 v 矢量化土地利用現(xiàn)狀圖獲取各個

19、地類面積的比率 v 非監(jiān)督分類初步獲取各個地類面積的比率 v 初次最大似然分類獲取各個地類面積的比率 v 利用地物的幾何空間特征、情景特征、鄰近像素的 空間自相關(guān)定律、景觀參數(shù)等，基于最小距離分類獲 得的先驗(yàn)知識，來調(diào)整先驗(yàn)概率 在獲取或者改進(jìn)了先驗(yàn)概率的基礎(chǔ)上，進(jìn)行迭代最大似然分類。計(jì)算當(dāng)前分類 結(jié)果各地物類型的面積比例，作為下一次最大似然分類的先驗(yàn)概率；直到相鄰 兩次分類各地物面積比例變化率接近0或者分類精度趨于穩(wěn)定為止。 4.下一步工作計(jì)劃 工作計(jì)劃工作計(jì)劃 32 v 文章寫作基于TM影像的沙地提取。 v 系統(tǒng)完善基于本項(xiàng)目設(shè)計(jì)的各個功能。 v 持續(xù)研究在哪些點(diǎn)可以利用本項(xiàng)目已收集和積累

20、的 數(shù)據(jù)資源、程序資源等繼續(xù)研究？如何依托“三北”防 護(hù)林五期工程開展的契機(jī)與其能繼續(xù)開展合作？ E-mail E-mail : : PhonePhone : : 1510112438415101124384 Thank you 33 請拍 拍 拍 拍 拍 拍 拍 拍磚磚 2.最大似然分類算法原理 算法基本思想 34 2.12.1算法基本思想算法基本思想 最大似然法將遙感影像多波段數(shù)據(jù)的分布作為多維正態(tài)分布來構(gòu)造判別 分類函數(shù)。基本思想是：各類的已知像元的數(shù)據(jù)在平面或空間中構(gòu)成一定的 點(diǎn)群；每一類的每一維數(shù)據(jù)都在自己的數(shù)軸上形成一個正態(tài)分布，該類的多 維數(shù)據(jù)就構(gòu)成該類的一個多維正態(tài)分布；各類的

21、多維正態(tài)分布模型在位置、 形狀、密集或者分散程度等方面不同。以三維正態(tài)分布為例，每一類數(shù)據(jù)都 會形成近似銅鐘形的立方體。 2.最大似然分類算法原理 35 2.12.1算法基本思想算法基本思想 根據(jù)訓(xùn)練樣本，可以構(gòu)造出各類的多維正態(tài)分布模型，實(shí)際就是各類出 現(xiàn)各種數(shù)據(jù)向量的概率，即概率密度函數(shù)或者概率分布函數(shù)或概率函數(shù)。 g1(x) Maxg(x) n x x x X . 2 1 特征向量判別計(jì)算 決策 i xg2(x) gn(x) 最大值選擇器 . 在得到各類的多維分布模型后，對于未知類別的數(shù)據(jù)向量，便可通 過貝葉斯公式計(jì)算它屬于各個類別的概率大小，比較這些概率，屬于哪 一類的概率大，就把該數(shù)據(jù)向量或者像元?dú)w到這類中。 算法基本思想 X X存在的總的可能性存在的總的可能性 2.最大似然分類算法原理 36 2.22.2貝葉斯公式的引入貝葉斯公式的引入 v 已知兩類魚的先驗(yàn)概率 ,和類條件概率密度 ,下一條釣下一條釣 到的魚到的魚是鯉魚或者草魚類別的概率分別可以表示為： () j P w ( |) j p x w 11 12 1 () ( |) (| ) () ( |) jj j P w p