貝葉斯決策理論與統(tǒng)計(jì)判別方法PPT課件

1、學(xué)習(xí)指南 本章要說明分類識(shí)別中為什么會(huì)有錯(cuò)分類，在何種情況下會(huì)出現(xiàn)錯(cuò)分類？錯(cuò)分類的可能性會(huì)有多大？怎樣才能使錯(cuò)分類最少？ 不同的錯(cuò)分類造成的危害是不同的，有的錯(cuò)分類種類造成的危害更大，因此控制這種錯(cuò)分類則是更重要的。為此引入了一種“風(fēng)險(xiǎn)”與“損失”概念，希望做到使風(fēng)險(xiǎn)最小。要著重理解“風(fēng)險(xiǎn)”與“損失”的概念，以及在引入“風(fēng)險(xiǎn)”概念后的處理方法。 第1頁/共81頁學(xué)習(xí)指南 理解本章的關(guān)鍵 要正確理解先驗(yàn)概率，類概率密度函數(shù)，后驗(yàn)概率這三種概率 對(duì)這三種概率的定義，相互關(guān)系要搞得清清楚楚 Bayes公式正是體現(xiàn)這三者關(guān)系的式子，要透徹掌握。 第2頁/共81頁2.1引言 統(tǒng)計(jì)決策理論 是模式分類問題

2、的基本理論之一 貝葉斯決策理論 是統(tǒng)計(jì)決策理論中的一個(gè)基本方法第3頁/共81頁物理對(duì)象的描述 在特征空間中討論分類問題 假設(shè)一個(gè)待識(shí)別的物理對(duì)象用其d個(gè)屬性觀察值描述，稱之為d個(gè)特征，記為x = x1, x2, , xdT 這組成一個(gè)d維的特征向量，而這d維待征所有可能的取值范圍則組成了一個(gè)d維的特征空間。第4頁/共81頁貝葉斯決策理論方法討論的問題 討論的問題 總共有c類物體 已知各類在這d維特征空間的統(tǒng)計(jì)分布， 各類別i=1,2,c的先驗(yàn)概率P(i) 類條件概率密度函數(shù)p(x|i) 問題: 如何對(duì)某一樣本按其特征向量分類已知d維特征空間的統(tǒng)計(jì)分布，如何對(duì)某一樣本分類最合理第5頁/共81頁

3、基于最小錯(cuò)誤率的貝葉斯決策 基于最小風(fēng)險(xiǎn)的貝葉斯決策 在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策 最小最大決策 序貫分類方法2.2 幾種常用的決策規(guī)則第6頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 分類識(shí)別中為什么會(huì)有錯(cuò)分類？ 當(dāng)某一特征向量值X只為某一類物體所特有，即 對(duì)其作出決策是容易的，也不會(huì)出什么差錯(cuò) 問題在于出現(xiàn)模棱兩可的情況 任何決策都存在判錯(cuò)的可能性。 第7頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 基本思想 使錯(cuò)誤率為最小的分類規(guī)則 稱之為基于最小錯(cuò)誤率的貝葉斯決策 第8頁/共81頁例 兩類細(xì)胞識(shí)別 特征-后驗(yàn)概率-分類 兩類魚識(shí)別 特征-后驗(yàn)概率-分類 天氣預(yù)報(bào)中的后驗(yàn)概

4、率 特征 后驗(yàn)概率 分類第9頁/共81頁例 細(xì)胞識(shí)別，加入更多類別? 魚識(shí)別，加入更多種類? 存在問題 后驗(yàn)概率直接用來分類 后驗(yàn)概率不易直接得到 后驗(yàn)概率不易聯(lián)合考慮 第10頁/共81頁例 另一種概率:類條件概率 正常細(xì)胞特征的概率分布 異常細(xì)胞特征的概率分布 salmon的概率分布 sea bass的概率分布 分類中如何使用類條件概率？ 什么是先驗(yàn)概率？第11頁/共81頁條件概率 P(*|#)是條件概率的通用符號(hào) 即在某條件#下出現(xiàn)某個(gè)事件*的概率 P(K|X):X出現(xiàn)條件下,樣本為K類的概率 P(*|#)與P(*)不同第12頁/共81頁幾個(gè)重要概念 先驗(yàn)概率 P(1)及P(2) 概率密度

5、函數(shù) P(x|i) 后驗(yàn)概率 P(i|X) 第13頁/共81頁貝葉斯決策理論 先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù) 假設(shè)總共有c類物體，用i (i=1,2,c)標(biāo)記每個(gè)類別，x = x1, x2, , xdT，是d維特征空間上的某一點(diǎn)，則 P(i )是先驗(yàn)概率 p(x| i )是i類發(fā)生時(shí)的條件概率密度函數(shù) P(i|x)表示后驗(yàn)概率第14頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 例：癌細(xì)胞的識(shí)別 假設(shè)每個(gè)要識(shí)別的細(xì)胞已作過預(yù)處理，并抽取出了d個(gè)特征描述量，用一個(gè)d維的特征向量X表示， 識(shí)別的目的是要依據(jù)該X向量將細(xì)胞劃分為正常細(xì)胞或者異常細(xì)胞。 這里我們用表示是正常細(xì)胞，而則屬于異常細(xì)胞。第15頁/

6、共81頁基于最小錯(cuò)誤率的貝葉斯決策 先驗(yàn)概率 P(1)和P(2) 含義: 每種細(xì)胞占全部細(xì)胞的比例 P(1)+P(2)=1 一般情況下正常細(xì)胞占比例大，即P(1)P(2)第16頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 salmon” or “sea bass”判別中的先驗(yàn)概率 P(salmon) P(sea bass)第17頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 先驗(yàn)概率 根據(jù)先驗(yàn)概率決定 這種分類決策沒有意義 表明由先驗(yàn)概率所提供的信息太少 221121),()(),()(xPPxPP第18頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 概率密度函數(shù) 利用對(duì)細(xì)胞作病理分析所觀測(cè)到的信息，也就是所抽取到

7、的d維觀測(cè)向量。 為簡單起見，我們假定只用其一個(gè)特征進(jìn)行分類，即d=1 得到兩類的類條件概率密度函數(shù)分布 P(x|1)是正常細(xì)胞的屬性分布 P(x|2)是異常細(xì)胞的屬性分布第19頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 類條件概率密度函數(shù)1)|(dxXfi概率密度函數(shù)性質(zhì)第20頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 salmon” or “sea bass”判別中的類條件概率密度函數(shù)第21頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策類條件概率密度函數(shù)直接用來分類是否合理？221: )|()|(XPXP121: )|()|(XPXP具有一定的合理性不滿足最小錯(cuò)誤率要求沒有考慮先驗(yàn)概率第22頁/共81頁基

8、于最小錯(cuò)誤率的貝葉斯決策 后驗(yàn)概率含義 P (1 |X ) 當(dāng)觀測(cè)向量為X值時(shí), 該細(xì)胞屬于正常細(xì)胞的概率。P (2 |X ) 當(dāng)觀測(cè)向量為X值時(shí), 該細(xì)胞屬于異常細(xì)胞的概率。第23頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 后驗(yàn)概率第24頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 “ salmon” or “sea bass”判別中的后驗(yàn)概率第25頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 類條件概率和后驗(yàn)概率區(qū)別 后驗(yàn)概率: P(1|x)和P(|x) 同一條件x下，比較1與2出現(xiàn)的概率 兩類1和2，則有P(1|x)+P(2|x)=1 如P(1|x) P(2|x)則可以下結(jié)論，在x條件下，事件1出現(xiàn)的可

9、能性大 類條件概率: P(x|1)和P(x|2) 是在不同條件下討論的問題 即使只有兩類1與2，P(x|1)+P(x|1)1 P(x|1)與P(x|2)兩者沒有聯(lián)系第26頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 貝葉斯公式 先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)之間關(guān)系 根據(jù)先驗(yàn)概率和概率密度函數(shù)可以計(jì)算出后驗(yàn)概率第27頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 問題 為什么先驗(yàn)概率和類條件概率密度函數(shù)可以作為已知？ 而后驗(yàn)概率需要通過計(jì)算獲得？第28頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 為什么后驗(yàn)概率要利用Bayes公式從先驗(yàn)概率和類條件概率密度函數(shù)計(jì)算獲得 ？ 計(jì)算概率都要擁有大量數(shù)據(jù) 估計(jì)先驗(yàn)概率

10、與類條件概率密度函數(shù)時(shí)都可搜集到大量樣本 對(duì)某一特定事件(如x)要搜集大量樣本是不太容易 只能借助Bayes公式來計(jì)算得到 第29頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 問題 根據(jù)最小錯(cuò)誤率，如何利用先驗(yàn)概率、類條件概率密度函數(shù)和后驗(yàn)概率進(jìn)行分類？第30頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 貝葉斯決策理論前提 各類別總體的概率分布是已知的; 要決策分類的概率分布是已知的。 貝葉斯決策理論方法所討論的問題是： 已知:總共有c類物體，以及先驗(yàn)概率P(i)及類條件概率密度函數(shù)p(x|i) 問題: 如何對(duì)某一樣本按其特征向量分類的問題。第31頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 基于最小錯(cuò)誤率的貝

11、葉斯決策規(guī)則: 如果P(1|X)P(2|X)，則X歸為1類別如果P(1|X)P(2|X)，則X歸為2類別第32頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 幾種等價(jià)形式： 后驗(yàn)概率形式: 如果 則 x歸為i 先驗(yàn)概率及類條件概率密度函數(shù)表示： 如果 則 x歸為i第33頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 幾種等價(jià)形式： 比值的方式表示，如果 則x歸為1 ，否則x歸為2 第34頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 幾種等價(jià)形式： 對(duì)數(shù)形式若 則x歸為1 ，否則x歸為2第35頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 例2.1 假設(shè)在某地區(qū)切片細(xì)胞中正常(1)和異常()兩類的先驗(yàn)概率分別為P(1)=0.

12、9，P(2)=0.1。 現(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類條件概率密度分布曲線查得p(x|1)=0.2，p(x|)=0.4， 試對(duì)細(xì)胞x進(jìn)行分類。 第36頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 例2.1 解：利用貝葉斯公式，分別計(jì)算出狀態(tài)為x時(shí)1與的后驗(yàn)概率 第37頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 例2.1 根據(jù)貝葉斯決策有P(1|x)0.818P(|x)0.182 分析:錯(cuò)誤概率是多少？ 判斷為正常細(xì)胞，錯(cuò)誤率為0.182 判斷為異常細(xì)胞，錯(cuò)誤率為0.818因此判定該細(xì)胞為正常細(xì)胞比較合理。第38頁/共81頁最小錯(cuò)誤率的證明 最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:從平均的意義上的錯(cuò)

13、誤率在連續(xù)條件下，平均錯(cuò)誤率，以P(e)表示，應(yīng)有 :第39頁/共81頁最小錯(cuò)誤率的證明 最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明: 分析兩類別問題 按貝葉斯決策規(guī)則，當(dāng)P(w2|x)p(w1|x)時(shí)決策為w2。 顯然這個(gè)決策意味著，對(duì)觀測(cè)值x有P(w1|x)概率的錯(cuò)誤率。 上例中所作的w1決策，實(shí)際上包含有P(w2|x)=0.182的錯(cuò)誤概率 第40頁/共81頁最小錯(cuò)誤率的證明 最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:在兩類別的情況下，可以將p(e|x)表示成當(dāng)?shù)?1頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明: 如果我們把作出w1決策的所有觀測(cè)值區(qū)域稱為R1

14、，則在R1區(qū)內(nèi)的每個(gè)x值，條件錯(cuò)誤概率為p(w2|x)。 另一個(gè)區(qū)R2中的x,條件錯(cuò)誤概率為p(w1|x)。 第42頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明: 因此平均錯(cuò)誤率P(e)可表示成 21)()|()()|()(12RRdxxpxPdxxpxPeP第43頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策 最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明: 由于在R1區(qū)內(nèi)任一個(gè)x值都有P(w2|x)P(w1|x)， 同樣在R2區(qū)內(nèi)任一個(gè)x值都有P(w1|x)P(w2|x)錯(cuò)誤率在每個(gè)x值處都取小者， 因而平均錯(cuò)誤率P(e)也必然達(dá)到最小 這就證明了平均錯(cuò)誤率為最小 第44

15、頁/共81頁基于最小錯(cuò)誤率的貝葉斯決策第45頁/共81頁C類別情況下最小錯(cuò)誤率貝葉斯決策 在C類別情況下最小錯(cuò)誤率貝葉斯決策規(guī)則的后驗(yàn)概率形式： 先驗(yàn)概率與類條件概率密度相聯(lián)系的形式 第46頁/共81頁C類別情況下最小錯(cuò)誤率貝葉斯決策 多類別決策過程中的錯(cuò)誤率 把特征空間分割成R1，R2，Rc個(gè)區(qū)域 統(tǒng)計(jì)將所有其它類錯(cuò)誤劃為該區(qū)域?qū)?yīng)的i類的概率 計(jì)算是很繁瑣 計(jì)算平均正確分類概率P(c)即 第47頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 基本思想 使錯(cuò)誤率最小并不一定是一個(gè)普遍適用的最佳選擇。 癌細(xì)胞分類 兩種錯(cuò)誤: 癌細(xì)胞正常細(xì)胞 正常細(xì)胞癌細(xì)胞 兩種錯(cuò)誤的代價(jià)(損失)不同第48頁/共81頁基

16、于最小風(fēng)險(xiǎn)的貝葉斯決策 基本思想 寧可擴(kuò)大一些總的錯(cuò)誤率，但也要使總的損失減少。 引進(jìn)一個(gè)與損失有關(guān)聯(lián)的，更為廣泛的概念風(fēng)險(xiǎn)。 在作出決策時(shí)，要考慮所承擔(dān)的風(fēng)險(xiǎn)。 基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則正是為了體現(xiàn)這一點(diǎn)而產(chǎn)生的。第49頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 最小錯(cuò)誤率貝葉斯決策規(guī)則： 最小錯(cuò)誤率目標(biāo)函數(shù): P (j|X) 為了考慮不同決策的不同損失，構(gòu)造如下目標(biāo)函數(shù)(i)j:表示樣本X實(shí)際屬于j類，被判為狀態(tài)i所造成的損失Rj(X):表示把樣本X判為狀態(tài)i所造成的整體損失第50頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 兩類情況:有沒有癌細(xì)胞 1表示正常，2表示異常 P(1|X)與P(2|X)

17、分別表示了兩種可能性的大小 X是癌細(xì)胞(2)，但被判作正常(1)，則會(huì)有損失，這種損失表示為:2 (1) X確實(shí)是正常(1)，卻被判定為異常(2)，則損失表示成: 1 (2)第51頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 兩類情況:有沒有癌細(xì)胞 另外為了使式子寫的更方便，我們也可以定義1 (1)和2 (2) 是指正確判斷也可有損失 第52頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 兩類情況:有沒有癌細(xì)胞 X判作1引進(jìn)的損失應(yīng)該為 將X判為2的風(fēng)險(xiǎn)就成為 作出哪一種決策就要看是R1(X)小還是R2(X)小 這就是基于最小風(fēng)險(xiǎn)的貝葉斯決策的基本出發(fā)點(diǎn) 第53頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 (1)自然狀

18、態(tài)與狀態(tài)空間 自然狀態(tài): 識(shí)別對(duì)象的類別 狀態(tài)空間: 所有自然狀態(tài)所組成的空間=1，2，c (2)決策與決策空間 決策: 對(duì)分類問題所作的判決 決策空間: 由所有決策組成的空間稱為 決策空間內(nèi)決策總數(shù)a可以不等于類別數(shù)cA=1, 2, ，n 第54頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 (3)損失函數(shù)(i|j)(或(i,j) 這就是前面我們引用過的j (i) 表示對(duì)自然狀態(tài)j ，作出決策j時(shí)所造成的損失 (4)觀測(cè)值X條件下的期望損失R(i|X) 這就是前面引用的符號(hào)Ri，也稱為條件風(fēng)險(xiǎn)。 第55頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫成： 引入一個(gè)期望風(fēng)險(xiǎn)R 第56頁/

19、共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 最小風(fēng)險(xiǎn)貝葉斯決策步驟： (1)計(jì)算出后驗(yàn)概率 已知P(i)和P(X|i)，i=1,，c，獲得觀測(cè)到的特征向量X 根據(jù)貝葉斯公式計(jì)算 j=1,，x 第57頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 最小風(fēng)險(xiǎn)貝葉斯決策步驟： (2)計(jì)算條件風(fēng)險(xiǎn) 已知: 后驗(yàn)概率和決策表 計(jì)算出每個(gè)決策的條件風(fēng)險(xiǎn) (3) 找出使條件風(fēng)險(xiǎn)最小的決策k則k就是最小風(fēng)險(xiǎn)貝葉斯決策。第58頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 例2.2 在例2.1條件的基礎(chǔ)上 已知11=0,(11表示(1|1)的簡寫)，12=6,21=1，22=0 按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類第59頁/共81頁基于最小風(fēng)險(xiǎn)的貝

20、葉斯決策 例2.2 解：已知條件為P(1)0.9, P(12)0.1p(X|1)0.2, p(X|12)0.r110, 126, 211, 220 根據(jù)2.1的計(jì)算結(jié)果可知后驗(yàn)概率為P(1|X)0.818 P(2|X)0.182第60頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 例2.2 再計(jì)算出條件風(fēng)險(xiǎn) 第61頁/共81頁基于最小風(fēng)險(xiǎn)的貝葉斯決策 例2.2 作出決策 由于R(1|X)R(2|X) 即決策為2的條件風(fēng)險(xiǎn)小于決策為1的條件風(fēng)險(xiǎn)， 因此應(yīng)采取決策行動(dòng)2 即判待識(shí)別的細(xì)胞X為2類異常細(xì)胞。第62頁/共81頁兩種決策方法之間的關(guān)系 兩種決策方法之間的關(guān)系 設(shè)損失函數(shù)為 條件風(fēng)險(xiǎn)為 錯(cuò)誤概率 第

21、63頁/共81頁第64頁/共81頁在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為最小的兩類別決策 聶曼-皮爾遜判決neyman-pearson 基本思想 兩種錯(cuò)誤 一種的錯(cuò)誤概率固定，另一種盡量小第65頁/共81頁第66頁/共81頁最小最大決策 問題 先驗(yàn)概率未知 基本思想 使得最大可能的風(fēng)險(xiǎn)做小化第67頁/共81頁最小最大決策第68頁/共81頁序貫分類 迄今為止所討論的分類問題，關(guān)于待分類樣本的所有信息都是一次性提供的。但是，在許多實(shí)際問題中，觀察實(shí)際上是序貫的。隨著時(shí)間的推移可以得到越來越多的信息。第69頁/共81頁判別函數(shù)、決策面與分類器設(shè)計(jì) 決策面與判別函數(shù) 分類決策實(shí)質(zhì)上是在描述待識(shí)別對(duì)象的d維特征所組成的特征空間內(nèi)，將其劃分為c個(gè)決策域， 待識(shí)別的特征向量落在哪個(gè)決策域，該樣本就被判為哪一類。 因此決策域的邊界面就是決策面， 在數(shù)學(xué)上用解析形式表示成決策面方程。第70頁/共81頁判別函數(shù)、決策面與分類器設(shè)計(jì) 決策面與判別函數(shù) 用于表達(dá)決策規(guī)則的某些函數(shù)則稱為判別函數(shù)。 顯然判別函數(shù)與決策面方程是密切相關(guān)的，并且都是由相應(yīng)決策規(guī)則所確定的。第71頁/共81頁判別函數(shù)、決策面與分類器設(shè)計(jì) 多類別情況下的判別函數(shù) 最小錯(cuò)誤率作