關(guān)于貝葉斯決策理論

1、課前思考 n機(jī)器自動(dòng)識(shí)別分類，能不能避免錯(cuò)分類 ? n怎樣才能減少錯(cuò)誤？ n不同錯(cuò)誤造成的損失一樣嗎？ n先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)？ n什么是貝葉斯公式？ n正態(tài)分布？期望值、方差？ n正態(tài)分布為什么是最重要的分布之一？ 學(xué)習(xí)指南學(xué)習(xí)指南 n本章要說(shuō)明分類識(shí)別中為什么會(huì)有錯(cuò)分類，在 何種情況下會(huì)出現(xiàn)錯(cuò)分類？錯(cuò)分類的可能性會(huì) 有多大？怎樣才能使錯(cuò)分類最少？ n不同的錯(cuò)分類造成的危害是不同的，有的錯(cuò)分 類種類造成的危害更大，因此控制這種錯(cuò)分類 則是更重要的。為此引入了一種“風(fēng)險(xiǎn)”與 “損失”概念，希望做到使風(fēng)險(xiǎn)最小。要著重 理解“風(fēng)險(xiǎn)”與“損失”的概念，以及在引入 “風(fēng)險(xiǎn)”概念后的處理方法

2、。 學(xué)習(xí)指南學(xué)習(xí)指南 n理解本章的關(guān)鍵 n要正確理解先驗(yàn)概率，類概率密度函數(shù)，后 驗(yàn)概率這三種概率 n對(duì)這三種概率的定義，相互關(guān)系要搞得清清 楚楚 nBayes公式正是體現(xiàn)這三者關(guān)系的式子，要 透徹掌握。 2.1引言 n統(tǒng)計(jì)決策理論 n是模式分類問(wèn)題的基本理論之一 n貝葉斯決策理論 n是統(tǒng)計(jì)決策理論中的一個(gè)基本方法 物理對(duì)象的描述 n在特征空間中討論分類問(wèn)題 n假設(shè)一個(gè)待識(shí)別的物理對(duì)象用其d個(gè)屬性觀 察值描述，稱之為d個(gè)特征特征，記為x = x1, x2, , xdT n這組成一個(gè)d維的特征向量，而這d維待征所 有可能的取值范圍則組成了一個(gè)d維的特征特征 空間空間。 貝葉斯決策理論方法討論的問(wèn)

3、題貝葉斯決策理論方法討論的問(wèn)題 n討論的問(wèn)題 n總共有c類物體 n已知各類在這d維特征空間的統(tǒng)計(jì)分布， n各類別i=1,2,c的先驗(yàn)概率P(i) n類條件概率密度函數(shù)p(x|i) n問(wèn)題: 如何對(duì)某一樣本按其特征向量分類 已知d維特征空間的統(tǒng)計(jì)分布，如何對(duì)某一樣 本分類最合理 n基于最小錯(cuò)誤率的貝葉斯決策 n基于最小風(fēng)險(xiǎn)的貝葉斯決策 n在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤 率為最小的兩類別決策 n最小最大決策 n序貫分類方法 2.2 幾種常用的決策規(guī)則幾種常用的決策規(guī)則 2.2.1基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策 n分類識(shí)別中為什么會(huì)有錯(cuò)分類？分類識(shí)別中為什么會(huì)有錯(cuò)分類？ n

4、當(dāng)某一特征向量值X只為某一類物體所特有， 即 n對(duì)其作出決策是容易的，也不會(huì)出什么差錯(cuò) n問(wèn)題在于出現(xiàn)模棱兩可的情況 n任何決策都存在判錯(cuò)的可能性。 基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策 n基本思想基本思想 n使錯(cuò)誤率為最小的分類規(guī)則 n稱之為基于最小錯(cuò)誤率的貝葉斯決策 條件概率條件概率 nP(*|#)是條件概率的通用符號(hào) n即在某條件#下出現(xiàn)某個(gè)事件*的概率 nP(K|X):X出現(xiàn)條件下,樣本為K類的概率 nP(*|#)與P(*)不同 n例:*表示中國(guó)人，#表示在中國(guó)大陸的人 n則P(*|#)與P(*)不同含義不同 幾個(gè)重要概念幾個(gè)重要概念 n先驗(yàn)概率先驗(yàn)概率 nP(1)及及

5、P(2) n概率密度函數(shù)概率密度函數(shù) nP(x|i) n后驗(yàn)概率后驗(yàn)概率 nP(i|X) 貝葉斯決策理論 n先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù) n假設(shè)總共有c類物體，用i (i=1,2,c)標(biāo)記 每個(gè)類別，x = x1, x2, , xdT，是d維特征 空間上的某一點(diǎn)，則 nP(i )是先驗(yàn)概率先驗(yàn)概率 np(x| i )是i類發(fā)生時(shí)的條件概率密度函數(shù)條件概率密度函數(shù) nP(i|x)表示后驗(yàn)概率后驗(yàn)概率 基于最小錯(cuò)誤率的貝葉斯決策 n例例：癌細(xì)胞的識(shí)別 n假設(shè)每個(gè)要識(shí)別的細(xì)胞已作過(guò)預(yù)處理，并抽 取出了d個(gè)特征描述量，用一個(gè)d維的特征向 量X表示， n識(shí)別的目的是要依據(jù)該X向量將細(xì)胞劃分為 正常細(xì)

6、胞或者異常細(xì)胞。 n這里我們用表示是正常細(xì)胞，而則 屬于異常細(xì)胞。 基于最小錯(cuò)誤率的貝葉斯決策 n先驗(yàn)概率先驗(yàn)概率 nP(1)和P(2) n含義: 每種細(xì)胞占全部細(xì)胞的比例 nP(1)+P(2)=1 n一般情況下正常細(xì)胞占比例大，即 P(1)P(2) 基于最小錯(cuò)誤率的貝葉斯決策 nsalmon” or “sea bass”判別中的先驗(yàn)概率先驗(yàn)概率 nP(salmon) nP(sea bass) 基于最小錯(cuò)誤率的貝葉斯決策 n先驗(yàn)概率先驗(yàn)概率 n根據(jù)先驗(yàn)概率決定 n這種分類決策沒(méi)有意義 n表明由先驗(yàn)概率所提供的信息太少 221 121 ),()( ),()( xPP xPP 基于最小錯(cuò)誤率的貝葉

7、斯決策 n概率密度函數(shù)概率密度函數(shù) n利用對(duì)細(xì)胞作病理分析所觀測(cè)到的信息，也 就是所抽取到的d維觀測(cè)向量。 n為簡(jiǎn)單起見(jiàn)，我們假定只用其一個(gè)特征進(jìn)行 分類，即d=1 n得到兩類的類條件概率密度函數(shù)分布 nP(x|1)是正常細(xì)胞的屬性分布 nP(x|2)是異常細(xì)胞的屬性分布 基于最小錯(cuò)誤率的貝葉斯決策 類條件概率密度函數(shù) 1)|(dxXf i 概率密度函數(shù)性質(zhì) 基于最小錯(cuò)誤率的貝葉斯決策 nsalmon” or “sea bass”判別中的類條件概類條件概 率密度函數(shù)率密度函數(shù) 基于最小錯(cuò)誤率的貝葉斯決策 n類條件概率密度函數(shù)類條件概率密度函數(shù)直接用來(lái)分類 是否合理？ 221 : )|()|(X

8、PXP 121 : )|()|(XPXP 具有一定的合理性 不滿足最小錯(cuò)誤率要求 沒(méi)有考慮先驗(yàn)概率 基于最小錯(cuò)誤率的貝葉斯決策 n后驗(yàn)概率含義后驗(yàn)概率含義 nP (1 |X ) n當(dāng)觀測(cè)向量為X值時(shí), 該細(xì)胞屬于正常細(xì)胞的概 率。 nP (2 |X ) n當(dāng)觀測(cè)向量為X值時(shí), 該細(xì)胞屬于異常細(xì)胞的概 率。 基于最小錯(cuò)誤率的貝葉斯決策 后驗(yàn)概率 基于最小錯(cuò)誤率的貝葉斯決策 nsalmon” or “sea bass”判別中的后驗(yàn)概率后驗(yàn)概率 基于最小錯(cuò)誤率的貝葉斯決策 n類條件概率和后驗(yàn)概率區(qū)別 n后驗(yàn)概率: P(1|x)和P(|x) n同一條件x下，比較1與2出現(xiàn)的概率 n兩類1和2，則有P(

9、1|x)+P(2|x)=1 n如P(1|x) P(2|x)則可以下結(jié)論，在x條件下， 事件1出現(xiàn)的可能性大 n類條件概率: P(x|1)和P(x|2) n是在不同條件下討論的問(wèn)題 n即使只有兩類1與2，P(x|1)+P(x|1)1 nP(x|1)與P(x|2)兩者沒(méi)有聯(lián)系 基于最小錯(cuò)誤率的貝葉斯決策 n貝葉斯公式 n先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)之間關(guān) 系 n根據(jù)先驗(yàn)概率先驗(yàn)概率和概率密度函數(shù)概率密度函數(shù)可以計(jì)算出后后 驗(yàn)概率驗(yàn)概率 基于最小錯(cuò)誤率的貝葉斯決策 n問(wèn)題 n為什么先驗(yàn)概率先驗(yàn)概率和類條件概率密度函數(shù)類條件概率密度函數(shù)可以 作為已知？ n而后驗(yàn)概率后驗(yàn)概率需要通過(guò)計(jì)算獲得？ 基于

10、最小錯(cuò)誤率的貝葉斯決策 n為什么后驗(yàn)概率要利用Bayes公式從先驗(yàn) 概率和類條件概率密度函數(shù)計(jì)算獲得 ？ n計(jì)算概率都要擁有大量數(shù)據(jù) n估計(jì)先驗(yàn)概率先驗(yàn)概率與類條件概率密度函數(shù)類條件概率密度函數(shù)時(shí)都可 搜集到大量樣本 n對(duì)某一特定事件(如x)要搜集大量樣本是不 太容易 n只能借助Bayes公式來(lái)計(jì)算得到 基于最小錯(cuò)誤率的貝葉斯決策 n問(wèn)題 n根據(jù)最小錯(cuò)誤率，如何利用先驗(yàn)概率先驗(yàn)概率、類條類條 件概率密度函數(shù)件概率密度函數(shù)和后驗(yàn)概率后驗(yàn)概率進(jìn)行分類？ 基于最小錯(cuò)誤率的貝葉斯決策 n貝葉斯決策理論前提 n各類別總體的概率分布是已知的; n要決策分類的概率分布是已知的。 n貝葉斯決策理論方法所討論的

11、問(wèn)題是： n已知:總共有c類物體，以及先驗(yàn)概率P(i)及 類條件概率密度函數(shù)p(x|i) n問(wèn)題: 如何對(duì)某一樣本按其特征向量分類的 問(wèn)題。 基于最小錯(cuò)誤率的貝葉斯決策 n基于最小錯(cuò)誤率的貝葉斯決策規(guī)則: 如果P(1|X)P(2|X)，則X歸為1類別 如果P(1|X)P(2|X)，則X歸為2類別 基于最小錯(cuò)誤率的貝葉斯決策 n幾種等價(jià)形式： n后驗(yàn)概率形式: 如果 則 x歸為i n先驗(yàn)概率及類條件概率密度函數(shù)表示： 如果 則 x歸為i 基于最小錯(cuò)誤率的貝葉斯決策 n幾種等價(jià)形式： n比值的方式表示， 如果 則x歸為1 ， 否則x歸為2 基于最小錯(cuò)誤率的貝葉斯決策 n幾種等價(jià)形式： n對(duì)數(shù)形式

12、若 則x歸為1 ， 否則x歸為2 基于最小錯(cuò)誤率的貝葉斯決策 n例2.1 n假設(shè)在某地區(qū)切片細(xì)胞中正常(1)和異常( )兩類的先驗(yàn)概率分別為P(1)=0.9， P(2)=0.1。 n現(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類條 件概率密度分布曲線查得p(x|1)=0.2， p(x|)=0.4， n試對(duì)細(xì)胞x進(jìn)行分類。 基于最小錯(cuò)誤率的貝葉斯決策 n例2.1 n解：利用貝葉斯公式，分別計(jì)算出狀態(tài) 為x時(shí)1與的后驗(yàn)概率 基于最小錯(cuò)誤率的貝葉斯決策 n例2.1 n根據(jù)貝葉斯決策有 P(1|x)0.818P(|x)0.182 n分析:錯(cuò)誤概率是多少？ n判斷為正常細(xì)胞，錯(cuò)誤率為0.182 n判斷為異常細(xì)胞，

13、錯(cuò)誤率為0.818 因此判定該細(xì)胞為正常細(xì)胞比較合理。 最小錯(cuò)誤率的證明 n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小 證明: 從平均的意義上的錯(cuò)誤率 在連續(xù)條件下，平均錯(cuò)誤率，以P(e)表示，應(yīng) 有 : 最小錯(cuò)誤率的證明 n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小 證明: n分析兩類別問(wèn)題 n按貝葉斯決策規(guī)則，當(dāng)P(w2|x)p(w1|x)時(shí)決策 為w2。 n顯然這個(gè)決策意味著，對(duì)觀測(cè)值x有P(w1|x)概率 的錯(cuò)誤率。 n上例中所作的w1決策，實(shí)際上包含有 P(w2|x)=0.182的錯(cuò)誤概率 最小錯(cuò)誤率的證明 n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小 證明: 在兩類別的情況下，可以將p(e|x)表示成當(dāng)

14、基于最小錯(cuò)誤率的貝葉斯決策 n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小 證明: n如果我們把作出w1決策的所有觀測(cè)值區(qū)域 稱為R1，則在R1區(qū)內(nèi)的每個(gè)x值，條件錯(cuò)誤 概率為p(w2|x)。 n另一個(gè)區(qū)R2中的x,條件錯(cuò)誤概率為p(w1|x)。 基于最小錯(cuò)誤率的貝葉斯決策 n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小 證明: n因此平均錯(cuò)誤率P(e)可表示成 21 )()|()()|()( 12 RR dxxpxPdxxpxPeP 基于最小錯(cuò)誤率的貝葉斯決策 n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小 證明: n由于在R1區(qū)內(nèi)任一個(gè)x值都有P(w2|x) P(w1|x)， n同樣在R2區(qū)內(nèi)任一個(gè)x值都有P(w1|x

15、) P(w2|x)錯(cuò)誤率在每個(gè)x值處都取小者， n因而平均錯(cuò)誤率P(e)也必然達(dá)到最小 n這就證明了平均錯(cuò)誤率為最小 基于最小錯(cuò)誤率的貝葉斯決策 C類別情況下最小錯(cuò)誤率 貝葉斯決策 n在C類別情況下最小錯(cuò)誤率貝葉斯決策規(guī) 則的后驗(yàn)概率形式： n先驗(yàn)概率與類條件概率密度相聯(lián)系的形 式 C類別情況下最小錯(cuò)誤率 貝葉斯決策 n多類別決策過(guò)程中的錯(cuò)誤率 n把特征空間分割成R1，R2，Rc個(gè)區(qū)域 n統(tǒng)計(jì)將所有其它類錯(cuò)誤劃為該區(qū)域?qū)?yīng)的i類 的概率 n計(jì)算是很繁瑣 n計(jì)算平均正確分類概率P(c)即 2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策 n基本思想 n使錯(cuò)誤率最小并不一定是一個(gè)普遍適用的最 佳選擇。 n癌細(xì)胞

16、分類 n兩種錯(cuò)誤: n癌細(xì)胞正常細(xì)胞 n正常細(xì)胞癌細(xì)胞 n兩種錯(cuò)誤的代價(jià)(損失)不同 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n基本思想 n寧可擴(kuò)大一些總的錯(cuò)誤率，但也要使總的 損失減少。 n引進(jìn)一個(gè)與損失有關(guān)聯(lián)的，更為廣泛的概 念風(fēng)險(xiǎn)。 n在作出決策時(shí)，要考慮所承擔(dān)的風(fēng)險(xiǎn)。 n基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則正是為了 體現(xiàn)這一點(diǎn)而產(chǎn)生的。 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n最小錯(cuò)誤率貝葉斯決策規(guī)則： n最小錯(cuò)誤率目標(biāo)函數(shù): P (j|X) n為了考慮不同決策的不同損失，構(gòu)造如 下目標(biāo)函數(shù) (i)j:表示樣本X實(shí)際屬于j類，被判為狀態(tài)i所造成的損失 Rj(X):表示把樣本X判為狀態(tài)i所造成的整體損失 基于最小風(fēng)險(xiǎn)的貝

17、葉斯決策 n兩類情況:有沒(méi)有癌細(xì)胞 n1表示正常，2表示異常 nP(1|X)與P(2|X)分別表示了兩種可能性的 大小 nX是癌細(xì)胞(2)，但被判作正常(1)，則會(huì) 有損失，這種損失表示為:2 (1) nX確實(shí)是正常(1)，卻被判定為異常(2)， 則損失表示成: 1 (2) 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n兩類情況:有沒(méi)有癌細(xì)胞 n另外為了使式子寫的更方便，我們也可以定 義1 (1)和2 (2) n是指正確判斷也可有損失 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n兩類情況:有沒(méi)有癌細(xì)胞 nX判作1引進(jìn)的損失應(yīng)該為 n將X判為2的風(fēng)險(xiǎn)就成為 n作出哪一種決策就要看是R1(X)小還是R2(X)小 這就是基于最小風(fēng)險(xiǎn)

18、的貝葉斯決策的基本出發(fā)點(diǎn) 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n(1)自然狀態(tài)與狀態(tài)空間 n自然狀態(tài): 識(shí)別對(duì)象的類別 n狀態(tài)空間: 所有自然狀態(tài)所組成的空間 =1，2，c n(2)決策與決策空間 n決策: 對(duì)分類問(wèn)題所作的判決 n決策空間: 由所有決策組成的空間稱為 n決策空間內(nèi)決策總數(shù)a可以不等于類別數(shù)c nA=1, 2, ，n 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n(3)損失函數(shù)(i|j)(或(i,j) n這就是前面我們引用過(guò)的j (i) n表示對(duì)自然狀態(tài)j ，作出決策j時(shí)所造成 的損失 n(4)觀測(cè)值X條件下的期望損失R(i|X) n這就是前面引用的符號(hào)Ri，也稱為條件風(fēng)險(xiǎn)。 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n

19、最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫成： n引入一個(gè)期望風(fēng)險(xiǎn)R 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n最小風(fēng)險(xiǎn)貝葉斯決策步驟： n(1)計(jì)算出后驗(yàn)概率 n已知P(i)和P(X|i)，i=1,，c，獲得觀測(cè)到的 特征向量X n根據(jù)貝葉斯公式計(jì)算 j=1,，x 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n最小風(fēng)險(xiǎn)貝葉斯決策步驟： n(2)計(jì)算條件風(fēng)險(xiǎn) n已知: 后驗(yàn)概率和決策表 n計(jì)算出每個(gè)決策的條件風(fēng)險(xiǎn) n(3) 找出使條件風(fēng)險(xiǎn)最小的決策k 則k就是最小風(fēng)險(xiǎn)貝葉斯決策。 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n例2.2 在例2.1條件的基礎(chǔ)上 n已知11=0,(11表示(1|1)的簡(jiǎn)寫)， 12=6,21=1，22=0 n按最小風(fēng)險(xiǎn)貝葉斯決策

20、進(jìn)行分類 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n例2.2 n解：已知條件為 P(1)0.9, P(12)0.1 p(X|1)0.2, p(X|12)0.r 110, 126, 211, 220 n根據(jù)2.1的計(jì)算結(jié)果可知后驗(yàn)概率為 P(1|X)0.818 P(2|X)0.182 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n例2.2 n再計(jì)算出條件風(fēng)險(xiǎn) 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n例2.2 n作出決策 n由于R(1|X)R(2|X) n即決策為2的條件風(fēng)險(xiǎn)小于決策為1的條件風(fēng) 險(xiǎn)， n因此應(yīng)采取決策行動(dòng)2 n即判待識(shí)別的細(xì)胞X為2類異常細(xì)胞。 兩種決策方法之間的關(guān)系 n兩種決策方法之間的關(guān)系 n設(shè)損失函數(shù)為 n條件風(fēng)險(xiǎn)為

21、 錯(cuò)誤概率 基于最小風(fēng)險(xiǎn)的貝葉斯決策 n兩種決策方法之間的關(guān)系 n兩類情況的形象表示 在限定一類錯(cuò)誤率條件下使另一 類錯(cuò)誤率為最小的兩類別決策 n聶曼-皮爾遜判決neyman-pearson n基本思想 n兩種錯(cuò)誤 n一種的錯(cuò)誤概率固定，另一種盡量小 最小最大決策 n問(wèn)題 n先驗(yàn)概率未知 n基本思想 n使得最大可能的風(fēng)險(xiǎn)做小化 最小最大決策 序貫分類序貫分類 n迄今為止所討論的分類問(wèn)題，關(guān)于待分 類樣本的所有信息都是一次性提供的。 但是，在許多實(shí)際問(wèn)題中，觀察實(shí)際上 是序貫的。隨著時(shí)間的推移可以得到越 來(lái)越多的信息。 判別函數(shù)、決策面與分類器設(shè)計(jì) n決策面與判別函數(shù) n分類決策實(shí)質(zhì)上是在描述待識(shí)別對(duì)象的d維 特征所組成的特征空間內(nèi)，將其劃分為c個(gè) 決策域， n待識(shí)別的特征向量落在哪個(gè)決策域，該樣本 就被判為哪一類。 n因此決策域的邊界面就是決策面決策面， n在數(shù)學(xué)上用解析形式表示成決策面方程決策面方程。 判別函數(shù)、決策面與分類器設(shè)計(jì) n決策面與判別函數(shù) n用于表達(dá)決策規(guī)則的某些函數(shù)則稱為判別函判別函 數(shù)數(shù)。 n顯然判別函數(shù)與決策面方程是密切相關(guān)的， 并且