第2章統(tǒng)計(jì)決策方法1.

1、模式識(shí)別模式識(shí)別 模 式 識(shí) 別 長(zhǎng)沙理工大學(xué)課前思考 n機(jī)器自動(dòng)識(shí)別分類(lèi)，能不能避免錯(cuò)分類(lèi) ?n怎樣才能減少錯(cuò)誤？ n不同錯(cuò)誤造成的損失一樣嗎？n先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)？n什么是貝葉斯公式？n正態(tài)分布？期望值、方差？n正態(tài)分布為什么是最重要的分布之一？ 長(zhǎng)沙理工大學(xué)學(xué)習(xí)指南學(xué)習(xí)指南 n本章要說(shuō)明分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)，在何種情況下會(huì)出現(xiàn)錯(cuò)分類(lèi)？錯(cuò)分類(lèi)的可能性會(huì)有多大？怎樣才能使錯(cuò)分類(lèi)最少？ n不同的錯(cuò)分類(lèi)造成的危害是不同的，有的錯(cuò)分類(lèi)種類(lèi)造成的危害更大，因此控制這種錯(cuò)分類(lèi)則是更重要的。為此引入了一種“風(fēng)險(xiǎn)”與“損失”概念，希望做到使風(fēng)險(xiǎn)最小。要著重理解“風(fēng)險(xiǎn)”與“損失”的概念，

2、以及在引入“風(fēng)險(xiǎn)”概念后的處理方法。 長(zhǎng)沙理工大學(xué)學(xué)習(xí)指南學(xué)習(xí)指南n理解本章的關(guān)鍵n要正確理解先驗(yàn)概率，類(lèi)概率密度函數(shù)，后驗(yàn)概率這三種概率n對(duì)這三種概率的定義，相互關(guān)系要搞得清清楚楚nBayes公式正是體現(xiàn)這三者關(guān)系的式子，要透徹掌握。 長(zhǎng)沙理工大學(xué)2.1引言n統(tǒng)計(jì)決策理論n是模式分類(lèi)問(wèn)題的基本理論之一n貝葉斯決策理論n是統(tǒng)計(jì)決策理論中的一個(gè)基本方法長(zhǎng)沙理工大學(xué)物理對(duì)象的描述n在特征空間中討論分類(lèi)問(wèn)題n假設(shè)一個(gè)待識(shí)別的物理對(duì)象用其d個(gè)屬性觀察值描述，稱(chēng)之為d個(gè)特征特征，記為x = x1, x2, , xdTn這組成一個(gè)d維的特征向量，而這d維待征所有可能的取值范圍則組成了一個(gè)d維的特征特征空間

3、空間。長(zhǎng)沙理工大學(xué)貝葉斯決策理論方法討論的問(wèn)題貝葉斯決策理論方法討論的問(wèn)題n討論的問(wèn)題n總共有c類(lèi)物體n已知各類(lèi)在這d維特征空間的統(tǒng)計(jì)分布，n各類(lèi)別i=1,2,c的先驗(yàn)概率P(i)n類(lèi)條件概率密度函數(shù)p(x|i)n問(wèn)題: 如何對(duì)某一樣本按其特征向量分類(lèi)已知d維特征空間的統(tǒng)計(jì)分布，如何對(duì)某一樣本分類(lèi)最合理長(zhǎng)沙理工大學(xué)n基于最小錯(cuò)誤率的貝葉斯決策 n基于最小風(fēng)險(xiǎn)的貝葉斯決策n在限定一類(lèi)錯(cuò)誤率條件下使另一類(lèi)錯(cuò)誤率為最小的兩類(lèi)別決策n最小最大決策n序貫分類(lèi)方法2.2 幾種常用的決策規(guī)則幾種常用的決策規(guī)則長(zhǎng)沙理工大學(xué)2.2.1基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策n分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分

4、類(lèi)？分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)？n當(dāng)某一特征向量值X只為某一類(lèi)物體所特有，即 n對(duì)其作出決策是容易的，也不會(huì)出什么差錯(cuò) n問(wèn)題在于出現(xiàn)模棱兩可的情況 n任何決策都存在判錯(cuò)的可能性。 長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策 n基本思想基本思想n使錯(cuò)誤率為最小的分類(lèi)規(guī)則n稱(chēng)之為基于最小錯(cuò)誤率的貝葉斯決策 長(zhǎng)沙理工大學(xué)例例n兩類(lèi)細(xì)胞識(shí)別n特征-后驗(yàn)概率-分類(lèi)n兩類(lèi)魚(yú)識(shí)別n特征-后驗(yàn)概率-分類(lèi)n天氣預(yù)報(bào)中的后驗(yàn)概率n特征n后驗(yàn)概率n分類(lèi)長(zhǎng)沙理工大學(xué)例例n細(xì)胞識(shí)別，加入更多類(lèi)別?n魚(yú)識(shí)別，加入更多種類(lèi)?n存在問(wèn)題n后驗(yàn)概率直接用來(lái)分類(lèi)n后驗(yàn)概率不易直接得到n后驗(yàn)概率不易聯(lián)合考慮

5、n長(zhǎng)沙理工大學(xué)例例n另一種概率:類(lèi)條件概率n正常細(xì)胞特征的概率分布n異常細(xì)胞特征的概率分布n salmon的概率分布n sea bass的概率分布n分類(lèi)中如何使用類(lèi)條件概率？n什么是先驗(yàn)概率？長(zhǎng)沙理工大學(xué)條件概率條件概率 nP(*|#)是條件概率的通用符號(hào)n即在某條件#下出現(xiàn)某個(gè)事件*的概率nP(K|X):X出現(xiàn)條件下,樣本為K類(lèi)的概率nP(*|#)與P(*)不同長(zhǎng)沙理工大學(xué)幾個(gè)重要概念幾個(gè)重要概念n先驗(yàn)概率先驗(yàn)概率nP(1)及及P(2) n概率密度函數(shù)概率密度函數(shù)nP(x|i) n后驗(yàn)概率后驗(yàn)概率nP(i|X) 長(zhǎng)沙理工大學(xué)貝葉斯決策理論n先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)n假設(shè)總共有c類(lèi)物體

6、，用i (i=1,2,c)標(biāo)記每個(gè)類(lèi)別，x = x1, x2, , xdT，是d維特征空間上的某一點(diǎn)，則nP(i )是先驗(yàn)概率先驗(yàn)概率np(x| i )是i類(lèi)發(fā)生時(shí)的條件概率密度函數(shù)條件概率密度函數(shù)nP(i|x)表示后驗(yàn)概率后驗(yàn)概率長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策 n例例：癌細(xì)胞的識(shí)別n假設(shè)每個(gè)要識(shí)別的細(xì)胞已作過(guò)預(yù)處理，并抽取出了d個(gè)特征描述量，用一個(gè)d維的特征向量X表示，n識(shí)別的目的是要依據(jù)該X向量將細(xì)胞劃分為正常細(xì)胞或者異常細(xì)胞。n這里我們用表示是正常細(xì)胞，而則屬于異常細(xì)胞。長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n先驗(yàn)概率先驗(yàn)概率 nP(1)和P(2)n含義: 每種細(xì)胞占全部細(xì)胞的比

7、例 nP(1)+P(2)=1n一般情況下正常細(xì)胞占比例大，即P(1)P(2)長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策nsalmon” or “sea bass”判別中的先驗(yàn)概率先驗(yàn)概率nP(salmon)nP(sea bass)長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n先驗(yàn)概率先驗(yàn)概率n根據(jù)先驗(yàn)概率決定n這種分類(lèi)決策沒(méi)有意義n表明由先驗(yàn)概率所提供的信息太少 221121),()(),()(xPPxPP長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n概率密度函數(shù)概率密度函數(shù)n利用對(duì)細(xì)胞作病理分析所觀測(cè)到的信息，也就是所抽取到的d維觀測(cè)向量。n為簡(jiǎn)單起見(jiàn)，我們假定只用其一個(gè)特征進(jìn)行分類(lèi)，即d=1n得到兩類(lèi)的類(lèi)

8、條件概率密度函數(shù)分布nP(x|1)是正常細(xì)胞的屬性分布nP(x|2)是異常細(xì)胞的屬性分布長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策 類(lèi)條件概率密度函數(shù)1)|(dxXfi概率密度函數(shù)性質(zhì)長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策nsalmon” or “sea bass”判別中的類(lèi)條件概類(lèi)條件概率密度函數(shù)率密度函數(shù)長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n類(lèi)條件概率密度函數(shù)類(lèi)條件概率密度函數(shù)直接用來(lái)分類(lèi)是否合理？221: )|()|(XPXP121: )|()|(XPXP具有一定的合理性不滿(mǎn)足最小錯(cuò)誤率要求沒(méi)有考慮先驗(yàn)概率長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n后驗(yàn)概率含義后驗(yàn)概率含義 nP (1 |X

9、)n當(dāng)觀測(cè)向量為X值時(shí), 該細(xì)胞屬于正常細(xì)胞的概率。nP (2 |X )n當(dāng)觀測(cè)向量為X值時(shí), 該細(xì)胞屬于異常細(xì)胞的概率。長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策 后驗(yàn)概率長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n“ salmon” or “sea bass”判別中的后驗(yàn)概后驗(yàn)概率率長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n類(lèi)條件概率和后驗(yàn)概率區(qū)別n后驗(yàn)概率: P(1|x)和P(|x)n同一條件x下，比較1與2出現(xiàn)的概率n兩類(lèi)1和2，則有P(1|x)+P(2|x)=1n如P(1|x) P(2|x)則可以下結(jié)論，在x條件下，事件1出現(xiàn)的可能性大n類(lèi)條件概率: P(x|1)和P(x|2)n是在不同條件下

10、討論的問(wèn)題n即使只有兩類(lèi)1與2，P(x|1)+P(x|1)1nP(x|1)與P(x|2)兩者沒(méi)有聯(lián)系長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n貝葉斯公式n先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)之間關(guān)系n根據(jù)先驗(yàn)概率先驗(yàn)概率和概率密度函數(shù)概率密度函數(shù)可以計(jì)算出后后驗(yàn)概率驗(yàn)概率長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n問(wèn)題n為什么先驗(yàn)概率先驗(yàn)概率和類(lèi)條件概率密度函數(shù)類(lèi)條件概率密度函數(shù)可以作為已知？n而后驗(yàn)概率后驗(yàn)概率需要通過(guò)計(jì)算獲得？長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n為什么后驗(yàn)概率要利用Bayes公式從先驗(yàn)概率和類(lèi)條件概率密度函數(shù)計(jì)算獲得 ？n計(jì)算概率都要擁有大量數(shù)據(jù) n估計(jì)先驗(yàn)概率先驗(yàn)概率與類(lèi)條件概

11、率密度函數(shù)類(lèi)條件概率密度函數(shù)時(shí)都可搜集到大量樣本 n對(duì)某一特定事件(如x)要搜集大量樣本是不太容易 n只能借助Bayes公式來(lái)計(jì)算得到 長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n問(wèn)題n根據(jù)最小錯(cuò)誤率，如何利用先驗(yàn)概率先驗(yàn)概率、類(lèi)條類(lèi)條件概率密度函數(shù)件概率密度函數(shù)和后驗(yàn)概率后驗(yàn)概率進(jìn)行分類(lèi)？長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n貝葉斯決策理論前提n各類(lèi)別總體的概率分布是已知的;n要決策分類(lèi)的概率分布是已知的。n貝葉斯決策理論方法所討論的問(wèn)題是：n已知:總共有c類(lèi)物體，以及先驗(yàn)概率P(i)及類(lèi)條件概率密度函數(shù)p(x|i)n問(wèn)題: 如何對(duì)某一樣本按其特征向量分類(lèi)的問(wèn)題。長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝

12、葉斯決策n基于最小錯(cuò)誤率的貝葉斯決策規(guī)則: 如果P(1|X)P(2|X)，則X歸為1類(lèi)別如果P(1|X)P(2|X)，則X歸為2類(lèi)別長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n幾種等價(jià)形式：n后驗(yàn)概率形式: 如果 則 x歸為in先驗(yàn)概率及類(lèi)條件概率密度函數(shù)表示： 如果 則 x歸為i長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n幾種等價(jià)形式：n比值的方式表示，如果 則x歸為1 ，否則x歸為2 長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n幾種等價(jià)形式：n對(duì)數(shù)形式若 則x歸為1 ，否則x歸為2長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n例2.1 n假設(shè)在某地區(qū)切片細(xì)胞中正常(1)和異常()兩類(lèi)的先驗(yàn)概率分別為P(1)

13、=0.9，P(2)=0.1。n現(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類(lèi)條件概率密度分布曲線(xiàn)查得p(x|1)=0.2，p(x|)=0.4，n試對(duì)細(xì)胞x進(jìn)行分類(lèi)。 長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n例2.1n解：利用貝葉斯公式，分別計(jì)算出狀態(tài)為x時(shí)1與的后驗(yàn)概率 長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n例2.1n根據(jù)貝葉斯決策有P(1|x)0.818P(|x)0.182n分析:錯(cuò)誤概率是多少？n判斷為正常細(xì)胞，錯(cuò)誤率為0.182n判斷為異常細(xì)胞，錯(cuò)誤率為0.818因此判定該細(xì)胞為正常細(xì)胞比較合理。長(zhǎng)沙理工大學(xué)最小錯(cuò)誤率的證明n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:從平均的意義上的錯(cuò)誤率在連續(xù)條

14、件下，平均錯(cuò)誤率，以P(e)表示，應(yīng)有 :長(zhǎng)沙理工大學(xué)最小錯(cuò)誤率的證明n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:n分析兩類(lèi)別問(wèn)題n按貝葉斯決策規(guī)則，當(dāng)P(w2|x)p(w1|x)時(shí)決策為w2。n顯然這個(gè)決策意味著，對(duì)觀測(cè)值x有P(w1|x)概率的錯(cuò)誤率。n上例中所作的w1決策，實(shí)際上包含有P(w2|x)=0.182的錯(cuò)誤概率 長(zhǎng)沙理工大學(xué)最小錯(cuò)誤率的證明n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:在兩類(lèi)別的情況下，可以將p(e|x)表示成當(dāng)長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:n如果我們把作出w1決策的所有觀測(cè)值區(qū)域稱(chēng)為R1，則在R1區(qū)內(nèi)的每個(gè)x值，條件

15、錯(cuò)誤概率為p(w2|x)。n另一個(gè)區(qū)R2中的x,條件錯(cuò)誤概率為p(w1|x)。 長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:n因此平均錯(cuò)誤率P(e)可表示成 21)()|()()|()(12RRdxxpxPdxxpxPeP長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策n最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:n由于在R1區(qū)內(nèi)任一個(gè)x值都有P(w2|x)P(w1|x)，n同樣在R2區(qū)內(nèi)任一個(gè)x值都有P(w1|x)P(w2|x)錯(cuò)誤率在每個(gè)x值處都取小者，n因而平均錯(cuò)誤率P(e)也必然達(dá)到最小n這就證明了平均錯(cuò)誤率為最小 長(zhǎng)沙理工大學(xué)基于最小錯(cuò)誤率的貝葉斯決策長(zhǎng)沙理工大

16、學(xué)C類(lèi)別情況下最小錯(cuò)誤率貝葉斯決策n在C類(lèi)別情況下最小錯(cuò)誤率貝葉斯決策規(guī)則的后驗(yàn)概率形式： n先驗(yàn)概率與類(lèi)條件概率密度相聯(lián)系的形式 長(zhǎng)沙理工大學(xué)C類(lèi)別情況下最小錯(cuò)誤率貝葉斯決策n多類(lèi)別決策過(guò)程中的錯(cuò)誤率 n把特征空間分割成R1，R2，Rc個(gè)區(qū)域 n統(tǒng)計(jì)將所有其它類(lèi)錯(cuò)誤劃為該區(qū)域?qū)?yīng)的i類(lèi)的概率 n計(jì)算是很繁瑣 n計(jì)算平均正確分類(lèi)概率P(c)即 長(zhǎng)沙理工大學(xué)2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策n基本思想n使錯(cuò)誤率最小并不一定是一個(gè)普遍適用的最佳選擇。n癌細(xì)胞分類(lèi)n兩種錯(cuò)誤:n癌細(xì)胞正常細(xì)胞n正常細(xì)胞癌細(xì)胞n兩種錯(cuò)誤的代價(jià)(損失)不同長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n基本思想n寧可擴(kuò)大一些總的錯(cuò)

17、誤率，但也要使總的損失減少。n引進(jìn)一個(gè)與損失有關(guān)聯(lián)的，更為廣泛的概念風(fēng)險(xiǎn)。n在作出決策時(shí)，要考慮所承擔(dān)的風(fēng)險(xiǎn)。n基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則正是為了體現(xiàn)這一點(diǎn)而產(chǎn)生的。長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n最小錯(cuò)誤率貝葉斯決策規(guī)則：n最小錯(cuò)誤率目標(biāo)函數(shù): P (j|X)n為了考慮不同決策的不同損失，構(gòu)造如下目標(biāo)函數(shù)(i)j:表示樣本X實(shí)際屬于j類(lèi)，被判為狀態(tài)i所造成的損失Rj(X):表示把樣本X判為狀態(tài)i所造成的整體損失長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n兩類(lèi)情況:有沒(méi)有癌細(xì)胞 n1表示正常，2表示異常 nP(1|X)與P(2|X)分別表示了兩種可能性的大小 nX是癌細(xì)胞(2)，但被判作正常

18、(1)，則會(huì)有損失，這種損失表示為:2 (1)nX確實(shí)是正常(1)，卻被判定為異常(2)，則損失表示成: 1 (2)長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n兩類(lèi)情況:有沒(méi)有癌細(xì)胞 n另外為了使式子寫(xiě)的更方便，我們也可以定義1 (1)和2 (2)n是指正確判斷也可有損失 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n兩類(lèi)情況:有沒(méi)有癌細(xì)胞 nX判作1引進(jìn)的損失應(yīng)該為n將X判為2的風(fēng)險(xiǎn)就成為 n作出哪一種決策就要看是R1(X)小還是R2(X)小 這就是基于最小風(fēng)險(xiǎn)的貝葉斯決策的基本出發(fā)點(diǎn) 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n(1)自然狀態(tài)與狀態(tài)空間n自然狀態(tài): 識(shí)別對(duì)象的類(lèi)別n狀態(tài)空間: 所有自然狀態(tài)所組

19、成的空間=1，2，cn(2)決策與決策空間n決策: 對(duì)分類(lèi)問(wèn)題所作的判決n決策空間: 由所有決策組成的空間稱(chēng)為n決策空間內(nèi)決策總數(shù)a可以不等于類(lèi)別數(shù)cnA=1, 2, ，n 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n(3)損失函數(shù)(i|j)(或(i,j)n這就是前面我們引用過(guò)的j (i) n表示對(duì)自然狀態(tài)j ，作出決策j時(shí)所造成的損失n(4)觀測(cè)值X條件下的期望損失R(i|X)n這就是前面引用的符號(hào)Ri，也稱(chēng)為條件風(fēng)險(xiǎn)。 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫(xiě)成：n引入一個(gè)期望風(fēng)險(xiǎn)R 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n最小風(fēng)險(xiǎn)貝葉斯決策步驟：n(1)計(jì)算出后驗(yàn)概率n已

20、知P(i)和P(X|i)，i=1,，c，獲得觀測(cè)到的特征向量Xn根據(jù)貝葉斯公式計(jì)算 j=1,，x 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n最小風(fēng)險(xiǎn)貝葉斯決策步驟： n(2)計(jì)算條件風(fēng)險(xiǎn)n已知: 后驗(yàn)概率和決策表n計(jì)算出每個(gè)決策的條件風(fēng)險(xiǎn)n(3) 找出使條件風(fēng)險(xiǎn)最小的決策k則k就是最小風(fēng)險(xiǎn)貝葉斯決策。長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n例2.2 在例2.1條件的基礎(chǔ)上n已知11=0,(11表示(1|1)的簡(jiǎn)寫(xiě))，12=6,21=1，22=0n按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類(lèi)長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n例2.2n解：已知條件為P(1)0.9, P(12)0.1p(X|1)0.2, p(X|1

21、2)0.r110, 126, 211, 220n根據(jù)2.1的計(jì)算結(jié)果可知后驗(yàn)概率為P(1|X)0.818 P(2|X)0.182長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n例2.2n再計(jì)算出條件風(fēng)險(xiǎn) 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n例2.2n作出決策n由于R(1|X)R(2|X)n即決策為2的條件風(fēng)險(xiǎn)小于決策為1的條件風(fēng)險(xiǎn)，n因此應(yīng)采取決策行動(dòng)2n即判待識(shí)別的細(xì)胞X為2類(lèi)異常細(xì)胞。長(zhǎng)沙理工大學(xué)兩種決策方法之間的關(guān)系n兩種決策方法之間的關(guān)系n設(shè)損失函數(shù)為 n條件風(fēng)險(xiǎn)為 錯(cuò)誤概率 長(zhǎng)沙理工大學(xué)基于最小風(fēng)險(xiǎn)的貝葉斯決策n兩種決策方法之間的關(guān)系n兩類(lèi)情況的形象表示長(zhǎng)沙理工大學(xué)長(zhǎng)沙理工大學(xué)在限定一類(lèi)錯(cuò)誤

22、率條件下使另一類(lèi)錯(cuò)誤率為最小的兩類(lèi)別決策 n聶曼-皮爾遜判決neyman-pearsonn基本思想n兩種錯(cuò)誤n一種的錯(cuò)誤概率固定，另一種盡量小長(zhǎng)沙理工大學(xué)長(zhǎng)沙理工大學(xué)最小最大決策n問(wèn)題n先驗(yàn)概率未知n基本思想n使得最大可能的風(fēng)險(xiǎn)做小化長(zhǎng)沙理工大學(xué)最小最大決策長(zhǎng)沙理工大學(xué)序貫分類(lèi)序貫分類(lèi)n迄今為止所討論的分類(lèi)問(wèn)題，關(guān)于待分類(lèi)樣本的所有信息都是一次性提供的。但是，在許多實(shí)際問(wèn)題中，觀察實(shí)際上是序貫的。隨著時(shí)間的推移可以得到越來(lái)越多的信息。長(zhǎng)沙理工大學(xué)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì) n決策面與判別函數(shù) n分類(lèi)決策實(shí)質(zhì)上是在描述待識(shí)別對(duì)象的d維特征所組成的特征空間內(nèi)，將其劃分為c個(gè)決策域，n待識(shí)別的特征向量落在哪個(gè)決策域，該樣本就被判為哪一類(lèi)。n因此決策域的邊界面就是決策面決策面，n在數(shù)學(xué)上用解析形式表示成決策面方程決策面方程。長(zhǎng)沙理工大學(xué)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì) n決策面與判別函數(shù) n用于表達(dá)決策規(guī)則的某些函數(shù)則稱(chēng)為判別函判別函數(shù)數(shù)。n顯然判別函