統(tǒng)計(jì)決策方法 課件

模式識(shí)別 模式識(shí)別課前思考機(jī)器自動(dòng)識(shí)別分類(lèi)，能不能避免錯(cuò)分類(lèi)?怎樣才能減少錯(cuò)誤？不同錯(cuò)誤造成的損失一樣嗎？先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)？什么是貝葉斯公式？正態(tài)分布？期望值、方差？正態(tài)分布為什么是最重要的分布之一？課前思考機(jī)器自動(dòng)識(shí)別分類(lèi)，能不能避免錯(cuò)分類(lèi)?學(xué)習(xí)指南

本章要說(shuō)明分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)，在何種情況下會(huì)出現(xiàn)錯(cuò)分類(lèi)？錯(cuò)分類(lèi)的可能性會(huì)有多大？怎樣才能使錯(cuò)分類(lèi)最少？不同的錯(cuò)分類(lèi)造成的危害是不同的，有的錯(cuò)分類(lèi)種類(lèi)造成的危害更大，因此控制這種錯(cuò)分類(lèi)則是更重要的。為此引入了一種“風(fēng)險(xiǎn)”與“損失”概念，希望做到使風(fēng)險(xiǎn)最小。要著重理解“風(fēng)險(xiǎn)”與“損失”的概念，以及在引入“風(fēng)險(xiǎn)”概念后的處理方法。學(xué)習(xí)指南本章要說(shuō)明分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)，在何種情況下學(xué)習(xí)指南理解本章的關(guān)鍵要正確理解先驗(yàn)概率，類(lèi)概率密度函數(shù)，后驗(yàn)概率這三種概率對(duì)這三種概率的定義，相互關(guān)系要搞得清清楚楚Bayes公式正是體現(xiàn)這三者關(guān)系的式子，要透徹掌握。學(xué)習(xí)指南理解本章的關(guān)鍵2.1引言統(tǒng)計(jì)決策理論是模式分類(lèi)問(wèn)題的基本理論之一貝葉斯決策理論是統(tǒng)計(jì)決策理論中的一個(gè)基本方法2.1引言統(tǒng)計(jì)決策理論物理對(duì)象的描述在特征空間中討論分類(lèi)問(wèn)題假設(shè)一個(gè)待識(shí)別的物理對(duì)象用其d個(gè)屬性觀察值描述，稱之為d個(gè)特征，記為x=[x1,x2,…,xd]T這組成一個(gè)d維的特征向量，而這d維待征所有可能的取值范圍則組成了一個(gè)d維的特征空間。

物理對(duì)象的描述在特征空間中討論分類(lèi)問(wèn)題貝葉斯決策理論方法討論的問(wèn)題討論的問(wèn)題總共有c類(lèi)物體已知各類(lèi)在這d維特征空間的統(tǒng)計(jì)分布，各類(lèi)別ωi=1,2,…,c的先驗(yàn)概率P(ωi)類(lèi)條件概率密度函數(shù)p(x|ωi)問(wèn)題:如何對(duì)某一樣本按其特征向量分類(lèi)已知d維特征空間的統(tǒng)計(jì)分布，如何對(duì)某一樣本分類(lèi)最合理貝葉斯決策理論方法討論的問(wèn)題討論的問(wèn)題已知d維特征空間的統(tǒng)計(jì)基于最小錯(cuò)誤率的貝葉斯決策基于最小風(fēng)險(xiǎn)的貝葉斯決策在限定一類(lèi)錯(cuò)誤率條件下使另一類(lèi)錯(cuò)誤率為最小的兩類(lèi)別決策最小最大決策序貫分類(lèi)方法§2.2幾種常用的決策規(guī)則基于最小錯(cuò)誤率的貝葉斯決策§2.2幾種常用的決策規(guī)則2.2.1基于最小錯(cuò)誤率的貝葉斯決策分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)？當(dāng)某一特征向量值X只為某一類(lèi)物體所特有，即對(duì)其作出決策是容易的，也不會(huì)出什么差錯(cuò)問(wèn)題在于出現(xiàn)模棱兩可的情況任何決策都存在判錯(cuò)的可能性。2.2.1基于最小錯(cuò)誤率的貝葉斯決策分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分基于最小錯(cuò)誤率的貝葉斯決策

基本思想使錯(cuò)誤率為最小的分類(lèi)規(guī)則稱之為基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策基本思想例兩類(lèi)細(xì)胞識(shí)別特征-后驗(yàn)概率-分類(lèi)兩類(lèi)魚(yú)識(shí)別特征-后驗(yàn)概率-分類(lèi)天氣預(yù)報(bào)中的后驗(yàn)概率特征后驗(yàn)概率分類(lèi)例兩類(lèi)細(xì)胞識(shí)別例細(xì)胞識(shí)別，加入更多類(lèi)別?魚(yú)識(shí)別，加入更多種類(lèi)?存在問(wèn)題后驗(yàn)概率直接用來(lái)分類(lèi)后驗(yàn)概率不易直接得到后驗(yàn)概率不易聯(lián)合考慮……例細(xì)胞識(shí)別，加入更多類(lèi)別?例另一種概率:類(lèi)條件概率正常細(xì)胞特征的概率分布異常細(xì)胞特征的概率分布

salmon的概率分布

seabass的概率分布分類(lèi)中如何使用類(lèi)條件概率？什么是先驗(yàn)概率？例另一種概率:類(lèi)條件概率條件概率

P(*|#)是條件概率的通用符號(hào)即在某條件#下出現(xiàn)某個(gè)事件*的概率P(ωK|X):X出現(xiàn)條件下,樣本為ωK類(lèi)的概率P(*|#)與P(*)不同條件概率P(*|#)是條件概率的通用符號(hào)幾個(gè)重要概念先驗(yàn)概率P(ω1)及P(ω2)

概率密度函數(shù)P(x|ωi)

后驗(yàn)概率P(ωi|X)

幾個(gè)重要概念先驗(yàn)概率貝葉斯決策理論先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)假設(shè)總共有c類(lèi)物體，用ωi(i=1,2,…,c)標(biāo)記每個(gè)類(lèi)別，x=[x1,x2,…,xd]T，是d維特征空間上的某一點(diǎn)，則P(ωi)是先驗(yàn)概率p(x|ωi)是ωi類(lèi)發(fā)生時(shí)的條件概率密度函數(shù)P(ωi|x)表示后驗(yàn)概率貝葉斯決策理論先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)基于最小錯(cuò)誤率的貝葉斯決策例：癌細(xì)胞的識(shí)別假設(shè)每個(gè)要識(shí)別的細(xì)胞已作過(guò)預(yù)處理，并抽取出了d個(gè)特征描述量，用一個(gè)d維的特征向量X表示，識(shí)別的目的是要依據(jù)該X向量將細(xì)胞劃分為正常細(xì)胞或者異常細(xì)胞。這里我們用ω１表示是正常細(xì)胞，而ω２則屬于異常細(xì)胞?；谧钚″e(cuò)誤率的貝葉斯決策例：癌細(xì)胞的識(shí)別基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率

P(ω1)和P(ω2)含義:每種細(xì)胞占全部細(xì)胞的比例P(ω1)+P(ω2)=1一般情況下正常細(xì)胞占比例大，即P(ω1)>P(ω2)基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seabass”判別中的先驗(yàn)概率P(ωsalmon)P(ωseabass)基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seab基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率根據(jù)先驗(yàn)概率決定這種分類(lèi)決策沒(méi)有意義表明由先驗(yàn)概率所提供的信息太少

基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策概率密度函數(shù)利用對(duì)細(xì)胞作病理分析所觀測(cè)到的信息，也就是所抽取到的d維觀測(cè)向量。為簡(jiǎn)單起見(jiàn)，我們假定只用其一個(gè)特征進(jìn)行分類(lèi)，即d=1得到兩類(lèi)的類(lèi)條件概率密度函數(shù)分布P(x|ω1)是正常細(xì)胞的屬性分布P(x|ω2)是異常細(xì)胞的屬性分布基于最小錯(cuò)誤率的貝葉斯決策概率密度函數(shù)基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)概率密度函數(shù)性質(zhì)基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)概率密度函數(shù)性基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seabass”判別中的類(lèi)條件概率密度函數(shù)基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seab基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)直接用來(lái)分類(lèi)是否合理？具有一定的合理性不滿足最小錯(cuò)誤率要求沒(méi)有考慮先驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)直接用來(lái)分類(lèi)是否基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率含義

P(ω1|X)當(dāng)觀測(cè)向量為X值時(shí),該細(xì)胞屬于正常細(xì)胞的概率。P(ω2|X)當(dāng)觀測(cè)向量為X值時(shí),該細(xì)胞屬于異常細(xì)胞的概率。基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率含義基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策“salmon”or“seabass”判別中的后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策“salmon”or“sea基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率和后驗(yàn)概率區(qū)別后驗(yàn)概率:P(ω1|x)和P(ω２|x)同一條件x下，比較ω1與ω2出現(xiàn)的概率兩類(lèi)ω1和ω2，則有P(ω1|x)+P(ω2|x)=1如P(ω1|x)>P(ω2|x)則可以下結(jié)論，在x條件下，事件ω1出現(xiàn)的可能性大類(lèi)條件概率:P(x|ω1)和P(x|ω2)是在不同條件下討論的問(wèn)題即使只有兩類(lèi)ω1與ω2，P(x|ω1)+P(x|ω1)≠1P(x|ω1)與P(x|ω2)兩者沒(méi)有聯(lián)系基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率和后驗(yàn)概率區(qū)別基于最小錯(cuò)誤率的貝葉斯決策貝葉斯公式先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)之間關(guān)系根據(jù)先驗(yàn)概率和概率密度函數(shù)可以計(jì)算出后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策貝葉斯公式基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題為什么先驗(yàn)概率和類(lèi)條件概率密度函數(shù)可以作為已知？而后驗(yàn)概率需要通過(guò)計(jì)算獲得？基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題基于最小錯(cuò)誤率的貝葉斯決策為什么后驗(yàn)概率要利用Bayes公式從先驗(yàn)概率和類(lèi)條件概率密度函數(shù)計(jì)算獲得？計(jì)算概率都要擁有大量數(shù)據(jù)估計(jì)先驗(yàn)概率與類(lèi)條件概率密度函數(shù)時(shí)都可搜集到大量樣本對(duì)某一特定事件(如x)要搜集大量樣本是不太容易只能借助Bayes公式來(lái)計(jì)算得到基于最小錯(cuò)誤率的貝葉斯決策為什么后驗(yàn)概率要利用Bayes公式基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題根據(jù)最小錯(cuò)誤率，如何利用先驗(yàn)概率、類(lèi)條件概率密度函數(shù)和后驗(yàn)概率進(jìn)行分類(lèi)？基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題基于最小錯(cuò)誤率的貝葉斯決策貝葉斯決策理論前提各類(lèi)別總體的概率分布是已知的;要決策分類(lèi)的概率分布是已知的。貝葉斯決策理論方法所討論的問(wèn)題是：已知:總共有c類(lèi)物體，以及先驗(yàn)概率P(ωi)及類(lèi)條件概率密度函數(shù)p(x|ωi)問(wèn)題:如何對(duì)某一樣本按其特征向量分類(lèi)的問(wèn)題?；谧钚″e(cuò)誤率的貝葉斯決策貝葉斯決策理論前提基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策規(guī)則:

如果P(ω1|X)>P(ω2|X)，則X歸為ω1類(lèi)別 如果P(ω1|X)≤P(ω2|X)，則X歸為ω2類(lèi)別基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策規(guī)則:基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：后驗(yàn)概率形式:

如果 則x歸為ωi先驗(yàn)概率及類(lèi)條件概率密度函數(shù)表示： 如果 則x歸為ωi基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：比值的方式表示， 如果

則x歸為ω1

， 否則x歸為ω2

基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：對(duì)數(shù)形式 若 則x歸為ω1

， 否則x歸為ω2基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：基于最小錯(cuò)誤率的貝葉斯決策例2.1假設(shè)在某地區(qū)切片細(xì)胞中正常(ω1)和異常(ω２)兩類(lèi)的先驗(yàn)概率分別為P(ω1)=0.9，P(ω2)=0.1?，F(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類(lèi)條件概率密度分布曲線查得p(x|ω1)=0.2，p(x|ω２)=0.4，試對(duì)細(xì)胞x進(jìn)行分類(lèi)?；谧钚″e(cuò)誤率的貝葉斯決策例2.1基于最小錯(cuò)誤率的貝葉斯決策例2.1解：利用貝葉斯公式，分別計(jì)算出狀態(tài)為x時(shí)ω1與ω２的后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策例2.1基于最小錯(cuò)誤率的貝葉斯決策例2.1根據(jù)貝葉斯決策有

P(ω1|x)＝0.818＞P(ω２|x)＝0.182分析:錯(cuò)誤概率是多少？判斷為正常細(xì)胞，錯(cuò)誤率為0.182判斷為異常細(xì)胞，錯(cuò)誤率為0.818因此判定該細(xì)胞為正常細(xì)胞比較合理?；谧钚″e(cuò)誤率的貝葉斯決策例2.1最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:從平均的意義上的錯(cuò)誤率在連續(xù)條件下，平均錯(cuò)誤率，以P(e)表示，應(yīng)有:最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:分析兩類(lèi)別問(wèn)題按貝葉斯決策規(guī)則，當(dāng)P(w2|x)＞p(w1|x)時(shí)決策為w2。顯然這個(gè)決策意味著，對(duì)觀測(cè)值x有P(w1|x)概率的錯(cuò)誤率。上例中所作的w1決策，實(shí)際上包含有P(w2|x)=0.182的錯(cuò)誤概率最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:在兩類(lèi)別的情況下，可以將p(e|x)表示成當(dāng)最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:如果我們把作出w1決策的所有觀測(cè)值區(qū)域稱為R1，則在R1區(qū)內(nèi)的每個(gè)x值，條件錯(cuò)誤概率為p(w2|x)。另一個(gè)區(qū)R2中的x,條件錯(cuò)誤概率為p(w1|x)。

基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:因此平均錯(cuò)誤率P(e)可表示成

基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:由于在R1區(qū)內(nèi)任一個(gè)x值都有P(w2|x)＜P(w1|x)，同樣在R2區(qū)內(nèi)任一個(gè)x值都有P(w1|x)＜P(w2|x)錯(cuò)誤率在每個(gè)x值處都取小者，因而平均錯(cuò)誤率P(e)也必然達(dá)到最小這就證明了平均錯(cuò)誤率為最小基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策在C類(lèi)別情況下最小錯(cuò)誤率貝葉斯決策規(guī)則的后驗(yàn)概率形式：先驗(yàn)概率與類(lèi)條件概率密度相聯(lián)系的形式

C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策在C類(lèi)別情況下最小錯(cuò)誤率貝C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策多類(lèi)別決策過(guò)程中的錯(cuò)誤率把特征空間分割成R1，R2，…，Rc個(gè)區(qū)域統(tǒng)計(jì)將所有其它類(lèi)錯(cuò)誤劃為該區(qū)域?qū)?yīng)的i類(lèi)的概率計(jì)算是很繁瑣計(jì)算平均正確分類(lèi)概率P(c)即C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策多類(lèi)別決策過(guò)程中的錯(cuò)誤率2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想使錯(cuò)誤率最小并不一定是一個(gè)普遍適用的最佳選擇。癌細(xì)胞分類(lèi)兩種錯(cuò)誤:癌細(xì)胞→正常細(xì)胞正常細(xì)胞→癌細(xì)胞兩種錯(cuò)誤的代價(jià)(損失)不同2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想寧可擴(kuò)大一些總的錯(cuò)誤率，但也要使總的損失減少。引進(jìn)一個(gè)與損失有關(guān)聯(lián)的，更為廣泛的概念——風(fēng)險(xiǎn)。在作出決策時(shí)，要考慮所承擔(dān)的風(fēng)險(xiǎn)?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策規(guī)則正是為了體現(xiàn)這一點(diǎn)而產(chǎn)生的。

基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想基于最小風(fēng)險(xiǎn)的貝葉斯決策最小錯(cuò)誤率貝葉斯決策規(guī)則：最小錯(cuò)誤率目標(biāo)函數(shù):P(ωj|X)為了考慮不同決策的不同損失，構(gòu)造如下目標(biāo)函數(shù)

λ(i)j:表示樣本X實(shí)際屬于j類(lèi)，被判為狀態(tài)i所造成的損失Rj(X):表示把樣本X判為狀態(tài)i所造成的整體損失基于最小風(fēng)險(xiǎn)的貝葉斯決策最小錯(cuò)誤率貝葉斯決策規(guī)則：λ(i)j基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞ω1表示正常，ω2表示異常P(ω1|X)與P(ω2|X)分別表示了兩種可能性的大小X是癌細(xì)胞(ω2)，但被判作正常(ω1)，則會(huì)有損失，這種損失表示為:λ2(1)X確實(shí)是正常(ω1)，卻被判定為異常(ω2)，則損失表示成:λ1(2)基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞另外為了使式子寫(xiě)的更方便，我們也可以定義λ1(1)和λ2(2)是指正確判斷也可有損失基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞X判作ω1引進(jìn)的損失應(yīng)該為將X判為ω2的風(fēng)險(xiǎn)就成為作出哪一種決策就要看是R1(X)小還是R2(X)小這就是基于最小風(fēng)險(xiǎn)的貝葉斯決策的基本出發(fā)點(diǎn)基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞這就是基于最基于最小風(fēng)險(xiǎn)的貝葉斯決策(1)自然狀態(tài)與狀態(tài)空間自然狀態(tài):識(shí)別對(duì)象的類(lèi)別狀態(tài)空間Ω:所有自然狀態(tài)所組成的空間Ω={ω1，ω2，…，ωc}(2)決策與決策空間決策:對(duì)分類(lèi)問(wèn)題所作的判決決策空間:由所有決策組成的空間稱為決策空間內(nèi)決策總數(shù)a可以不等于類(lèi)別數(shù)cA={α1,α2,…，αn}基于最小風(fēng)險(xiǎn)的貝葉斯決策(1)自然狀態(tài)與狀態(tài)空間基于最小風(fēng)險(xiǎn)的貝葉斯決策(3)損失函數(shù)λ(αi|ωj)(或λ(αi,ωj))這就是前面我們引用過(guò)的λj(i)

表示對(duì)自然狀態(tài)ωj

，作出決策αj時(shí)所造成的損失(4)觀測(cè)值X條件下的期望損失R(αi|X)

這就是前面引用的符號(hào)Ri，也稱為條件風(fēng)險(xiǎn)?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策(3)損失函數(shù)λ(αi|ωj)(或λ基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫(xiě)成：

引入一個(gè)期望風(fēng)險(xiǎn)R基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫(xiě)成：

基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：(1)計(jì)算出后驗(yàn)概率已知P(ωi)和P(X|ωi)，i=1,…，c，獲得觀測(cè)到的特征向量X根據(jù)貝葉斯公式計(jì)算

j=1,…，x

基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：(2)計(jì)算條件風(fēng)險(xiǎn)已知:后驗(yàn)概率和決策表計(jì)算出每個(gè)決策的條件風(fēng)險(xiǎn)

(3)找出使條件風(fēng)險(xiǎn)最小的決策αk

則αk就是最小風(fēng)險(xiǎn)貝葉斯決策?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：則αk就是基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2在例2.1條件的基礎(chǔ)上已知λ11=0,(λ11表示λ(α1|ω1)的簡(jiǎn)寫(xiě))，λ12=6,λ21=1，λ22=0按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類(lèi)

基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2在例2.1條件的基礎(chǔ)上基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2解：已知條件為

P(ω1)＝0.9,P(ω12)＝0.1

p(X|ω1)＝0.2,p(X|ω12)＝0.r

λ11＝0,λ12＝6,λ21＝1,λ22＝0根據(jù)2.1的計(jì)算結(jié)果可知后驗(yàn)概率為

P(ω1|X)＝0.818 P(ω2|X)＝0.182基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2再計(jì)算出條件風(fēng)險(xiǎn)

基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2作出決策由于R(α1|X)＞R(α2|X)即決策為ω2的條件風(fēng)險(xiǎn)小于決策為ω1的條件風(fēng)險(xiǎn)，因此應(yīng)采取決策行動(dòng)α2即判待識(shí)別的細(xì)胞X為ω2類(lèi)——異常細(xì)胞?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策例2.2兩種決策方法之間的關(guān)系兩種決策方法之間的關(guān)系設(shè)損失函數(shù)為條件風(fēng)險(xiǎn)為錯(cuò)誤概率兩種決策方法之間的關(guān)系兩種決策方法之間的關(guān)系錯(cuò)誤概率基于最小風(fēng)險(xiǎn)的貝葉斯決策兩種決策方法之間的關(guān)系兩類(lèi)情況的形象表示基于最小風(fēng)險(xiǎn)的貝葉斯決策兩種決策方法之間的關(guān)系第2章統(tǒng)計(jì)決策方法課件在限定一類(lèi)錯(cuò)誤率條件下使另一類(lèi)錯(cuò)誤率為最小的兩類(lèi)別決策聶曼-皮爾遜判決neyman-pearson基本思想兩種錯(cuò)誤一種的錯(cuò)誤概率固定，另一種盡量小在限定一類(lèi)錯(cuò)誤率條件下使另一類(lèi)錯(cuò)誤率為最小的兩類(lèi)別決策聶曼第2章統(tǒng)計(jì)決策方法課件最小最大決策問(wèn)題先驗(yàn)概率未知基本思想使得最大可能的風(fēng)險(xiǎn)做小化最小最大決策問(wèn)題最小最大決策最小最大決策序貫分類(lèi)迄今為止所討論的分類(lèi)問(wèn)題，關(guān)于待分類(lèi)樣本的所有信息都是一次性提供的。但是，在許多實(shí)際問(wèn)題中，觀察實(shí)際上是序貫的。隨著時(shí)間的推移可以得到越來(lái)越多的信息。序貫分類(lèi)迄今為止所討論的分類(lèi)問(wèn)題，關(guān)于待分類(lèi)樣本的所有信息都判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)決策面與判別函數(shù)分類(lèi)決策實(shí)質(zhì)上是在描述待識(shí)別對(duì)象的d維特征所組成的特征空間內(nèi)，將其劃分為c個(gè)決策域，待識(shí)別的特征向量落在哪個(gè)決策域，該樣本就被判為哪一類(lèi)。因此決策域的邊界面就是決策面，在數(shù)學(xué)上用解析形式表示成決策面方程。判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)決策面與判別函數(shù)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)決策面與判別函數(shù)用于表達(dá)決策規(guī)則的某些函數(shù)則稱為判別函數(shù)。顯然判別函數(shù)與決策面方程是密切相關(guān)的，并且都是由相應(yīng)決策規(guī)則所確定的。

判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)決策面與判別函數(shù)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)多類(lèi)別情況下的判別函數(shù)最小錯(cuò)誤率作決策時(shí)決策規(guī)則要定義一組判別函數(shù)

gi(X)，i=1,2,…，c而決策規(guī)則可表示成 如果， 則將X歸于ωi類(lèi)；

判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)多類(lèi)別情況下的判別函數(shù)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)多類(lèi)別情況下的決策面方程gi(X)=gj(X)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)多類(lèi)別情況下的決策面方程判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)多類(lèi)別情況下的分類(lèi)器判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)多類(lèi)別情況下的分類(lèi)器判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中，最小錯(cuò)誤率作決策時(shí)決策規(guī)則的一種形式是 ，否則 則相應(yīng)的判別函數(shù)就是

gi(X)＝P(ωi|X),i=1,2而決策面方程則可寫(xiě)成

g1(X)＝g2(X)

判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中，最小錯(cuò)誤率作決策時(shí)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中，最小錯(cuò)誤率作決策時(shí)此時(shí)決策規(guī)則也可以寫(xiě)成用判別函數(shù)表示的形式

如果gi(X)＞gj(X)i,j=1,2且i≠j

則X∈ωi，否則

判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中，最小錯(cuò)誤率作決策時(shí)判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中決策面方程g(X)=0判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中決策面方程判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中的分類(lèi)器判別函數(shù)、決策面與分類(lèi)器設(shè)計(jì)兩類(lèi)別問(wèn)題中的分類(lèi)器Bayes決策理論小結(jié)Bayes決策理論:對(duì)特征空間任一點(diǎn)x只要能確定落在該點(diǎn)的樣本x屬于哪一種類(lèi)的可能性大，就將這點(diǎn)劃分到這類(lèi)的決策域。問(wèn)題:后驗(yàn)概率P(ωi|X)要通過(guò)先驗(yàn)概率和類(lèi)概率密度函數(shù)計(jì)算。Bayes決策是一種通用方法只在原理上講特征空間中符合什么條件才能作為哪一類(lèi)決策域，而我們希望能把決策域用簡(jiǎn)便的方式，最好是函數(shù)形式劃分出來(lái)，直接計(jì)算判別函數(shù)就方便了。Bayes決策理論小結(jié)Bayes決策理論:對(duì)特征空間任一點(diǎn)Bayes決策理論小結(jié)顯然具體的決策域劃分與樣本的概率分布有關(guān)。下面結(jié)合正態(tài)分布概率密度函數(shù)進(jìn)行討論，在討論結(jié)束時(shí)我們會(huì)發(fā)現(xiàn)從中可以得到不少啟示。Bayes決策理論小結(jié)顯然具體的決策域劃分與樣本的概率分布有演講完畢，謝謝觀看！演講完畢，謝謝觀看！

模式識(shí)別 模式識(shí)別課前思考機(jī)器自動(dòng)識(shí)別分類(lèi)，能不能避免錯(cuò)分類(lèi)?怎樣才能減少錯(cuò)誤？不同錯(cuò)誤造成的損失一樣嗎？先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)？什么是貝葉斯公式？正態(tài)分布？期望值、方差？正態(tài)分布為什么是最重要的分布之一？課前思考機(jī)器自動(dòng)識(shí)別分類(lèi)，能不能避免錯(cuò)分類(lèi)?學(xué)習(xí)指南

本章要說(shuō)明分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)，在何種情況下會(huì)出現(xiàn)錯(cuò)分類(lèi)？錯(cuò)分類(lèi)的可能性會(huì)有多大？怎樣才能使錯(cuò)分類(lèi)最少？不同的錯(cuò)分類(lèi)造成的危害是不同的，有的錯(cuò)分類(lèi)種類(lèi)造成的危害更大，因此控制這種錯(cuò)分類(lèi)則是更重要的。為此引入了一種“風(fēng)險(xiǎn)”與“損失”概念，希望做到使風(fēng)險(xiǎn)最小。要著重理解“風(fēng)險(xiǎn)”與“損失”的概念，以及在引入“風(fēng)險(xiǎn)”概念后的處理方法。學(xué)習(xí)指南本章要說(shuō)明分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)，在何種情況下學(xué)習(xí)指南理解本章的關(guān)鍵要正確理解先驗(yàn)概率，類(lèi)概率密度函數(shù)，后驗(yàn)概率這三種概率對(duì)這三種概率的定義，相互關(guān)系要搞得清清楚楚Bayes公式正是體現(xiàn)這三者關(guān)系的式子，要透徹掌握。學(xué)習(xí)指南理解本章的關(guān)鍵2.1引言統(tǒng)計(jì)決策理論是模式分類(lèi)問(wèn)題的基本理論之一貝葉斯決策理論是統(tǒng)計(jì)決策理論中的一個(gè)基本方法2.1引言統(tǒng)計(jì)決策理論物理對(duì)象的描述在特征空間中討論分類(lèi)問(wèn)題假設(shè)一個(gè)待識(shí)別的物理對(duì)象用其d個(gè)屬性觀察值描述，稱之為d個(gè)特征，記為x=[x1,x2,…,xd]T這組成一個(gè)d維的特征向量，而這d維待征所有可能的取值范圍則組成了一個(gè)d維的特征空間。

物理對(duì)象的描述在特征空間中討論分類(lèi)問(wèn)題貝葉斯決策理論方法討論的問(wèn)題討論的問(wèn)題總共有c類(lèi)物體已知各類(lèi)在這d維特征空間的統(tǒng)計(jì)分布，各類(lèi)別ωi=1,2,…,c的先驗(yàn)概率P(ωi)類(lèi)條件概率密度函數(shù)p(x|ωi)問(wèn)題:如何對(duì)某一樣本按其特征向量分類(lèi)已知d維特征空間的統(tǒng)計(jì)分布，如何對(duì)某一樣本分類(lèi)最合理貝葉斯決策理論方法討論的問(wèn)題討論的問(wèn)題已知d維特征空間的統(tǒng)計(jì)基于最小錯(cuò)誤率的貝葉斯決策基于最小風(fēng)險(xiǎn)的貝葉斯決策在限定一類(lèi)錯(cuò)誤率條件下使另一類(lèi)錯(cuò)誤率為最小的兩類(lèi)別決策最小最大決策序貫分類(lèi)方法§2.2幾種常用的決策規(guī)則基于最小錯(cuò)誤率的貝葉斯決策§2.2幾種常用的決策規(guī)則2.2.1基于最小錯(cuò)誤率的貝葉斯決策分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分類(lèi)？當(dāng)某一特征向量值X只為某一類(lèi)物體所特有，即對(duì)其作出決策是容易的，也不會(huì)出什么差錯(cuò)問(wèn)題在于出現(xiàn)模棱兩可的情況任何決策都存在判錯(cuò)的可能性。2.2.1基于最小錯(cuò)誤率的貝葉斯決策分類(lèi)識(shí)別中為什么會(huì)有錯(cuò)分基于最小錯(cuò)誤率的貝葉斯決策

基本思想使錯(cuò)誤率為最小的分類(lèi)規(guī)則稱之為基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策基本思想例兩類(lèi)細(xì)胞識(shí)別特征-后驗(yàn)概率-分類(lèi)兩類(lèi)魚(yú)識(shí)別特征-后驗(yàn)概率-分類(lèi)天氣預(yù)報(bào)中的后驗(yàn)概率特征后驗(yàn)概率分類(lèi)例兩類(lèi)細(xì)胞識(shí)別例細(xì)胞識(shí)別，加入更多類(lèi)別?魚(yú)識(shí)別，加入更多種類(lèi)?存在問(wèn)題后驗(yàn)概率直接用來(lái)分類(lèi)后驗(yàn)概率不易直接得到后驗(yàn)概率不易聯(lián)合考慮……例細(xì)胞識(shí)別，加入更多類(lèi)別?例另一種概率:類(lèi)條件概率正常細(xì)胞特征的概率分布異常細(xì)胞特征的概率分布

salmon的概率分布

seabass的概率分布分類(lèi)中如何使用類(lèi)條件概率？什么是先驗(yàn)概率？例另一種概率:類(lèi)條件概率條件概率

P(*|#)是條件概率的通用符號(hào)即在某條件#下出現(xiàn)某個(gè)事件*的概率P(ωK|X):X出現(xiàn)條件下,樣本為ωK類(lèi)的概率P(*|#)與P(*)不同條件概率P(*|#)是條件概率的通用符號(hào)幾個(gè)重要概念先驗(yàn)概率P(ω1)及P(ω2)

概率密度函數(shù)P(x|ωi)

后驗(yàn)概率P(ωi|X)

幾個(gè)重要概念先驗(yàn)概率貝葉斯決策理論先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)假設(shè)總共有c類(lèi)物體，用ωi(i=1,2,…,c)標(biāo)記每個(gè)類(lèi)別，x=[x1,x2,…,xd]T，是d維特征空間上的某一點(diǎn)，則P(ωi)是先驗(yàn)概率p(x|ωi)是ωi類(lèi)發(fā)生時(shí)的條件概率密度函數(shù)P(ωi|x)表示后驗(yàn)概率貝葉斯決策理論先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)基于最小錯(cuò)誤率的貝葉斯決策例：癌細(xì)胞的識(shí)別假設(shè)每個(gè)要識(shí)別的細(xì)胞已作過(guò)預(yù)處理，并抽取出了d個(gè)特征描述量，用一個(gè)d維的特征向量X表示，識(shí)別的目的是要依據(jù)該X向量將細(xì)胞劃分為正常細(xì)胞或者異常細(xì)胞。這里我們用ω１表示是正常細(xì)胞，而ω２則屬于異常細(xì)胞。基于最小錯(cuò)誤率的貝葉斯決策例：癌細(xì)胞的識(shí)別基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率

P(ω1)和P(ω2)含義:每種細(xì)胞占全部細(xì)胞的比例P(ω1)+P(ω2)=1一般情況下正常細(xì)胞占比例大，即P(ω1)>P(ω2)基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seabass”判別中的先驗(yàn)概率P(ωsalmon)P(ωseabass)基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seab基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率根據(jù)先驗(yàn)概率決定這種分類(lèi)決策沒(méi)有意義表明由先驗(yàn)概率所提供的信息太少

基于最小錯(cuò)誤率的貝葉斯決策先驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策概率密度函數(shù)利用對(duì)細(xì)胞作病理分析所觀測(cè)到的信息，也就是所抽取到的d維觀測(cè)向量。為簡(jiǎn)單起見(jiàn)，我們假定只用其一個(gè)特征進(jìn)行分類(lèi)，即d=1得到兩類(lèi)的類(lèi)條件概率密度函數(shù)分布P(x|ω1)是正常細(xì)胞的屬性分布P(x|ω2)是異常細(xì)胞的屬性分布基于最小錯(cuò)誤率的貝葉斯決策概率密度函數(shù)基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)概率密度函數(shù)性質(zhì)基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)概率密度函數(shù)性基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seabass”判別中的類(lèi)條件概率密度函數(shù)基于最小錯(cuò)誤率的貝葉斯決策salmon”or“seab基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)直接用來(lái)分類(lèi)是否合理？具有一定的合理性不滿足最小錯(cuò)誤率要求沒(méi)有考慮先驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率密度函數(shù)直接用來(lái)分類(lèi)是否基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率含義

P(ω1|X)當(dāng)觀測(cè)向量為X值時(shí),該細(xì)胞屬于正常細(xì)胞的概率。P(ω2|X)當(dāng)觀測(cè)向量為X值時(shí),該細(xì)胞屬于異常細(xì)胞的概率?；谧钚″e(cuò)誤率的貝葉斯決策后驗(yàn)概率含義基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策“salmon”or“seabass”判別中的后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策“salmon”or“sea基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率和后驗(yàn)概率區(qū)別后驗(yàn)概率:P(ω1|x)和P(ω２|x)同一條件x下，比較ω1與ω2出現(xiàn)的概率兩類(lèi)ω1和ω2，則有P(ω1|x)+P(ω2|x)=1如P(ω1|x)>P(ω2|x)則可以下結(jié)論，在x條件下，事件ω1出現(xiàn)的可能性大類(lèi)條件概率:P(x|ω1)和P(x|ω2)是在不同條件下討論的問(wèn)題即使只有兩類(lèi)ω1與ω2，P(x|ω1)+P(x|ω1)≠1P(x|ω1)與P(x|ω2)兩者沒(méi)有聯(lián)系基于最小錯(cuò)誤率的貝葉斯決策類(lèi)條件概率和后驗(yàn)概率區(qū)別基于最小錯(cuò)誤率的貝葉斯決策貝葉斯公式先驗(yàn)概率，后驗(yàn)概率，概率密度函數(shù)之間關(guān)系根據(jù)先驗(yàn)概率和概率密度函數(shù)可以計(jì)算出后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策貝葉斯公式基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題為什么先驗(yàn)概率和類(lèi)條件概率密度函數(shù)可以作為已知？而后驗(yàn)概率需要通過(guò)計(jì)算獲得？基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題基于最小錯(cuò)誤率的貝葉斯決策為什么后驗(yàn)概率要利用Bayes公式從先驗(yàn)概率和類(lèi)條件概率密度函數(shù)計(jì)算獲得？計(jì)算概率都要擁有大量數(shù)據(jù)估計(jì)先驗(yàn)概率與類(lèi)條件概率密度函數(shù)時(shí)都可搜集到大量樣本對(duì)某一特定事件(如x)要搜集大量樣本是不太容易只能借助Bayes公式來(lái)計(jì)算得到基于最小錯(cuò)誤率的貝葉斯決策為什么后驗(yàn)概率要利用Bayes公式基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題根據(jù)最小錯(cuò)誤率，如何利用先驗(yàn)概率、類(lèi)條件概率密度函數(shù)和后驗(yàn)概率進(jìn)行分類(lèi)？基于最小錯(cuò)誤率的貝葉斯決策問(wèn)題基于最小錯(cuò)誤率的貝葉斯決策貝葉斯決策理論前提各類(lèi)別總體的概率分布是已知的;要決策分類(lèi)的概率分布是已知的。貝葉斯決策理論方法所討論的問(wèn)題是：已知:總共有c類(lèi)物體，以及先驗(yàn)概率P(ωi)及類(lèi)條件概率密度函數(shù)p(x|ωi)問(wèn)題:如何對(duì)某一樣本按其特征向量分類(lèi)的問(wèn)題?；谧钚″e(cuò)誤率的貝葉斯決策貝葉斯決策理論前提基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策規(guī)則:

如果P(ω1|X)>P(ω2|X)，則X歸為ω1類(lèi)別 如果P(ω1|X)≤P(ω2|X)，則X歸為ω2類(lèi)別基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策規(guī)則:基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：后驗(yàn)概率形式:

如果 則x歸為ωi先驗(yàn)概率及類(lèi)條件概率密度函數(shù)表示： 如果 則x歸為ωi基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：比值的方式表示， 如果

則x歸為ω1

， 否則x歸為ω2

基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：對(duì)數(shù)形式 若 則x歸為ω1

， 否則x歸為ω2基于最小錯(cuò)誤率的貝葉斯決策幾種等價(jià)形式：基于最小錯(cuò)誤率的貝葉斯決策例2.1假設(shè)在某地區(qū)切片細(xì)胞中正常(ω1)和異常(ω２)兩類(lèi)的先驗(yàn)概率分別為P(ω1)=0.9，P(ω2)=0.1。現(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類(lèi)條件概率密度分布曲線查得p(x|ω1)=0.2，p(x|ω２)=0.4，試對(duì)細(xì)胞x進(jìn)行分類(lèi)?；谧钚″e(cuò)誤率的貝葉斯決策例2.1基于最小錯(cuò)誤率的貝葉斯決策例2.1解：利用貝葉斯公式，分別計(jì)算出狀態(tài)為x時(shí)ω1與ω２的后驗(yàn)概率基于最小錯(cuò)誤率的貝葉斯決策例2.1基于最小錯(cuò)誤率的貝葉斯決策例2.1根據(jù)貝葉斯決策有

P(ω1|x)＝0.818＞P(ω２|x)＝0.182分析:錯(cuò)誤概率是多少？判斷為正常細(xì)胞，錯(cuò)誤率為0.182判斷為異常細(xì)胞，錯(cuò)誤率為0.818因此判定該細(xì)胞為正常細(xì)胞比較合理?；谧钚″e(cuò)誤率的貝葉斯決策例2.1最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:從平均的意義上的錯(cuò)誤率在連續(xù)條件下，平均錯(cuò)誤率，以P(e)表示，應(yīng)有:最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:分析兩類(lèi)別問(wèn)題按貝葉斯決策規(guī)則，當(dāng)P(w2|x)＞p(w1|x)時(shí)決策為w2。顯然這個(gè)決策意味著，對(duì)觀測(cè)值x有P(w1|x)概率的錯(cuò)誤率。上例中所作的w1決策，實(shí)際上包含有P(w2|x)=0.182的錯(cuò)誤概率最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:在兩類(lèi)別的情況下，可以將p(e|x)表示成當(dāng)最小錯(cuò)誤率的證明最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:如果我們把作出w1決策的所有觀測(cè)值區(qū)域稱為R1，則在R1區(qū)內(nèi)的每個(gè)x值，條件錯(cuò)誤概率為p(w2|x)。另一個(gè)區(qū)R2中的x,條件錯(cuò)誤概率為p(w1|x)。

基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:因此平均錯(cuò)誤率P(e)可表示成

基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小證明:由于在R1區(qū)內(nèi)任一個(gè)x值都有P(w2|x)＜P(w1|x)，同樣在R2區(qū)內(nèi)任一個(gè)x值都有P(w1|x)＜P(w2|x)錯(cuò)誤率在每個(gè)x值處都取小者，因而平均錯(cuò)誤率P(e)也必然達(dá)到最小這就證明了平均錯(cuò)誤率為最小基于最小錯(cuò)誤率的貝葉斯決策最小錯(cuò)誤率貝葉斯準(zhǔn)則使得錯(cuò)誤率最小基于最小錯(cuò)誤率的貝葉斯決策基于最小錯(cuò)誤率的貝葉斯決策C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策在C類(lèi)別情況下最小錯(cuò)誤率貝葉斯決策規(guī)則的后驗(yàn)概率形式：先驗(yàn)概率與類(lèi)條件概率密度相聯(lián)系的形式

C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策在C類(lèi)別情況下最小錯(cuò)誤率貝C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策多類(lèi)別決策過(guò)程中的錯(cuò)誤率把特征空間分割成R1，R2，…，Rc個(gè)區(qū)域統(tǒng)計(jì)將所有其它類(lèi)錯(cuò)誤劃為該區(qū)域?qū)?yīng)的i類(lèi)的概率計(jì)算是很繁瑣計(jì)算平均正確分類(lèi)概率P(c)即C類(lèi)別情況下最小錯(cuò)誤率

貝葉斯決策多類(lèi)別決策過(guò)程中的錯(cuò)誤率2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想使錯(cuò)誤率最小并不一定是一個(gè)普遍適用的最佳選擇。癌細(xì)胞分類(lèi)兩種錯(cuò)誤:癌細(xì)胞→正常細(xì)胞正常細(xì)胞→癌細(xì)胞兩種錯(cuò)誤的代價(jià)(損失)不同2.2.2基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想寧可擴(kuò)大一些總的錯(cuò)誤率，但也要使總的損失減少。引進(jìn)一個(gè)與損失有關(guān)聯(lián)的，更為廣泛的概念——風(fēng)險(xiǎn)。在作出決策時(shí)，要考慮所承擔(dān)的風(fēng)險(xiǎn)。基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則正是為了體現(xiàn)這一點(diǎn)而產(chǎn)生的。

基于最小風(fēng)險(xiǎn)的貝葉斯決策基本思想基于最小風(fēng)險(xiǎn)的貝葉斯決策最小錯(cuò)誤率貝葉斯決策規(guī)則：最小錯(cuò)誤率目標(biāo)函數(shù):P(ωj|X)為了考慮不同決策的不同損失，構(gòu)造如下目標(biāo)函數(shù)

λ(i)j:表示樣本X實(shí)際屬于j類(lèi)，被判為狀態(tài)i所造成的損失Rj(X):表示把樣本X判為狀態(tài)i所造成的整體損失基于最小風(fēng)險(xiǎn)的貝葉斯決策最小錯(cuò)誤率貝葉斯決策規(guī)則：λ(i)j基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞ω1表示正常，ω2表示異常P(ω1|X)與P(ω2|X)分別表示了兩種可能性的大小X是癌細(xì)胞(ω2)，但被判作正常(ω1)，則會(huì)有損失，這種損失表示為:λ2(1)X確實(shí)是正常(ω1)，卻被判定為異常(ω2)，則損失表示成:λ1(2)基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞另外為了使式子寫(xiě)的更方便，我們也可以定義λ1(1)和λ2(2)是指正確判斷也可有損失基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞X判作ω1引進(jìn)的損失應(yīng)該為將X判為ω2的風(fēng)險(xiǎn)就成為作出哪一種決策就要看是R1(X)小還是R2(X)小這就是基于最小風(fēng)險(xiǎn)的貝葉斯決策的基本出發(fā)點(diǎn)基于最小風(fēng)險(xiǎn)的貝葉斯決策兩類(lèi)情況:有沒(méi)有癌細(xì)胞這就是基于最基于最小風(fēng)險(xiǎn)的貝葉斯決策(1)自然狀態(tài)與狀態(tài)空間自然狀態(tài):識(shí)別對(duì)象的類(lèi)別狀態(tài)空間Ω:所有自然狀態(tài)所組成的空間Ω={ω1，ω2，…，ωc}(2)決策與決策空間決策:對(duì)分類(lèi)問(wèn)題所作的判決決策空間:由所有決策組成的空間稱為決策空間內(nèi)決策總數(shù)a可以不等于類(lèi)別數(shù)cA={α1,α2,…，αn}基于最小風(fēng)險(xiǎn)的貝葉斯決策(1)自然狀態(tài)與狀態(tài)空間基于最小風(fēng)險(xiǎn)的貝葉斯決策(3)損失函數(shù)λ(αi|ωj)(或λ(αi,ωj))這就是前面我們引用過(guò)的λj(i)

表示對(duì)自然狀態(tài)ωj

，作出決策αj時(shí)所造成的損失(4)觀測(cè)值X條件下的期望損失R(αi|X)

這就是前面引用的符號(hào)Ri，也稱為條件風(fēng)險(xiǎn)?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策(3)損失函數(shù)λ(αi|ωj)(或λ基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫(xiě)成：

引入一個(gè)期望風(fēng)險(xiǎn)R基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫(xiě)成：

基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：(1)計(jì)算出后驗(yàn)概率已知P(ωi)和P(X|ωi)，i=1,…，c，獲得觀測(cè)到的特征向量X根據(jù)貝葉斯公式計(jì)算

j=1,…，x

基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：(2)計(jì)算條件風(fēng)險(xiǎn)已知:后驗(yàn)概率和決策表計(jì)算出每個(gè)決策的條件風(fēng)險(xiǎn)

(3)找出使條件風(fēng)險(xiǎn)最小的決策αk

則αk就是最小風(fēng)險(xiǎn)貝葉斯決策?；谧钚★L(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策步驟：則αk就是基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2在例2.1條件的基礎(chǔ)上已知λ11=0,(λ11表示λ(α1|ω1)的簡(jiǎn)寫(xiě))，λ12=6,λ21=1，λ22=0按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類(lèi)

基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2在例2.1條件的基礎(chǔ)上基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2解：已知條件為

P(ω1)＝0.9,P(ω12)＝0.1

p(X|ω1)＝0.2,p(X|ω12)＝0.r

λ11＝0,λ12＝6,λ21＝1,λ22＝0根據(jù)2.1的計(jì)算結(jié)果可知后驗(yàn)概率為

P(ω1|X)＝0.818 P(ω2|X)＝0.182基于最小風(fēng)險(xiǎn)的貝葉斯決策例2.2基于最小風(fēng)險(xiǎn)的貝葉斯