Bayes分類器第七章課件

1、基于概率統(tǒng)計(jì)的bayes分類器一種經(jīng)典分類器第七章第1頁(yè)，共27頁(yè)。貝葉斯的貢獻(xiàn) 1763年，貝葉斯首先將歸納推理法用于概率論基礎(chǔ)理論，并創(chuàng)立了貝葉斯統(tǒng)計(jì)理論，對(duì)于現(xiàn)代概率論和數(shù)理統(tǒng)計(jì)都有很重要的作用。 貝葉斯的另一著作機(jī)會(huì)的學(xué)說(shuō)概論發(fā)表于1758年，貝葉斯所采用的許多術(shù)語(yǔ)被沿用至今。他對(duì)統(tǒng)計(jì)推理的主要貢獻(xiàn)是使用了逆概率這個(gè)概念，并把它作為一種普遍的推理方法提出來(lái)。貝葉斯定理原本是概率論中的一個(gè)定理，這一定理可用一個(gè)數(shù)學(xué)公式來(lái)表達(dá)，這個(gè)公式就是著名的貝葉斯公式。 第2頁(yè)，共27頁(yè)。貝葉斯決策理論Bayes分類器基本概念一、兩類問(wèn)題例如：細(xì)胞識(shí)別問(wèn)題 1正常細(xì)胞，2異常細(xì)胞某地區(qū)，經(jīng)大量統(tǒng)計(jì)獲先

2、驗(yàn)概率P(1)，P(2)。若取該地區(qū)某人細(xì)胞x屬何種細(xì)胞 ，只能由 先驗(yàn)概率決定。第3頁(yè)，共27頁(yè)。對(duì)x再觀察：有細(xì)胞光密度特征 ，有類條件概率密度: P(x/ ) =1,2,。如圖所示利用貝葉斯公式 ：通過(guò) 對(duì)細(xì)胞的再觀察，就可以把先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率，利用后驗(yàn)概率可對(duì)未知細(xì)胞x進(jìn)行識(shí)別 。貝葉斯決策理論第4頁(yè)，共27頁(yè)。通過(guò) 對(duì)細(xì)胞的再觀察，就可以把先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概率，利用后驗(yàn)概率可對(duì)未知細(xì)胞x進(jìn)行識(shí)別 。第5頁(yè)，共27頁(yè)。設(shè)N個(gè)樣本分為兩類1，2。每個(gè)樣本抽出n個(gè)特征， x =（x1， x2， x3， xn）T 1、判別函數(shù)：若已知先驗(yàn)概率P(1),P(2)，類條件概率密度P(x/

3、 1)， P(x/ 2)。 則可得貝葉斯判別函數(shù)四種形式 ：第6頁(yè)，共27頁(yè)。2、決策規(guī)則：第7頁(yè)，共27頁(yè)。 3、決策面方程： x為一維時(shí)，決策面為一點(diǎn)，x為二維時(shí)決策面為曲線，x為三維時(shí)，決策面為曲面，x大于三維時(shí)決策面為超曲面。例：某地區(qū)細(xì)胞識(shí)別； P(1)=0.9， P(2)=0.1 未知細(xì)胞x，先從類條件概率密度分布曲線上查到：解：該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞，先計(jì)算后驗(yàn)概率：P(x/ 1)=0.2， P(x/ 2)=0.4第8頁(yè)，共27頁(yè)。g(x)閾值單元 4、分類器設(shè)計(jì)：判別計(jì)算特征向量決策第9頁(yè)，共27頁(yè)。1.判別函數(shù)：M類有M個(gè)判別函數(shù)g1(x), g2(x), gm(x)

4、。每個(gè)判別函數(shù)有上面的四種形式。 2.決策規(guī)則：另一種形式：二、多類情況：=(1,2,m)，x=(x1,x2,xn)第10頁(yè)，共27頁(yè)。二、多類情況：=(1,2,m)，x=(x1,x2,xn) 3、決策面方程：4、分類器設(shè)計(jì)：g1(x)Maxg(x)g2(x)gn(x)特征向量判別計(jì)算最大值選擇器決策第11頁(yè)，共27頁(yè)。正態(tài)分布決策理論 一、正態(tài)分布判別函數(shù) 1、為什么采用正態(tài)分布： a、正態(tài)分布在物理上是合理的、廣泛的。 b、正態(tài)分布數(shù)學(xué)上簡(jiǎn)單，N(, ) 只有均值和方差兩個(gè)參數(shù)。 2、單變量正態(tài)分布： 第12頁(yè)，共27頁(yè)。第13頁(yè)，共27頁(yè)。3、（多變量）多維正態(tài)分布 （1）函數(shù)形式：第1

5、4頁(yè)，共27頁(yè)。第15頁(yè)，共27頁(yè)。判別函數(shù)類條件概率密度用正態(tài)來(lái)表示：第16頁(yè)，共27頁(yè)。例、有訓(xùn)練集資料矩陣如下表所示，現(xiàn)已知，N=9、N1=5、N2=4、n=2、M=2，試問(wèn)，X=(0,0)T應(yīng)屬于哪一類？解：假定二類協(xié)方差 矩陣不等（12） 則均值:訓(xùn)練樣本號(hào)k1 2 3 4 5 1 2 3 4 特征 x1特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2類別1 2第17頁(yè)，共27頁(yè)。第18頁(yè)，共27頁(yè)。第19頁(yè)，共27頁(yè)。關(guān)于分類器的錯(cuò)誤率分析1、一般錯(cuò)誤率分析：第20頁(yè)，共27頁(yè)。由此：錯(cuò)誤率為為圖中兩個(gè)劃線部分之和。BAYES公式表明每個(gè)

6、樣本所屬類別都使 最大，實(shí)際上使X錯(cuò)判的可能性達(dá)到最小。第21頁(yè)，共27頁(yè)。最小風(fēng)險(xiǎn)Bayes分類器假定要判斷某人是正常(1)還是肺病患者(2),于是在判斷中可能出現(xiàn)以下情況：第一類，判對(duì)(正常正常) 11 ；第二類，判錯(cuò)(正常肺病) 21 ； 第三類，判對(duì)(肺病肺病) 22；第四類，判錯(cuò)(肺病正常) 12 。在判斷時(shí)，除了能做出“是” i類或“不是” i類的動(dòng)作以外，還可以做出“拒識(shí)”的動(dòng)作。為了更好地研究最小風(fēng)險(xiǎn)分類器，我們先說(shuō)明幾個(gè)概念：第22頁(yè)，共27頁(yè)。行動(dòng)i：表示把模式x判決為i類的一次動(dòng)作。損耗函數(shù)ii=(i/i)表示模式X本來(lái)屬于i類而錯(cuò)判為i所受損失。因?yàn)檫@是正確判決，故損失

7、最小。損耗函數(shù)ij=(i/j)表示模式X本來(lái)屬于j類錯(cuò)判為i所受損失。因?yàn)檫@是錯(cuò)誤判決，故損失最大。風(fēng)險(xiǎn)R（期望損失）：對(duì)未知x采取一個(gè)判決行動(dòng)(x)所付出的代價(jià)（損耗）第23頁(yè)，共27頁(yè)。條件風(fēng)險(xiǎn)只反映對(duì)某x取值的決策行動(dòng)i所帶來(lái)的風(fēng)險(xiǎn)。期望風(fēng)險(xiǎn)則反映在整個(gè)特征空間不同的x取值的決策行動(dòng)所帶來(lái)的平均風(fēng)險(xiǎn)。最小風(fēng)險(xiǎn)Bayes決策規(guī)則：在整個(gè)特征空間中定義期望風(fēng)險(xiǎn)：條件風(fēng)險(xiǎn)（也叫條件期望損失）：第24頁(yè)，共27頁(yè)。第25頁(yè)，共27頁(yè)。二類問(wèn)題： 把x歸于1時(shí)風(fēng)險(xiǎn)： 把x歸于2時(shí)風(fēng)險(xiǎn)：第26頁(yè)，共27頁(yè)。Bayes分類的算法（假定各類樣本服從正態(tài)分布）1.輸入類數(shù)M；特征數(shù)n，待分樣本數(shù)m.2.輸入訓(xùn)練樣本數(shù)N和訓(xùn)練集資料矩陣X(Nn)。并計(jì)算