Bayes分類器第七章課件

1、基于概率統(tǒng)計的bayes分類器一種經(jīng)典分類器第七章第1頁，共27頁。貝葉斯的貢獻 1763年，貝葉斯首先將歸納推理法用于概率論基礎理論，并創(chuàng)立了貝葉斯統(tǒng)計理論，對于現(xiàn)代概率論和數(shù)理統(tǒng)計都有很重要的作用。 貝葉斯的另一著作機會的學說概論發(fā)表于1758年，貝葉斯所采用的許多術語被沿用至今。他對統(tǒng)計推理的主要貢獻是使用了逆概率這個概念，并把它作為一種普遍的推理方法提出來。貝葉斯定理原本是概率論中的一個定理，這一定理可用一個數(shù)學公式來表達，這個公式就是著名的貝葉斯公式。 第2頁，共27頁。貝葉斯決策理論Bayes分類器基本概念一、兩類問題例如：細胞識別問題 1正常細胞，2異常細胞某地區(qū)，經(jīng)大量統(tǒng)計獲先

2、驗概率P(1)，P(2)。若取該地區(qū)某人細胞x屬何種細胞 ，只能由 先驗概率決定。第3頁，共27頁。對x再觀察：有細胞光密度特征 ，有類條件概率密度: P(x/ ) =1,2,。如圖所示利用貝葉斯公式 ：通過 對細胞的再觀察，就可以把先驗概率轉化為后驗概率，利用后驗概率可對未知細胞x進行識別 。貝葉斯決策理論第4頁，共27頁。通過 對細胞的再觀察，就可以把先驗概率轉化為后驗概率，利用后驗概率可對未知細胞x進行識別 。第5頁，共27頁。設N個樣本分為兩類1，2。每個樣本抽出n個特征， x =（x1， x2， x3， xn）T 1、判別函數(shù)：若已知先驗概率P(1),P(2)，類條件概率密度P(x/

3、 1)， P(x/ 2)。 則可得貝葉斯判別函數(shù)四種形式 ：第6頁，共27頁。2、決策規(guī)則：第7頁，共27頁。 3、決策面方程： x為一維時，決策面為一點，x為二維時決策面為曲線，x為三維時，決策面為曲面，x大于三維時決策面為超曲面。例：某地區(qū)細胞識別； P(1)=0.9， P(2)=0.1 未知細胞x，先從類條件概率密度分布曲線上查到：解：該細胞屬于正常細胞還是異常細胞，先計算后驗概率：P(x/ 1)=0.2， P(x/ 2)=0.4第8頁，共27頁。g(x)閾值單元 4、分類器設計：判別計算特征向量決策第9頁，共27頁。1.判別函數(shù)：M類有M個判別函數(shù)g1(x), g2(x), gm(x)

4、。每個判別函數(shù)有上面的四種形式。 2.決策規(guī)則：另一種形式：二、多類情況：=(1,2,m)，x=(x1,x2,xn)第10頁，共27頁。二、多類情況：=(1,2,m)，x=(x1,x2,xn) 3、決策面方程：4、分類器設計：g1(x)Maxg(x)g2(x)gn(x)特征向量判別計算最大值選擇器決策第11頁，共27頁。正態(tài)分布決策理論 一、正態(tài)分布判別函數(shù) 1、為什么采用正態(tài)分布： a、正態(tài)分布在物理上是合理的、廣泛的。 b、正態(tài)分布數(shù)學上簡單，N(, ) 只有均值和方差兩個參數(shù)。 2、單變量正態(tài)分布： 第12頁，共27頁。第13頁，共27頁。3、（多變量）多維正態(tài)分布 （1）函數(shù)形式：第1

5、4頁，共27頁。第15頁，共27頁。判別函數(shù)類條件概率密度用正態(tài)來表示：第16頁，共27頁。例、有訓練集資料矩陣如下表所示，現(xiàn)已知，N=9、N1=5、N2=4、n=2、M=2，試問，X=(0,0)T應屬于哪一類？解：假定二類協(xié)方差 矩陣不等（12） 則均值:訓練樣本號k1 2 3 4 5 1 2 3 4 特征 x1特征 x21 1 0 -1 -1 0 1 0 -1 0 1 1 1 0-1 -2 -2 -2類別1 2第17頁，共27頁。第18頁，共27頁。第19頁，共27頁。關于分類器的錯誤率分析1、一般錯誤率分析：第20頁，共27頁。由此：錯誤率為為圖中兩個劃線部分之和。BAYES公式表明每個

6、樣本所屬類別都使 最大，實際上使X錯判的可能性達到最小。第21頁，共27頁。最小風險Bayes分類器假定要判斷某人是正常(1)還是肺病患者(2),于是在判斷中可能出現(xiàn)以下情況：第一類，判對(正常正常) 11 ；第二類，判錯(正常肺病) 21 ； 第三類，判對(肺病肺病) 22；第四類，判錯(肺病正常) 12 。在判斷時，除了能做出“是” i類或“不是” i類的動作以外，還可以做出“拒識”的動作。為了更好地研究最小風險分類器，我們先說明幾個概念：第22頁，共27頁。行動i：表示把模式x判決為i類的一次動作。損耗函數(shù)ii=(i/i)表示模式X本來屬于i類而錯判為i所受損失。因為這是正確判決，故損失

7、最小。損耗函數(shù)ij=(i/j)表示模式X本來屬于j類錯判為i所受損失。因為這是錯誤判決，故損失最大。風險R（期望損失）：對未知x采取一個判決行動(x)所付出的代價（損耗）第23頁，共27頁。條件風險只反映對某x取值的決策行動i所帶來的風險。期望風險則反映在整個特征空間不同的x取值的決策行動所帶來的平均風險。最小風險Bayes決策規(guī)則：在整個特征空間中定義期望風險：條件風險（也叫條件期望損失）：第24頁，共27頁。第25頁，共27頁。二類問題： 把x歸于1時風險： 把x歸于2時風險：第26頁，共27頁。Bayes分類的算法（假定各類樣本服從正態(tài)分布）1.輸入類數(shù)M；特征數(shù)n，待分樣本數(shù)m.2.輸入訓練樣本數(shù)N和訓練集資料矩陣X(Nn)。并計算