貝葉斯分類器

1、劉振峰內(nèi)容 數(shù)學知識 幾種常用的決策準則 判別函數(shù)、決策面與分類器設計1.概率論基本知識 確定事件：概念是確定的，發(fā)生也是確定的； 隨機事件：概念是確定的，發(fā)生是不確定的； 模糊事件：概念本身就不確定。隨機變量 隨機變量：隨機事件的數(shù)量表示； 離散隨機變量：取值為離散的隨機變量 ； 連續(xù)隨機變量：取值為連續(xù)的隨機變量 ；頻率和概率 頻率：試驗在相同的條件下重復N次，其中M次事件A發(fā)生，則A發(fā)生的頻率為：fN(A) = M / N； 概率：當N很大時，頻率會趨向一個穩(wěn)定值，稱為A的概率： limNNPAf A 聯(lián)合概率和條件概率 聯(lián)合概率聯(lián)合概率：設A，B是兩個隨機事件，A和B同時發(fā)生的概率稱為

2、聯(lián)合概率，記為：P(A, B)； 條件概率條件概率：在B事件發(fā)生的條件下，A事件發(fā)生的概率稱為條件概率，記為：P(A|B)； 乘法定理乘法定理：P(A|B) = P(A, B) / P(B)。 概率密度函數(shù) 概率分布函數(shù)概率分布函數(shù)：設X為連續(xù)型隨機變量，定義分布函數(shù)；F(x) = P(Xx)； 概率密度函數(shù)：概率密度函數(shù)：給定X是隨機變量，如果存在一個非負函數(shù)f(x)，使得對任意實數(shù)a,b(ab)有 P（aXb) = f(x)dx, （積分下限是a,上限是b) ，則稱f(x)為X的概率密度函數(shù)貝葉斯公式P( cj|x) =P(x|cj)P(cj)P(x)u 先驗概率P(cj)u 聯(lián)合概率P(

3、x|cj)u 后驗概率P(cj|x) P(cj)代表還沒有訓練數(shù)據(jù)前，cj擁有的初始概率。P(cj)常被稱為cj的先驗概率(prior probability) ，它反映了我們所擁有的關于cj是正確分類機會的背景知識,它應該是獨立于樣本的。 如果沒有這一先驗知識，那么可以簡單地將每一候選類別賦予相同的先驗概率。不過通常我們可以用樣例中屬于cj的樣例數(shù)|cj|比上總樣例數(shù)|D|來近似，即jj|c |P(c )= |D | 聯(lián)合概率是指當已知類別為cj的條件下，看到樣本x出現(xiàn)的概率。 若設x = 則P(x|cj)= P(a1,a2am| cj) 即給定數(shù)據(jù)樣本x時cj成立的概率,而這正是我們所感興

4、趣的 P(cj|x )被稱為C的后驗概率（posterior probability），因為它反映了在看到數(shù)據(jù)樣本x后cj成立的置信度2.幾種常用的決策準則 不同的決策規(guī)則反映了分類器設計者的不同考慮，對決策結果有不同的影響。其中最有代表性的是: 基于最小錯誤率的貝葉斯決策 基于最小風險的貝葉斯決策額2.1基于最小錯誤率的貝葉斯決策 分類器中為什么會有錯分類，在何種情況下會出現(xiàn)錯分類？錯分類的可能性會有多大？ 當某一特征向量X只為某一類物體所特有，即 對其作出決策是容易的，也不會出什么差錯。問題在于出現(xiàn)模凌兩可的情況。此時，任何決策都存在判錯的可能性。 條件概率：P(*|#)是條件概率的通用符

5、號，P(wk|X)是表示在X出現(xiàn)條件下，樣本為wk類的概率。 基于最小錯誤率的貝葉斯決策 基于最小錯誤概率的貝葉斯決策理論就是按后驗概率的大小作判決的（1）后驗概率: 如果 則 (2)如果 則(3)似然比： 如果 則 否則 如果 則 否則(4)似然比寫成相應的負對數(shù)形式例題1 假設在某地區(qū)切片細胞中正常（w1）和異常（w2）兩類的先驗概率分別為p(w1)=0.9, p(w2)=0.1?，F(xiàn)有一待識別細胞呈現(xiàn)出狀態(tài) x，由其類條件概率密度分布曲線查的p(x|w1)=0.2,p(x|w2)=0.4,試對細胞x進行分類。例題1解答 利用貝葉斯公式，分別計算出狀態(tài)為x時w1與w2的后驗概率基于最小錯誤率的貝葉斯決策的證明 平均錯誤率:在觀測值可能取值的整個范圍內(nèi)錯誤率的均值兩類判別情況 當p(w2|x)p(w1|x)時決策為w2，對觀測值x有 p(w1|x)概率的錯誤率R1:做出w1決策的所有觀測值區(qū)域，條件錯誤概率為p(w2|x)R2:條件錯誤概率為p(w1|x)。因此平均錯誤率p(e)可表示成 在R1內(nèi)任一個x值都有p(w2|x)p(w1|x)，在R2區(qū)內(nèi)任一個x值都有p(w1|x)gj(x) i,j=1,2 且i不等于j， 則x屬于wi多類別情況決策規(guī)則： 如果 則將x歸于wi類 決策面 當wi的決策域與wj的決策域相鄰時，一下關系決定了相應的決策面