第三章6貝葉斯決策理論

1、3.9貝葉斯決策理論貝葉斯分類器關(guān)于分類的錯(cuò)誤率分析最小風(fēng)險(xiǎn)Bayes分類器 Bayes分類器算法和例題最大最小判別準(zhǔn)則決策樹條件概率密度分存Bayes分類器一最優(yōu)分類器、最佳分類器_、兩類問題例如：細(xì)胞識別問題 ®正常細(xì)胞，®異常細(xì)胞某地區(qū)，經(jīng)大量統(tǒng)計(jì)獲先驗(yàn)概率P(3jf(32)。若取該地區(qū) 某人細(xì)胞兀屬何種細(xì)胞，只能由先驗(yàn)概率決定。勢叮 叫嚴(yán)W 這種分類器決策無意義P(°) < P(co2).x G 6t>2 J對兀再觀察：有細(xì)胞光密度管征,有類條件概率密度：P(x/ CD ) l=l?2,. O 如圖所示利用貝葉斯公式： 2pg/x) = p(x

2、/cd,.)p(d(./£pag)pg),(也稱為后驗(yàn)概率: 通過對細(xì)胞的再觀察，"就可以把先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概 率，利用后驗(yàn)概率可對未知細(xì)胞兀進(jìn)行識別。過對細(xì)胞的再觀察，就可以把先驗(yàn)概率轉(zhuǎn)化為后驗(yàn)概 ,利用后驗(yàn)概率可對未知細(xì)胞兀進(jìn)行識別。J若尸(/兀) > 尸(馬/兀),則兀G CDX若尸( < P(co2/x)x g a>2設(shè)N個(gè)樣本分為兩類®2o每個(gè)樣本抽 出n個(gè)特征，X (兀，%2，兀39 ，兀門)丁1、判別函數(shù)：gS)= glS) g2(X)10尸（）0.80.60.40.2X后驗(yàn)概率分布若已知先驗(yàn)概率P(cojf(co)類條件概率密度

3、P(x/co 1)， P(x/ co2)O貝IJ可得貝葉斯判別函數(shù)四種形式：CDX力2 g(x) = P(ojx) - P(co2/x)，(后驗(yàn)概率)（2）g（x） = P（A/°）P（e）- P（勸i?2）P2），（類條件概率密度鴿-唸,（似然比形式能i 鴿鸚，（取對數(shù)方湯(2)P(a/o)P(Qi)Px/CDPCD)=>CDXx eco?Px/co) VDZ 、=> x e戸）CDXco?舲帑CDX=> x e52、決策規(guī)則：（1）戸（°/乂）：刊戀/乂）=>兀丘3、決策|衍方程：*(x) = 0 最小錯(cuò)誤率分析兀為一維時(shí)，決策而為一點(diǎn)，無為二維

4、時(shí)決策面為曲線，兀為三維時(shí)，決策而為曲 面，無大于三維時(shí)決策而為超曲面。例：某地區(qū)細(xì)胞識另倂鳳雇尚，作肚齒嗓知細(xì)胞K先從類條件概率密 度分布曲線上查到：P(® /兀)=1 一 P(® /兀)=0.18 2因?yàn)镻lx)>/兀)，兀丘®屬正常細(xì)胞。因?yàn)镻g)» P(®)，所以先驗(yàn)概率起很大化用.4、分類器設(shè)計(jì):CD.X G閾值單元 決策二、多類情況：<Dz=(CD7,CO2v.,COm), X=Xj.X2 兀)L判別函數(shù)：M類有M個(gè)判別函數(shù)助，勺，乩（兀）每個(gè)判別函數(shù)有 上面的四種形式。=maxPx/a>j)P(v7) =>

5、 x e cdi = 12 M)2決策規(guī)則:gf（x） =A另一種形式：= In PQxg) + In Pg)=max1< J<M* n P(x/a)+ In P(°)=> x e3、決策面方程：&（勸=勺（丸人即&（勸-g/（K）= °4、分類器設(shè)計(jì)：X =L兀特征向量判別計(jì)算關(guān)于分類器的錯(cuò)誤率分析1、一般錯(cuò)誤率分析：二類問題：和/兀） > 尸（5/兀），貝欣®,這時(shí)錯(cuò)誤率為（卜）.P加屮他處貪"即這時(shí)錯(cuò)誤率最小° 尸（©/兀）,當(dāng)平均錯(cuò)誤率：p（e）=P（e/x）dxJs第一類判錯(cuò)：用（幺）

6、=P（XG&/©）= j Pgcojdx第二類判錯(cuò)：P2(e) = P(x e 7?/®) = £ P(x/co2)dx總錯(cuò)誤率：P(e) = P(a)i)P(e) + P(cd2)P2(e)=j P(©)P(x/®)dA：+J P(co2)P(x/a2)dx使錯(cuò)誤率最小條件:P(® )P(x/©) = P(® )P(x/®)(證明略)P(e)min =匸 P(d )P(x/dpgjpgq )dx對于多類問題：總錯(cuò)誤率p) =G R2I(d + P(x w 3/®)+ + P(x e R

7、m /©)PS1)+ P(x e R Ja>2) + P(x g &/)+ + P(x g Rm /® )尸(今)+ + P(X G R /%) + P(X W) + .+ P(XG Rm_x )cdm )p(%)M M1=亍£ p(x w © /® )p(e)(計(jì)算量很大)卜 1 J=1jHiM用平均正確分類概率：P(M) = Y P(x G Rgpg/=!錯(cuò)誤率：P(e) = l-P(M計(jì)算相對簡單c最小風(fēng)險(xiǎn)Bayes分類器假定要判斷某人是正常（卩）還是肺病患者（叫）,于是在判斷中可能出 現(xiàn)以下情況：第一類，判對（正常-正常）

8、入門；第二類，判錯(cuò)（正常-肺?。┤?1 ； |第三類，判對（肺病一肺病）入妙 第四類，判錯(cuò)（肺病-正常）A12o 在判斷時(shí)，除了能做出“是” g類或“不是” 0）/類的動作以外， 還可以做出“拒識”的動作。為了更好地研究最小風(fēng)險(xiǎn)分類器， 我們先說明幾個(gè)概念：行動嚀表示把模式兀判決為®類的一次動作。損耗函數(shù)九滬九G/0）表示模式X本來屬于卩類而錯(cuò)判為卩所受 損失。因?yàn)檫@是正確判決，故損失最小。少損耗函數(shù)九戶心冋）表示模式X本來屬于勺類錯(cuò)判為®所受損 矢。因?yàn)檫@是錯(cuò)誤判決，故損失最人。風(fēng)險(xiǎn)R （期望損失）：對未知兀釆取一個(gè)判決行動班兀）所付出 代價(jià)（損耗）條件風(fēng)險(xiǎn)（也叫條件期望

9、損失）：R（ai/x）= E/力j）=£2（e/60j2 = 1,2,.,a.（a < M）j=i >在整個(gè)特征空間中定義期望風(fēng)險(xiǎn)，了期望風(fēng)險(xiǎn)：R = j* R（a（x）/x）P（0Zx,（平均風(fēng)險(xiǎn)）條件風(fēng)險(xiǎn)只反映對某兀取值的決策行動5所帶來的風(fēng)險(xiǎn)。期 望風(fēng)險(xiǎn)則反映在整個(gè)特征空間不同的兀取值的決策行動所帶來 的平均風(fēng)險(xiǎn)。最小風(fēng)險(xiǎn)Bayes決策規(guī)則：若尺仏/兀）二minR（ai / x）, Mxwq.°例：已知正常細(xì)胞先驗(yàn)概率為P(®) = 09,異常為PS?)-。丄從類條件概率密度分布ft線上查的PCx/©.) = 0.2, P(x/coi)

10、 = 0.4,2 I =0,入2 = 6池21 =1 幾22 = °由上例中計(jì)算出的后驗(yàn)既率:P(®/x) = 0.818,P(®/兀)=0.182條件風(fēng)險(xiǎn)：R(ajx)=工備尸丿/兀)=人2尸(®/%)= 1092戶17?(a2/x)=人1 尸(©/a:) = 0.818因?yàn)锳© /x)> R(a2/x)異常細(xì)胞因決策©類風(fēng)險(xiǎn)大。因;12=6較大，決策損失起決舸乍用。二類問題：把x歸于吋風(fēng)險(xiǎn)：/x) = (coj/x) + X12P(d2/x)把xJ 5時(shí)風(fēng)險(xiǎn)：R(a2/x) = X217(0)!/x) + X22P

11、(co2/x)CO(o2最小風(fēng)險(xiǎn)分類規(guī)則：7?(0Cj/x)< (oc2/jc) => XG COj(Z21 -Z11)P(CO1/x)(九2 一九22)X G函數(shù):叫訃MRgjx)=工尢(j/cojjpg/Q =工為戶(叫丿兀)=p(r=lj知丿工1=l-P(coz/x) T后驗(yàn)概率 7?(a,/x)最小，就相當(dāng)幵/兀)最大, 這時(shí)便得到最小錯(cuò)誤酚類器。coE2決策樹一多峰情況Bayes分類器只能適用于樣本分布呈單峰情況，對多峰情況則不行。 V若用決磊樹，可進(jìn)行如下步驟分類若兀2二兀20則轉(zhuǎn)(2)，否則轉(zhuǎn)(4)；X(2) 若a > k 則轉(zhuǎn),否貝Lk e cOj (x e

12、A);2(3) 若兀 > 兀亡貝Lk e cOj (x c c 否 貝Lk e co2 (x c B)(4) 若a > x,則 轉(zhuǎn)(5),杏貝Lk e co2(x e D) x20(5) 若兀 > 亠2貝Lk e co2(x e F 貝Lk e co, (x e E)>b乂 2兀20<CQ二工工碼9f J其中Tz表示屬于類樣本數(shù)仏表示屬于®類樣本數(shù)臨原屬于®類，誤判為®類的損失，Q表示在節(jié)點(diǎn)L上各類樣本混淆程度2、決策樹的構(gòu)造,需要考慮以下問題：1)、如何判斷一節(jié)點(diǎn)是否為葉子。如右圖表示，假定A、B、C、D、E、F各包含50個(gè)樣本，并

13、有以下的代價(jià)矩陣 兀1(0 10<10對于節(jié)點(diǎn)a,可以作出以下兩個(gè)決策之一: 決策1, a不再分割:決策2, a分為兩類決策1的代價(jià)為A1 (a) =Ca 一節(jié)點(diǎn)a的代價(jià)決策2的代價(jià)為 A2 (a) =a (Cb+CJ 節(jié)點(diǎn)b,c的代價(jià)和 其中，a為一經(jīng)驗(yàn)因子，用以防止無限分割下去2 2Q=心九 + 廠2諾人=150x150x10+150x150x10=45000C/=! >12 22 2G + G =Y ribrjb + 乞 丫 時(shí)山入j = 200000/=1 >1i=l j=只要經(jīng)驗(yàn)因子a<2.25,便有A2（a） Aa）,因此取決策2的代價(jià)較小，故應(yīng)把a(bǔ) 分為兩類。一般地決策代價(jià)為：LCL.P = 1不再分割c（C° + C心），F(xiàn) = 2,分為兩類R卜決策分類公式：心乙）二4（乙）以=不驚黑葉<分為兩類2）、選擇節(jié)點(diǎn)的分割方式:a、根據(jù)經(jīng)驗(yàn)確定。全部樣本分為三類，其代價(jià)矩陣為入12入J（01060'入21入22入2310050J入31入32入33 >.60500 J例如,入=X?®1= 10,入=入和=60,%合為因?yàn)槿? =入21入32 =入23 =50,冋f 以3，類，而33