第2章 貝葉斯決策

1、精選pptBayesian Decision Theory劉芳，戚玉濤劉芳，戚玉濤qi_qi_精選ppt貝葉斯決策理論貝葉斯決策理論v引言引言v貝葉斯決策常用的準(zhǔn)則貝葉斯決策常用的準(zhǔn)則v分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù)vBayesianBayesian置信網(wǎng)置信網(wǎng)精選ppt引言引言v機器自動識別分類，能不能避免錯分類，做到百分機器自動識別分類，能不能避免錯分類，做到百分之百正確？怎樣才能減少錯誤？之百正確？怎樣才能減少錯誤？v錯分類往往難以避免，因此就要考慮減小因錯分類錯分類往往難以避免，因此就要考慮減小因錯分類造成的危害損失，那么有沒有可

2、能對危害大的錯誤造成的危害損失，那么有沒有可能對危害大的錯誤嚴(yán)格控制？嚴(yán)格控制？v什么是先驗概率、類概率密度函數(shù)和后驗概率？它什么是先驗概率、類概率密度函數(shù)和后驗概率？它們的定義和相互關(guān)系如何們的定義和相互關(guān)系如何?貝葉斯公式正是體現(xiàn)三貝葉斯公式正是體現(xiàn)三者關(guān)系的式子。者關(guān)系的式子。精選ppt引言v貝葉斯決策理論貝葉斯決策理論貝葉斯統(tǒng)計決策理論是處理模式分類問題的基本理貝葉斯統(tǒng)計決策理論是處理模式分類問題的基本理論之一，對模式分析和分類器（論之一，對模式分析和分類器（Classifier）的設(shè)計）的設(shè)計起指導(dǎo)作用。起指導(dǎo)作用。v貝葉斯決策的兩個要求貝葉斯決策的兩個要求各個類別的總體概率分布各個

3、類別的總體概率分布 (先驗概率和類條件概先驗概率和類條件概率密度率密度) 是已知的是已知的 要決策分類的類別數(shù)是一定的要決策分類的類別數(shù)是一定的精選ppt引言：12,Tddx xxRxx為為d維維特征向量特征向量。12,ic 精選ppt引言v評價決策有多種標(biāo)準(zhǔn)，對于同一個問題，采用不同評價決策有多種標(biāo)準(zhǔn)，對于同一個問題，采用不同的標(biāo)準(zhǔn)會得到不同意義下的標(biāo)準(zhǔn)會得到不同意義下“最優(yōu)最優(yōu)”的決策。的決策。v貝葉斯決策常用的準(zhǔn)則：貝葉斯決策常用的準(zhǔn)則： 最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則 最小風(fēng)險準(zhǔn)則最小風(fēng)險準(zhǔn)則 Neyman-Pearson準(zhǔn)則準(zhǔn)則 最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則精選ppt貝葉斯決策理論

4、貝葉斯決策理論v引言引言v貝葉斯決策常用的準(zhǔn)則貝葉斯決策常用的準(zhǔn)則v分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù)vBayesianBayesian置信網(wǎng)置信網(wǎng)精選pptBayes決策準(zhǔn)則決策準(zhǔn)則v最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則v最小風(fēng)險準(zhǔn)則最小風(fēng)險準(zhǔn)則vNeyman-Pearson準(zhǔn)則準(zhǔn)則v最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則精選ppt最小錯誤率準(zhǔn)則精選ppt最小錯誤率準(zhǔn)則v先驗概率：先驗概率：v類條件概率：類條件概率：v后驗概率：后驗概率：v貝葉斯公式貝葉斯公式iPiPxiPx iiiPPPPxxx i 1ciiPPPxx其中：其中：精選ppt最小錯誤率準(zhǔn)

5、則 例：例：精選ppt最小錯誤率準(zhǔn)則v數(shù)學(xué)表示：數(shù)學(xué)表示： ：表示類別這一隨機變量表示類別這一隨機變量1：表示患病表示患病2：表示不患病表示不患病 X：表示白細(xì)胞濃度這一隨機變量表示白細(xì)胞濃度這一隨機變量 x： 表示白細(xì)胞濃度值表示白細(xì)胞濃度值精選ppt最小錯誤率準(zhǔn)則11220.5%99.5%PPPP 精選ppt最小錯誤率準(zhǔn)則122000,10007000,3000PNPNxx1Px2Px精選ppt最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則v最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則以先驗概率、類條以先驗概率、類條件概率密度、特征件概率密度、特征值（向量）為輸入值（向量）為輸入以后驗概率作為類以后驗概率作為類別判斷的依據(jù)

6、別判斷的依據(jù)貝葉斯公式保證了貝葉斯公式保證了錯誤率最小錯誤率最小精選ppt最小錯誤率準(zhǔn)則v最小錯誤率的貝葉斯決策最小錯誤率的貝葉斯決策規(guī)則為：規(guī)則為： 1Px2Pxx1=x2 ?精選ppt最小錯誤率準(zhǔn)則v最小錯誤率準(zhǔn)則的平均錯誤率：最小錯誤率準(zhǔn)則的平均錯誤率：x2=x3x2和和x3 都是都是 p(x, 1)= p(x, 2) 的根的根，因此，因此是兩類分界是兩類分界精選ppt最小錯誤率準(zhǔn)則v最小錯誤率準(zhǔn)則的平均錯誤率：最小錯誤率準(zhǔn)則的平均錯誤率：x2=x3，則則 精選ppt最小錯誤率準(zhǔn)則v平均錯誤率是否最?。科骄e誤率是否最?。烤xppt最小錯誤率準(zhǔn)則v似然比公式似然比公式1122p xPp

7、xP1212p xppp x12PPxx iiiPPPPxxx則：則：等價于：等價于：似然比公式似然比公式精選ppt最小錯誤率準(zhǔn)則v特例特例1：精選ppt最小錯誤率準(zhǔn)則v特例特例2：精選ppt最小錯誤率準(zhǔn)則v形式邏輯（經(jīng)典確定性推理）形式邏輯（經(jīng)典確定性推理）以鱸魚和鮭魚分類為例：以鱸魚和鮭魚分類為例：假言：如果魚的長度假言：如果魚的長度 大于大于45cm，則該魚為，則該魚為 鱸魚鱸魚 ，否則該魚為鮭魚，否則該魚為鮭魚前提：現(xiàn)在某條魚前提：現(xiàn)在某條魚 結(jié)論：該魚為鮭魚結(jié)論：該魚為鮭魚v概率推理（不確定性推理）概率推理（不確定性推理）x38cmx 2 1 2 iPx 精選ppt最小錯誤率準(zhǔn)則v例

8、子：例子：給定給定 ，類條件概率密度如圖。，類條件概率密度如圖。現(xiàn)有一條魚現(xiàn)有一條魚 x=38cm， 若采用最小錯誤率決策，該魚應(yīng)該為哪一類？若采用最小錯誤率決策，該魚應(yīng)該為哪一類？ 1212P yP y111380.16 0.5380.8380.16 0.50.04 0.5p xyP yP yxp x2380.2P yx1y故判決：故判決：精選pptBayes決策準(zhǔn)則決策準(zhǔn)則v最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則v最小風(fēng)險準(zhǔn)則最小風(fēng)險準(zhǔn)則vNeyman-Pearson準(zhǔn)則準(zhǔn)則v最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則精選ppt最小風(fēng)險準(zhǔn)則v最小風(fēng)險貝葉斯決策：最小風(fēng)險貝葉斯決策：考慮各種錯誤造成損失不考慮各

9、種錯誤造成損失不同而提出的一種決策規(guī)則。同而提出的一種決策規(guī)則。v條件風(fēng)險：條件風(fēng)險：精選ppt最小風(fēng)險準(zhǔn)則v期望風(fēng)險：期望風(fēng)險：對于對于x的不同觀察值，采取決策的不同觀察值，采取決策i時，時，其條件風(fēng)險大小是不同的。所以究竟采取哪一種決其條件風(fēng)險大小是不同的。所以究竟采取哪一種決策將隨策將隨x的取值而定。這樣，決策的取值而定。這樣，決策可以看成隨機向可以看成隨機向量量x的函數(shù)，記為的函數(shù)，記為(x)?？梢远x期望風(fēng)險?？梢远x期望風(fēng)險Rexp為：為：v期望風(fēng)險反映對整個空間上所有期望風(fēng)險反映對整個空間上所有x的取值采取相應(yīng)的的取值采取相應(yīng)的決策決策(x)所帶來的所帶來的平均風(fēng)險平均風(fēng)險。 e

10、xpRRpdx xxx精選ppt最小風(fēng)險準(zhǔn)則v兩分類問題的例子：兩分類問題的例子：精選pptv似然比公式似然比公式精選ppt最小風(fēng)險準(zhǔn)則v不同的損失函數(shù)決定了不同的似然比判決閾不同的損失函數(shù)決定了不同的似然比判決閾值值： a：0-1損失損失 b：1221每一類的判決域每一類的判決域可能是不連續(xù)的可能是不連續(xù)的!精選ppt最小風(fēng)險準(zhǔn)則v最小風(fēng)險貝葉斯決策的步驟：最小風(fēng)險貝葉斯決策的步驟：1）根據(jù)先驗概率和類條件概率計算出后驗概率；）根據(jù)先驗概率和類條件概率計算出后驗概率；2）利用后驗概率和損失矩陣計算采取每種決策）利用后驗概率和損失矩陣計算采取每種決策的條件風(fēng)險；的條件風(fēng)險；3）比較各個條件風(fēng)險

11、的值，條件風(fēng)險最小的決）比較各個條件風(fēng)險的值，條件風(fēng)險最小的決策即為最小風(fēng)險貝葉斯決策策即為最小風(fēng)險貝葉斯決策精選ppt最小風(fēng)險準(zhǔn)則精選ppt最小風(fēng)險準(zhǔn)則v對于貝葉斯最小風(fēng)險決策，如果損失函數(shù)為對于貝葉斯最小風(fēng)險決策，如果損失函數(shù)為“0-1損失損失”，即取如下的形式：，即取如下的形式： 那么，條件風(fēng)險為：那么，條件風(fēng)險為： 此時，貝葉斯最小風(fēng)險決策與最小錯誤率決策等此時，貝葉斯最小風(fēng)險決策與最小錯誤率決策等價。價。0,; ,1,1,ijfor ijwi jcfor ij 11ciijjjijj iRPPP xxxx精選pptBayes決策準(zhǔn)則決策準(zhǔn)則v最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則v最小風(fēng)險準(zhǔn)則

12、最小風(fēng)險準(zhǔn)則vNeyman-Pearson準(zhǔn)則準(zhǔn)則v最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則精選pptNeyman-Pearson準(zhǔn)則準(zhǔn)則v最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則: 后驗概率最大化，理論上錯誤率最小后驗概率最大化，理論上錯誤率最小v最小風(fēng)險準(zhǔn)則：最小風(fēng)險準(zhǔn)則： 風(fēng)險函數(shù)最小化，理論上總風(fēng)險最小風(fēng)險函數(shù)最小化，理論上總風(fēng)險最小v在先驗概率和損失未知的情況下如何決策？在先驗概率和損失未知的情況下如何決策？精選pptNeyman-Pearson準(zhǔn)則準(zhǔn)則v問題：先驗概率和損失未知問題：先驗概率和損失未知通常情況下，無法確定損失。通常情況下，無法確定損失。先驗概率未知，是一個確定的值先驗概率未知，是一個確

13、定的值某一種錯誤較另一種錯誤更為重要。某一種錯誤較另一種錯誤更為重要。v基本思想：基本思想：要求一類錯誤率控制在很小，在滿足此條件的前要求一類錯誤率控制在很小，在滿足此條件的前提下再使另一類錯誤率盡可能小。提下再使另一類錯誤率盡可能小。用用lagrange乘子法求條件極值乘子法求條件極值精選pptNeyman-Pearson準(zhǔn)則準(zhǔn)則v對兩分類問題，錯誤率可以寫為：對兩分類問題，錯誤率可以寫為：v由于由于P(1) 和和P(2)對具體問題往往是確定的對具體問題往往是確定的（但是未知），一般稱（但是未知），一般稱P1(e)和和P2(e)為兩類錯為兩類錯誤率。誤率。 P1(e)和和P2(e)的值決定了

14、的值決定了P(e)的值。的值。 12121221221122112211,|RRRRP ep xR xp xR xp xpdxp xpdxp xdx pp xdx ppe pp e p精選pptNeyman-Pearson準(zhǔn)則準(zhǔn)則精選pptNeyman-Pearson準(zhǔn)則準(zhǔn)則v為了求為了求L的極值點，將的極值點，將 L 分別對分別對 t 和和求偏導(dǎo)：求偏導(dǎo)：v注意：這里分析注意：這里分析的是兩類錯誤率，的是兩類錯誤率，與先驗概率無關(guān)！與先驗概率無關(guān)！v決策準(zhǔn)則決策準(zhǔn)則 ？精選ppt精選pptNeyman-Pearson準(zhǔn)則準(zhǔn)則v最小錯誤率準(zhǔn)則的等價形式最小錯誤率準(zhǔn)則的等價形式vNeyman-P

15、earson準(zhǔn)則準(zhǔn)則 兩者都以似然比為基礎(chǔ)，在未知先驗概率時使用兩者都以似然比為基礎(chǔ)，在未知先驗概率時使用Neyman-Pearson準(zhǔn)則。準(zhǔn)則。精選pptBayes決策準(zhǔn)則決策準(zhǔn)則v最小錯誤率準(zhǔn)則最小錯誤率準(zhǔn)則v最小風(fēng)險準(zhǔn)則最小風(fēng)險準(zhǔn)則vNeyman-Pearson準(zhǔn)則準(zhǔn)則v最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則精選ppt最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則vNeyman-Pearson準(zhǔn)則準(zhǔn)則假定先驗概率是一個確定的值假定先驗概率是一個確定的值，此時判定結(jié)果會受到先驗概率的影響。此時判定結(jié)果會受到先驗概率的影響。v實際中，類先驗概率實際中，類先驗概率 P P( ( i i) ) 往往不能精確知道或往

16、往不能精確知道或在分析過程中是變動的，從而導(dǎo)致判決域不是最佳在分析過程中是變動的，從而導(dǎo)致判決域不是最佳的。所以應(yīng)考慮如何解決的。所以應(yīng)考慮如何解決在在 P P( ( i i) ) 不確知或變動不確知或變動的情況下使期望風(fēng)險變大的問題的情況下使期望風(fēng)險變大的問題。v最小最大決策準(zhǔn)則：最小最大決策準(zhǔn)則：在最差的條件下爭取最好的結(jié)在最差的條件下爭取最好的結(jié)果，果，使最大風(fēng)險最??！使最大風(fēng)險最??！精選ppt最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則v分析期望風(fēng)險分析期望風(fēng)險 R 與先驗概率與先驗概率 P(1) 的關(guān)系：的關(guān)系： 對于兩類問題，設(shè)一種分類識別決策將特征對于兩類問題，設(shè)一種分類識別決策將特征空間空

17、間R劃分為兩個子空間劃分為兩個子空間 R1 和和 R2 ，記，記ij為將屬于為將屬于 i 類的模式判為類的模式判為j 類的損失函數(shù)，各種判決的期類的損失函數(shù)，各種判決的期望風(fēng)險為：望風(fēng)險為：12111122211222RRRpxpxpxdxpxpxpxdx精選ppt最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則將將)(1)(12PP和和121iiRRpxdxpxdx帶入上式：帶入上式： 1212111122211222111122211222RRRRRpxpxp x dxpxpxp x dxpx p xpx p xdxpx p xpx p xdx精選ppt最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則v期望風(fēng)險可寫成：期

18、望風(fēng)險可寫成： 12122122221112221111122221RRRRp xdxpp xdxp xdxapbv一旦一旦 R1 和和 R2 確定，確定，a和和b為常數(shù)為常數(shù)v一旦一旦 R1 和和 R2 確定，確定， R 與與 P(1) 成線性關(guān)系成線性關(guān)系v選擇使選擇使 b=0 的的R1 和和 R2 ，期望風(fēng)險與，期望風(fēng)險與P(1) 無關(guān)！無關(guān)！精選ppt最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則PA(1)1 p(1)ACDR*BR*B0DCR1 ,R2不變不變R1 ,R2改變改變PB(1)b=0此時最大此時最大風(fēng)險最小風(fēng)險最小,D = ab=0 時的時的p(1)精選ppt最小最大決策準(zhǔn)則最小最大決

19、策準(zhǔn)則v求 b=0 時的時的 p(1) 等價于在R隨著p(1)的變化曲線上求：10Rp時的時的p(1)。v在在 b=0 時的時的 決策條件下，期望風(fēng)險與決策條件下，期望風(fēng)險與p( 1) 無關(guān)，無關(guān)，值為值為a，此時，此時，R的最大值最小。這種決策準(zhǔn)則稱為的最大值最小。這種決策準(zhǔn)則稱為最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則。精選ppt最小最大決策準(zhǔn)則最小最大決策準(zhǔn)則v由于：由于：v當(dāng)采用當(dāng)采用0-1損失函數(shù)時，損失函數(shù)時，b=0可推導(dǎo)出：可推導(dǎo)出： 2111222111112222RRbp xdxp xdx2112RRp xdxp xdx此時，最小最大損失判決所導(dǎo)出的最佳分界面應(yīng)使此時，最小最大損失判

20、決所導(dǎo)出的最佳分界面應(yīng)使兩類錯誤概率相等！兩類錯誤概率相等！精選ppt貝葉斯決策理論貝葉斯決策理論v引言引言v貝葉斯決策常用的準(zhǔn)則貝葉斯決策常用的準(zhǔn)則v分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù)vBayesianBayesian置信網(wǎng)置信網(wǎng)精選ppt分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v分類器最常用的表述方式為判別函數(shù)：分類器最常用的表述方式為判別函數(shù)： v基于判別函數(shù)的判決基于判別函數(shù)的判決 ,1igxic 每個類別對應(yīng)一個判別函數(shù)。每個類別對應(yīng)一個判別函數(shù)。如果：如果： ,ijgxgxi j則模式為則模式為j精選ppt分類器，判別函數(shù)

21、，決策面分類器，判別函數(shù)，決策面判別函數(shù)判別函數(shù)Discriminant functions精選ppt分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v基于最小誤差概率的貝葉斯分類器基于最小誤差概率的貝葉斯分類器v基于最小總風(fēng)險的貝葉斯分類器基于最小總風(fēng)險的貝葉斯分類器 iigxRx iigxpx iiigxp xp loglogiiigxp xp精選ppt分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v表達(dá)同樣的判決規(guī)則可能采用不同的判別函表達(dá)同樣的判決規(guī)則可能采用不同的判別函數(shù)，只要滿足數(shù)，只要滿足 如下條件：如下條件： 用用f(gi(x)替換替換gi(x)，其中，其中f(*)為單調(diào)遞增

22、函數(shù)為單調(diào)遞增函數(shù) 例如：例如：v gi(x) k gi(x) , k為正常數(shù)為正常數(shù)v gi(x) gi(x)+k , k為任意常數(shù)為任意常數(shù)v gi(x) log (gi(x)精選ppt分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v特殊的，對于兩分類問題，也可以只用一個特殊的，對于兩分類問題，也可以只用一個判別函數(shù)判別函數(shù) 令：令：v判決規(guī)則判決規(guī)則v例如：例如： 12g xgxgx如果：如果： 0g x 則模式為則模式為1否則為否則為2 12g xpxpx 1122loglogp xpg xpp x精選ppt分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v判決區(qū)域判決區(qū)域: 判決區(qū)

23、域判決區(qū)域 Ri 是特征空間中的一個子空間，判決規(guī)則是特征空間中的一個子空間，判決規(guī)則將所有落入將所有落入 Ri 的樣本的樣本x分類為類別分類為類別i。v決策面（決策面（Decision Surface）：）：判決邊界是特征空間中劃分判決區(qū)域的（超）平判決邊界是特征空間中劃分判決區(qū)域的（超）平面面在判決邊界上，通常有兩類或多類的判別函數(shù)值在判決邊界上，通常有兩類或多類的判別函數(shù)值相等相等精選ppt分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v判別函數(shù)和決策面：判別函數(shù)和決策面：精選ppt分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面分類器分類器設(shè)計就設(shè)計就是設(shè)計是設(shè)計判別函判別函數(shù)，求數(shù)

24、，求出判定出判定面方程面方程g(x)!精選ppt貝葉斯決策理論貝葉斯決策理論v引言引言v貝葉斯決策常用的準(zhǔn)則貝葉斯決策常用的準(zhǔn)則v分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù)vBayesianBayesian置信網(wǎng)置信網(wǎng)精選ppt正態(tài)分布的統(tǒng)計決策正態(tài)分布的統(tǒng)計決策v為什么研究正態(tài)分布？為什么研究正態(tài)分布？物理上的合理性：較符合很多實際情況，觀測值物理上的合理性：較符合很多實際情況，觀測值通常是很多種因素共同作用的結(jié)果，根據(jù)通常是很多種因素共同作用的結(jié)果，根據(jù)中心中心極限定理極限定理，服從正態(tài)分布。，服從正態(tài)分布。數(shù)學(xué)上比較簡單：參數(shù)個數(shù)少數(shù)學(xué)上比較簡

25、單：參數(shù)個數(shù)少v單變量正態(tài)分布單變量正態(tài)分布v多元正態(tài)分布多元正態(tài)分布精選ppt正態(tài)分布的統(tǒng)計決策正態(tài)分布的統(tǒng)計決策v單變量正態(tài)分布密度函數(shù)（高斯分布）：單變量正態(tài)分布密度函數(shù)（高斯分布）：精選ppt正態(tài)分布的統(tǒng)計決策正態(tài)分布的統(tǒng)計決策v多元正態(tài)分布函數(shù)多元正態(tài)分布函數(shù) 11/2/211exp22Tdpxxx 12TdEx， ，2Tijd dExx ijiijjEEExxxx期望期望(均值向量均值向量)協(xié)方差矩陣協(xié)方差矩陣(對稱非負(fù)定對稱非負(fù)定)12Tdxxxx， ， ，精選ppt多元正態(tài)分布的性質(zhì)多元正態(tài)分布的性質(zhì)v參數(shù)個數(shù)：參數(shù)個數(shù)：d+d(d+1)/2 均值向量：均值向量：d個參數(shù)個參數(shù)

26、 協(xié)方差矩陣：對稱的協(xié)方差矩陣：對稱的d維矩陣，維矩陣， d(d+1)/2個參數(shù)個參數(shù)v等密度點的軌跡為一超橢球面等密度點的軌跡為一超橢球面 11/2/211exp22Tdpxxx要使密度要使密度p(x)值不變，需指數(shù)項為常數(shù)，即：值不變，需指數(shù)項為常數(shù)，即：1Txx常數(shù)超橢球面超橢球面精選ppt多元正態(tài)分布的性質(zhì)多元正態(tài)分布的性質(zhì)v馬氏距離馬氏距離(Mahanlanobis Distance)(Mahanlanobis Distance)：2111()()()()0nnTijiijjijXXpxx與與 歐式距離：歐式距離：() ()Txx不同，馬氏距離考慮數(shù)據(jù)的統(tǒng)計分布，在模式識別不同，馬氏

27、距離考慮數(shù)據(jù)的統(tǒng)計分布，在模式識別中有廣泛的用處。中有廣泛的用處。精選ppt多元正態(tài)分布的性質(zhì)多元正態(tài)分布的性質(zhì)v正態(tài)分布的隨機變量，不相關(guān)等價于獨立正態(tài)分布的隨機變量，不相關(guān)等價于獨立v邊緣分布仍是正態(tài)分布邊緣分布仍是正態(tài)分布精選ppt多元正態(tài)分布的性質(zhì)多元正態(tài)分布的性質(zhì)v線性變換仍是正態(tài)分布線性變換仍是正態(tài)分布v線性組合仍是正態(tài)分布（線性變換的特例）線性組合仍是正態(tài)分布（線性變換的特例）一維正態(tài)一維正態(tài)隨機變量隨機變量精選ppt多元正態(tài)分布的性質(zhì)多元正態(tài)分布的性質(zhì)精選ppt正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù)v貝葉斯判別函數(shù)可以寫成對數(shù)形式：貝葉斯判別函數(shù)可以寫成對數(shù)形式： lnlniii

28、gpPxx 111ln2lnln222TiiiiiidgP xxxv類條件概率密度函數(shù)為正態(tài)分布時：類條件概率密度函數(shù)為正態(tài)分布時： 11/2/2i11exp22Tiidpxxx精選ppt正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù)v情況一：情況一：各類協(xié)方差陣相等，且各特征各類協(xié)方差陣相等，且各特征獨立獨立，方，方差相等差相等v情況二：情況二：各類協(xié)方差陣相等各類協(xié)方差陣相等v情況三：情況三：各類協(xié)方差陣不相等各類協(xié)方差陣不相等 任意的任意的1c 21c I精選ppt情況一：情況一：21c I 111ln2lnln222TiiiiiidgP xxx121iI將將代入代入 221lnconst2iii

29、gP xx得到?jīng)Q策函數(shù)得到?jīng)Q策函數(shù)展開決策函數(shù)展開決策函數(shù) 222111ln22TTTiiiiigP xx xx其中，二次項其中，二次項Tx x對所有的對所有的 i 是相等的是相等的精選ppt正交正交因此，等價的判決函數(shù)為：因此，等價的判決函數(shù)為： 102211ln2TTTiiiiiiigPww xxx121Tiiw021ln2TiiiiwP 其中：其中： ijggxx決策面決策面可以寫成：可以寫成：00Twxxijw2021ln2iijijjijppx其中：其中：過過 與與0 xw的超平面的超平面精選pptijpp當(dāng)當(dāng)012ijx，但是，如果但是，如果ijpp當(dāng)當(dāng)，向先驗概率小的方向偏移。向

30、先驗概率小的方向偏移。0 x位于兩中心的中點；位于兩中心的中點；22ij相對于平方距離相對于平方距離較小，那么判決邊界的位置相較小，那么判決邊界的位置相對于確切的先驗概率值并不敏感。對于確切的先驗概率值并不敏感。在此情況下，最優(yōu)判決的規(guī)則為：在此情況下，最優(yōu)判決的規(guī)則為： 為將某特征向量為將某特征向量x歸類，通過測量每一歸類，通過測量每一x到到c個均值向量中個均值向量中心的每一個歐氏距離，并將心的每一個歐氏距離，并將x歸為離它最近的那一類。這樣的歸為離它最近的那一類。這樣的分類器稱為分類器稱為“最小距離分類器最小距離分類器”。精選ppt情況一：最小距離分類器情況一：最小距離分類器ijpp最小距

31、離分類器最小距離分類器判決邊界是判決邊界是d-1維超平面，垂直于兩類中心的連線維超平面，垂直于兩類中心的連線精選ppt情況一：最小距離分類器情況一：最小距離分類器v上述結(jié)果表示在二維特征空間里，如下圖所示：上述結(jié)果表示在二維特征空間里，如下圖所示：可以推廣到多類的情況，可以推廣到多類的情況，注意這種分類方法沒有不確定的區(qū)注意這種分類方法沒有不確定的區(qū)域。域。 向先驗概率向先驗概率210 x2112()()PP0 x兩類判決面兩類判決面與與垂直，垂直，的中點的中點時時其交點為其交點為為為時時0 x較小類型的均值點偏移。較小類型的均值點偏移。12()()PP精選ppt各類的協(xié)方差矩陣相等，在幾何上

32、，相當(dāng)于各類樣本各類的協(xié)方差矩陣相等，在幾何上，相當(dāng)于各類樣本集中在以該類均值集中在以該類均值為中心的同樣大小和形狀的超橢為中心的同樣大小和形狀的超橢球內(nèi)。球內(nèi)。i1c 情況二：情況二：111( )()()ln2ln |ln()222Tiiiiiidg xxxP 決策函數(shù)決策函數(shù)不變，與不變，與 i 無關(guān)：無關(guān)：11( )()()ln()2Tiiiiig xxxP 精選ppt一個特例：一個特例：當(dāng)當(dāng)時，各樣本先驗概率相等。時，各樣本先驗概率相等。)()(21)(1iiTiixxxg)()(12iiTixx2i)()()(12iiTiixxxg其中：其中：為為x到均值點到均值點的的“馬氏距離馬氏

33、距離” （Mahalanobis）的平方。）的平方。22對于樣本對于樣本x 只要計算出只要計算出，把，把x歸于歸于最小的類別。最小的類別。 進一步簡化：進一步簡化： ()iPP精選ppt一般地，決策函數(shù)一般地，決策函數(shù) 11ln2TiiiigP xxx展開決策函數(shù)展開決策函數(shù) 11111ln22TTTiiiiigP xxxx1Txx對所有的對所有的 i 是相等的，則是相等的，則 11101ln2TTTiiiiiiigPwwxxx11 iiw 101ln2TiiiiwP 其中：其中：精選ppt正交正交 ijggxx決策面決策面可以寫成：可以寫成：00Twxx1ijw 其中：其中：過過 與與0 x

34、w的超平面的超平面0111ln2iijijTjijijPPx由于由于w并非沿著并非沿著ij方向，方向，因此分界面并非與均值因此分界面并非與均值間的連線垂直正交。間的連線垂直正交。精選ppt當(dāng)各類先驗概率不相等當(dāng)各類先驗概率不相等時，不在時，不在的中的中點上，而是偏向先驗概點上，而是偏向先驗概率較小的均值點。率較小的均值點。v上述結(jié)果表示在二維特征空間里，如下圖所示：上述結(jié)果表示在二維特征空間里，如下圖所示：)(210jix當(dāng)各類先驗概率相等時，當(dāng)各類先驗概率相等時，判決面與的交點判決面與的交點ji0 xji精選pptijpp時時決策面向先驗概決策面向先驗概率小的方向偏移率小的方向偏移精選ppt

35、情況三：情況三：任意的任意的ji111( )()()ln2ln |ln()222Tiiiiiidg xxxP 111( )()()ln |ln()22Tiiiiiig xxxP 210( )TTiiiig xx w xw xw去掉與去掉與i無關(guān)的項：無關(guān)的項：可以寫為：可以寫為：1212iiw 11 iiiw 1011lnln()22TiiiiiiwP 其中二次項，一次項系數(shù)和常數(shù)項分別為：其中二次項，一次項系數(shù)和常數(shù)項分別為：由于：由于：精選ppt( )( )0ijg xgx221100()()0TTijijijxwwxwwxwwii()iP對應(yīng)的決策面為超二次曲面。對應(yīng)的決策面為超二次曲面

36、。第第 i 類和第類和第 j 類的決策面為：類的決策面為：隨著隨著的不同，超二次曲面可以的不同，超二次曲面可以為：為：超球面、超橢球面、超拋物面、超雙曲面，或超平超球面、超橢球面、超拋物面、超雙曲面，或超平面等。面等。即：即：精選ppt甚至在方差不相等的一維高斯分布情況下，其判決區(qū)甚至在方差不相等的一維高斯分布情況下，其判決區(qū)域也可以不連通！域也可以不連通！精選ppt情況三：情況三：各類協(xié)方差不同，決策面為為超二次曲面。各類協(xié)方差不同，決策面為為超二次曲面。v上述結(jié)果表示在二維特征空間里，如下圖所示：上述結(jié)果表示在二維特征空間里，如下圖所示：精選ppt精選ppt正態(tài)分布的判別函數(shù)正態(tài)分布的判別

37、函數(shù)v例：兩類正態(tài)分布樣本：例：兩類正態(tài)分布樣本：1131/20,602 111,:N222,:N求決策面方程求決策面方程10.5P22320,202 20.5P精選ppt 122222gxlnTxx 111111gxlnTxx12 令令 12gxgx1111112222lnlnTTxxxx320331/2032ln2601/26201/22TT xxxx22221212121221/2126361/21/23213/22ln2xxxxxxxx精選ppt2211.833/163xx求決策面方程為：求決策面方程為：12和和中點中點偏下偏下精選ppt貝葉斯決策理論貝葉斯決策理論v引言引言v貝葉斯決

38、策常用的準(zhǔn)則貝葉斯決策常用的準(zhǔn)則v分類器，判別函數(shù)，決策面分類器，判別函數(shù)，決策面v正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù)vBayesianBayesian置信網(wǎng)置信網(wǎng)精選pptBayesian置信網(wǎng)置信網(wǎng)v有些情況下，隨機變量的分布無法得到概率密度表有些情況下，隨機變量的分布無法得到概率密度表達(dá)式，但是知道該隨機變量和另外一個隨機變量的達(dá)式，但是知道該隨機變量和另外一個隨機變量的關(guān)系。關(guān)系。vBayesianBayesian置信網(wǎng)（置信網(wǎng)（ Bayesian Belief NetBayesian Belief Net）利用特征之間的相互影響（因果關(guān)系）來進行決策利用特征之間的相互影響（因果關(guān)系

39、）來進行決策用圖的形式（有向無環(huán)圖）表示表示因果依賴關(guān)系用圖的形式（有向無環(huán)圖）表示表示因果依賴關(guān)系更適合離散變量更適合離散變量又稱為因果網(wǎng)（又稱為因果網(wǎng)（causal network）置信網(wǎng)（）置信網(wǎng)（ Belief Net） 精選pptBayesian置信網(wǎng)置信網(wǎng)v實例的屬性存在如下關(guān)系實例的屬性存在如下關(guān)系 一些屬性之間是一些屬性之間是條件獨立條件獨立的的 一些屬性之間存在一些屬性之間存在條件依賴條件依賴（因果關(guān)系）（因果關(guān)系）vBayesianBayesian置信網(wǎng)可以看作是置信網(wǎng)可以看作是一種圖關(guān)系的學(xué)習(xí)器一種圖關(guān)系的學(xué)習(xí)器一種表達(dá)因果關(guān)系的聯(lián)合概率分布一種表達(dá)因果關(guān)系的聯(lián)合概率分布

40、精選pptBayesian置信網(wǎng)置信網(wǎng)vBayesian Belief Net結(jié)構(gòu)：結(jié)構(gòu)：有向無環(huán)圖有向無環(huán)圖頂點：頂點：特征變量特征變量邊：邊：起點變量對終點變量起點變量對終點變量的影響（條件概率）的影響（條件概率）例子：例子：如右圖如右圖精選ppt條件獨立條件獨立v縱向條件獨立的定義：縱向條件獨立的定義：縱向條件獨立（如右圖）：給定縱向條件獨立（如右圖）：給定 b ，變量變量 a 與變量與變量 c 條件獨立。條件獨立?？偨Y(jié)：總結(jié)：如果如果 a 到到 c 之間存在通路，給之間存在通路，給定定 a c 上比上比c更近的變量更近的變量 b ，則，則 a 與與 c 在給定在給定 b 條件下獨立。條

41、件下獨立。,PPc b ac b PPc ac與獨立有區(qū)別與獨立有區(qū)別精選ppt條件獨立條件獨立v橫向條件獨立的定義：橫向條件獨立的定義：橫向條件獨立（如右圖）：給定橫向條件獨立（如右圖）：給定 a ，變量，變量 b 與變量與變量 c 條件獨立。條件獨立?？偨Y(jié)：總結(jié)：如果如果 b 到到 c 之間不存在通路，給定之間不存在通路，給定 c 的所有直接變量的所有直接變量 a ，則，則 b 與與 c 在給定在給定 a 條件下獨立。條件下獨立。與獨立有區(qū)別與獨立有區(qū)別 ,PPPb cbc ,PPPb c ab ac a,PPc a bc a,PPb a cb a精選ppt聯(lián)合概率的計算聯(lián)合概率的計算v聯(lián)

42、合概率的計算：聯(lián)合概率的計算： , ,PPPPPPPPPa b cab c aab ac a bab ac b , ,PPPPPPPPPa b cab c aab ac a bab ac a精選ppt聯(lián)合概率的計算聯(lián)合概率的計算v聯(lián)合概率的計算：聯(lián)合概率的計算： , , ,PPPPPPPPPPPPPPPPPPa,b,c,dab c,d aab ac,d a bab ac a bd a b cab ac ad a b cab ac ad b c精選ppt聯(lián)合概率的計算聯(lián)合概率的計算v更復(fù)雜的例子更復(fù)雜的例子 , , , , , ,PPPPPPPPa b c d e f gabd bc a de

43、cf eg e f精選ppt聯(lián)合概率的計算聯(lián)合概率的計算v原子概率原子概率 , , ,PPPPPc s r wcs cr cw s r,PTTTTcsrw稱為一個稱為一個原子概率原子概率精選ppt,PTFFTcsrw,0.5 0.9 0.2 00PTFFTPT PFTPFTPTFFcsrwcscrcwsr例子例子求：求：精選ppt,PTFFFcsrw,0.5 0.9 0.2 10.09PTFFFPT PFTPFTPFFF csrwcscrcwsr例子例子求：求：精選ppt,PTTTTcsrw,0.5 0.1 0.8 1.00.04PTTTTPT PTTPTTPTTTcsrwcscrcwsr例子

44、例子求：求：精選ppt,PTTcw,0.040.0090.32400.373PTTPTTTTPTTFTPTFTTPTFFTcwcsrwcsrwcsrwcsrw例子例子求：求：精選ppt條件概率的計算條件概率的計算v條件概率計算：條件概率計算： ,PPPa bb aa, , , , , , , , , , ,PPPa b c d e f ge f g a b c da b c d精選pptPTTwc,0.3730.50.746PTTPTTPTwccwc例子例子求：求：精選pptBayesian置信網(wǎng)置信網(wǎng)vBayesian置信網(wǎng)的決策置信網(wǎng)的決策確定性證據(jù)決策確定性證據(jù)決策( 樸素樸素Bayesian BN決策決策)不完整確