概率分類法PPT課件

1、14.1 研究對象及相關(guān)概率研究對象及相關(guān)概率4.2 貝葉斯決策貝葉斯決策4.3 貝葉斯分類器的錯誤率貝葉斯分類器的錯誤率4.4 聶曼聶曼-皮爾遜決策皮爾遜決策4.5 概率密度函數(shù)的參數(shù)估計概率密度函數(shù)的參數(shù)估計4.6 概率密度函數(shù)的非參數(shù)估計概率密度函數(shù)的非參數(shù)估計4.7 后驗概率密度分類的勢函數(shù)方法后驗概率密度分類的勢函數(shù)方法第第4章章 基于統(tǒng)計決策的概率分類法基于統(tǒng)計決策的概率分類法第1頁/共114頁2 獲取模式的觀察值時，有二種情況： * 確定性事件：事物間有確定的因果關(guān)系。第三章內(nèi)容。 * 隨機事件：事物間沒有確定的因果關(guān)系，觀察到的特征具有 統(tǒng)計特性，是一個隨機向量。只能利用模式集

2、的統(tǒng)計特性進 行分類，使分類器發(fā)生分類錯誤的概率最小。1. 兩類研究對象兩類研究對象2. 相關(guān)概率相關(guān)概率1）概率的定義 設(shè)是隨機試驗的基本空間（所有可能的實驗結(jié)果或基本事件的全體構(gòu)成的集合，也稱樣本空間），A為隨機事件，P(A)為定義在所有隨機事件組成的集合上的實函數(shù)，若P(A)滿足：4.1 研究對象及相關(guān)概率研究對象及相關(guān)概率第2頁/共114頁3（3）對于兩兩互斥的事件A1，A2，有2121APAPAAP（1）對任一事件A有：0P(A)1。 （2）P()=1， 事件的全體則稱函數(shù)P(A)為事件A的概率。設(shè)A、B是兩個隨機事件，且P(B)0，則稱為事件B發(fā)生的條件下事件A發(fā)生的條件概率。3）

3、條件概率定義 BPABPBAP| APAP12）（ ABPBPAPBAP）（3（1）不可能事件V的概率為零，即P(V)=0。2）概率的性質(zhì)聯(lián)合概率P(AB)：A，B同時發(fā)生的概率 (4-1)第3頁/共114頁4（1）概率乘法公式：如果P(B)0，則聯(lián)合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA)（3）貝葉斯公式：在全概率公式的條件下，若P(B)0，則將 (4-2)，(4-3)式代入(4-1)式中，有： niiiiiiABPAPABPAPBAP1|(4-4)4）條件概率的三個重要公式：niAPAinii,1,2,0,1則對任一事件B有： iniiABPAP

4、BP|1（2）全概率公式：設(shè)事件A1 ， A2 ， ，An，兩兩互斥，且 ) 14(|BPABPBAP(4-2)(4-3)第4頁/共114頁5 今后的分類中常用到類概率密度p(X |i) ：i類的條件概率密度函數(shù)，通常也稱為i的似然函數(shù)。 設(shè)隨機樣本向量X ，相關(guān)的三個概率：（2）后驗概率P(i|X) ：相對于先驗概率而言。指收到數(shù)據(jù)X（一批樣本）后，根據(jù)這批樣本提供的信息統(tǒng)計出的i類出現(xiàn)的概率。表示X 屬于i類的概率。5）模式識別中的三個概率（1）先驗概率P(i ) ：根據(jù)以前的知識和經(jīng)驗得出的i類樣本 出現(xiàn)的概率，與現(xiàn)在無關(guān)。（3）條件概率P(X |i) ：已知屬于i類的樣本X，發(fā)生某種事

5、件的概率。例對一批得病患者進行一項化驗，結(jié)果為陽性的概率為95%，1代表得病人群， 則X化驗為陽性的事件可表示為95. 0| 1陽XP第5頁/共114頁6P(2| X) 表示試驗呈陽性的人中，實際沒有病的 人的概率。 若用某種方法檢測是否患有某病，假設(shè) X 表示“試驗反應(yīng)呈陽性”。則：例如：一個2類問題，1診斷為患有某病，2診斷為無病，P(2)表示該地區(qū)人無此病的概率。則： P(1)表示某地區(qū)的人患有此病的概率，P(X |2) 表示無病的人群做該試驗時反應(yīng)呈陽性 (顯示有病)的概率。值低 / 高值低 / 高P(X |1) 表示患病人群做該試驗時反應(yīng)呈陽性的 概率。P(1| X) 表示試驗呈陽性

6、的人中，實際確實有病的 人的概率。？通過統(tǒng)計資料得到第6頁/共114頁7（4）三者關(guān)系：根據(jù)(4-4)貝葉斯公式有 MiiiiiiiiPpPppPpP1|XXXXX （4-5） niiiiiiABPAPABPAPBAP1|M：類別數(shù)第7頁/共114頁82. 決策規(guī)則決策規(guī)則類則若ijiMjPPXXX, 2 , 1,)|(max)|(最小錯誤率貝葉斯決策最小錯誤率貝葉斯決策 討論模式集的分類，目的是確定X屬于那一類，所以要看X來自哪類的概率大。在下列三種概率中： 先驗概率P(i) 類(條件)概率密度p(X |i) 后驗概率P(i| X) 采用哪種概率進行分類最合理？ 1. 問題分析問題分析后驗概

7、率P(i| X)4.2 貝葉斯決策貝葉斯決策設(shè)有M類模式， (4-6) 最小錯誤率貝葉斯決策規(guī)則第8頁/共114頁9 XXXpPpPiii| 雖然后驗概率P(i| X)可以提供有效的分類信息，但先驗概率P(i)和類概率密度函數(shù)p(X |i)從統(tǒng)計資料中容易獲得，故用Bayes公式，將后驗概率轉(zhuǎn)化為類概率密度函數(shù)和先驗概率的表示。由：可知，分母與 無關(guān)，即與分類無關(guān)，故分類規(guī)則又可表示為： 類則若ijjiiMjPpPpXXX, 2 , 1)()|(max)|( (4-7)類則若ijiMjPPXXX, 2 , 1,)|(max)|(幾種等價形式：i第9頁/共114頁10對兩類問題，(4-7)式相當

8、于)()|()|(2211PpPpXX1X若，則)()|()|(2211PpPpXX2X若，則可改寫為：統(tǒng)計學中稱l12(X)為似然比， 為似然比閾值。)()(12PP對(4-9)式取自然對數(shù)，有：21X(4-7)，(4-8)，(4-9)都是最小錯誤率貝葉斯決策規(guī)則的等價形式。 21X)|()|()(2112XXXppl12)(PP若，則 （4-8）)|(ln)|(ln21XXpp)(ln)(12XXlh若)()(ln12PP，則（4-9）第10頁/共114頁112111)(|)()|()|(iiiPpPpPXXX16. 02 . 095. 05 . 005. 005. 05 . 0884.

9、02 . 095. 05 . 005. 095. 02 . 0)|(2XP)|()|(12XXPP2X例例4.1 假定在細胞識別中，病變細胞的先驗概率和正常細胞的先驗概率分別為 。現(xiàn)有一待識別細胞，其觀察值為X，從類條件概率密度分布曲線上查得： 95. 0)(,05. 0)(21PP5 . 0)|(1Xp2 . 0)|(2Xp試對細胞X進行分類。解：方法1 通過后驗概率計算。 第11頁/共114頁12方法2：利用先驗概率和類概率密度計算。025. 005. 05 . 0)|(11Pp X19. 095. 02 . 0)|(22Pp X)()|()|(1122PpPpXX2X，是正常細胞。第12

10、頁/共114頁13最小風險貝葉斯決策基本思想： 以各種錯誤分類所造成的平均風險最小為規(guī)則，進行分類決策。最小風險貝葉斯決策最小風險貝葉斯決策1. 風險的概念風險的概念 * 自動滅火系統(tǒng)： * 疾病診斷： 不同的錯判造成的損失不同，因此風險不同，兩者緊密相連 。 考慮到對某一類的錯判要比對另一類的錯判更為關(guān)鍵，把最小錯誤率的貝葉斯判決做一些修改，提出了“條件平均風險” 的概念。第13頁/共114頁14 對M類問題，如果觀察樣本X被判定屬于i類，則條件平均風險ri(X)指將X判為屬于i類時造成的平均損失。MjjijiPLr1)|()()(XXX2. 決策規(guī)則決策規(guī)則 時正值時或負值jijiLij0

11、X式中，i 分類判決后指定的判決號；j 樣本實際屬于的類別號；Lij將自然屬性是j類的樣本決策為i類時的是非代價， 即損失函數(shù)。自然屬性為j類的樣本，被劃分到i類中，在i類中產(chǎn)生一錯誤分類，風險增加。Lij對P作加權(quán)平均第14頁/共114頁15 Mirrik, 1,minXX若kX則 每個X 都按條件平均風險最小決策，則總的條件平均風險也最小?？偟臈l件平均風險稱為平均風險。條件平均風險與平均風險的區(qū)別平均風險：對模式總體而言。條件平均風險：對某個樣本而言。1）多類情況設(shè)有M 類，對于任一X 對應(yīng) M個條件平均風險： 對每個X有M種可能的類別劃分，X被判決為每一類的條件平均風險分別為r1(X)，

12、r2(X) ， ，rM(X) 。決策規(guī)則：MjjijiPLr1)|()()(XXX， i=1,2, ,M 第15頁/共114頁16 MjjjijMjjijipPpLPLr11)(|)|()(XXXXMjjjijPpLp1)()|()(1XX用先驗概率和條件概率的形式： p(X)對所有類別一樣，不提供分類信息。 ， i=1,2,M MjjjijiPpLr1)()|()(XX決策規(guī)則為：kiMirrik;, 2 , 1),()(XXkX，則若第16頁/共114頁17)(|)(|)(222211212PpLPpLrXXX)(|)(|)(221211111PpLPpLrXXX2）兩類情況）兩類情況：對

13、樣本 X121)()(XXX則若rr221)()(XXX則若rr當X 被判為1類時：當X 被判為2類時：（4-15） （4-16） )(|)(|)(|)(|2222112122121111PpLPpLPpLPpLXXXX )(|)(|111121222212PpLLPpLLXX)()()()()|()|(111212221221PLLPLLppXX由（4-15）式：MjjjijiPpLr1)()|()(XX決策規(guī)則：第17頁/共114頁18令：)|()|()(2112XXXppl，稱似然比；)()()()(111122222112PLLPLL，為閾值。 計算 。12 計算 。 X12l 定義損

14、失函數(shù)Lij。判別步驟：112)(XX則，若 l任意判決，若1212)(Xl212)(XX則，若 l)()()()()|()|(111122222121PLLPLLppXX類概率密度函數(shù)p(X |i) 也稱i的似然函數(shù)第18頁/共114頁1995.0)(,05.0)(21PP2 . 0)|(, 5 . 0)|(21XXpp解：計算 和 得： X12l125 . 22 . 05 . 0)|()|()(2112XXXppl 1212Xl1X例4.2 在細胞識別中，病變細胞和正常細胞的先驗概率 分別為現(xiàn)有一待識別細胞，觀察值為X， 從類概率密度分布曲線上查得損失函數(shù)分別為L11=0，L21=10，

15、L22=0，L12=1。按最小風險貝葉斯決策分類。為病變細胞。 9 . 105. 0)010(95. 0)01 ()()()()(111212221212PLLPLL第19頁/共114頁200iiLjiLij , 1損失函數(shù)為特殊情況：3. (0-1)損失最小風險貝葉斯決策損失最小風險貝葉斯決策1) 多類情況)()|()()|()(1iijjMjiPpPprXXX)()|()(iiPppXX (0-1)情況下， 可改寫成： Xir)()|()()()|()(iikkPppPppXXXX時，應(yīng)滿足當kX ， i=1,2,M kirrik),()(XXkX，則若MjjjijiPpLr1)()|()

16、(XX一般形式：)()|()()|(iikkPpPpXX第20頁/共114頁21 最小錯誤率貝葉斯決策1, 021122211LLLL)()|()(111PpdXX )()|()(222PpdXX 2) 兩類情況)()|()()|(iikkPpPpXX決策規(guī)則為121)()(XXX則，若dd (4-20)212)()(XXX則，若ddkiMiddik, 2 , 1),()(XX若MiPpdiii, 2 , 1),()|()(XX判別函數(shù)等價形式：決策規(guī)則的等價形式為：kX則第21頁/共114頁22的情況：對1X)()|()()|(2211PpPpXX)()()|()|(122PPppXX或從式

17、(4-20) 導出似然比形式：)()(,)|()|()(1212212PPpplXXX式中：11212)(XX則，若l決策規(guī)則：21212)(XX則，若l類似地，的情況有：對2X)()()|()|(122PPppXX)()|()(iiiPpdXX 121)()(XXX則，若dd212)()(XXX則，若ddLij(X)的確定：根據(jù)錯誤造成損失的嚴重程度，及專家經(jīng)驗確定。 第22頁/共114頁23正態(tài)分布模式的貝葉斯決策正態(tài)分布模式的貝葉斯決策 許多實際的數(shù)據(jù)集：均值附近分布較多的樣本；距均值點越遠，樣本分布越少。此時正態(tài)分布（高斯分布）是一種合理的近似。 正態(tài)分布概率模型的優(yōu)點： * 物理上的

18、合理性。 * 數(shù)學上的簡單性。 圖中為某大學男大學生的身高數(shù)據(jù)，紅線是擬合的密度曲線?？梢姡渖砀邞?yīng)服從正態(tài)分布。第23頁/共114頁241. 相關(guān)知識概述相關(guān)知識概述1）二次型）二次型T1,nxx Xnnnnaaaa1111A設(shè)一向量，矩陣AXXT則稱為二次型。二次型中的矩陣A是一個對稱矩陣，即 。jiijaanjijiijxxa1,TAXX含義：是一個二次齊次多項式，2）正定二次型）正定二次型 對于 （即X分量不全為零），總有 ，則稱此二次型是正定的，而其對應(yīng)的矩陣稱為正定矩陣。0X0TAXX第24頁/共114頁253）單變量（一維）的正態(tài)分布）單變量（一維）的正態(tài)分布密度函數(shù)定義為：xe

19、xxpx,21)(21exp21)(2222曲線如圖示：= -1，=0.5 ； = 0，=1 ； = 1，=2 .第25頁/共114頁26一維正態(tài)曲線的性質(zhì)：（2）曲線關(guān)于直線 x =對稱。（3）當 x =時，曲線位于最高點。（4）當x時，曲線上升；當x時，曲線下降.并且當曲線向左、右兩邊無限延伸時，以x軸為漸近線，向它無限靠近。（1）曲線在 x 軸的上方，與x軸不相交。（5）一定時，曲線的形狀由確定。越大，曲線越“矮胖”，表示總體的分布越分散；越小。曲線越“瘦高”。表示總體的分布越集中。 第26頁/共114頁27時當時當時當3,997. 02,954. 01,683. 0kkkkxkP4）3

20、規(guī)則規(guī)則即：絕大部分樣本都落在了均值附近3的范圍內(nèi)，因此正態(tài)密度曲線完全可由均值和方差來確定，常簡記為：2,Np(x)第27頁/共114頁28222221)(21exp21)(xexxp5）多變量（）多變量（n維）正態(tài)隨機向量維）正態(tài)隨機向量密度函數(shù)定義為：式中： ； ；T1,nxx XT1,nmm M|C|：協(xié)方差矩陣C的行列式。 多維正態(tài)密度函數(shù)完全由它的均值 M 和協(xié)方差矩陣C所確定，簡記為：p(X)N( M , C )22121211nnnnCMXCMXCX1T21221exp21)(np為協(xié)方差矩陣，是對稱正定矩陣，獨立元素有 個；2) 1( nn第28頁/共114頁29以二維正態(tài)密

21、度函數(shù)為例： 等高線（等密度線）投影到x1ox2面上為橢圓，從原點O到點M 的向量為均值M。 橢圓的位置：由均值向量M決定； 橢圓的形狀：由協(xié)方差矩陣C決定。第29頁/共114頁30協(xié)方差矩陣Ci：反映樣本分布區(qū)域的形狀；均值向量Mi：表明了區(qū)域中心的位置。2. 正態(tài)分布的最小錯誤率貝葉斯決策規(guī)則正態(tài)分布的最小錯誤率貝葉斯決策規(guī)則1）多類情況）多類情況具有M 種模式類別的多變量正態(tài)密度函數(shù)為： 前面介紹的Bayes方法事先必須求出p(X|i) , P(i) 。而當 p(X|i)呈正態(tài)分布時，只需要知道 M 和 C 即可。iiiinipMXCMXCX1T21221exp21)|(Mi, 2 ,

22、1 每一類模式的分布密度都完全被其均值向量Mi和協(xié)方差矩陣Ci所規(guī)定，其定義為：XMiiE)(TiiiiEMXMXC第30頁/共114頁31對正態(tài)密度函數(shù)，為了方便計算，取對數(shù)：對數(shù)是單調(diào)遞增函數(shù)，取對數(shù)后仍有相對應(yīng)的分類性能。)(ln)|(ln)()|(lniiiiPpPpXX)()(21ln212ln2)(ln1TiiiiinPMXCMXCiiiinipMXCMXCX1T21221exp21)|(最小錯誤率Bayes決策中，i類的判別函數(shù)為 ，)()|(iiPpX去掉與i無關(guān)的項，得判別函數(shù)： 正態(tài)分布的最小錯誤率Bayes決策的判別函數(shù)。)()(21ln21)(ln)(1TiiiiiiP

23、dMXCMXCX(4-25)Mi, 2 , 1第31頁/共114頁32 di(X)為超二次曲面?？梢妼φ龖B(tài)分布模式的Bayes分類器，兩類模式之間用一個二次判別界面分開，就可以求得最優(yōu)的分類效果。)()(21ln21)(ln)(1TiiiiiiPdMXCMXCXjiMiddij, 2 , 1),()(XX若jX則判決規(guī)則同前：第32頁/共114頁332）兩類問題）兩類問題(1) 當C1C2時：1|Xp11,CMN2|Xp22,CMN )()(21ln21)(ln)(111T1111MXCMXCXPd)()(21ln21)(ln)(212T2222MXCMXCXPd對應(yīng)判別函數(shù)判別界面 是X的二

24、次型方程決定的超曲面。二維判別界面如圖4.3所示。 0)()(21XXdd221, 0, 0)()(XXXX則則dd若 決策規(guī)則： 圖4.3 C1C2時第33頁/共114頁34iiiiPdMCXCMXCX11TT)(21ln21)(ln)(iiiiiPMCMXCMMCXXCXC1T1T1T1T(21ln21)(ln2 , 12121ln21)(ln1T1T1TiPiiiiMCMXCMXCXC02121)(ln)(ln)()(21T211T11T212121MCMMCMXCMMXXPPdd(2) 當C1=C2=C時：由式(4-25) 有由此導出判別界面為：為X的線性函數(shù)，是一超平面。當為二維時，

25、判別界面為一直線，如圖4.4所示。 (4-28)兩類相同，抵消展開相同，合并)254()()(21ln21)(ln)(1TiiiiiiPdMXCMXCX第34頁/共114頁352T21T1T212121)()(MMMMXMMXXdd21)()(2121PP且ICC(3) 當時：判別界面如圖4.5所示。圖4.4 C1=C2=C，)()(21PP圖4.5 C1=C2=I且先驗概率相等 02121)(ln)(ln21T211T11T2121MCMMCMXCMMPP)()(21XXdd第35頁/共114頁36例4.3 設(shè)在三維特征空間里，有兩類正態(tài)分布模式，每類各有4 個樣本，分別為:1T1 , 0

26、, 1T0 , 0 , 1T0 , 0 , 0T0 , 1 , 1:2T1 , 0 , 0T1 , 1 , 0T1 , 1 , 1T0 , 1 , 0iNjijiiN11XM其均值向量和協(xié)方差矩陣可用下式估計： (4-30)TT11iiijiNjijiiNMMXXC (4-31)式中， Ni為類別i中模式的數(shù)目，Xij代表在第i類中的第j個模式。兩類的先驗概率 。試確定兩類之間的判別界面。21)()(21PP第36頁/共114頁37T1113411134101100000110141MT233141M解：31113111316121CC8444844481C經(jīng)計算有21T211T11T2121

27、2121)()(MCMMCMXCMMXXdd21)()(21PP因協(xié)方差矩陣相等，故(4-28)為其判別式。由于04888)()(32121xxxddXXT321,xxxX將代入：21T211T11T2121212121)(ln)(ln)()(MCMMCMXCMMXXPPdd(4-28)第37頁/共114頁38圖中畫出判別平面的一部分。第38頁/共114頁39第39頁/共114頁404.3 貝葉斯分類器的錯誤率貝葉斯分類器的錯誤率錯誤率的概念錯誤率的概念錯誤率：將應(yīng)屬于某一類的模式錯分到其他類中的概率。 是衡量分類器性能優(yōu)劣的重要參數(shù)。 定義為 XXXdpePeP)()|()( Xd表示n重積

28、分，即整個n維模式空間上的積分。式中： ； 是X的條件錯誤概率；T1,nxx X)|(XeP平均錯誤率平均錯誤率錯誤率的計算或估計方法： 按理論公式計算；計算錯誤率上界；實驗估計。第40頁/共114頁41 設(shè)R1為1類的判決區(qū)， R2為2類的判決區(qū)，分類中可能會發(fā)生兩種錯誤： 將來自1類的模式錯分到R2中去。 將來自2類的模式錯分到R1中去。錯誤率為兩種錯誤之和：錯誤率分析錯誤率分析1兩類問題的錯誤率兩類問題的錯誤率),(),()(2112RPRPePXX1221)()|()()|(RRdpePdpePXXXXXX一維情況圖示： (4-33)第41頁/共114頁421221)()|()()|(

29、)(RRdpePdpePePXXXXXX(4-33)第42頁/共114頁43221121),|()|(),|()|(XXXXXX則若則若PPPP)|()|(21XXPP2221112211),(|)(|),(|)(|XXXXXX則若則若PpPpPpPp兩類問題的最小錯誤率貝葉斯決策規(guī)則 ：用后驗概率密度表示為 用先驗概率和類概率密度函數(shù)表示為)(|)(|2211PpPpXX或判別界面為：第43頁/共114頁44兩類問題最小錯誤率貝葉斯決策中錯誤率P(e|X)為：1221)()|()()|()(RRdpePdpePePXXXXXX(4-33)|()|(),|()|()|()|(),|()|()|

30、(21221211XXXXXXXXXPPPePPPPePeP若若1221)()|()()|()(RRdpPdpPePXXXXXX樣本被劃入第2類122211)()|()()|()(RRdPpdPpePXXXX122211)|()()|()(RRdpPdpPXXXX)()()()()(2211ePPePPeP211)|()(RdpePXX122)|()(RdpePXX令 ， ，則 XXXpPpPiii|第44頁/共114頁45)()()()()(2211ePPePPeP122211)()|()()|()(RRdPpdPpePXXXX 在最小錯誤率最小錯誤率貝葉斯決策中，判別界面位于兩曲線的交點處

31、，即：)(|)(|2211PpPpXX 可以看出這個錯誤率是所有錯誤率錯誤率中最小的最小的（圖中三角形的面積減小到0），但總錯誤概率不可能為零。第45頁/共114頁46 通常需要考慮總錯誤概率，僅使一類樣本的錯誤概率最小是沒有意義的，因為這時另一類的錯誤概率可能很大。其他情況下的錯誤率：第46頁/共114頁47 XXdPpePjMiMijjiRj11|設(shè)共有M類，當判決 時：iX當 X 判為任何一類時，都存在這樣一個可能的錯誤，故2. 多類情況錯誤率多類情況錯誤率XXdPpcPiMiiRi)()|()(1 cPeP 1總錯誤率為正確分類概率 則：MijjiRMijjiRjjjdPpdpP11)

32、()|()()|(XXXXX錯誤率= 第47頁/共114頁48簡化計算，假定 。正態(tài)分布貝葉斯決策的錯誤率計算正態(tài)分布貝葉斯決策的錯誤率計算1正態(tài)分布的對數(shù)似然比正態(tài)分布的對數(shù)似然比1|Xp11,CMN2|Xp22,CMNCCC21設(shè) 對數(shù)似然比決策規(guī)則： )|(ln)|(ln)(ln)(2112XXXXpplh12)(lnPP若21X則令 ，有 12)(lnPPt )(Xh21X若t，則第48頁/共114頁49iiiinipMXCMXCX1T21221exp21)|(2 , 1i由正態(tài)分布概率密度函數(shù))|(ln)|(ln)(21XXXpph)()(21)()(2121T211T1MXCMXM

33、XCMX)()(21)(211T21211TMMCMMMMCX 有 h(X)是X的線性函數(shù)，故h(X)是正態(tài)分布的一維隨機變量。 計算錯誤率較為方便。 2對數(shù)似然比的概率分布對數(shù)似然比的概率分布第49頁/共114頁50均值：方差：)(1XhE)()(21)(211T21211T1MMCMMMMCM)()(21211T21MMCMM212121r)()(211T21212MMCMMr令，有 212211T212121)()()(rhEMMCMMX1和2間的馬氏距離平方 212221)(rhEX2122222)(rhEX第50頁/共114頁51)|(1hp),21(212212rrN)|(2hp)

34、,21(212212rrN 圖4.9 對數(shù)似然比h (X)的概率分布第51頁/共114頁523正態(tài)分布最小錯誤率貝葉斯決策的錯誤率正態(tài)分布最小錯誤率貝葉斯決策的錯誤率兩類問題最小錯誤率貝葉斯決策的錯誤率： )()()()()(2211ePPePPeP其中， ，tdhhpeP)|()(11tdhhpeP)|()(22ttdhhpPdhhpPeP)|()()|()()(2211tdhrrhrP2122212121221exp21)(tdhrrhrP2122212122221exp21)( 第52頁/共114頁53dyy2exp21)(2令122122122121211)(21)()(rrtPrrt

35、PeP若 ，則21)()(21PP0t1212211212121)(rreP22122exp21rdyy計算結(jié)果通過查標準正態(tài)分布表求得。 第53頁/共114頁54圖4.10 錯誤率與馬氏距離的關(guān)系 P(e)隨著 的增大而單調(diào)遞減，只要兩類模式的馬氏距離足夠大，錯誤率就可以減到足夠小。 212r第54頁/共114頁55錯誤率的估計錯誤率的估計1已設(shè)計好分類器時錯誤率的估計已設(shè)計好分類器時錯誤率的估計1）先驗概率未知隨機抽樣Nk N：隨機抽取的樣本數(shù)；k：錯分樣本數(shù)。2）先驗概率已知選擇性抽樣分別從1類和2類中抽取出N1和N2個樣本， NPN)(11NPN)(22用N1+N2 = N個樣本對設(shè)計

36、好的分類器作分類檢驗。 第55頁/共114頁56設(shè)1類被錯分的個數(shù)為k1，2類錯分的個數(shù)為k2。k1、k2統(tǒng)計獨立，聯(lián)合概率為 )()(),(2121kPkPkkP21)1 (ikNikikNiiiiiC式中，i是i類的真實錯誤率。iiiiNkP21)(總錯誤率的最大似然估計為2未設(shè)計好分類器時錯誤率的估計未設(shè)計好分類器時錯誤率的估計要求：用收集到的有限的N個樣本設(shè)計分類器并估計其性能。 錯誤率的函數(shù)形式：(1, 2)。1：用于設(shè)計分類器的樣本的分布參數(shù)；2：用于檢驗分類器性能的樣本的分布參數(shù)。第56頁/共114頁57設(shè)是全部訓練樣本分布的真實參數(shù)集；為全部樣本中N個樣本分布的參數(shù)估計量。N)

37、,(),(NNE),(),(NE有將有限樣本劃分為設(shè)計樣本集和檢驗樣本集的兩種基本方法： 1）樣本劃分法 將樣本分成兩組，其中一組用來設(shè)計分類器，另一組用來檢驗分類器，求其錯誤率。取不同劃分方法的平均值作為錯誤率的估計。 缺點：需要的樣本數(shù)N很大。 第57頁/共114頁582）留一法 將N個樣本每次留下其中的一個，用其余的(N-1)個設(shè)計分類器，用留下的那個樣本進行檢驗，檢驗完后重新放回樣本集。 重復進行N次。注意，每次留下的一個樣本應(yīng)當是不同的樣本。 適用于樣本數(shù)較小的情況。缺點：計算量大。第58頁/共114頁594.4 聶曼聶曼-皮爾遜皮爾遜(Neyman-Person)決策決策適用于P(

38、i)或P(i)和Lij(X)難以確定時?；舅枷耄合拗埔粋€錯誤概率，追求另一個最小(二類問題)。在兩類問題貝葉斯決策的錯誤率公式中： 1 基本思想基本思想)()()()()(2211ePPePPeP211)|()(RdpePXX122)|()(RdpePXX式中， 先驗概率通常為常數(shù)，故一般也稱P1(e)和P2(e)為兩類錯誤率：P1(e)：1類模式被誤判為2類的錯誤率；P2(e)：2類模式被誤判為1類的錯誤率。 第59頁/共114頁60 聶曼-皮爾遜決策出發(fā)點：在P2(e)等于常數(shù)的條件下，使P1(e)為最小，以此確定閾值t。一維情況聶曼-皮爾遜決策示意 例：在“信號檢測”中，P2(e)代表

39、虛警概率；P1(e)代表漏報概率=1-PD(檢測概率) 此時聶曼-皮爾遜決策含義：在虛警概率P2(e)是一個可以承受的常數(shù)值的條件下，使漏報概率為最小。第60頁/共114頁61求解問題： 在P2(e)等于常數(shù)的條件下，求P1(e)極小值的條件極值問題。P2(e)的值一般很小。 2. 判別式推導判別式推導式中：待定常數(shù)； P2(e)常數(shù)。1211)|()|(1RRdpdpXXXX112)|()|(1RdppXXX求P1(e)極小，即是求Q極小。 ePePQ21構(gòu)造輔助函數(shù))|()|(12XXpp要使Q極小，積分項至少應(yīng)為負值，即在R1區(qū)域內(nèi)，至少應(yīng)保證1221)|()|(RRdpdpQXXXX（

40、4-57）211)|()(RdpePXX122)|()(RdpePXX第61頁/共114頁62)|()|(12XXpp2221)|(1)|(RRdpdpQXXXX221)|()|(RdppXXX同理由式(4-57) 有：在R2區(qū)域內(nèi)至少應(yīng)保證)|()|(21XXpp121)|()|(XXXpp即 （4-58）221)|()|(XXXpp即 （4-59）得決策規(guī)則：)|()|(21XXpp21X若，則1221)|()|(RRdpdpQXXXX（4-57）第62頁/共114頁63)|()|(21XXpp21X若，則)|()|(21XXpp當時， X為 的函數(shù)，可以求出 ， tX即為兩類模式的判別界

41、面。 tX 由于 和 是已知的，所以聶曼-皮爾遜決策最終歸結(jié)為尋找似然比閾值 。1|Xp2|Xp求解值從常數(shù)P2(e) 入手，這時由 有 122)|(RdpePXX tdpePXX)|(22即 是P2(e)的函數(shù)，通過查標準正態(tài)分布表可以求得 的值。第63頁/共114頁64 表中末行系函數(shù)值： (30)(31)(39) 縱向值：的整數(shù)部分和小數(shù)點后第一位。 橫向值：的小數(shù)點后第二位。 表中為 0時，()的值。1標準正態(tài)分布表標準正態(tài)分布表復習復習 dxx第64頁/共114頁65 dxx2. 正態(tài)分布的概率計算正態(tài)分布的概率計算 左邊陰影部分的面積表示為概率。即分布函數(shù) 在任一區(qū)間 內(nèi)取值的概率

42、：),(21 dxxP2121)()(12 當 時， ;0)(1)( 1dxx例 利用標準正態(tài)分布表，求標準正態(tài)分布在下面區(qū)間內(nèi)取值 的概率。(1) (0.5，1.5); (2) (1.96，1.96); (3) (3，3)第65頁/共114頁66)5 . 0(1 )5 . 1 (6274. 06915. 01 9332. 09500. 019750. 021)3(2 9974. 019987. 02)5 .15 .0(xP)5 . 0()5 . 1 (解：(1)96.196.1(xP)96. 1 (1 )96. 1 (2)33(xP)3(1 )3(3)例4.4 一兩類問題，模式分布為二維正態(tài)

43、，其分布參數(shù) 協(xié)方差矩陣為C1=C2=I，設(shè)P2(e)=0.046，求聶曼-皮爾遜決策規(guī)則的似然比閾值和判別界面。T10 , 1MT20,1M第66頁/共114頁67iiiinipMXCMXCX1T21221exp21)|(i=1，2解：(1) 求類概率密度函數(shù) 正態(tài)分布的類概率密度函數(shù)為110012121iCIC1001100111 -i 2exp21)|(1T11MXMXXp21exp212221xx 2exp21)|(2T22MXMXXp21exp212221xx已知 ， ，又計算得：T10 , 1MT20,1M第67頁/共114頁68(2) 求似然比 1121121212exp1221

44、1221exp)|()|(xxxxxppXX 2exp21)|(1T11MXMXXp21exp212221xx 2exp21)|(2T22MXMXXp21exp212221xx12expx21X若，則(3) 求判別式?jīng)Q策規(guī)則： 兩邊取自然對數(shù)，有 12xln得判別式 1xln2121X 若，則（4-62） 第68頁/共114頁69(4) 求似然比閾值由 與 的關(guān)系有 eP2 122)|(RdpePXX122221122) 1(exp21dxdxxxxx 分離積分，向正態(tài)分布表的標準形式 )0(2122dxex變換，有 2221ln212122exp2121exp21dxxdxxeP令 有：yx

45、11dyyeP1ln21222exp21)(第69頁/共114頁70查正態(tài)分布數(shù)值表，要求P2(e)=0.046。 01ln21 在表上查 。 954. 0046. 01當 時， 。0)(1)(對應(yīng)=？對應(yīng)=1.69，即69. 169. 11ln21有98. 338. 1e計算得第70頁/共114頁71由（4-62）式得判別界面：69. 0ln211x98. 338. 1e1xln2121X 若，則（4-62） 圖4.12 聶曼-皮爾遜決策結(jié)果第71頁/共114頁72總結(jié)分析：研究算法的三種思路 使風險（錯誤引起的損失）最?。?最小平均風險Bayes決策 (0-1)損失最小風險Bayes決策

46、使總錯誤率最?。鹤钚″e誤率Bayes決策 限制一個錯誤概率，追求另一個最?。?Neyman-Person決策第72頁/共114頁734.5 概率密度函數(shù)的參數(shù)估計概率密度函數(shù)的參數(shù)估計最大似然估計最大似然估計兩類估計方法： 概率密度函數(shù)的形式未知，直接估計概率密度函數(shù)的方法。 已知概率密度函數(shù)的形式而函數(shù)的有關(guān)參數(shù)未知，通過估計參數(shù)來估計概率密度函數(shù)的方法。* 參數(shù)估計法：* 非參數(shù)估計法：兩種主要參數(shù)估計法：最大似然估計、貝葉斯估計。 第73頁/共114頁74設(shè)：i類的類概率密度函數(shù)具有某種確定的函數(shù)形式；是該函數(shù)的一個未知參數(shù)或參數(shù)集。最大似然估計把當作確定的未知量進行估計。 從i類中獨立

47、地抽取N個樣本：,21NNXXXX1. 似然函數(shù)似然函數(shù)稱這N個樣本的聯(lián)合概率密度函數(shù) 為相對于樣本集X N 的的似然函數(shù)。 )|(NXpNkkNNppXp121)|()|,()|(XXXX在參數(shù) 下觀測到的樣本集X N 的概率(聯(lián)合分布)密度2. 最大似然估計最大似然估計 根據(jù)已經(jīng)抽取的N個樣本估計這組樣本“最可能”來自哪個密度函數(shù)。（“最似”哪個密度函數(shù)）第74頁/共114頁75也即：要找到一個，它能使似然函數(shù) 極大化 。)|(NXp由 求得。0)|(dXdpN為一維時的最大似然估計示意圖的最大似然估計量 就是使似然函數(shù)達到最大的估計量。第75頁/共114頁76為便于分析，定義似然函數(shù)的對

48、數(shù)為 )|(ln)(NXpH的最大似然估計是下面微分方程的解：0)(ddH 設(shè)i類的概率密度函數(shù)有p個未知參數(shù)，記為p維向量 T21,pNkkNXpXpH1)|(ln)|(ln)(0)|(ln1NkkXp此時第76頁/共114頁770)|(ln0)|(ln0)|(ln11211NkkpNkkNkkXpXpXp解以上微分方程即可得到的最大似然估計值。 3. 正態(tài)分布情況舉例正態(tài)分布情況舉例 2,|NpiX設(shè)i類：正態(tài)分布、一維模式、概率密度函數(shù)為待估計參數(shù)為，2。（4-69）第77頁/共114頁78其中， ， ， 。T21,122若X N表示從i中獨立抽取的N個樣本，則的似然函數(shù)為NkkNpXp

49、1)|()|(X2222)2ln(21)|(lnkkpXX222exp21)|(kkpXX其中，NkkNkkNkkNkkpp122212121211102)(21)|(ln0)|(lnXXXX得2,|NpXip|X可表示為。第78頁/共114頁79由以上方程組解得均值和方差的估計量為NkkN111XNkkN1222) (1X類似地，多維正態(tài)分布情況： NkkiN11XMNkikikiN1T)(1MXMXC均值向量的最大似然估計是樣本的均值；最大似然估計結(jié)果： 協(xié)方差矩陣的最大似然估計是N個矩陣的算術(shù)平均。第79頁/共114頁80貝葉斯估計與貝葉斯學習貝葉斯估計與貝葉斯學習貝葉斯估計和貝葉斯學習

50、將未知參數(shù)看作隨機參數(shù)進行考慮。 1貝葉斯估計和貝葉斯學習的概念貝葉斯估計和貝葉斯學習的概念1）貝葉斯估計步驟： 第80頁/共114頁812）貝葉斯學習迭代計算式的推導： dpXppXpXpNNN)()|()()|()|(（4-72） |)|(XXppi（4-71） 第81頁/共114頁82式中)|()|()|(1NNNXppXpX除樣本XN以外其余樣本的集合 dpXppXpXpNNN)()|()()|()|(（4-72） （4-73） 將（4-73）式代入（4-72）式得 dpXpppXppXpNNNNN)()|()|()()|()|()|(11XX類似地， dpXppXpXpNNN)()|

51、()()|()|(111（4-74） （4-75） 將（4-75）式代入（4-74）式得dXppXppXpNNNNN)|()|()|()|()|(11XX（4-76） 參數(shù)估計的遞推貝葉斯方法，迭代過程即是貝葉斯學習的過程第82頁/共114頁83迭代式的使用： dXppXppXpNNNNN)|()|()|()|()|(11XXdpppppXp)()|()()|()|()|(1111XXX* 給出X2，對用X1估計的結(jié)果進行修改。dXppXpppXp)|()|()|()|(),|()|(1212212XXXX第83頁/共114頁84dXppXppXpNNNNN)|()|()|()|()|(11X

52、XdXppdXpXpNNN)|()|()|,(|XXX2正態(tài)分布密度函數(shù)的貝葉斯估計和貝葉斯學習正態(tài)分布密度函數(shù)的貝葉斯估計和貝葉斯學習1）貝葉斯估計 200,Np* 逐次給出X3，X4，XN，得到 第84頁/共114頁85dpxppxpxpNNN)()|()()|()|(式中， NkkNxpxp1)|()|()()|()|(1pxpxpNkkN（4-79） 有2,|Nxp 200,Np由于 有 )()|()|(1pxpxpNkkN202001222exp212exp21Nkkx第85頁/共114頁86Nkkx120202221exp 20012220212121expNkkxN221exp2

53、1)|(NNNNxp0220222020NmNNNN2202202NN式中，NkkNxNm11第86頁/共114頁87NNNNNddxp221exp21)|(0220222020NmNNNNkkNxNmNN1111 與最大似然估計形式類似第87頁/共114頁88221exp21)|(NNNNxp0220222020NmNNNN2202202NN式中，同前2）貝葉斯學習第88頁/共114頁89圖4.14 均值的貝葉斯學習過程示意圖第89頁/共114頁90dxpxpxxpNN)|()|(|dxNNN22222exp212exp21222222exp21NNNx可見：第90頁/共114頁91多維正態(tài)

54、分布： ，C已知，M未知。CMX,|Npi00,CMMNp則利用貝葉斯估計得到的M的后驗概率密度函數(shù)為NNNNpCMXM,|其中， 010100)1(1)1(MCCCMCCCMNNNN010)1(1CCCCCNNNkNkN11XM根據(jù)貝葉斯學習得到的類概率密度函數(shù)為MXMMXXXdpppNN)|()|(|第91頁/共114頁924.6 概率密度函數(shù)的非參數(shù)估計概率密度函數(shù)的非參數(shù)估計基本方法基本方法根據(jù)樣本直接估計類概率密度函數(shù)的方法。1. 出發(fā)點：基于事實p(X)：類概率密度函數(shù)。 隨機向量X落入?yún)^(qū)域R的概率P為 。 XX dpPR)( 設(shè)從密度為p(X)的總體中獨立抽取的樣本X1,X2,XN。若N個樣本中有k個落入?yún)^(qū)域R中的概率最大，則PNk NkP/ P：希望是X落入?yún)^(qū)域R中概率P的一個很好的估計。 第92頁/共114頁93類概率密度函數(shù)p(X)的估計： 設(shè)