第3章 統(tǒng)計(jì)決策方法

1、3.1 研究對(duì)象及相關(guān)概率研究對(duì)象及相關(guān)概率3.2 貝葉斯決策貝葉斯決策3.3 貝葉斯分類器的錯(cuò)誤率貝葉斯分類器的錯(cuò)誤率3.4 聶曼聶曼-皮爾遜決策皮爾遜決策3.5 概率密度函數(shù)的參數(shù)估計(jì)概率密度函數(shù)的參數(shù)估計(jì)3.6 概率密度函數(shù)的非參數(shù)估計(jì)概率密度函數(shù)的非參數(shù)估計(jì)3.7 后驗(yàn)概率密度分類的勢(shì)函數(shù)方法后驗(yàn)概率密度分類的勢(shì)函數(shù)方法第第3章章 基于統(tǒng)計(jì)決策的概率分類法基于統(tǒng)計(jì)決策的概率分類法* 確定性事件：事物間有確定的因果關(guān)系。一個(gè)模式要么屬于這一類，要么屬于另一類。用適當(dāng)?shù)囊?guī)則或方法以盡可能小的分類錯(cuò)誤對(duì)模式進(jìn)行分類。* 隨機(jī)事件：事物間沒(méi)有確定的因果關(guān)系，觀察到的特征具有統(tǒng)計(jì)特性，是一個(gè)隨機(jī)

2、向量。每一次的觀測(cè)結(jié)果沒(méi)有重復(fù)性。不能說(shuō)一個(gè)模式之不能屬于某一類，只能說(shuō)它屬于某一類的可能性有多大。我們只能利用模式集的統(tǒng)計(jì)特性行分類，使分類器發(fā)生分類錯(cuò)誤的概率最小。1. 兩類研究對(duì)象兩類研究對(duì)象2. 相關(guān)概率相關(guān)概率1）概率的定義 設(shè)是隨機(jī)試驗(yàn)的基本空間（所有可能的實(shí)驗(yàn)結(jié)果或基本事件的全體構(gòu)成的集合，也稱樣本空間），A為隨機(jī)事件，P(A)為定義在所有隨機(jī)事件組成的集合上的實(shí)函數(shù)，若P(A)滿足：3.1 研究對(duì)象及相關(guān)概率研究對(duì)象及相關(guān)概率（3）對(duì)于兩兩互斥的事件A1，A2，有2121APAPAAP（1）對(duì)任一事件A有：0P(A)1。 （2）P()=1， 事件的全體則稱函數(shù)P(A)為事件A的

3、概率。設(shè)A、B是兩個(gè)隨機(jī)事件，且P(B)0，則稱為事件B發(fā)生的條件下事件A發(fā)生的條件概率。3）條件概率定義 BPABPBAP| APAP12）（ ABPBPAPBAP）（3（1）不可能事件V的概率為零，即P(V)=0。2）概率的性質(zhì)聯(lián)合概率P(AB)：A，B同時(shí)發(fā)生的概率 (2-1)（1）概率乘法公式：如果P(B)0，則聯(lián)合概率 P(AB)= P(B) P(A|B) = P(A) P(B|A) =P(BA)（3）貝葉斯公式：在全概率公式的條件下，若P(B)0，則將 (2-2)，(2-3)式代入(2-1)式中，有： niiiiiiABPAPABPAPBAP1|(2-4)4）條件概率的三個(gè)重要公式

4、：niAPAinii,1,2,0,1則對(duì)任一事件B有： iniiABPAPBP|1（2）全概率公式：設(shè)事件A1 ， A2 ， ，An，兩兩互斥，且(2-2)(2-3) 今后的分類中常用到類概率密度p(X |i) ：i類的條件概率密度函數(shù)，通常也稱為i的似然函數(shù)。 設(shè)隨機(jī)樣本向量X ，相關(guān)的三個(gè)概率：（2）后驗(yàn)概率P(i|X) ：相對(duì)于先驗(yàn)概率而言。指收到數(shù)據(jù)X（一批樣本）后，根據(jù)這批樣本提供的信息統(tǒng)計(jì)出的i類出現(xiàn)的概率。表示X 屬于i類的概率。5）模式識(shí)別中的三個(gè)概率（1）先驗(yàn)概率P(i ) ：事先根據(jù)大量的統(tǒng)計(jì)資料得到的事件發(fā)生的概率，與現(xiàn)在無(wú)關(guān)。簡(jiǎn)稱為i 的概率。（3）條件概率P(X |i

5、) ：已知屬于i類的樣本X發(fā)生某種事件的概率。例對(duì)一批得病患者進(jìn)行一項(xiàng)化驗(yàn)，結(jié)果為陽(yáng)性的概率為95%，1代表得病人群， 則X化驗(yàn)為陽(yáng)性的事件可表示為95. 0| 1陽(yáng)XPP(2| X) 表示試驗(yàn)呈陽(yáng)性的人中，實(shí)際沒(méi)有病的 人的概率。 若用某種方法檢測(cè)是否患有某病，假設(shè) X 表示“試驗(yàn)反應(yīng)呈陽(yáng)性”。則：例如：一個(gè)2類問(wèn)題，1診斷為患有某病，2診斷為無(wú)病，P(2)表示該地區(qū)人無(wú)此病的概率。則： P(1)表示某地區(qū)的人患有此病的概率，P(X |2) 表示無(wú)病的人群做該試驗(yàn)時(shí)反應(yīng)呈陽(yáng)性 (顯示有病)的概率。值低 / 高值低 / 高P(X |1) 表示患病人群做該試驗(yàn)時(shí)反應(yīng)呈陽(yáng)性的 概率。P(1| X)

6、 表示試驗(yàn)呈陽(yáng)性的人中，實(shí)際確實(shí)有病的 人的概率。？通過(guò)統(tǒng)計(jì)資料得到（4）三者關(guān)系：根據(jù)(4-4)貝葉斯公式有 MiiiiiiiiPpPppPpP1|XXXXX （2-5） niiiiiiABPAPABPAPBAP1|M：類別數(shù)3.2 貝葉斯決策貝葉斯決策l 貝葉斯決策方法是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法，用該方法進(jìn)行分類是要求： (1) 各類別總體的概率分布是已知的。 (2) 要決策分類的類別數(shù)是一定的。2. 決策規(guī)則決策規(guī)則(|)max(|) ,1,2ijiPPj若則類XXX3.2.1 最小錯(cuò)誤率貝葉斯決策最小錯(cuò)誤率貝葉斯決策 討論模式集的分類，目的是確定X屬于哪一類，所以要看X來(lái)自哪類的概

7、率大。在下列三種概率中： 先驗(yàn)概率P(i) ，其和為1 類(條件)概率密度函數(shù) p(X |i) 后驗(yàn)概率P(i| X) 采用哪種概率進(jìn)行分類最合理？ 1. 問(wèn)題分析問(wèn)題分析后驗(yàn)概率P(i| X)3.2 貝葉斯決策貝葉斯決策設(shè)有M類模式， (2-6) 最小錯(cuò)誤率貝葉斯決策規(guī)則 XXXpPpPiii| 雖然后驗(yàn)概率P(i| X)可以提供有效的分類信息，但先驗(yàn)概率P(i)和類概率密度函數(shù)p(X |i)從統(tǒng)計(jì)資料中容易獲得，故用Bayes公式，將后驗(yàn)概率轉(zhuǎn)化為類概率密度函數(shù)和先驗(yàn)概率的表示。由：可知，分母與i無(wú)關(guān)，即與分類無(wú)關(guān)，故分類規(guī)則又可表示為：(|)max(|) ()1,2,iijjipPpPj

8、若則類XXX (2-7)(|)max(|) ,1,2ijiPPj若則類XXX幾種等價(jià)形式：最小誤判概率貝葉斯準(zhǔn)則對(duì)兩類問(wèn)題，(2-7)式相當(dāng)于)()|()|(2211PpPpXX1X若，則)()|()|(2211PpPpXX2X若，則可改寫為：統(tǒng)計(jì)學(xué)中稱l12(X)為似然比， 為似然比閾值。)()(12PP對(duì)(2-9)式取自然對(duì)數(shù)，有：21X(2-7)，(2-8)，(2-9)都是最小錯(cuò)誤率貝葉斯決策規(guī)則的等價(jià)形式。 21X)|()|()(2112XXXppl12)(PP若，則 （2-8）)|(ln)|(ln21XXpp)(ln)(12XXlh若)()(ln12PP，則（2-9）2111)(|)

9、()|()|(iiiPpPpPXXX0.5 0.050.1160.05 0.50.95 0.220.20.95(|)0.8840.050.50.950.2PX)|()|(12XXPP2X例例2.1 假定在細(xì)胞識(shí)別中，病變細(xì)胞的先驗(yàn)概率和正常細(xì)胞的先驗(yàn)概率分別為 ?，F(xiàn)有一待識(shí)別細(xì)胞，其觀察值為X，從類條件概率密度分布曲線上查得： 95. 0)(,05. 0)(21PP5 . 0)|(1Xp2 . 0)|(2Xp試對(duì)細(xì)胞X進(jìn)行分類。解：方法1 通過(guò)后驗(yàn)概率計(jì)算。 方法2：利用先驗(yàn)概率和類概率密度計(jì)算。025. 005. 05 . 0)|(11Pp X19. 095. 02 . 0)|(22Pp X

10、)()|()|(1122PpPpXX2X，是正常細(xì)胞。多類情況的最小錯(cuò)誤率貝葉斯準(zhǔn)則多類情況的最小錯(cuò)誤率貝葉斯準(zhǔn)則(|)m ax(|) ,1, 2,ijiPPjcL若則類XXX(|)max(|) ()1,2,iijjipPpPjcL若則類XXX或者（c類分類問(wèn)題） 證明證明：貝葉斯分類器在最小化分類錯(cuò)誤率上是最優(yōu)的。 （證明以兩類為例）最小錯(cuò)誤率的證明l以一維情況為例證明貝葉斯決策確實(shí)對(duì)應(yīng)最小錯(cuò)誤率l統(tǒng)計(jì)意義上的錯(cuò)誤率，即平均錯(cuò)誤率，用P(e)表示最小錯(cuò)誤率的證明錯(cuò)誤率圖示l 以t為界確實(shí)使錯(cuò)誤率最小，因?yàn)镻(e/x)始終取最小l 這個(gè)圖在哪見過(guò)？l 與圖像分割中最優(yōu)閾值對(duì)應(yīng)的錯(cuò)誤分割結(jié)果類似

11、，最優(yōu)閾值同樣是基于最小錯(cuò)誤概率l 圖像分割蘊(yùn)含了與模式識(shí)別類似的思想，即判定給定像素屬于目標(biāo)還是背景多類問(wèn)題的貝葉斯決策3.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策基于最小風(fēng)險(xiǎn)的貝葉斯決策l問(wèn)題的提出：風(fēng)險(xiǎn)的概念風(fēng)險(xiǎn)與損失緊密相連，如病情診斷、商品銷售等問(wèn)題日常生活中的風(fēng)險(xiǎn)選擇，所謂是否去冒險(xiǎn)l最小風(fēng)險(xiǎn)貝葉斯決策考慮各種錯(cuò)誤造成損失不同而提出的一種決策規(guī)則l“寧可錯(cuò)殺一千，也不放走一個(gè)”以決策論的觀點(diǎn)l決策空間：所有可能決策組成的集合l每個(gè)決策都將帶來(lái)一定的損失，可表示為決策和自然狀態(tài)的函數(shù)一般決策表相關(guān)的數(shù)學(xué)表示i條件期望損失l 引入損失的概念，制定決策不能僅考慮最小錯(cuò)誤率，而是要考慮采取的決策相

12、應(yīng)的損失是否最小l 損失的數(shù)學(xué)表示，跟決策相關(guān)條件期望損失，條件風(fēng)險(xiǎn)對(duì)于特定的X采取決策i 的期望損失1()(,) (|)ciijjjRPX X期望風(fēng)險(xiǎn)i 對(duì)所有的X采取決策 所造成的期望損失之和1() ()() ()iciiRRR X p X dXR X p X dX也稱為平均風(fēng)險(xiǎn)。 對(duì)某個(gè)樣本集而言解釋Ri 對(duì)c類問(wèn)題，如果觀察樣本X被判定屬于i類，則條件平均風(fēng)險(xiǎn)Ri(X)指將X判為屬于i類時(shí)造成的平均損失。1()() (|)ciijjjRPXXX2. 決策規(guī)則決策規(guī)則0ijijij或負(fù)值時(shí)正值時(shí)X式中，i 分類判決后指定的判決號(hào)；j 樣本實(shí)際屬于的類別號(hào)； 將真實(shí)屬性是j類的樣本決策為i

13、類時(shí)的是非代價(jià)， 即損失函數(shù)。自然屬性為j類的樣本，被劃分到i類中，在i類中產(chǎn)生一錯(cuò)誤分類，風(fēng)險(xiǎn)增加。對(duì)P作加權(quán)平均ijijmin,1,kiRicL若RXXkX則 每個(gè)X 都按條件平均風(fēng)險(xiǎn)最小決策，則總的條件平均風(fēng)險(xiǎn)也最小。總的條件平均風(fēng)險(xiǎn)稱為平均風(fēng)險(xiǎn)。條件平均風(fēng)險(xiǎn)與平均風(fēng)險(xiǎn)的區(qū)別平均風(fēng)險(xiǎn)：對(duì)模式總體而言。條件平均風(fēng)險(xiǎn)：對(duì)某個(gè)樣本而言。1）多類情況設(shè)有c類，對(duì)于任一X 對(duì)應(yīng) c個(gè)條件平均風(fēng)險(xiǎn)： 對(duì)每個(gè)X有c種可能的類別劃分，X被判決為每一類的條件平均風(fēng)險(xiǎn)分別為R1(X)，R2(X) ， ，Rc(X) 。決策規(guī)則：1()() (|)ciijjjRPXXX， i=1,2, ,c l 由已知，先驗(yàn)概

14、率和類條件概率l 根據(jù)損失函數(shù) ，計(jì)算條件風(fēng)險(xiǎn)1( |) ()(|)( |) ()iiiMjjjp xPPXp xP(,)ij 1()(|) ()ciijjjjRpPXX個(gè)條件風(fēng)險(xiǎn)中，最小的條件風(fēng)險(xiǎn)為， a()min(), 1,kiRRia LXXkX則計(jì)算步驟計(jì)算步驟95.0)(,05.0)(21PP2 . 0)|(, 5 . 0)|(21XXpp例例4.2 在細(xì)胞識(shí)別中，病變細(xì)胞和正常細(xì)胞的先驗(yàn)概率 分別為現(xiàn)有一待識(shí)別細(xì)胞，觀察值為X， 從類概率密度分布曲線上查得損失函數(shù)分別為 ， ， ， 。按最小風(fēng)險(xiǎn)貝葉斯決策分類。由于R1(X) R2(X)，所以X為病變細(xì)胞。 計(jì)算后驗(yàn)概率12()0.

15、116,(|)0.884PP| XX計(jì)算條件平均損失函數(shù)2111221()(|)(|)0.884jjjRXPXPX2222111()(|)(|)1.16jjjRXPXPX11021102201210ii1,ijij損失函數(shù)為特殊情況：3. (0-1)損失最小風(fēng)險(xiǎn)貝葉斯決策損失最小風(fēng)險(xiǎn)貝葉斯決策1) 多類情況11,()(|)(|)cciijjjjiijRPXPXX(0-1)情況下， 可改寫成：iRX ， i=1,2,c ()(),kiRRikXXkX，則若1()(|)ciijjjRPXX一般形式：是指對(duì)于正確判決即i=j, 沒(méi)有損失，而對(duì)于任何錯(cuò)誤判斷，其損失均為11,2,1,2,1,1,2,1

16、,2,min()min(|) min (1(|) = max(|)cijicicjj iiiciicRPXPXPXLLLLX最小風(fēng)險(xiǎn)貝葉斯決策要求選擇一個(gè)策略使得條件風(fēng)險(xiǎn)最小，即要求使得(|)iRX最小，即要求使得后驗(yàn)概率極大。(|)(|)ijiPXPXjiX對(duì)成立，則可見在0-1損失條件的情況下，最小風(fēng)險(xiǎn)貝葉斯決策和最小錯(cuò)誤率貝葉斯決策的結(jié)果是一致的。3.2.3 正態(tài)分布模式的貝葉斯決策正態(tài)分布模式的貝葉斯決策 許多實(shí)際的數(shù)據(jù)集：均值附近分布較多的樣本；距均值點(diǎn)越遠(yuǎn)，樣本分布越少。此時(shí)正態(tài)分布（高斯分布）是一種合理的近似。 正態(tài)分布概率模型的優(yōu)點(diǎn)： * 物理上的合理性。 * 數(shù)學(xué)上的簡(jiǎn)單性。

17、 圖中為某大學(xué)男大學(xué)生的身高數(shù)據(jù)，紅線是擬合的密度曲線?？梢姡渖砀邞?yīng)服從正態(tài)分布。1. 相關(guān)知識(shí)概述相關(guān)知識(shí)概述1）二次型）二次型T1,nxx Xnnnnaaaa1111A設(shè)一向量，矩陣AXXT則稱為二次型。二次型中的矩陣A是一個(gè)對(duì)稱矩陣，即 。jiijaanjijiijxxa1,TAXX含義：是一個(gè)二次齊次多項(xiàng)式，2）正定二次型）正定二次型 對(duì)于 （即X分量不全為零），總有 ，則稱此二次型是正定的，而其對(duì)應(yīng)的矩陣稱為正定矩陣。0X0TAXX3）單變量（一維）的正態(tài)分布）單變量（一維）的正態(tài)分布密度函數(shù)定義為：xexxpx,21)(21exp21)(2222曲線如圖示：= -1，=0.5 ；

18、 = 0，=1 ； = 1，=2 .一維正態(tài)曲線的性質(zhì)：（2）曲線關(guān)于直線 x =對(duì)稱。（3）當(dāng) x =時(shí)，曲線位于最高點(diǎn)。（4）當(dāng)x時(shí)，曲線上升；當(dāng)x時(shí)，曲線下降.并且當(dāng)曲線向左、右兩邊無(wú)限延伸時(shí)，以x軸為漸近線，向它無(wú)限靠近。（1）曲線在 x 軸的上方，與x軸不相交。（5）一定時(shí)，曲線的形狀由確定。越大，曲線越“矮胖”，表示總體的分布越分散；越小。曲線越“瘦高”。表示總體的分布越集中。 時(shí)當(dāng)時(shí)當(dāng)時(shí)當(dāng)3,997. 02,954. 01,683. 0kkkkxkP4）3規(guī)則規(guī)則即：絕大部分樣本都落在了均值附近3的范圍內(nèi)，因此正態(tài)密度曲線完全可由均值和方差來(lái)確定，常簡(jiǎn)記為：2,Np(x)2222

19、21)(21exp21)(xexxp5）多變量（）多變量（n維）正態(tài)隨機(jī)向量維）正態(tài)隨機(jī)向量密度函數(shù)定義為：式中： ； ；T1,nxx XT1,nmm M|C|：協(xié)方差矩陣C的行列式。 多維正態(tài)密度函數(shù)完全由它的均值向量 M 和協(xié)方差矩陣C所確定，簡(jiǎn)記為：p(X)N( M , C )22121211nnnnCMXCMXCX1T21221exp21)(np為協(xié)方差矩陣，是對(duì)稱正定矩陣，獨(dú)立元素有 個(gè)；2) 1( nn以二維正態(tài)密度函數(shù)為例： 等高線（等密度線）投影到x1ox2面上為橢圓，從原點(diǎn)O到點(diǎn)M 的向量為均值M。 橢圓的位置：由均值向量M決定； 橢圓的形狀：由協(xié)方差矩陣C決定。協(xié)方差矩陣C

20、i：反映樣本分布區(qū)域的形狀；均值向量Mi：表明了區(qū)域中心的位置。2. 正態(tài)分布的最小錯(cuò)誤率貝葉斯決策規(guī)則正態(tài)分布的最小錯(cuò)誤率貝葉斯決策規(guī)則1）多類情況）多類情況具有M 種模式類別的多變量正態(tài)密度函數(shù)為： 前面介紹的Bayes方法事先必須求出p(X|i) , P(i) 。而當(dāng) p(X|i)呈正態(tài)分布時(shí)，只需要知道 M 和 C 即可。iiiinipMXCMXCX1T21221exp21)|(Mi, 2 , 1 每一類模式的分布密度都完全被其均值向量Mi和協(xié)方差矩陣Ci所規(guī)定，其定義為：XMiiE)(TiiiiEMXMXC相關(guān)知識(shí)復(fù)習(xí)l期望l方差l協(xié)方差矩陣l實(shí)際計(jì)算中的計(jì)算公式判別函數(shù)與決策面l

21、分類器的設(shè)計(jì)實(shí)際上就是在描述待識(shí)別對(duì)象的d維特征所組成的特征空間內(nèi)將其劃分為C個(gè)決策域。決策域的邊界稱為決策面決策面，在數(shù)學(xué)上用解析形式表示為決策面方程決策面方程。l 用于表達(dá)決策規(guī)則的某種函數(shù)稱為判別函數(shù)判別函數(shù)。l 對(duì)于兩類問(wèn)題 （1）貝葉斯規(guī)則 （2）判別函數(shù) （3）決策面（方策面方程）對(duì)正態(tài)密度函數(shù)，為了方便計(jì)算，取對(duì)數(shù)：對(duì)數(shù)是單調(diào)遞增函數(shù)，取對(duì)數(shù)后仍有相對(duì)應(yīng)的分類性能。)(ln)|(ln)()|(lniiiiPpPpXX)()(21ln212ln2)(ln1TiiiiinPMXCMXCiiiinipMXCMXCX1T21221exp21)|(最小錯(cuò)誤率Bayes決策中，i類的判別函數(shù)

22、為 ，)()|(iiPpX去掉與i無(wú)關(guān)的項(xiàng)，得判別函數(shù)： 正態(tài)分布的最小錯(cuò)誤率Bayes決策的判別函數(shù)。)()(21ln21)(ln)(1TiiiiiiPdMXCMXCX(2-25)Mi, 2 , 1 di(X)為超二次曲面。可見對(duì)正態(tài)分布模式的Bayes分類器，兩類模式之間用一個(gè)二次判別界面分開，就可以達(dá)到最優(yōu)的分類效果。)()(21ln21)(ln)(1TiiiiiiPdMXCMXCXjiMiddij, 2 , 1),()(XX若jX則判決規(guī)則同前：2）兩類問(wèn)題）兩類問(wèn)題(1) 當(dāng)C1C2時(shí)：1|Xp11,CMN2|Xp22,CMN )()(21ln21)(ln)(111T1111MXCM

23、XCXPd)()(21ln21)(ln)(212T2222MXCMXCXPd對(duì)應(yīng)判別函數(shù)判別界面 是X的二次型方程決定的超曲面。二維判別界面如圖2.3所示。 0)()(21XXdd221, 0, 0)()(XXXX則則dd若 決策規(guī)則： 圖2.3 C1C2時(shí)iiiiPdMCXCMXCX11TT)(21ln21)(ln)(iiiiiPMCMXCMMCXXCXC1T1T1T1T(21ln21)(ln2 , 12121ln21)(ln1T1T1TiPiiiiMCMXCMXCXC02121)(ln)(ln)()(21T211T11T212121MCMMCMXCMMXXPPdd(2) 當(dāng)C1=C2=C時(shí)

24、：由式(2-25) 有由此導(dǎo)出判別界面為：為X的線性函數(shù)，是一超平面。當(dāng)為二維時(shí)，判別界面為一直線，如圖2.4所示。 (2-28)兩類相同，抵消展開相同，合并T111()ln()ln()()(225)22iiiiiidPXCXMCXM2T21T1T212121)()(MMMMXMMXXdd21)()(2121PP且ICC(3) 當(dāng)時(shí)：判別界面如圖2.5所示。圖2.4 C1=C2=C，)()(21PP圖2.5 C1=C2=I且先驗(yàn)概率相等 02121)(ln)(ln21T211T11T2121MCMMCMXCMMPP)()(21XXdd常用例例2.3 設(shè)在三維特征空間里，有兩類正態(tài)分布模式，每類

25、各有4 個(gè)樣本，分別為:1T1 , 0 , 1T0 , 0 , 1T0 , 0 , 0T0 , 1 , 1:2T1 , 0 , 0T1 , 1 , 0T1 , 1 , 1T0 , 1 , 0iNjijiiN11XM其均值向量和協(xié)方差矩陣可用下式估計(jì)： (2-30)TT11iiijiNjijiiNMMXXC (2-31)式中， Ni為類別i中模式的數(shù)目，Xij代表在第i類中的第j個(gè)模式。兩類的先驗(yàn)概率 。試確定兩類之間的判別界面。21)()(21PPT1113411134101100000110141MT233141M解：31113111316121CC8444844481C經(jīng)計(jì)算有21T211

26、T11T21212121)()(MCMMCMXCMMXXdd21)()(21PP因協(xié)方差矩陣相等因協(xié)方差矩陣相等，故(2-28)為其判別式。由于12123()()8884ddxxxXXT321,xxxX將代入：21T211T11T2121212121)(ln)(ln)()(MCMMCMXCMMXXPPdd(2-28) 111211112212113213114214121221122222123223124224()()40()()120()()40()()40()()40()()120()()40()()40d xdxd xdxd xdxd xdxd xdxd xdxd xdxd xdx 計(jì)

27、算結(jié)果:圖中畫出判別平面的一部分。12322210 xxx 111(0,0, ), (0,0), (,0,1), 222111(,1,0), (1,1),(1,1,)222描點(diǎn)：2.3 貝葉斯分類器的錯(cuò)誤率貝葉斯分類器的錯(cuò)誤率2.3.1 錯(cuò)誤率的概念錯(cuò)誤率的概念錯(cuò)誤率：將應(yīng)屬于某一類的模式錯(cuò)分到其他類中的概率。 是衡量分類器性能優(yōu)劣的重要參數(shù)。 定義為 XXXdpePeP)()|()( Xd表示n重積分，即整個(gè)n維模式空間上的積分。式中： ； 是X的條件錯(cuò)誤概率；T1,nxx X)|(XeP平均錯(cuò)誤率平均錯(cuò)誤率錯(cuò)誤率的計(jì)算或估計(jì)方法： 按理論公式計(jì)算；計(jì)算錯(cuò)誤率上界；實(shí)驗(yàn)估計(jì)。 設(shè)R1為1類的

28、判決區(qū)， R2為2類的判決區(qū)，分類中可能會(huì)發(fā)生兩種錯(cuò)誤： 將來(lái)自1類的模式錯(cuò)分到R2中去。 將來(lái)自2類的模式錯(cuò)分到R1中去。錯(cuò)誤率為兩種錯(cuò)誤之和：4.3.2 錯(cuò)誤率分析錯(cuò)誤率分析1兩類問(wèn)題的錯(cuò)誤率兩類問(wèn)題的錯(cuò)誤率),(),()(2112RPRPePXX1221)()|()()|(RRdpePdpePXXXXXX一維情況圖示： (4-33)1221)()|()()|()(RRdpePdpePePXXXXXX(4-33)221121),|()|(),|()|(XXXXXX則若則若PPPP)|()|(21XXPP2221112211),(|)(|),(|)(|XXXXXX則若則若PpPpPpPp兩類

29、問(wèn)題的最小錯(cuò)誤率貝葉斯決策規(guī)則 ：用后驗(yàn)概率密度表示為 用先驗(yàn)概率和類概率密度函數(shù)表示為)(|)(|2211PpPpXX或判別界面為：兩類問(wèn)題最小錯(cuò)誤率貝葉斯決策中錯(cuò)誤率P(e|X)為：1221)()|()()|()(RRdpePdpePePXXXXXX(2-33)|()|(),|()|()|()|(),|()|()|(21221211XXXXXXXXXPPPePPPPePeP若若1221)()|()()|()(RRdpPdpPePXXXXXX樣本被劃入第2類122211)()|()()|()(RRdPpdPpePXXXX122211)|()()|()(RRdpPdpPXXXX)()()()(

30、)(2211ePPePPeP211)|()(RdpePXX122)|()(RdpePXX令 ， ，則 XXXpPpPiii|)()()()()(2211ePPePPeP122211)()|()()|()(RRdPpdPpePXXXX 在最小錯(cuò)誤率最小錯(cuò)誤率貝葉斯決策中，判別界面位于兩曲線的交點(diǎn)處，即：)(|)(|2211PpPpXX 可以看出這個(gè)錯(cuò)誤率是所有錯(cuò)誤率錯(cuò)誤率中最小的最小的（圖中三角形的面積減小到0），但總錯(cuò)誤概率不可能為零。 通常需要考慮總錯(cuò)誤概率，僅使一類樣本的錯(cuò)誤概率最小是沒(méi)有意義的，因?yàn)檫@時(shí)另一類的錯(cuò)誤概率可能很大。其他情況下的錯(cuò)誤率： XXdPpePjMiMijjiRj11

31、|設(shè)共有M類，當(dāng)判決 時(shí)：iX當(dāng) X 判為任何一類時(shí)，都存在這樣一個(gè)可能的錯(cuò)誤，故2. 多類情況錯(cuò)誤率多類情況錯(cuò)誤率XXdPpcPiMiiRi)()|()(1 cPeP 1總錯(cuò)誤率為正確分類概率 則：MijjiRMijjiRjjjdPpdpP11)()|()()|(XXXXX錯(cuò)誤率= 簡(jiǎn)化計(jì)算，假定 。4.3.3 正態(tài)分布貝葉斯決策的錯(cuò)誤率計(jì)算正態(tài)分布貝葉斯決策的錯(cuò)誤率計(jì)算1正態(tài)分布的對(duì)數(shù)似然比正態(tài)分布的對(duì)數(shù)似然比1|Xp11,CMN2|Xp22,CMNCCC21設(shè) 對(duì)數(shù)似然比決策規(guī)則： )|(ln)|(ln)(ln)(2112XXXXpplh12)(lnPP若21X則令 ，有 12)(lnP

32、Pt )(Xh21X若t，則iiiinipMXCMXCX1T21221exp21)|(2 , 1i由正態(tài)分布概率密度函數(shù))|(ln)|(ln)(21XXXpph)()(21)()(2121T211T1MXCMXMXCMX)()(21)(211T21211TMMCMMMMCX 有 h(X)是X的線性函數(shù)，故h(X)是正態(tài)分布的一維隨機(jī)變量。 計(jì)算錯(cuò)誤率較為方便。 2對(duì)數(shù)似然比的概率分布對(duì)數(shù)似然比的概率分布均值：方差：)(1XhE)()(21)(211T21211T1MMCMMMMCM)()(21211T21MMCMM212121r)()(211T21212MMCMMr令，有 212211T212

33、121)()()(rhEMMCMMX1和2間的馬氏距離平方 212221)(rhEX2122222)(rhEX)|(1hp),21(212212rrN)|(2hp),21(212212rrN 圖2.9 對(duì)數(shù)似然比h (X)的概率分布3正態(tài)分布最小錯(cuò)誤率貝葉斯決策的錯(cuò)誤率正態(tài)分布最小錯(cuò)誤率貝葉斯決策的錯(cuò)誤率兩類問(wèn)題最小錯(cuò)誤率貝葉斯決策的錯(cuò)誤率： )()()()()(2211ePPePPeP其中， ，tdhhpeP)|()(11tdhhpeP)|()(22ttdhhpPdhhpPeP)|()()|()()(2211tdhrrhrP2122212121221exp21)(tdhrrhrP212221

34、2122221exp21)( dyy2exp21)(2令122122122121211)(21)()(rrtPrrtPeP若 ，則21)()(21PP0t1212211212121)(rreP22122exp21rdyy計(jì)算結(jié)果通過(guò)查標(biāo)準(zhǔn)正態(tài)分布表求得。 圖2.10 錯(cuò)誤率與馬氏距離的關(guān)系 P(e)隨著 的增大而單調(diào)遞減，只要兩類模式的馬氏距離足夠大，錯(cuò)誤率就可以減到足夠小。 212r2.3.4 錯(cuò)誤率的估計(jì)錯(cuò)誤率的估計(jì)1已設(shè)計(jì)好分類器時(shí)錯(cuò)誤率的估計(jì)已設(shè)計(jì)好分類器時(shí)錯(cuò)誤率的估計(jì)1）先驗(yàn)概率未知隨機(jī)抽樣Nk N：隨機(jī)抽取的樣本數(shù)；k：錯(cuò)分樣本數(shù)。2）先驗(yàn)概率已知選擇性抽樣分別從1類和2類中抽取出

35、N1和N2個(gè)樣本， NPN)(11NPN)(22用N1+N2 = N個(gè)樣本對(duì)設(shè)計(jì)好的分類器作分類檢驗(yàn)。 設(shè)1類被錯(cuò)分的個(gè)數(shù)為k1，2類錯(cuò)分的個(gè)數(shù)為k2。k1、k2統(tǒng)計(jì)獨(dú)立，聯(lián)合概率為 )()(),(2121kPkPkkP21)1 (ikNikikNiiiiiC式中，i是i類的真實(shí)錯(cuò)誤率。iiiiNkP21)(總錯(cuò)誤率的最大似然估計(jì)為2未設(shè)計(jì)好分類器時(shí)錯(cuò)誤率的估計(jì)未設(shè)計(jì)好分類器時(shí)錯(cuò)誤率的估計(jì)要求：用收集到的有限的N個(gè)樣本設(shè)計(jì)分類器并估計(jì)其性能。 錯(cuò)誤率的函數(shù)形式：(1, 2)。1：用于設(shè)計(jì)分類器的樣本的分布參數(shù)；2：用于檢驗(yàn)分類器性能的樣本的分布參數(shù)。設(shè)是全部訓(xùn)練樣本分布的真實(shí)參數(shù)集；為全部樣本

36、中N個(gè)樣本分布的參數(shù)估計(jì)量。N),(),(NNE),(),(NE有將有限樣本劃分為設(shè)計(jì)樣本集和檢驗(yàn)樣本集的兩種基本方法： 1）樣本劃分法 將樣本分成兩組，其中一組用來(lái)設(shè)計(jì)分類器，另一組用來(lái)檢驗(yàn)分類器，求其錯(cuò)誤率。取不同劃分方法的平均值作為錯(cuò)誤率的估計(jì)。 缺點(diǎn)：需要的樣本數(shù)N很大。 2）留一法 將N個(gè)樣本每次留下其中的一個(gè)，用其余的(N-1)個(gè)設(shè)計(jì)分類器，用留下的那個(gè)樣本進(jìn)行檢驗(yàn)，檢驗(yàn)完后重新放回樣本集。 重復(fù)進(jìn)行N次。注意，每次留下的一個(gè)樣本應(yīng)當(dāng)是不同的樣本。 適用于樣本數(shù)較小的情況。缺點(diǎn)：計(jì)算量大。2.4 聶曼聶曼-皮爾遜皮爾遜(Neyman-Person)決策決策適用于P(i)或P(i)和

37、Lij(X)難以確定時(shí)?；舅枷耄合拗埔粋€(gè)錯(cuò)誤概率，追求另一個(gè)最小(二類問(wèn)題)。在兩類問(wèn)題貝葉斯決策的錯(cuò)誤率公式中： 1 基本思想基本思想)()()()()(2211ePPePPeP211)|()(RdpePXX122)|()(RdpePXX式中， 先驗(yàn)概率通常為常數(shù)，故一般也稱P1(e)和P2(e)為兩類錯(cuò)誤率：P1(e)：1類模式被誤判為2類的錯(cuò)誤率；P2(e)：2類模式被誤判為1類的錯(cuò)誤率。 聶曼-皮爾遜決策出發(fā)點(diǎn)：在P2(e)等于常數(shù)的條件下，使P1(e)為最小，以此確定閾值t。一維情況聶曼-皮爾遜決策示意 例：在“信號(hào)檢測(cè)”中，P2(e)代表虛警概率；P1(e)代表漏報(bào)概率=1-PD

38、(檢測(cè)概率) 此時(shí)聶曼-皮爾遜決策含義：在虛警概率P2(e)是一個(gè)可以承受的常數(shù)值的條件下，使漏報(bào)概率為最小。求解問(wèn)題： 在P2(e)等于常數(shù)的條件下，求P1(e)極小值的條件極值問(wèn)題。P2(e)的值一般很小。 2. 判別式推導(dǎo)判別式推導(dǎo)式中：待定常數(shù)； P2(e)常數(shù)。1211)|()|(1RRdpdpXXXX112)|()|(1RdppXXX求P1(e)最小，即是求Q最小。 ePePQ21構(gòu)造輔助函數(shù))|()|(12XXpp要使Q最小，積分項(xiàng)至少應(yīng)為負(fù)值，即在R1區(qū)域內(nèi)，至少應(yīng)保證1221)|()|(RRdpdpQXXXX（2-57）211)|()(RdpePXX122)|()(RdpeP

39、XX)|()|(12XXpp2221)|(1)|(RRdpdpQXXXX221)|()|(RdppXXX同理由式(2-57) 有：在R2區(qū)域內(nèi)至少應(yīng)保證)|()|(21XXpp121)|()|(XXXpp即 （2-58）221)|()|(XXXpp即 （2-59）得決策規(guī)則：)|()|(21XXpp21X若，則1221)|()|(RRdpdpQXXXX（4-57）)|()|(21XXpp21X若，則)|()|(21XXpp當(dāng)時(shí)， X為 的函數(shù)，可以求出 ， tX即為兩類模式的判別界面。 tX 由于 和 是已知的，所以聶曼-皮爾遜決策最終歸結(jié)為尋找似然比閾值 。1|Xp2|Xp求解值從常數(shù)P2(

40、e) 入手，這時(shí)由 有 122)|(RdpePXX tdpePXX)|(22即 是P2(e)的函數(shù)，通過(guò)查標(biāo)準(zhǔn)正態(tài)分布表可以求得 的值。 表中末行系函數(shù)值： (30)(31)(39) 縱向值：的整數(shù)部分和小數(shù)點(diǎn)后第一位。 橫向值：的小數(shù)點(diǎn)后第二位。 表中為 0時(shí)，()的值。1標(biāo)準(zhǔn)正態(tài)分布表標(biāo)準(zhǔn)正態(tài)分布表復(fù)習(xí)復(fù)習(xí) dxx dxx2. 正態(tài)分布的概率計(jì)算正態(tài)分布的概率計(jì)算 左邊陰影部分的面積表示為概率。即分布函數(shù) 在任一區(qū)間 內(nèi)取值的概率：),(21 dxxP2121)()(12 當(dāng) 時(shí)， ;0)(1)( 1dxx例 利用標(biāo)準(zhǔn)正態(tài)分布表，求標(biāo)準(zhǔn)正態(tài)分布在下面區(qū)間內(nèi)取值 的概率。(1) (0.5，1

41、.5); (2) (1.96，1.96); (3) (3，3)5 . 0(1 )5 . 1 (6274. 06915. 01 9332. 09500. 019750. 021)3(2 9974. 019987. 02)5 .15 .0(xP)5 . 0()5 . 1 (解：(1)96.196.1(xP)96. 1 (1 )96. 1 (2)33(xP)3(1 )3(3)例2.4 一兩類問(wèn)題，模式分布為二維正態(tài)，其分布參數(shù) 協(xié)方差矩陣為C1=C2=I，設(shè)P2(e)=0.046，求聶曼-皮爾遜決策規(guī)則的似然比閾值和判別界面。T10 , 1MT20,1MiiiinipMXCMXCX1T21221ex

42、p21)|(i=1，2解：(1) 求類概率密度函數(shù) 正態(tài)分布的類概率密度函數(shù)為110012121iCIC1001100111 -i 2exp21)|(1T11MXMXXp21exp212221xx 2exp21)|(2T22MXMXXp21exp212221xx已知 ， ，又計(jì)算得：T10 , 1MT20,1M(2) 求似然比 1121121212exp12211221exp)|()|(xxxxxppXX 2exp21)|(1T11MXMXXp21exp212221xx 2exp21)|(2T22MXMXXp21exp212221xx12expx21X若，則(3) 求判別式?jīng)Q策規(guī)則： 兩邊取自

43、然對(duì)數(shù)，有 12xln得判別式 1xln2121X 若，則（2-62） (4) 求似然比閾值由 與 的關(guān)系有 eP2 122)|(RdpePXX122221122) 1(exp21dxdxxxxx 分離積分，向正態(tài)分布表的標(biāo)準(zhǔn)形式 )0(2122dxex變換，有 2221ln212122exp2121exp21dxxdxxeP令 有：yx11dyyeP1ln21222exp21)(查正態(tài)分布數(shù)值表，要求P2(e)=0.046。 01ln21 在表上查 。 954. 0046. 01當(dāng) 時(shí)， 。0)(1)(對(duì)應(yīng)=？對(duì)應(yīng)=1.69，即69. 169. 11ln21有98. 338. 1e計(jì)算得由（

44、2-62）式得判別界面：69. 0ln211x98. 338. 1e1xln2121X 若，則（2-62） 圖2.12 聶曼-皮爾遜決策結(jié)果總結(jié)分析：研究算法的三種思路 使風(fēng)險(xiǎn)（錯(cuò)誤引起的損失）最?。?最小平均風(fēng)險(xiǎn)Bayes決策 (0-1)損失最小風(fēng)險(xiǎn)Bayes決策 使總錯(cuò)誤率最小：最小錯(cuò)誤率Bayes決策 限制一個(gè)錯(cuò)誤概率，追求另一個(gè)最?。?Neyman-Person決策2.5 概率密度函數(shù)的參數(shù)估計(jì)概率密度函數(shù)的參數(shù)估計(jì)2.5.1 最大似然估計(jì)最大似然估計(jì)兩類估計(jì)方法： 概率密度函數(shù)的形式未知，直接估計(jì)概率密度函數(shù)的方法。 已知概率密度函數(shù)的形式而函數(shù)的有關(guān)參數(shù)未知，通過(guò)估計(jì)參數(shù)來(lái)估計(jì)概率

45、密度函數(shù)的方法。* 參數(shù)估計(jì)法：* 非參數(shù)估計(jì)法：兩種主要參數(shù)估計(jì)法：最大似然估計(jì)、貝葉斯估計(jì)。 設(shè)：i類的類概率密度函數(shù)具有某種確定的函數(shù)形式；是該函數(shù)的一個(gè)未知參數(shù)或參數(shù)集。最大似然估計(jì)把當(dāng)作確定的未知量進(jìn)行估計(jì)。 從i類中獨(dú)立地抽取N個(gè)樣本：,21NNXXXX1. 似然函數(shù)似然函數(shù)稱這N個(gè)樣本的聯(lián)合概率密度函數(shù) 為相對(duì)于樣本集X N 的的似然函數(shù)。 )|(NXpNkkNNppXp121)|()|,()|(XXXX在參數(shù) 下觀測(cè)到的樣本集X N 的概率(聯(lián)合分布)密度2. 最大似然估計(jì)最大似然估計(jì) 根據(jù)已經(jīng)抽取的N個(gè)樣本估計(jì)這組樣本“最可能”來(lái)自哪個(gè)密度函數(shù)。（“最似”哪個(gè)密度函數(shù)）也即：

46、要找到一個(gè)，它能使似然函數(shù) 極大化 。)|(NXp由 求得。0)|(dXdpN為一維時(shí)的最大似然估計(jì)示意圖的最大似然估計(jì)量 就是使似然函數(shù)達(dá)到最大的估計(jì)量。為便于分析，定義似然函數(shù)的對(duì)數(shù)為 )|(ln)(NXpH的最大似然估計(jì)是下面微分方程的解：0)(ddH 設(shè)i類的概率密度函數(shù)有p個(gè)未知參數(shù)，記為p維向量 T21,pNkkNXpXpH1)|(ln)|(ln)(0)|(ln1NkkXp此時(shí)0)|(ln0)|(ln0)|(ln11211NkkpNkkNkkXpXpXp解以上微分方程即可得到的最大似然估計(jì)值。 3. 正態(tài)分布情況舉例正態(tài)分布情況舉例 2,|NpiX設(shè)i類：正態(tài)分布、一維模式、概率密

47、度函數(shù)為待估計(jì)參數(shù)為，2。（4-69）其中， ， ， 。T21,122若X N表示從i中獨(dú)立抽取的N個(gè)樣本，則的似然函數(shù)為NkkNpXp1)|()|(X2222)2ln(21)|(lnkkpXX222exp21)|(kkpXX其中，NkkNkkNkkNkkpp122212121211102)(21)|(ln0)|(lnXXXX得2,|NpXip|X可表示為。由以上方程組解得均值和方差的估計(jì)量為NkkN111XNkkN1222) (1X類似地，多維正態(tài)分布情況： NkkiN11XMNkikikiN1T)(1MXMXC均值向量的最大似然估計(jì)是樣本的均值；最大似然估計(jì)結(jié)果： 協(xié)方差矩陣的最大似然估計(jì)

48、是N個(gè)矩陣的算術(shù)平均。2.5.2 貝葉斯估計(jì)與貝葉斯學(xué)習(xí)貝葉斯估計(jì)與貝葉斯學(xué)習(xí)貝葉斯估計(jì)和貝葉斯學(xué)習(xí)將未知參數(shù)看作隨機(jī)參數(shù)進(jìn)行考慮。 1貝葉斯估計(jì)和貝葉斯學(xué)習(xí)的概念貝葉斯估計(jì)和貝葉斯學(xué)習(xí)的概念1）貝葉斯估計(jì)步驟： 2）貝葉斯學(xué)習(xí)迭代計(jì)算式的推導(dǎo)： dpXppXpXpNNN)()|()()|()|(（2-72） |)|(XXppi（2-71） 式中)|()|()|(1NNNXppXpX除樣本XN以外其余樣本的集合 dpXppXpXpNNN)()|()()|()|(（2-72） （2-73） 將（2-73）式代入（2-72）式得 dpXpppXppXpNNNNN)()|()|()()|()|()|

49、(11XX類似地， dpXppXpXpNNN)()|()()|()|(111（2-74） （2-75） 將（2-75）式代入（2-74）式得dXppXppXpNNNNN)|()|()|()|()|(11XX（2-76） 參數(shù)估計(jì)的遞推貝葉斯方法，迭代過(guò)程即是貝葉斯學(xué)習(xí)的過(guò)程迭代式的使用： dXppXppXpNNNNN)|()|()|()|()|(11XXdpppppXp)()|()()|()|()|(1111XXX* 給出X2，對(duì)用X1估計(jì)的結(jié)果進(jìn)行修改。dXppXpppXp)|()|()|()|(),|()|(1212212XXXXdXppXppXpNNNNN)|()|()|()|()|(1

50、1XXdXppdXpXpNNN)|()|()|,(|XXX2正態(tài)分布密度函數(shù)的貝葉斯估計(jì)和貝葉斯學(xué)習(xí)正態(tài)分布密度函數(shù)的貝葉斯估計(jì)和貝葉斯學(xué)習(xí)1）貝葉斯估計(jì) 200,Np* 逐次給出X3，X4，XN，得到 dpxppxpxpNNN)()|()()|()|(式中， NkkNxpxp1)|()|()()|()|(1pxpxpNkkN（2-79） 有2,|Nxp 200,Np由于 有 )()|()|(1pxpxpNkkN202001222exp212exp21NkkxNkkx120202221exp 20012220212121expNkkxN221exp21)|(NNNNxp0220222020Nm

51、NNNN2202202NN式中，NkkNxNm11NNNNNddxp221exp21)|(0220222020NmNNNNkkNxNmNN1111 與最大似然估計(jì)形式類似221exp21)|(NNNNxp0220222020NmNNNN2202202NN式中，同前2）貝葉斯學(xué)習(xí)圖2.14 均值的貝葉斯學(xué)習(xí)過(guò)程示意圖dxpxpxxpNN)|()|(|dxNNN22222exp212exp21222222exp21NNNx可見：多維正態(tài)分布： ，C已知，M未知。CMX,|Npi00,CMMNp則利用貝葉斯估計(jì)得到的M的后驗(yàn)概率密度函數(shù)為NNNNpCMXM,|其中， 010100)1(1)1(MCCCMCCCMNNNN010)1(1CCCCCNNNkNkN11XM根據(jù)貝葉斯學(xué)習(xí)得到的類概率密度函數(shù)為MXMMXXXdpppNN)|()|(|2.6 概率密度函數(shù)的非參數(shù)估計(jì)概率密度函數(shù)的非參數(shù)估