模式識(shí)別第二章

模式識(shí)別第二章第1頁(yè)，共109頁(yè)，2023年，2月20日，星期一貝葉斯決策理論統(tǒng)計(jì)模式識(shí)別的主要方法之一

隨機(jī)模式分類方法的基礎(chǔ)采用貝葉斯決策理論分類的前提：目標(biāo)（事物）的觀察值是隨機(jī)的，服從一定的概率分布。即：模式不是一個(gè)確定向量，而是一個(gè)隨機(jī)向量。

第2頁(yè)，共109頁(yè)，2023年，2月20日，星期一用貝葉斯決策理論分類的要求：各類別總體概率分布是已知的

P(wi)及p(x/wi)已知，或P(wi/x)已知決策分類的類別確定第3頁(yè)，共109頁(yè)，2023年，2月20日，星期一特征向量、特征空間：設(shè)某個(gè)樣本（模式），可用d個(gè)特征量x1,x2,…,xd來(lái)刻化，即x=[x1,x2,…,xd]T——表示樣本的特征向量特征空間：這些特征的取值范圍構(gòu)成的d維空間，

為特征空間。每一個(gè)樣本可看作d維空間的向量或點(diǎn)特征向量:第4頁(yè)，共109頁(yè)，2023年，2月20日，星期一相關(guān)統(tǒng)計(jì)量：

P(wi)—類別wi出現(xiàn)的先驗(yàn)概率

p(x/wi)—類條件概率密度，即類別狀態(tài)為wi類時(shí)，出現(xiàn)模式x的條件概率密度，也稱似然函數(shù)。p(x)—全概率密度P(wi/x)—后驗(yàn)概率，即給定輸入模式x時(shí)，該模式屬于wi類的條件概率。P(wi,x)—聯(lián)合概率第5頁(yè)，共109頁(yè)，2023年，2月20日，星期一相互關(guān)系：貝葉斯公式：第6頁(yè)，共109頁(yè)，2023年，2月20日，星期一需解決的問(wèn)題：設(shè)：樣本集X，有C類別，各類別狀態(tài)為wi，i=1,…,C。已知P(wi)及p(x/wi)

要解決的問(wèn)題是：

當(dāng)觀察樣本x=[x1,x2,…,xd]T出現(xiàn)時(shí)，如何將x劃歸為某一類。第7頁(yè)，共109頁(yè)，2023年，2月20日，星期一方法：

已知類別的P(wi)及x的p(x/wi)，利用貝葉斯公式，可得類別的后驗(yàn)概率P(wi/x)

再基于最小錯(cuò)誤概率準(zhǔn)則、最小風(fēng)險(xiǎn)準(zhǔn)則等，就可統(tǒng)計(jì)判決分類。第8頁(yè)，共109頁(yè)，2023年，2月20日，星期一2.2幾種常用的決策規(guī)則1．基于最小錯(cuò)誤率的貝葉斯決策分類準(zhǔn)則：錯(cuò)誤率最小討論兩類問(wèn)題的決策：w1,w2例如：癌細(xì)胞檢查、產(chǎn)品質(zhì)量等第9頁(yè)，共109頁(yè)，2023年，2月20日，星期一合理決策依據(jù)：根據(jù)后驗(yàn)概率決策

已知后驗(yàn)概率P(w1|x),P(w2|x)，決策規(guī)則：當(dāng)P(w1|x)>P(w2|x)xw1，當(dāng)P(w1|x)<P(w2|x)xw2當(dāng)對(duì)具體樣本作觀察后，判斷出屬于wi的可能性后，再?zèng)Q策才合理。第10頁(yè)，共109頁(yè)，2023年，2月20日，星期一P(wi|x)的計(jì)算問(wèn)題：由貝葉斯公式得到，即：也稱為似然函數(shù)第11頁(yè)，共109頁(yè)，2023年，2月20日，星期一決策規(guī)則的等價(jià)形式1.若

則：2.則即：則，否則為常數(shù)，由貝葉斯公式,有若第12頁(yè)，共109頁(yè)，2023年，2月20日，星期一3.若稱為似然函數(shù)比稱為閾值，也稱為似然比則，否則其中：第13頁(yè)，共109頁(yè)，2023年，2月20日，星期一取對(duì)數(shù)形式：第14頁(yè)，共109頁(yè)，2023年，2月20日，星期一例：一大批人進(jìn)行癌癥普查w1病，w2正常P(w1)=0.005(P(w2)=0.955)設(shè)樣本具有一維特征，即x=陽(yáng)（或x=陰），根據(jù)臨床記錄統(tǒng)計(jì)第15頁(yè)，共109頁(yè)，2023年，2月20日，星期一

患癌試驗(yàn)反應(yīng)為陽(yáng)的概率為0.95，即：p(x=陽(yáng)/w1)=0.95（p(x=陰/w1)=0.05）

正常人試驗(yàn)反應(yīng)為陽(yáng)的概率為0.01，即：p(x=陽(yáng)/w2)=0.01（p(x=陰/w2)=0.99）問(wèn)：若化驗(yàn)的人為陽(yáng)，患癌的概率為多少？第16頁(yè)，共109頁(yè)，2023年，2月20日，星期一貝葉斯公式：

第17頁(yè)，共109頁(yè)，2023年，2月20日，星期一或：似然比形式判決閾值

只能作為普查篩選手段，要確診，還需做其它化驗(yàn)，提供更多信息

第18頁(yè)，共109頁(yè)，2023年，2月20日，星期一問(wèn)題：按這種辦法決策，是否出現(xiàn)的錯(cuò)誤概率最?。繉?duì)p(x|wi)P(wi)的討論。定義：平均錯(cuò)誤率求條件錯(cuò)誤概率:第19頁(yè)，共109頁(yè)，2023年，2月20日，星期一當(dāng)觀測(cè)到一個(gè)x值后，則x的條件錯(cuò)誤概率:（決策為w2時(shí)）（決策為w1時(shí)）第20頁(yè)，共109頁(yè)，2023年，2月20日，星期一在一維特征空間里，t為x軸上一個(gè)點(diǎn)，分類器將特征空間劃分成兩個(gè)區(qū)域：R1，R2在區(qū)域R1中在區(qū)域R2中第21頁(yè)，共109頁(yè)，2023年，2月20日，星期一二是xw2，而判為w1，圖中斜紋區(qū)域顯然，分類錯(cuò)誤包含兩種情況：一是xw1，而判為w2，圖中方格區(qū)域第22頁(yè)，共109頁(yè)，2023年，2月20日，星期一條件錯(cuò)誤率p(e|x)是x函數(shù)，對(duì)于大量樣本x，則總的錯(cuò)誤概率是p(e|x)的數(shù)學(xué)期望?？傚e(cuò)誤率為：陰影面積第23頁(yè)，共109頁(yè)，2023年，2月20日，星期一t不同，陰影面積不同，P(e)也不同。按式2-2或2-3決策，即t選擇在圖2-3圖示位置，使得對(duì)每個(gè)x，p(e|x)為最小，則p(e)也最小。該決策準(zhǔn)則使平均錯(cuò)誤率最小，稱為最小錯(cuò)誤率貝葉斯決策規(guī)則。（若改為t1，陰影面積增大）第24頁(yè)，共109頁(yè)，2023年，2月20日，星期一決策規(guī)則推廣到多類決策則例2.1自看作業(yè)：2.42.6第25頁(yè)，共109頁(yè)，2023年，2月20日，星期一2．基于最小風(fēng)險(xiǎn)的貝葉斯決策考慮：風(fēng)險(xiǎn)代價(jià)例：兩種錯(cuò)誤判決正常癌細(xì)胞癌細(xì)胞正常(后果嚴(yán)重，即損失更嚴(yán)重)后者錯(cuò)判風(fēng)險(xiǎn)遠(yuǎn)大于前者必須考慮風(fēng)險(xiǎn)問(wèn)題——決策使風(fēng)險(xiǎn)最小第26頁(yè)，共109頁(yè)，2023年，2月20日，星期一考慮各種錯(cuò)誤造成的損失不同而提出的一種決策規(guī)則，稱最小風(fēng)險(xiǎn)貝葉斯決策。定義損失函數(shù)：當(dāng)真正的類別（狀態(tài)）是wj而做出的決策卻屬于i時(shí)所帶來(lái)的損失（風(fēng)險(xiǎn)），用(i,wi)表示。i表示可能作出的決策，i=1,2…,a決策數(shù)目與類別數(shù)目可能相等，即a=c，也可能不等，這時(shí)a=c+1，因做決策時(shí)，還可采取“拒絕”決策最小風(fēng)險(xiǎn)貝葉斯決策第27頁(yè)，共109頁(yè)，2023年，2月20日，星期一不同的決策（i）和不同的類別(wj)形成一個(gè)a×c維的風(fēng)險(xiǎn)矩陣，即決策表。表中：狀態(tài)也稱類別，決策也稱判決，損失也稱為風(fēng)險(xiǎn)。兩類問(wèn)題：用ij=(i,wj)表示真類別為wj，卻判決為wi所招致的損失。表2.1第28頁(yè)，共109頁(yè)，2023年，2月20日，星期一說(shuō)明幾個(gè)概念（1）x=[x1,x2,…,xd]T—d維隨機(jī)向量（特征向量）（2）=[w1,w2,…,wc]—由c個(gè)狀態(tài)組成的狀態(tài)空間（3）A=[1,2,…,a]—有a個(gè)可能的決策組成的決策空間（4）(i,wj)i=1,…,a,j=1,…,c—真狀態(tài)wj，而采取決策i時(shí)帶來(lái)的損失（風(fēng)險(xiǎn)），稱損失函數(shù)第29頁(yè)，共109頁(yè)，2023年，2月20日，星期一

對(duì)于給定的x，若采取的決策平均風(fēng)險(xiǎn)為i，則有c個(gè)不同的(i,wj)（j=1,…,c）供選擇，隨意性大。定義(i,wj)的條件平均風(fēng)險(xiǎn)(i,wj)的條件平均風(fēng)險(xiǎn)：第30頁(yè)，共109頁(yè)，2023年，2月20日，星期一定義條件平均風(fēng)險(xiǎn)（損失的數(shù)學(xué)期望）：上式表示：針對(duì)特定的x值，采取決策i時(shí)所帶來(lái)的條件平均風(fēng)險(xiǎn)，i=1,2,…,a若只有兩類，則有可比較兩者的大小來(lái)決策第31頁(yè)，共109頁(yè)，2023年，2月20日，星期一

∵x是隨機(jī)向量，對(duì)不同的x，采取決策i時(shí)，決策i隨x的取值而定，是x的函數(shù)，記為(x)，(x)是隨機(jī)變量定義平均風(fēng)險(xiǎn)（總風(fēng)險(xiǎn)）

條件風(fēng)險(xiǎn)R(i|x)不能反映整個(gè)特征空間劃分成某類型空間的總平均風(fēng)險(xiǎn)。定義平均風(fēng)險(xiǎn)，即總風(fēng)險(xiǎn)：反映對(duì)特征空間X上所有樣本x的值采取決策(x)時(shí)，所帶來(lái)的平均風(fēng)險(xiǎn)。第32頁(yè)，共109頁(yè)，2023年，2月20日，星期一最小風(fēng)險(xiǎn)決策：思路：針對(duì)每一個(gè)x，計(jì)算出全部類別的條件風(fēng)險(xiǎn)R(i|x)。采取決策時(shí)，使條件風(fēng)險(xiǎn)最小，那么對(duì)所有x作決策時(shí)，其平均風(fēng)險(xiǎn)也必然最小。決策規(guī)則為：若即樣本x歸屬條件風(fēng)險(xiǎn)最小的那種決策。則所有決策條件風(fēng)險(xiǎn)兩類：其等價(jià)形式（作業(yè)2.6）第33頁(yè)，共109頁(yè)，2023年，2月20日，星期一實(shí)施最小風(fēng)險(xiǎn)判決規(guī)則的步驟：（1）給定x，由貝葉斯公式算出P(wj|x)j=1,…,C（2）已知決策表，計(jì)算各種決策的R(i|x)i=1,2,…a（3）按2-17式比較各R(i|x)，即則=k，將x歸入決策為k的類別例2.2（自看）即：判為異常與例2.1相比，分類結(jié)果剛好相反第34頁(yè)，共109頁(yè)，2023年，2月20日，星期一兩種決策規(guī)則的關(guān)系：定義0—1損失函數(shù)：最小錯(cuò)誤率貝葉斯決策規(guī)則是最小風(fēng)險(xiǎn)貝葉斯的特例∴P(wi|x)最大化，對(duì)應(yīng)R(i|x)最小化對(duì)x采取決策xwi時(shí)的條件錯(cuò)誤率所有后驗(yàn)概率加起來(lái)的和為1，即最小化第35頁(yè)，共109頁(yè)，2023年，2月20日，星期一∴當(dāng)規(guī)定正確決策損失為零，錯(cuò)誤決策損失相等時(shí)，相當(dāng)于選擇最大后驗(yàn)概率類——最小錯(cuò)誤率貝葉斯決策，也就是0—1損失函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策。第36頁(yè)，共109頁(yè)，2023年，2月20日，星期一“基于最小錯(cuò)誤率貝葉斯決策的蘋果圖像分割”

圖像分割方法有兩大類:基于輪廓的方法(邊緣檢測(cè))；基于區(qū)域的方法（依據(jù)某種相似性判決標(biāo)準(zhǔn)，考察像素間的相似程度，將像素劃分到不同類）。實(shí)例第37頁(yè)，共109頁(yè)，2023年，2月20日，星期一基于最小錯(cuò)誤率貝葉斯決策分割圖像第38頁(yè)，共109頁(yè)，2023年，2月20日，星期一由于蘋果表面色彩的不一致性，邊緣檢測(cè)法往往會(huì)把果面一些點(diǎn)也作為邊緣點(diǎn)誤檢測(cè)出來(lái)。貝葉斯方法更適合檢測(cè)蘋果的大小、形狀和表面缺陷邊緣檢測(cè)方法對(duì)圖像中的噪聲敏感最小錯(cuò)誤率貝葉斯決策進(jìn)行圖像分割則可避免將目標(biāo)和背景作為兩類進(jìn)行判別,得到較準(zhǔn)確的圖像分割結(jié)果，能明確其大小和位置，且對(duì)圖像中果面噪聲點(diǎn)有較好的抑制作用,無(wú)須濾波。第39頁(yè)，共109頁(yè)，2023年，2月20日，星期一3．聶曼—皮爾遜決策規(guī)則（Neyman—Pearson)

實(shí)際中存在以下幾種情況：(1)P(wi)不知(2)ij損失函數(shù)不知(3)某一類錯(cuò)誤較另一類錯(cuò)誤更嚴(yán)重限定一類錯(cuò)誤率條件下，使另一類錯(cuò)誤率為最小的兩類決策

問(wèn)題第40頁(yè)，共109頁(yè)，2023年，2月20日，星期一針對(duì)(1)，采用最小最大損失準(zhǔn)則—基于最壞情況下，平均代價(jià)最小針對(duì)(2)，采用最小錯(cuò)誤率決策準(zhǔn)則針對(duì)(3)，采用N-P（聶曼—皮爾遜）決策準(zhǔn)則。另外，(1)、(2)均不知，僅知道類概率密度時(shí)，可用N-P準(zhǔn)則。第41頁(yè)，共109頁(yè)，2023年，2月20日，星期一N-P準(zhǔn)則：討論兩類問(wèn)題平均錯(cuò)誤率：

但在多數(shù)模式識(shí)別系統(tǒng)中，p(wi),i都可預(yù)先規(guī)定，∴貝葉斯判據(jù)用得最廣第42頁(yè)，共109頁(yè)，2023年，2月20日，星期一N—P基本思想：0是很小的常數(shù)

取p2(e)常數(shù)條件下，使p1(e)最小，由此確定判決閾值t，即：為使p1(e)最小，適當(dāng)選擇正數(shù)，使最小化拉格朗日乘子法：第43頁(yè)，共109頁(yè)，2023年，2月20日，星期一式中

xw1

而錯(cuò)判為w2的錯(cuò)誤概率

xw2

而錯(cuò)判為w1的錯(cuò)誤概率根據(jù)類條件概密性質(zhì)（R=R1+R2，整個(gè)特征空間，R1與R2不相交）第44頁(yè)，共109頁(yè)，2023年，2月20日，星期一(是t的函數(shù)，即R1是變量)

要使最小，就是選擇R1，R2的邊界t，由此再選擇最佳，使最小。第45頁(yè)，共109頁(yè)，2023年，2月20日，星期一上式可寫為為使最小化，分別對(duì)t，求導(dǎo)，可得極值解?！鄑是0的函數(shù)，0定后可找出t。由此確定邊界面t，即確定R1、R2第46頁(yè)，共109頁(yè)，2023年，2月20日，星期一決策閾值N-P決策過(guò)程：第47頁(yè)，共109頁(yè)，2023年，2月20日，星期一1.已知0，由N-P決策過(guò)程：計(jì)算區(qū)域R1，即確定分界點(diǎn)t2.由t，計(jì)算出3.N—P判決規(guī)則為：∴只知道類條件概密時(shí)，可用N—P規(guī)則第48頁(yè)，共109頁(yè)，2023年，2月20日，星期一三種決策的聯(lián)系（似然比的決策門限不同）最小錯(cuò)誤率貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策第49頁(yè)，共109頁(yè)，2023年，2月20日，星期一2.2.4最小最大決策

在P(wi)不知或變化時(shí)，如何使最大可能的總風(fēng)險(xiǎn)最小化，即最壞情況下?tīng)?zhēng)取盡可能減小。固定的閾值不可能給出最優(yōu)結(jié)果，平均損失變大。實(shí)際中P(wi)變化，且變化范圍較大，甚至不知。不能按最小風(fēng)險(xiǎn)貝葉斯決策應(yīng)采用最小最大決策第50頁(yè)，共109頁(yè)，2023年，2月20日，星期一討論兩類問(wèn)題：損失函數(shù)ij：當(dāng)xwj時(shí)，決策為xwi的損失，i,j=1,2作出錯(cuò)誤決策比作出正確決策所帶來(lái)的損失更大∴21>11,12>22下面給出R與P(w)的函數(shù)關(guān)系:第51頁(yè)，共109頁(yè)，2023年，2月20日，星期一平均風(fēng)險(xiǎn)（即總風(fēng)險(xiǎn)、也稱期望風(fēng)險(xiǎn)）：根據(jù)R(i/x)定義及貝葉斯公式1的決策區(qū)域2的決策區(qū)域（將R表示成P(w)的函數(shù)）第52頁(yè)，共109頁(yè)，2023年，2月20日，星期一利用代入上式,整理得：其中：目的：需要分析平均風(fēng)險(xiǎn)R與P(w1)的關(guān)系用P(w1)表示平均風(fēng)險(xiǎn)R:第53頁(yè)，共109頁(yè)，2023年，2月20日，星期一可見(jiàn)：1）一旦決策區(qū)域R1，R2確定，即a,b為常數(shù)，平均風(fēng)險(xiǎn)R就是P(w1)的線性函數(shù)；即P(w1)變化時(shí)，R1，R2不作調(diào)整，則平均風(fēng)險(xiǎn)R與P(w1)呈線性關(guān)系。

2）P(w1)變化時(shí)，決策區(qū)域R1，R2劃分也變化，即a,b變化，則平均風(fēng)險(xiǎn)R與P(w1)是非線性關(guān)系。

求R與P(w1)的關(guān)系曲線：即R=f[P(w1)]第54頁(yè)，共109頁(yè)，2023年，2月20日，星期一先取定P(w1)求RP(w1)曲線：按最小風(fēng)險(xiǎn)貝葉斯決策確定分類面，即確定決策區(qū)域R1，R2利用上式求相應(yīng)的最小風(fēng)險(xiǎn)R*P(w1)從01取若干個(gè)值，重復(fù)上述過(guò)程，得到R*P(w1)關(guān)系曲線見(jiàn)圖2.4第55頁(yè)，共109頁(yè)，2023年，2月20日，星期一∴R與P(w1)是非線性關(guān)系，且曲線上R值都對(duì)應(yīng)每個(gè)P(w1)值的最小風(fēng)險(xiǎn)損失。圖中R*是當(dāng)P(w1)＝P*

(w1)時(shí)的最小風(fēng)險(xiǎn)值。R=f[P(w1)]第56頁(yè)，共109頁(yè)，2023年，2月20日，星期一如果區(qū)域R1、R2確定（a,b為常數(shù)），意味判別門限固定。當(dāng)P(w1)變化時(shí)，R與P(w1)為線性關(guān)系。顯然，得不到最佳結(jié)果，因CD直線在曲線上方，且aRa+b這時(shí)R最大可能的風(fēng)險(xiǎn)值為：R=a+b（圖中D點(diǎn)）不希望！見(jiàn)圖中CD直線第57頁(yè)，共109頁(yè)，2023年，2月20日，星期一

取不同的固定門限，有不同直線，對(duì)應(yīng)的R最大值不同。直線EF的最大值R=a+b

∵P(w1)是不知或變化的，∴考慮如何使最大可能風(fēng)險(xiǎn)為最小第58頁(yè)，共109頁(yè)，2023年，2月20日，星期一如果有某個(gè)P(w1)，使最小風(fēng)險(xiǎn)決策得到的區(qū)域R1、R2能使b=0，則

這時(shí)R與P(w1)無(wú)關(guān)，即最大可能的風(fēng)險(xiǎn)達(dá)到最小值為a第59頁(yè)，共109頁(yè)，2023年，2月20日，星期一1）以總風(fēng)險(xiǎn)R對(duì)P(w1)求極值，即方法：2）找出極值點(diǎn)后，該點(diǎn)的切線就為水平線，這時(shí)總風(fēng)險(xiǎn)R與P(w1)無(wú)關(guān)；∴b=0，意味決策區(qū)域的劃分使平均風(fēng)險(xiǎn)R達(dá)到曲線的極大值（最小風(fēng)險(xiǎn)的極大值）。由2-34求導(dǎo)，得令其為0，得極大值，第60頁(yè)，共109頁(yè)，2023年，2月20日，星期一見(jiàn)圖2-4b，當(dāng)P(w1)=P*M(w1)時(shí)，R=R*M為最大值。對(duì)應(yīng)決策區(qū)域不變時(shí)，R與P(w1)的關(guān)系為一條平行線CD，即不管P(w1)如何變化，風(fēng)險(xiǎn)不再變化。∴使最大風(fēng)險(xiǎn)達(dá)到了最小化！第61頁(yè)，共109頁(yè)，2023年，2月20日，星期一總結(jié)：當(dāng)P(w1)變化時(shí)，應(yīng)選使風(fēng)險(xiǎn)R達(dá)最大值（b＝0）時(shí)的P*(w1)來(lái)設(shè)計(jì)分類器。在這種分類決策區(qū)域，能保證不管P(w1)如何變化，最大風(fēng)險(xiǎn)為最小值a?！嘧钚∽畲鬀Q策任務(wù)就是尋找使R最大時(shí)的決策域R1，R2，即求b=0的決策域，由2-35求解。第62頁(yè)，共109頁(yè)，2023年，2月20日，星期一2.2.5序貫分類方法實(shí)際中，為得到x的d個(gè)觀測(cè)值，要花費(fèi)代價(jià)?？紤]每個(gè)特征值提取所花的代價(jià)，最優(yōu)分類結(jié)果不一定將d個(gè)特征值全部使用；另外，雖然特征數(shù)目增多，一般判決風(fēng)險(xiǎn)R(i/x)降低，但每個(gè)特征值貢獻(xiàn)不同。

∴排隊(duì)從大小，每投入一新特征，計(jì)算一次R，同時(shí)計(jì)算獲取新特征應(yīng)付出的代價(jià)與該特征對(duì)R的貢獻(xiàn)之和，比較后決定是否加入新特征。－－－序貫分類方法第63頁(yè)，共109頁(yè)，2023年，2月20日，星期一2.2.6分類器設(shè)計(jì)c類分類決策問(wèn)題：按決策規(guī)則把d維特征空間分為c個(gè)決策區(qū)域。決策面：劃分決策域的邊界面稱為決策面。數(shù)學(xué)上用決策面方程表示。幾個(gè)概念判別函數(shù)：表達(dá)決策規(guī)則的函數(shù)，稱為判別函數(shù)。第64頁(yè)，共109頁(yè)，2023年，2月20日，星期一1）定義一組判別函數(shù)根據(jù)決策規(guī)則若，將x歸于wi類即討論具體的判別函數(shù)、決策面方程、分類器設(shè)計(jì)第65頁(yè)，共109頁(yè)，2023年，2月20日，星期一例：基于最小錯(cuò)誤率貝葉斯判決規(guī)則，顯然其可定義為：判別函數(shù)有多種形式第66頁(yè)，共109頁(yè)，2023年，2月20日，星期一例：基于最小風(fēng)險(xiǎn)貝葉斯判決規(guī)則，判別函數(shù)可定義為：顯然，依據(jù)最大值判別法，且選擇不是唯一若將都乘以相同的正常數(shù)或加相同的常量，不影響判決結(jié)果第67頁(yè)，共109頁(yè)，2023年，2月20日，星期一一般地是單調(diào)遞增函數(shù)，則分類結(jié)果不變2）決策面方程（即判決邊界）若類型wi與wj的區(qū)域相鄰，它們之間的決策面方程為第68頁(yè)，共109頁(yè)，2023年，2月20日，星期一圖2.5(a)為一維特征空間的三個(gè)決策區(qū)域（d=1），決策面為分界點(diǎn)；根據(jù)判決規(guī)則，建立分類器結(jié)構(gòu)圖2.5(b)為二維特征空間的兩個(gè)決策區(qū)域（d=2），決策面為曲線；三維特征空間，分界處是曲面；d維特征空間，分界處是超曲面。第69頁(yè)，共109頁(yè)，2023年，2月20日，星期一3）分類器設(shè)計(jì)

（硬件＋軟件）功能：先確定選出判決第70頁(yè)，共109頁(yè)，2023年，2月20日，星期一g1(x)Maxg(x)g2(x)gn(x)例：圖2-6分類器的組成d維空間第71頁(yè)，共109頁(yè)，2023年，2月20日，星期一再由結(jié)果的正負(fù)作決策，可簡(jiǎn)化設(shè)計(jì)。見(jiàn)圖2-7兩類：求最大值可轉(zhuǎn)為將兩個(gè)判別函數(shù)相減，即定義一個(gè)簡(jiǎn)單判別函數(shù)例2.3g(x)閾值單元第72頁(yè)，共109頁(yè)，2023年，2月20日，星期一2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策（研究貝葉斯分類方法在正態(tài)分布中的應(yīng)用）很多時(shí)候，正態(tài)分布模型是一個(gè)合理假設(shè)。在特征空間中，某類樣本較多分布在這類均值附近，遠(yuǎn)離均值的樣本較少，一般用正態(tài)分布模型是合理的。a、正態(tài)分布在物理上是合理的、廣泛的。b、正態(tài)分布數(shù)學(xué)上簡(jiǎn)單，N(μ,σ2)只有均值和方差兩個(gè)參數(shù)研究的理由：第73頁(yè)，共109頁(yè)，2023年，2月20日，星期一1.一維正態(tài)分布，見(jiàn)式2－43（常見(jiàn)）第74頁(yè)，共109頁(yè)，2023年，2月20日，星期一2.多維（d維）隨機(jī)向量x的正態(tài)分布由多元聯(lián)合概率密度描述其中：d維特征向量d維均值向量且：協(xié)方差矩陣，對(duì)稱且有個(gè)獨(dú)立元素第75頁(yè)，共109頁(yè)，2023年，2月20日，星期一第76頁(yè)，共109頁(yè)，2023年，2月20日，星期一1）參數(shù)、對(duì)分布起決定性作用，即p(x)由、確定，記為N(,)，個(gè)獨(dú)立元素確定。2）等密度點(diǎn)軌跡為超橢球面，區(qū)域中心由μ決定，區(qū)域形狀由∑決定。正態(tài)分布特點(diǎn)：稱為超橢球面即等密度點(diǎn)滿足當(dāng)指數(shù)項(xiàng)為常數(shù)時(shí)，p(x)值不變第77頁(yè)，共109頁(yè)，2023年，2月20日，星期一在數(shù)理統(tǒng)計(jì)中被稱為馬氏距離的平方（Mahalanobis）∴等密度點(diǎn)軌跡是x到u的馬氏距離r為常數(shù)的超橢球面，其大小是樣本對(duì)均值向量的離散度度量。最小錯(cuò)誤率貝葉斯決策規(guī)則變?yōu)椋喝羧绻鹸到期望向量ui的馬氏距離最小，則xwi第78頁(yè)，共109頁(yè)，2023年，2月20日，星期一3）不相關(guān)性等價(jià)于獨(dú)立性對(duì)于正態(tài)分布的隨機(jī)向量x，若xi和xj之間不相關(guān)，則它們一定互相獨(dú)立不相關(guān)：獨(dú)立：推論：是對(duì)角陣，xii=1,…,d，互相獨(dú)立第79頁(yè)，共109頁(yè)，2023年，2月20日，星期一5）線性變換的正態(tài)性Y=AX，A為線性變換矩陣。若X為正態(tài)分布，則Y也是正態(tài)分布。即則4）邊緣分布和條件分布仍是正態(tài)分布例是正態(tài)分布，則是正態(tài)分布也是正態(tài)分布第80頁(yè)，共109頁(yè)，2023年，2月20日，星期一即：總可以找到一組坐標(biāo)系，使變換到新坐標(biāo)系的隨機(jī)變量是獨(dú)立的（重要?。┮虼耍偪梢哉业揭粋€(gè)線性變換矩陣A，使y的協(xié)方差陣AAT為對(duì)角尺寸，這時(shí)y的各分量之間獨(dú)立。

6）線性組合的正態(tài)性第81頁(yè)，共109頁(yè)，2023年，2月20日，星期一2.3.2正態(tài)分布下的最小錯(cuò)誤率貝葉斯判別函數(shù)和決策面

i=1,…,c其中1．判別函數(shù)最小錯(cuò)誤率判別函數(shù)是：服從第82頁(yè)，共109頁(yè)，2023年，2月20日，星期一進(jìn)行單調(diào)的對(duì)數(shù)變換，則判別函數(shù)為：決策面是超二次曲面，如：超平面，超球面，超橢球面馬氏距離的度量值第83頁(yè)，共109頁(yè)，2023年，2月20日，星期一2．決策面方程即：第84頁(yè)，共109頁(yè)，2023年，2月20日，星期一3．特殊情況1）對(duì)所有類即：各類協(xié)方差陣相等，且都是對(duì)角矩陣?！鷮?duì)角線為2，非對(duì)角線為零∴不影響分類，可忽略判別函數(shù)為：第85頁(yè)，共109頁(yè)，2023年，2月20日，星期一則判別函數(shù)變?yōu)椋簹W幾里得距離平方，即歐氏距離平方

得到歐氏距離的度量值，它是馬氏距離度量的一個(gè)特例。即：等密度點(diǎn)是圓形第86頁(yè)，共109頁(yè)，2023年，2月20日，星期一歐氏距離則貝葉斯決策規(guī)則變?yōu)樽钚【嚯x分類規(guī)則。最小距離分類法：服從正態(tài)分布，各類協(xié)方差矩陣且先驗(yàn)概率相等，則可執(zhí)行最小距離分類法。其判別規(guī)則為：若，則第87頁(yè)，共109頁(yè)，2023年，2月20日，星期一即：計(jì)算樣本x與μi的歐氏距離，找最近的μi把x歸類例：設(shè)一維特征空間（d=1）的樣本分布

u1=55.28，u2=79.74若則否則第88頁(yè)，共109頁(yè)，2023年，2月20日，星期一將展開(kāi)得：則判別函數(shù)：

其中，與分類無(wú)關(guān)，忽略即：——是線性判別函數(shù)，稱為線性分類器第89頁(yè)，共109頁(yè)，2023年，2月20日，星期一對(duì)于兩類情況：第90頁(yè)，共109頁(yè)，2023年，2月20日，星期一決策面方程：其中推出：決策面是一個(gè)通過(guò)x0，且與向量w正交的超平面超平面方程分類平面的法向量第91頁(yè)，共109頁(yè)，2023年，2月20日，星期一討論：（兩類情況）第92頁(yè)，共109頁(yè)，2023年，2月20日，星期一第93頁(yè)，共109頁(yè)，2023年，2月20日，星期一2）Σ

＝Σi

：仍是超平面，但不與垂直

求樣本x與各類均值的馬氏距離，把x歸于最近一類——最小距離分類器。第94頁(yè)，共109頁(yè)，2023年，2月20日，星期一決策規(guī)則：將進(jìn)一步簡(jiǎn)化第95頁(yè)，共109頁(yè)，2023年，2月20日，星期一對(duì)于兩類情況：第96頁(yè)，共109頁(yè)，2023年，2月20日，星期一討論：（針對(duì)ω1，ω2二類情況）第97頁(yè)，共109頁(yè)，2023年，2月20日，星期一3、第三種情況(一般情況)：二次項(xiàng)xTΣ?x與i有關(guān)。判別函數(shù)為二次型函數(shù)