模式識(shí)別郝曠榮Chap2(MSSB-HKR)

1、 2.1 引 言2.2 幾種常用的決策規(guī)則2.3 正態(tài)分布時(shí)的統(tǒng)計(jì)決策本章小節(jié)本章習(xí)題第二章 貝葉斯決策理論與 統(tǒng)計(jì)判別方法1本章要點(diǎn)1. 機(jī)器自動(dòng)識(shí)別出現(xiàn)錯(cuò)分類的條件，錯(cuò)分類的可能性如何計(jì)算，如何實(shí)現(xiàn)使錯(cuò)分類出現(xiàn)可能性最小基于最小錯(cuò)誤率的Bayes決策理論2. 如何減小危害大的錯(cuò)分類情況基于最小錯(cuò)誤風(fēng)險(xiǎn)的Bayes決策理論3. 模式識(shí)別的基本計(jì)算框架制定準(zhǔn)則函數(shù)，實(shí)現(xiàn)準(zhǔn)則函數(shù)極值化的分類器設(shè)計(jì)方法第二章 貝葉斯決策理論與 統(tǒng)計(jì)判別方法2本章要點(diǎn)4. 正態(tài)分布條件下的分類器設(shè)計(jì)5. 判別函數(shù)、決策面、決策方程等術(shù)語的概念6. Bayes決策理論的理論意義與在實(shí)踐中所遇到的困難第二章 貝葉斯決策

2、理論與 統(tǒng)計(jì)判別方法3本章難點(diǎn)：1. 三種概率：先驗(yàn)概率、類概率密度函數(shù)、后驗(yàn)概率的定義2. 三種概率之間的關(guān)系Bayes公式3. 描述隨機(jī)變量分布的一些定義，如期望值、方差、尤其是協(xié)方差、協(xié)方差矩陣，其定義、計(jì)算方法及內(nèi)在含義，透徹掌握其含義才會(huì)做到靈活運(yùn)用。第二章 貝葉斯決策理論與 統(tǒng)計(jì)判別方法42.1 引 言模式識(shí)別是一種分類問題：根據(jù)識(shí)別對(duì)象所呈現(xiàn)的觀察值，將其分到某個(gè)類別中去。統(tǒng)計(jì)決策理論是處理模式分類問題的基本理論之一，對(duì)模式分析和分類器的設(shè)計(jì)起指導(dǎo)作用。貝葉斯決策理論是統(tǒng)計(jì)模式識(shí)別中的一個(gè)基本方法，我們先討論這一決策理論，然后討論涉及統(tǒng)計(jì)判別方法的一些基本問題。52.1 引 言待

3、識(shí)別的物理對(duì)象的描述問題 特征：假設(shè)一個(gè)待識(shí)別的物理對(duì)象用其d個(gè)屬性觀察值描述，稱之為d個(gè)特征； 特征空間：這組成一個(gè)d維的特征向量，而這d維待征所有可能的取值范圍則組成了一個(gè)d維的特征空間。62.1 引 言貝葉斯決策理論方法所討論的問題：對(duì)c類不同的物理對(duì)象，以及各類在這d維特征空間的統(tǒng)計(jì)分布，i=1,2,c的先驗(yàn)概率P(i)及類條件概率密度函數(shù)p(x|i)已知的條件下，如何對(duì)某一樣本按其特征向量分類的問題。所觀察到的某一樣本的特征向量為X，在c類中又有不止一類可能呈現(xiàn)X值，這種可能性可用P(i|X)表示。接著要分析正態(tài)分布時(shí)統(tǒng)計(jì)決策的問題以及錯(cuò)誤概率等問題。由于這種決策理論以已知概率分布為

4、前提，因此在本章還要討論概念密度函數(shù)的估計(jì)問題。72.1 引 言機(jī)器實(shí)現(xiàn)自動(dòng)分類有兩大類方法：一種是模板匹配方法，而另一種就是對(duì)特征空間劃分為子空間(每類的勢力范圍)的方法。本章是針對(duì)第二種方法的。核心問題是：樣本為特征向量X時(shí)，它屬于哪一類可能性有多大，如能確定屬于各個(gè)類別的百分比(概率)分類決策就有了依據(jù)。例如某個(gè)樣本的特征向量為X，X屬于第一類樣本的可能性為60，而第二類的可能性為40。在沒有任何樣本信息的情況下，則應(yīng)將樣本決策為第一類以使錯(cuò)分類可能性小(40) 。82.2 幾種常用的決策規(guī)則本節(jié)將討論幾種常用的決策規(guī)則。不同的決策規(guī)則反映了分類器設(shè)計(jì)者的不同考慮，對(duì)決策結(jié)果有不同的影響

5、。最有代表性的是基于最小錯(cuò)誤率的貝葉斯決策與基于最小風(fēng)險(xiǎn)的貝葉斯決策，下面分別加以討論。92.2.1 基于最小錯(cuò)誤率的貝葉斯決策 一般說來，c類不同的物體應(yīng)該具有各不相同的屬性，在d維特征空間，各自有不同的分布。當(dāng)某一特征向量值X只為某一類物體所特有，問題在于出現(xiàn)模棱兩可的情況。此時(shí)，任何決策都存在判錯(cuò)的可能性。這一節(jié)討論的是使錯(cuò)誤率為最小的決策方法，稱為基于最小錯(cuò)誤率的貝葉斯決策理論102.2.1 基于最小錯(cuò)誤率的貝葉斯決策 最小錯(cuò)誤率是在統(tǒng)計(jì)意義上的含義。條件概率概念。P(*|#)是條件概率的通用符號(hào)，在“|”后邊出現(xiàn)的#為條件，之前的*為某個(gè)事件，即在某條件#下出現(xiàn)某個(gè)事件*的概率。P(

6、K|X)指在X出現(xiàn)條件下，樣本為K類的概率。一個(gè)事物在某條件下出現(xiàn)的概率P(*|#)與該事件在不帶任何條件下出現(xiàn)的概率(寫成P(*)是不相同的。例如全世界人口有60億。因此你見到一個(gè)人在不帶任何條件下，有20%的可能性是中國人P(*)=0.2，但是當(dāng)有條件時(shí)（地理?xiàng)l件），這個(gè)值會(huì)改變。112.2.1 基于最小錯(cuò)誤率的貝葉斯決策 例癌細(xì)胞的識(shí)別 假設(shè)每個(gè)要識(shí)別的細(xì)胞已作過預(yù)處理，并抽取出了d個(gè)特征描述量，用一個(gè)d維的特征向量X表示，識(shí)別的目的是要依據(jù)該X向量將細(xì)胞劃分為正常細(xì)胞1 或者異常細(xì)胞2 。類別的狀態(tài)是一個(gè)隨機(jī)變量。概率的估計(jì)包含兩層含義，一是由統(tǒng)計(jì)資料表明，正常細(xì)胞與異常細(xì)胞在統(tǒng)計(jì)意義

7、上的比例，這稱為先驗(yàn)概率P(1)及P(2)，另一種則分別表示所檢查細(xì)胞呈現(xiàn)出不同屬性的概率密度函數(shù)P(x|1)和P(x|2)。122.2.1 基于最小錯(cuò)誤率的貝葉斯決策 例癌細(xì)胞的識(shí)別 顯然在一般情況下正常細(xì)胞占比例大，即P(1)P(2)，因此如果我們不對(duì)具體的細(xì)胞化驗(yàn)值作仔細(xì)觀察，我們作出該細(xì)胞是正常細(xì)胞的判決，在統(tǒng)計(jì)的意義上來說，也就是平均意義上說，錯(cuò)判可能性比判為異常細(xì)胞時(shí)小。但是僅按先驗(yàn)概率來決策，就會(huì)把所有細(xì)胞都劃歸為正常細(xì)胞，并沒有達(dá)到將正常細(xì)胞與異常細(xì)胞區(qū)分開的目的。這表明由先驗(yàn)概率所提供的信息太少。132.2.1 基于最小錯(cuò)誤率的貝葉斯決策 例癌細(xì)胞的識(shí)別 還必須利用所抽取到的

8、d維觀測向量。為簡單起見，假定d=1，并已知這兩類的類條件概率密度函數(shù)分布已知，如圖2.1所示，其中P(x|1)是正常細(xì)胞的屬性分布，P(x|2)是異常細(xì)胞的屬性分布。那末，當(dāng)觀測向量為X值時(shí)，它屬于各類的概率又是多少呢?為此我們可以利用貝葉斯公式, 來計(jì)算這種條件概率，稱之為狀態(tài)的后驗(yàn)概率P(i|X)。1415Bayes(貝葉斯)公式聯(lián)合概率：同時(shí)出現(xiàn)兩個(gè)事件X及i的概率為P(x,i)。它是某個(gè)條件出現(xiàn)的概率(如P(i),以及在此條件下某事件出現(xiàn)概率(P(x|i)的乘積，在此寫為：P(x,i)=P(x|i)P(i)=P(i|x)P(x) 。先驗(yàn)概率是針對(duì)i，I1,2,c,這c個(gè)事件出現(xiàn)的可能

9、性而言的，不考慮其它任何條件。類條件概率密度函數(shù)P(x|i)：是指i條件下在一個(gè)連續(xù)的函數(shù)空間出現(xiàn)X的概率密度，在我們這里指第i類樣本他的屬性X是如何分布的。2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 16在得到一個(gè)待識(shí)別量的觀測狀態(tài)X后，可以通過先驗(yàn)概率P(i)及類別條件概率密度函數(shù)P(x|i)，得到呈現(xiàn)狀態(tài)X時(shí)該樣本分屬各類別的概率，這個(gè)概率值可作為識(shí)別對(duì)象判屬的依據(jù)。表示的類條件概率可用式(2-1)換算成如圖2.2所示的后驗(yàn)概率分布?？梢钥闯觯赬值小時(shí)，細(xì)胞被判為正常是比較合理的，判斷錯(cuò)誤的可能性小。基于最小錯(cuò)誤概率的貝葉斯決策理論又可以寫成如下幾種等價(jià)形式： (1) 如果 ,則 (2-2

10、)2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 17(2) 如用先驗(yàn)概率及類條件概率密度函數(shù)表示，則有：如果 , 則 (2-3)2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 18(3) 以比值的方式表示(似然比)， 如果 ，則 ， 否則 (2-4)(4) (2-4)式還可改寫成為對(duì)數(shù)形式，若則 ，否則 (2-5)2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 19例2.1假設(shè)在某地區(qū)切片細(xì)胞中正常(1)和異常()兩類的先驗(yàn)概率分別為P(1)=0.9，P(2)=0.1。現(xiàn)有一待識(shí)別細(xì)胞呈現(xiàn)出狀態(tài)x，由其類條件概率密度分布曲線查得p(x|1)=0.2，p(x|)=0.4，試對(duì)細(xì)胞x進(jìn)行分類。解：利用貝葉斯公式，分別計(jì)

11、算出狀態(tài)為x時(shí)1與的后驗(yàn)概率2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 20盡管類別呈現(xiàn)出狀態(tài)x的條件概率要高于1類呈現(xiàn)此狀態(tài)的概率，但是考慮到P(1)遠(yuǎn)大于P()，因此狀態(tài)x屬于類別1的可能性遠(yuǎn)比屬于類別的可能性大。將該細(xì)胞判為正常在統(tǒng)計(jì)的意義上講出錯(cuò)率要小得多。兩對(duì)概率，一對(duì)是P(1|x)和P(|x)，另一對(duì)是P(x|1)和P(x|2)。前一對(duì)是在同一條件x下，比較1與2出現(xiàn)的概率，如果我們只考慮兩類1和2，則有P(1|x)+P(2|x)=1。而對(duì)兩者進(jìn)行數(shù)值上的比較，如P(1|x) P(2|x)則可以下結(jié)論，在x條件下，事件1出現(xiàn)的可能性大。2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 21對(duì)P(

12、x|1)和P(x|2)來說，與第一對(duì)完全不同，因?yàn)樗鼈兪窃诓煌瑮l件下討論的問題因此比較兩者沒有意義，而且即使只有兩類1與2，P(x|1)+P(x|1)1。這里要特別強(qiáng)調(diào)一點(diǎn)是P(x|1)與P(x|2)兩者沒有聯(lián)系，都是指各自條件下出現(xiàn)x的可能性，不能僅因?yàn)榍罢弑群笳叽?，就認(rèn)為x是第一類事物的可能性較大，只有考慮先驗(yàn)概率這一因素，才能決定x條件下，1類還是2類的可能性比較大。2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 22為什么后驗(yàn)概率要利用Bayes公式從先驗(yàn)概率和類條件概率密度函數(shù)計(jì)算獲得。在估計(jì)先驗(yàn)概率與類條件概率密度函數(shù)時(shí)都可搜集到大量樣本，而對(duì)某一特定事件(如x)要搜集大量樣本是不太容易的

13、。因此只能借助Bayes公式來計(jì)算得到。對(duì)基于最小錯(cuò)誤率的貝葉斯決策來說，以后驗(yàn)概率值的大小作判據(jù)是最基本的方法，而其它形式的作用都基本相同，但使用時(shí)更方便些。2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 23在兩類別問題中，按(2-2)式給出的決策規(guī)則，當(dāng)P(2|x)p(1|x)時(shí)決策為2。顯然這個(gè)決策意味著，對(duì)觀測值x有P(1|x)概率的錯(cuò)誤率。例如在上例中所作的w1決策，實(shí)際上包含有P(2|x)=0.182的錯(cuò)誤概率。在兩類別的情況下，可以將p(e|x)表示成當(dāng)如果我們把作出1決策的所有觀測值區(qū)域稱為R1，則在R1區(qū)內(nèi)的每個(gè)x值，條件錯(cuò)誤概率為p(2|x)。另一個(gè)區(qū)R2中的x,條件錯(cuò)誤概率為p

14、(1|x)。2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 24因此平均錯(cuò)誤率P(e)可表示成 (2-8)由于在R1區(qū)內(nèi)任一個(gè)x值都有P(2|x)P(1|x)，同樣在R2區(qū)內(nèi)任一個(gè)x值都有P(1|x)P(2|x)錯(cuò)誤率在每個(gè)x值處都取小者，因而平均錯(cuò)誤率P(e)也必然達(dá)到最小，這就證明了按(2-2)式作出的決策，其平均錯(cuò)誤率為最小。2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 252.2.1 基于最小錯(cuò)誤率的貝葉斯決策 26為了形象地說明以上證明，圖2.3表示了在某種概率分布下R1與R2區(qū)的分布情況，該圖分別畫出p(x1)P(1)及p(x2)P(2)的分布情況，由于P(e)也可以(2-8)式寫成 (2-9)

15、因此錯(cuò)誤率為圖中兩個(gè)劃線部分之和，顯而易見只有這種劃分才能使對(duì)應(yīng)的錯(cuò)誤率區(qū)域面積為最小。2.2.1 基于最小錯(cuò)誤率的貝葉斯決策 272.2.1 基于最小錯(cuò)誤率的貝葉斯決策 在C類別情況下，很容易寫成相應(yīng)的最小錯(cuò)誤率貝葉斯決策規(guī)則：如果 , (2-10)也可將其寫成用先驗(yàn)概率與類條件概率密度相聯(lián)系的形式，得：(2-11)282.2.1 基于最小錯(cuò)誤率的貝葉斯決策 至于計(jì)算多類別決策過程中的錯(cuò)誤率，需把特征空間分割成R1，R2，Rc個(gè)區(qū)域，在每個(gè)區(qū)域Ri統(tǒng)計(jì)將所有其它類錯(cuò)誤劃為該區(qū)域?qū)?yīng)的i類的概率，則每個(gè)區(qū)域共有c-1項(xiàng)錯(cuò)誤率，總共有c(c-1)計(jì)算項(xiàng)，計(jì)算是很繁瑣的。為此，可以改成計(jì)算平均正確

16、分類概率P(c)即由于上式中只有c項(xiàng)，計(jì)算要簡單得多。然后通過式子P(e)=1-P(c)，就可計(jì)算出平均錯(cuò)誤率。292.2.1 基于最小錯(cuò)誤率的貝葉斯決策 例 應(yīng)用貝葉斯決策的膚色提取302.2.1 基于最小錯(cuò)誤率的貝葉斯決策 例利用貝葉斯原理，可以建立簡單的膚色模型，并用來從圖像中提取手部、臉部膚色，進(jìn)而得到人的身體姿勢。使用的方法是：1先在一副訓(xùn)練圖象中手工描繪出膚色區(qū)域，2然后統(tǒng)計(jì)每種顏色點(diǎn)在膚色區(qū)域中出現(xiàn)的次數(shù)和在區(qū)域外出現(xiàn)的次數(shù)的比值，作為這種顏色是膚色的概率312.2.1 基于最小錯(cuò)誤率的貝葉斯決策 3這樣就得到了一張查找表，表中的每個(gè)元素是這個(gè)點(diǎn)是膚色的概率。我們就得到了一個(gè)點(diǎn)是

17、不是膚色的概率分布。4再加上域值限制之后，認(rèn)為只有概率大于一定域值的才是膚色。這樣，對(duì)圖中任意一點(diǎn)，查找表中對(duì)應(yīng)的概率，就可以很快的知道它是不是膚色了。322.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策基于最小錯(cuò)誤概率的決策方法的改進(jìn) 從式(2-10)可以看出，在分類時(shí)所作的判決(稱之為決策)單純?nèi)Q于觀測值X對(duì)各類(也稱自然狀態(tài))的后驗(yàn)概率中之最大值，因而也就無法估計(jì)作出錯(cuò)誤決策所帶來的損失。 332.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策基于最小錯(cuò)誤概率的決策方法的改進(jìn)為此不妨將作出判決的依據(jù)從單純考慮后驗(yàn)概率最大值，改為對(duì)該觀測值X條件下各狀態(tài)后驗(yàn)概率求加權(quán)和的方式，表示成 (2-13) 其中 表示觀測

18、樣本X實(shí)屬類別j,而被判為狀態(tài)i時(shí)所造成的損失，Ri則表示了觀測值X被判為i類時(shí)損失的均值。342.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策基于最小錯(cuò)誤概率的決策方法的改進(jìn)如果我們希望盡可能避免將某狀態(tài)j，錯(cuò)判為狀態(tài)i，則可將相應(yīng)的 權(quán)值選擇得大些，以表明損失的嚴(yán)重性。加權(quán)和Ri用來衡量觀測樣本X被判為狀態(tài)i所需承擔(dān)的風(fēng)險(xiǎn)。而究竟將X判為何類則應(yīng)依據(jù)所有Ri, (i=1,c)中的最小值，即最小風(fēng)險(xiǎn)來定。 352.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策我們見到一個(gè)病理切片X，如果X確實(shí)是癌細(xì)胞(2)，但被判作正常(1)，則會(huì)有損失，這種損失用 表示，X確實(shí)是正常(1)，卻被判定為異常(2)，則損失表示成 ，另

19、外為了使式子寫的更方便，我們也可以定義 與 ，是指正確判斷也可有損失。那么把X判作1引進(jìn)的損失應(yīng)該與 以及 都有關(guān)，哪一個(gè)占主要成分，則取決于P(1|X)與P(2|X)。因此變成了一個(gè)加權(quán)和362.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策同樣將X判為2的風(fēng)險(xiǎn)就成為此時(shí)作出哪一種決策就要看是R1(X)小還是R2(X)小了，這就是基于最小風(fēng)險(xiǎn)的貝葉斯決策的基本出發(fā)點(diǎn)。有關(guān)該例的數(shù)值例子在例2.2。372.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策(1)自然狀態(tài)與狀態(tài)空間。其中自然狀態(tài)是指待識(shí)別對(duì)象的類別，而狀態(tài)空間則是由所有自然狀態(tài)所組成的空間，=1，2，c(2)決策與決策空間。 在決策論中，對(duì)分類問題所作的判決，

20、稱之為決策，由所有決策組成的空間稱為決策空間。 決策不僅包括根據(jù)觀測值將樣本劃歸哪一類別(狀態(tài))，還可包括其它決策，如“拒絕”等，因此決策空間內(nèi)決策總數(shù)a可以不等于類別數(shù)c,表示成382.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策(3)損失函數(shù)(i|j)(或?qū)懗?i,j)。這就是前面我們引用過的 。它明確表示對(duì)自然狀態(tài)j，作出決策i時(shí)所造成的損失。(4)觀測值X條件下的期望損失R(i|X), ,i=1,2,a(2-14) 這就是前面引用的符號(hào)Ri，也稱為條件風(fēng)險(xiǎn)。最小風(fēng)險(xiǎn)貝葉斯決策規(guī)則可寫成: 則 =k (2-15)392.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策與基于最小錯(cuò)誤概率的決策方法中所引用的平均錯(cuò)誤率

21、P(e)相類似，在這里引入一個(gè)期望風(fēng)險(xiǎn)R， (2-16)它表示對(duì)所有X取值所作的決策(X)所帶來的平均風(fēng)險(xiǎn)。與上一節(jié)證明基于最小錯(cuò)誤概率的貝葉斯決策方法相類似，當(dāng)所采取的每一個(gè)決策都使其條件風(fēng)險(xiǎn)最小，則對(duì)所有的X所作的決策，其期望風(fēng)險(xiǎn)也必然最小。402.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策最小風(fēng)險(xiǎn)貝葉斯決策可按下列步驟進(jìn)行：(1)在已知P(i)，P(X|i)，i=1,，c及給出待識(shí)別的X的情況下，根據(jù)貝葉斯公式計(jì)算出后驗(yàn)概率： j=1,，x (2)利用計(jì)算出的后驗(yàn)概率及決策表，按式(2-14)計(jì)算出采取i,i=1,，a的條件風(fēng)險(xiǎn) (3)對(duì)(2)中得到的a個(gè)條件風(fēng)險(xiǎn)值R(i|X),i=1,，a進(jìn)行比

22、較，找出使條件風(fēng)險(xiǎn)最小的決策k，則k就是最小風(fēng)險(xiǎn)貝葉斯決策。412.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 例2.2 在例2.1條件的基礎(chǔ)上，并且已知11=0,(11表示(1|1)的簡寫)，12=6,21=1，22=0，按最小風(fēng)險(xiǎn)貝葉斯決策進(jìn)行分類。解：已知條件為P(1)0.9, P(2)0.1p(X|1)0.2, p(X|2)0.4110, 126, 211, 220根據(jù)2.1的計(jì)算結(jié)果可知后驗(yàn)概率為P(1|X)0.818, P(2|X)0.182再按式(2-14)計(jì)算出條件風(fēng)險(xiǎn) 422.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 再按式(2-14)計(jì)算出條件風(fēng)險(xiǎn)由于R(1|X)R(2|X)即決策為2的條件

23、風(fēng)險(xiǎn)小于決策為1的條件風(fēng)險(xiǎn)，因此應(yīng)采取決策行動(dòng)2，即判待識(shí)別的細(xì)胞X為2類異常細(xì)胞。 432.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 將本例與例2.1相對(duì)比，其分類結(jié)果正好相反，這是因?yàn)橛绊憶Q策結(jié)果的因素又多了一個(gè)“損失”。由于兩類錯(cuò)誤決策所造成的損失相差很懸殊，因此“損失”在這里起了主導(dǎo)作用。從以上討論可以看出，正確制訂損失函數(shù)值，是基于最小風(fēng)險(xiǎn)的貝葉斯決策方法在實(shí)際中使用的一個(gè)關(guān)鍵問題。而實(shí)際中列出合適的決策表并不是一件容易的事，需根據(jù)所研究的具體問題，分析錯(cuò)誤決策造成損失的嚴(yán)重程度，與有關(guān)專家共同商討來確定 442.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 上面兩種決策方法之間的關(guān)系 設(shè)損失函數(shù)為，

24、(2-17) 式中假定對(duì)C類只有C個(gè)決策，不考慮“拒絕”等其它情況，(2-17)表明，當(dāng)作出正確決策(即i=j)時(shí)沒有損失，而對(duì)于任何錯(cuò)誤決策，其損失均為1。這樣定義的損失函數(shù)稱為01損失函數(shù)。452.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 根據(jù)(2-14)式條件風(fēng)險(xiǎn)為 (2-18) 而 也恰恰是將X判為i時(shí)的錯(cuò)誤概率。因此基于最小風(fēng)險(xiǎn)的貝葉斯決策結(jié)果，在01損失函數(shù)情況下，也就是基于最小錯(cuò)誤概率的貝葉斯決策結(jié)果。最小錯(cuò)誤率貝葉斯決策就是在01損失函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策。換句話說，前者是后者的特例。實(shí)際上 ，因此，當(dāng) 最大時(shí) 最小。與基于最小錯(cuò)誤率的貝葉斯決策的判據(jù)一樣。462.2.2 基于

25、最小風(fēng)險(xiǎn)的貝葉斯決策 如果我們只考慮兩類別問題，并只有一維特征向量的情況，我們可以畫出一張與圖2.4類似的圖，用來表示最小風(fēng)險(xiǎn)貝葉斯決策方法的分類結(jié)果。與圖2.3不同的是，R1與R2兩個(gè)區(qū)域的分界線不再是t,而是向左移了一段距離，這是由于損失函數(shù)12比21大所造成(可以假設(shè)11220)，在發(fā)生位移這一區(qū)域內(nèi)，盡管P(x|1)P(1)P(x|2)P(2)，但是為了減少將2錯(cuò)判為1所帶來的嚴(yán)重?fù)p失，在P(x|2)P(2)尚不很小的情況下，使將2類樣本錯(cuò)判為1的可能性減小，以減小決策所承擔(dān)的風(fēng)險(xiǎn)。當(dāng)然平均錯(cuò)誤率則明顯增大了。472.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 圖中紫線為分類線，左邊被識(shí)別為第1

26、類，右邊為第2類，兩條曲線為概率分布曲線，紫線左側(cè)紅線以下表示把第二類錯(cuò)分為第一類的可能性，另一塊灰色區(qū)域含義類似。整個(gè)灰色區(qū)域加權(quán)后可以表示風(fēng)險(xiǎn)。482.2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策 (2-13)式定義了樣本為X作出i決策時(shí)的期望風(fēng)險(xiǎn)一種是由于樣本存在分屬各類的可能性，而對(duì)實(shí)屬一類卻決策成i類會(huì)造成程度不同的損失，因而期望損失應(yīng)是風(fēng)險(xiǎn)系數(shù) 與 相乘之總和。另一種看法可以將損失看成是對(duì)后驗(yàn)概率的重要性作加權(quán)， 是對(duì) 的加權(quán)系數(shù)。因此只要 稍大一點(diǎn)，就會(huì)使風(fēng)險(xiǎn)明顯增大。公式(2-17)與(2-18)說明了基于最小錯(cuò)誤率與基于最小風(fēng)險(xiǎn)兩種Bayes決策的關(guān)系，結(jié)論是基于最小錯(cuò)誤率的決策是基于最

27、小風(fēng)險(xiǎn)決策的一個(gè)特例。492.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為 最小的兩類別決策先驗(yàn)概率未知或先驗(yàn)概率發(fā)生變化的情況在這種情況下，如果仍按某一組先驗(yàn)概率值P(i)作決策，則很可能使實(shí)際的決策效果有較大的錯(cuò)誤率或較大風(fēng)險(xiǎn)。那末能否找到一種合適的分類器設(shè)計(jì)，使其最大可能的風(fēng)險(xiǎn)為最小。換句話說，如果先驗(yàn)概率值在較大范圍內(nèi)變化，就可能產(chǎn)生的最大風(fēng)險(xiǎn)而言是最小的。而這一節(jié)講的是哪一種辦法，即不考慮先驗(yàn)概率，而只要求限定某一種錯(cuò)誤率條件下，使另一類錯(cuò)誤率最小502.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為 最小的兩類別決策在前面的討論中，曾提到在兩類別問題中，可能會(huì)出現(xiàn)兩種錯(cuò)誤分類的情況。

28、利用(2-9)式，平均錯(cuò)誤率P(e)可按下式計(jì)算 如令 則上式又可寫成 (2-19) 512.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為 最小的兩類別決策由于先驗(yàn)概率P(1)與P(2)在具體問題中往往是確定的，因此一般稱P1(e)，P2(e)為兩類錯(cuò)誤率。實(shí)際中，有時(shí)要求將其中某一類錯(cuò)誤率限制在某個(gè)常數(shù)之下而使另一類錯(cuò)誤率盡可能小。例如在癌細(xì)胞識(shí)別中，希望將異常細(xì)胞錯(cuò)判的概率P2(e)限制在很小的值，如P2(e)=0為一個(gè)很小的常數(shù)，同時(shí)又使P1(e)盡可能小。這種決策要求可看成是在P2(e)=0條件下，求P1(e)極小值的條件極值問題，因此可以用求條件極值的拉格朗日乘子法解決。 522.2

29、.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率 為最小的兩類別決策為此我們寫出如下算式 (2-20)其中為拉格朗日乘子，目的是求的極小值。按定義 (2-21) (2-22) 其中R1與R2分別是1與2的決策域，而R1與R2組成整個(gè)特征空間R，且彼此互不交迭。因此如果被識(shí)別樣本X落入R1中，就被判定為1，反之屬2。 2-22)532.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率 為最小的兩類別決策由于R1與R2不相交并組成整個(gè)特征空間，應(yīng)有 (2-23) 將式(2-21)，(2-22)代入(2-20)，并考慮到(2-23)可得) (2-24) 將(2-24)式分別對(duì)X和求導(dǎo)，并令 及 ， 可得 (2-2

30、5)、(2-26) 2-22)542.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為 最小的兩類別決策(2-25)與(2-26)的方程式就決定了這樣一個(gè)分界面，它使P2(e)=0，同時(shí)又在該條件下使P1(e)盡可能小。該分界面上X值具有這樣一個(gè)特點(diǎn)，即它們的兩類條件密度函數(shù)之比是一個(gè)常數(shù)，該比值就是拉格朗日乘子。這種決策規(guī)則可寫成：如果 則 (227) 或如果 ，則 (228) ( 552.2.3在限定一類錯(cuò)誤率條件下使另一類錯(cuò)誤率為 最小的兩類別決策這種在限定某一類錯(cuò)誤為常數(shù)而使另一類錯(cuò)誤率最小的決策也稱Neyman-Pearson決策規(guī)則。如果將(2-28)與最小錯(cuò)誤率決策規(guī)則(2-24)相

31、對(duì)比，可以看出該決策規(guī)則也是以似然比為基礎(chǔ)的，但兩者所使用的閾值不同。最小錯(cuò)誤率決策使用 為閾值，而N-P決策則使用由(2-25)與(2-26)方程的解獲得的一個(gè)常數(shù)。在高維時(shí)，直接求解不易。一般可利用P2(e)與值之間存在的單調(diào)函數(shù)關(guān)系，采用選擇一些值的試探法，最終找到一合適的值，既能使P2(e)=0條件滿足，又能使P1(e)盡可能小。 ( 562.2.4 判別函數(shù)、決策面與分類器設(shè)計(jì) 在分類器設(shè)計(jì)中使用的一些概念，這就是決策面與判別函數(shù)。在前面討論中曾提到，分類決策實(shí)質(zhì)上是在描述待識(shí)別對(duì)象的d維特征所組成的特征空間內(nèi)，將其劃分為c個(gè)決策域，待識(shí)別的特征向量落在哪個(gè)決策域，該樣本就被判為哪一

32、類。因此決策域的邊界面就是決策面，在數(shù)學(xué)上用解析形式表示成決策面方程。用于表達(dá)決策規(guī)則的某些函數(shù)則稱為判別函數(shù)。顯然判別函數(shù)與決策面方程是密切相關(guān)的，并且都是由相應(yīng)決策規(guī)則所確定的。 ( 572.2.4 判別函數(shù)、決策面與分類器設(shè)計(jì) 例如在兩類別問題中，按最小錯(cuò)誤率作決策時(shí)，決策規(guī)則的一種形式是 否則 則相應(yīng)的判別函數(shù)就是gi(X)P(i|X), i=1,2而決策面方程則可寫成g1(X)g2(X)此時(shí)決策規(guī)則也可以寫成用判別函數(shù)表示的形式如果gi(X)gj(X) i,j=1,2 且 ij則Xi，否則 582.2.4 判別函數(shù)、決策面與分類器設(shè)計(jì) 至于多類別情況，則對(duì)應(yīng)于一種決策規(guī)則要定義一組判

33、別函數(shù)gi(X)， i=1,2,，c而決策規(guī)則可表示成如果 ，則將X歸于i類；多類別情況下的決策面方程比兩類問題復(fù)雜，并且只有在特征空間中具有相鄰關(guān)系的決策域的邊界面才是有意義的決策面。當(dāng)i的決策域與j的決策域相鄰時(shí)，以下關(guān)系決定了相應(yīng)的決策面gi(X)gj(X)592.2.4 判別函數(shù)、決策面與分類器設(shè)計(jì) 在討論了判別函數(shù)等概念后，設(shè)計(jì)分類器的任務(wù)就清楚了。多類別情況下的決策面方程比兩類問題復(fù)雜，并且只有在特征空間分類器可以用軟件或硬件實(shí)現(xiàn)。圖2.6表示了兩類別問題分類器的框圖，而圖2.7則表示了多類別分類器的結(jié)構(gòu)框圖。兩者主要的不同在于多類別情況需有一個(gè)求最大值的環(huán)節(jié)，在圖2.7中用MAX

34、表示，而兩類情況則可簡化為正負(fù)號(hào)判別器(閾值單元)。602.2.4 判別函數(shù)、決策面與分類器設(shè)計(jì) 612.2.4 判別函數(shù)、決策面與分類器設(shè)計(jì) 622.2.4 判別函數(shù)、決策面與分類器設(shè)計(jì) 分類器設(shè)計(jì)問題主要集中在判別函數(shù)的選擇，使用最小風(fēng)險(xiǎn)決策時(shí)合理的損失函數(shù)的確定。此外貝葉斯決策理論都是基于統(tǒng)計(jì)分布確定的情況下的計(jì)算，而統(tǒng)計(jì)參數(shù)的確定恰恰是最困難的問題。Bayes決策理論其實(shí)很簡單，對(duì)特征空間任一點(diǎn)X只要能確定落在該點(diǎn)的樣本X屬于哪一種類的可能性大，就將這點(diǎn)劃分到這類的決策域。問題是后驗(yàn)概率P(i|X)要通過先驗(yàn)概率和類概率密度函數(shù)計(jì)算。顯然具體的決策域劃分與樣本的概率分布有關(guān)。結(jié)合正態(tài)分

35、布概率密度函數(shù)進(jìn)行討論，在討論結(jié)束時(shí)我們會(huì)發(fā)現(xiàn)從中可以得到不少啟示。63小結(jié) 分類器設(shè)計(jì)兩種最基本的原則是關(guān)鍵。錯(cuò)分率最小即完全以減少分類錯(cuò)誤為原則和基于最小風(fēng)險(xiǎn)的貝葉斯決策的原理。弄清后驗(yàn)概率等幾個(gè)概念，為什么用后驗(yàn)概率大小來判斷就能實(shí)現(xiàn)錯(cuò)誤率最??？“風(fēng)險(xiǎn)”與“損失”的概念也很重要，通過它們把錯(cuò)分類造成的影響考慮進(jìn)來了。a.風(fēng)險(xiǎn)系數(shù) 是怎么定義的？b.為什么對(duì)某個(gè)樣本作第i個(gè)決策的風(fēng)險(xiǎn)要按(2-13)或(2-14)等式計(jì)算？c.如果 比 大得多，那么分類器設(shè)計(jì)希望避免哪一類錯(cuò)分類？ 大則表示這種錯(cuò)誤造成的損失大，希望這一類錯(cuò)誤盡可能減少。64小結(jié) 判別函數(shù)：分類所用的計(jì)算式的特點(diǎn)，是比較所計(jì)

36、算數(shù)值大小。這種函數(shù)就稱為判別函數(shù)，函數(shù)的自變量是樣本X，故一般表示成gi(X)，如果 則稱特征空間的這一點(diǎn)X是第i類的決策域。由gi(X)占主導(dǎo)地位的區(qū)域稱為第i類的決策域，我們將它表示成Ri，決策面方程：如果第i類決策域Ri與第j類決策域相鄰，則它們之間有邊界。在邊界上有g(shù)i(X)=gj(X),該式是一個(gè)方程式，稱為決策面方程。652.3 正態(tài)分布時(shí)的 統(tǒng)計(jì)決策 662.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)一、單變量正態(tài)分布 單變量正態(tài)分布概率密度函數(shù)定義為 （2-29） 式中表示隨機(jī)變量x的數(shù)學(xué)期望，2為其方差，而則稱為標(biāo)準(zhǔn)差。 （2-30） （2-31） 67首先正態(tài)分布是指一個(gè)隨機(jī)

37、實(shí)數(shù)度量值在整個(gè)實(shí)數(shù)域上的分布規(guī)律。因此它屬于概率密度函數(shù)類，不是我們所討論的先驗(yàn)概率P(i)，也不是后驗(yàn)概率P(i|X)，而是p(x|i)。式(2-29)用p(x)表示，是因?yàn)橥ㄓ霉?，如具體到我們的情況，可將(2-29)具體化，則 其中i, i分別是對(duì)(2-29)中及的具體化。2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)68多元正態(tài)分布1.概率密度函數(shù)多元是指樣本以多個(gè)變量來描述，或具有多個(gè)屬性，在此一般用d維特征向量表示，Xx1，xdT。d維特征向量的正態(tài)分布用下式表示 （2-32） 其中是X的均值向量，也是d維，EX1，2，dT (2-33)是dd維協(xié)方差矩陣，而1是的逆矩陣，|是的行列

38、式E(X)(X)T (2-34)是非負(fù)矩陣，在此我們只考慮正定陣，即|0。2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)69二元正態(tài)分布：我們著重討論二維向量，是一個(gè)隨機(jī)向量，其中每一個(gè)分量都是隨機(jī)變量，服從正態(tài)分布。但是一個(gè)二維隨機(jī)向量不僅要求考慮每個(gè)分量單獨(dú)的分布，還要考慮兩個(gè)隨機(jī)變量之間的關(guān)系。下圖的例子中的兩個(gè)二元正態(tài)分布的各個(gè)分量是相同的，即它們的期望(1和2)方差( 1和2 )都相同，但這兩個(gè)特征向量在空間的分布卻不相同。從下圖：2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)70二元正態(tài)分布： 協(xié)方差 :衡量x1 和x2 之間的相關(guān)性 協(xié)方差越大，說明兩個(gè)變量的相關(guān)度越高。 協(xié)方差矩陣 那

39、么以下是上兩圖特征向量分布的協(xié)方差矩陣：2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)712.性質(zhì)：(1)參數(shù)與對(duì)分布具有決定性。這一點(diǎn)與單變量時(shí)是相似的，記作p(X)N(，)。 (2)等密度點(diǎn)分布在超橢球面上。由于(2-32)是指數(shù)函數(shù)，因此等密度點(diǎn)對(duì)應(yīng)：(x)(x)常數(shù) (2-35)在二維情況下，(2-35)的解是一個(gè)橢圓軌跡，其長短軸方向由的特征向量決定，各軸的長度與相應(yīng)的特征值成正比。 在數(shù)理統(tǒng)計(jì)中把(x-)(x-)稱為向量x到向量的Mahalanobis距離的平方，即r2(x)(x) (2-36)按此定義多元正態(tài)分布等密度點(diǎn)X的軌跡是到的Mahalanolbis距離為常數(shù)的超橢球面。2.

40、3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)722.性質(zhì)：(3)多元正態(tài)分布的離散程度由參數(shù)|決定，這與單變量時(shí)由標(biāo)準(zhǔn)差決定是對(duì)應(yīng)一致的。(4)正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性。在數(shù)理統(tǒng)計(jì)中一般情況下，兩個(gè)隨機(jī)變量xi與xj之間不相關(guān)，并不意味著它們之間一定獨(dú)立。然而對(duì)多元正態(tài)分布的任意兩個(gè)分量xi與xj而言，如果xi與xj不相關(guān)，則它們之間也一定是獨(dú)立的，也就是說正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性。2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)735)邊緣分布和條件分布的正態(tài)性。每個(gè)分量單獨(dú)的分布也是正態(tài)分布。另，對(duì)某個(gè)分量或若干個(gè)分量保持常數(shù)的條件下樣本的分布也仍然是正態(tài)的。(6)線性變換的正態(tài)性。經(jīng)線性

41、變換后，原正態(tài)分布的樣本可變?yōu)榱硪粎?shù)不同的正態(tài)分布樣本。同時(shí)由于協(xié)方差矩陣是對(duì)稱矩陣，因此總可以找到某個(gè)線性變換A，使變換后的協(xié)方差矩陣AA成為對(duì)角矩陣，這就意味著在某一個(gè)新的坐標(biāo)系統(tǒng)中，可以做到使各分量之間是相互獨(dú)立的。這一性質(zhì)對(duì)解決某些模式識(shí)別問題有重要意義。(7)線性組合的正態(tài)性。這是指多元正態(tài)分布的隨機(jī)向量，在經(jīng)過線性組合后得到的一維隨機(jī)變量也是正態(tài)分布的。2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)74在正態(tài)分布條件下最小錯(cuò)誤率貝葉斯分類器有些特殊的性質(zhì)，可使判別函數(shù)及決策面方程計(jì)算得到不同程度的簡化。下面我們從最簡單的情況開始討論，然后逐漸涉及較一般的情況。 一、最小距離分類器情況

42、 二、線性分類器 三、各類協(xié)方差矩陣不相等的情況 2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 75采用(2-3)式表示的決策規(guī)則，即如果 則Xi 因此判別函數(shù)為 ，其中 是多元正態(tài)分布，可表示成 。考慮到正態(tài)分布函數(shù)是指數(shù)函數(shù)形式，判別函數(shù)采用對(duì)數(shù)形式則更為方便，因此判別函數(shù)可寫成： (2-37)2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 76相應(yīng)的決策面方程為 即 (2-38)2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 77一、最小距離分類器情況在正態(tài)分布的某一種特殊情況下，最小錯(cuò)誤率貝葉斯分類器可演化成最小距離分類器。最小距離分類器的定義是，每個(gè)樣本以它到每類

43、樣本均值的歐氏距離的最小值確定其分類，即如果 則Xi (2-39)樣本分布滿足以下正態(tài)分布條件時(shí)，最小錯(cuò)誤分類器與(2-39)表示的決策規(guī)則相當(dāng)；2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 78以上條件表明，c類樣本都以半徑相等的超球面形狀分布在特征空間內(nèi)，且具有相等的先驗(yàn)概率。圖(a)表示一個(gè)在二維特征空間中滿足上述條件的兩類別問題示意圖，圖中兩類分布為兩個(gè)相同的同心園，圖中1與2為其圓心。 2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 79在這種條件下，由于|2d及i-1=2I，代入(2-37)得 (2-40) 由于決策是根據(jù)各判別函數(shù)之間的大小，因而在(2-38)中一些

44、與類別無關(guān)的項(xiàng)可以忽略，再加上先驗(yàn)概率相等這個(gè)條件，判別函數(shù)可簡化成2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 80二、線性分類器決策面為超平面的分類器稱為線性分類器。有不止一種正態(tài)分布概率模型，可使最小錯(cuò)誤率貝葉斯決策的決策面具有超平面形式。這里我們討論兩種情況。(1)i=2 I , i=1,，c這種情況與上一種情況不同之處在于并不要求各類的先驗(yàn)概率相等這個(gè)條件。在這種情況下，判別函數(shù)可從(2-38)簡化為 (2-42)2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 81二、線性分類器(2-42)是X的二次函數(shù)，但是由于二項(xiàng)XTX與類別號(hào)i無關(guān)，因此判別函數(shù)可進(jìn)一步簡化成 (2-43)其中 (2-44) (2-45)可見判別函數(shù)為一線性函數(shù)。根據(jù)決策面方程gi(X)gi(X)0可有 (2-46)2.3.2正態(tài)分布概率模型下的最小錯(cuò)誤率 貝葉斯決策 82利用 及 代入(2-46)并整理，可得WT(XX0)0 (2-47)其中Wi-j (2-48) 由(2-47)與(2-48)式可以看出，決策面為一超平面，其法線方向?yàn)?ij)，當(dāng)P(i)P(j)時(shí)該超平面過(i+j)/2點(diǎn)，在二維情況下，就是過i與j