基于貝葉斯決策理論的分類器講義

第二章

基于貝葉斯決策理論的分類器

Classifiers

BasedonBayesDecisionTheory現(xiàn)在是1頁(yè)\一共有59頁(yè)\編輯于星期五§1引言§2

Bayes決策理論最小錯(cuò)誤率的貝葉斯決策最小風(fēng)險(xiǎn)的貝葉斯決策§3

Bayes分類器和判別函數(shù)§4

正態(tài)分布的Bayes決策

現(xiàn)在是2頁(yè)\一共有59頁(yè)\編輯于星期五§1引言模式識(shí)別是根據(jù)對(duì)象特征值將其分類。

d個(gè)特征組成特征向量x=[x1,···,xd]T，生成d維特征空間，在特征空間一個(gè)

x稱為一個(gè)模式樣本。Bayes決策理論是用概率統(tǒng)計(jì)方法研究決策問(wèn)題。⒈為什么可用Bayes決策理論分類？⑴樣本的不確定性：①樣本從總體中抽取，特征值都是隨機(jī)變量，在相同條件下重復(fù)觀測(cè)取值不同，故x為隨機(jī)向量。②特征選擇的不完善引起的不確定性；③測(cè)量中有隨機(jī)噪聲存在?，F(xiàn)在是3頁(yè)\一共有59頁(yè)\編輯于星期五⑵另一方面從樣本的可分性來(lái)看：當(dāng)各類模式特征之間有明顯的可分性時(shí)，可用直線或曲線(面)設(shè)計(jì)分類器，有較好的效果。當(dāng)各類別之間出現(xiàn)混淆現(xiàn)象時(shí)，則分類困難。

這時(shí)需要采用統(tǒng)計(jì)方法，對(duì)模式樣本的統(tǒng)計(jì)特性進(jìn)行觀測(cè)，分析屬于哪一類的概率最大。此時(shí)要按照某種判據(jù)分類，如，分類錯(cuò)誤發(fā)生的概率最小，或在最小風(fēng)險(xiǎn)下進(jìn)行分類決策等?，F(xiàn)在是4頁(yè)\一共有59頁(yè)\編輯于星期五⒉三個(gè)重要的概率和概率密度先驗(yàn)概率、類條件概率密度函數(shù)、后驗(yàn)概率。⑴先驗(yàn)概率P(wi)

由樣本的先驗(yàn)知識(shí)得到先驗(yàn)概率，可從訓(xùn)練集樣本中估算出來(lái)。例如，兩類10個(gè)訓(xùn)練樣本，屬于w1為2個(gè)，屬于w2為8個(gè)，則先驗(yàn)概率P(w1)=0.2，P(w2)=0.8。⑵類條件概率密度函數(shù)p(x|wi)

模式樣本x在wi類條件下，出現(xiàn)的概率密度分布函數(shù)。也稱p(x|wi)為wi

關(guān)于x

的似然函數(shù)。在本章中均假設(shè)已知上述概率和概率密度函數(shù)?，F(xiàn)在是5頁(yè)\一共有59頁(yè)\編輯于星期五⑶后驗(yàn)概率P(wi|x)

定義為某個(gè)樣本x,屬于wi

類的概率,i=1,···,c。如果用先驗(yàn)概率P(wi)來(lái)確定待分樣本x的類別,依據(jù)顯然是非常不充分的，須用類條件概率密度p(x|wi)來(lái)修正。根據(jù)樣本x

的先驗(yàn)概率和類條件概率密度函數(shù)p(x|wi)用Bayes公式重新修正模式樣本所屬類的概率，稱后驗(yàn)概率P(wi|x)。3.用Bayes決策理論分類時(shí)要求：①各類總體的概率分布是已知的。②要決策的類別數(shù)c是一定的?，F(xiàn)在是6頁(yè)\一共有59頁(yè)\編輯于星期五§2

Bayes

決策理論1.Bayes公式，也稱Bayes法則

2.Bayes分類規(guī)則：用后驗(yàn)概率分類現(xiàn)在是7頁(yè)\一共有59頁(yè)\編輯于星期五類條件概率密度后驗(yàn)概率上圖現(xiàn)在是8頁(yè)\一共有59頁(yè)\編輯于星期五現(xiàn)在是9頁(yè)\一共有59頁(yè)\編輯于星期五3.最小錯(cuò)誤率的Bayes

決策⑴為什么這樣分類的結(jié)果平均錯(cuò)誤率最??？在一維特征空間中，t為兩類的分界面分成兩個(gè)區(qū)域R1和R2，R1為(－∞,t)；R2為(t,∞)。

R1區(qū)域所有x值：分類器判定屬于w1類；

R2區(qū)域所有x值：分類器判定屬于w2類。判斷錯(cuò)誤的區(qū)域?yàn)殛幱鞍鼑拿娣e。x0現(xiàn)在是10頁(yè)\一共有59頁(yè)\編輯于星期五判定錯(cuò)誤區(qū)域及錯(cuò)誤率真實(shí)狀態(tài)w2，而把模式x判定屬于w1類真實(shí)狀態(tài)w1，而把模式x判定屬于w2類平均錯(cuò)誤率P(e)決策規(guī)則實(shí)際上對(duì)每個(gè)x都使

p(e|x)取小者，移動(dòng)決策面t

都會(huì)使錯(cuò)誤區(qū)域增大，因此平均錯(cuò)誤率最小?，F(xiàn)在是11頁(yè)\一共有59頁(yè)\編輯于星期五⑵錯(cuò)誤率計(jì)算：多類時(shí)，特征空間分割成R1,···Rc

，P(e)由c×(c-1)項(xiàng)組成，計(jì)算量大。用平均正確分類率P(c)計(jì)算只有c項(xiàng)：現(xiàn)在是12頁(yè)\一共有59頁(yè)\編輯于星期五

例1：細(xì)胞識(shí)別已知：正常類P(w1)＝0.9;異常類P(w2)＝0.1

待識(shí)別細(xì)胞x,從類條件概率密度曲線上查得

p(x|w1)＝0.2;p(x|w2)＝0.4

這種規(guī)則先驗(yàn)概率起決定作用。這里沒(méi)有考慮錯(cuò)誤分類帶來(lái)的損失?，F(xiàn)在是13頁(yè)\一共有59頁(yè)\編輯于星期五4.最小風(fēng)險(xiǎn)的Bayes決策⑴把分類錯(cuò)誤引起的“損失”加入到?jīng)Q策中去。決策論中：采取的決策稱為動(dòng)作，用ai表示；每個(gè)動(dòng)作帶來(lái)的損失，用l表示。歸納數(shù)學(xué)符號(hào)：現(xiàn)在是14頁(yè)\一共有59頁(yè)\編輯于星期五

一般用決策表或損失矩陣表示上述三者關(guān)系。

決策表表示各種狀態(tài)下的決策損失，如下表：現(xiàn)在是15頁(yè)\一共有59頁(yè)\編輯于星期五由于引入了“損失”的概念(即在錯(cuò)判時(shí)造成的損失)，不能只根據(jù)后驗(yàn)概率來(lái)決策，必須考慮所采取的決策是否使損失最小。對(duì)于給定的x，決策ai，l可在c個(gè)l(ai,wj)中選一個(gè)，其相應(yīng)的后驗(yàn)概率為P(wj|x)。此時(shí)的條件期望損失，即后驗(yàn)概率加權(quán)和在決策論中條件期望損失稱為條件風(fēng)險(xiǎn)，即x被判為i類時(shí)損失的均值。由于x是隨機(jī)向量的觀察值，不同的x采取不同決策ai，其條件風(fēng)險(xiǎn)的大小是不同的?，F(xiàn)在是16頁(yè)\一共有59頁(yè)\編輯于星期五

決策a可看成隨機(jī)向量x的函數(shù)，記為a(x)，它本身也是一個(gè)隨機(jī)變量。定義期望風(fēng)險(xiǎn)R

dx是d維特征空間的體積元，積分在整個(gè)特征空間。期望風(fēng)險(xiǎn)R反映對(duì)整個(gè)特征空間上所有x的取值都采取相應(yīng)的決策a(x)所帶來(lái)的平均風(fēng)險(xiǎn)；而條件風(fēng)險(xiǎn)R(ai|x)只反映觀察到某一x的條件下采取決策ai

所帶來(lái)的風(fēng)險(xiǎn)。如果采取每個(gè)決策行動(dòng)ai使條件風(fēng)險(xiǎn)R(ai|x)最小，則對(duì)所有的x作出決策時(shí)，其期望風(fēng)險(xiǎn)R也必然最小。這就是最小風(fēng)險(xiǎn)Bayes決策。現(xiàn)在是17頁(yè)\一共有59頁(yè)\編輯于星期五⑵最小風(fēng)險(xiǎn)的Bayes決策規(guī)則：現(xiàn)在是18頁(yè)\一共有59頁(yè)\編輯于星期五如果只有兩類的情況下這時(shí)最小風(fēng)險(xiǎn)的Bayes決策法則為：如果R(a1|x)<R(a2|x),則x的真實(shí)狀態(tài)w1,否則w2。兩類時(shí)最小風(fēng)險(xiǎn)Bayes決策規(guī)則的另兩種形式：

現(xiàn)在是19頁(yè)\一共有59頁(yè)\編輯于星期五例2：條件同例1，利用決策表，按最小風(fēng)險(xiǎn)Bayes決策分類。

這里決策與例1結(jié)論相反為異常細(xì)胞。因損失起了主導(dǎo)作用。l不易確定，要與有關(guān)專家商定。

現(xiàn)在是20頁(yè)\一共有59頁(yè)\編輯于星期五

例3：現(xiàn)有兩類問(wèn)題，比較兩種Bayes決策。已知：?jiǎn)蝹€(gè)特征變量x為正態(tài)分布兩類方差都為s2=1/2,均值分別為m=0,1

即求：①若先驗(yàn)概率P(w1)=P(w2)=1/2，計(jì)算最小錯(cuò)誤率情況下的閾值x0。②如果損失矩陣為

計(jì)算最小風(fēng)險(xiǎn)情況下的閾值x0?，F(xiàn)在是21頁(yè)\一共有59頁(yè)\編輯于星期五①最小錯(cuò)誤概率情況下閾值x0

(取對(duì)數(shù)運(yùn)算)

②最小風(fēng)險(xiǎn)情況下閾值x0

如果這兩類不是等概率，

P(w1)<P(w2),閾值左移也就是說(shuō)擴(kuò)大最大可能類的區(qū)域?？赡苄源蟮念惪僧a(chǎn)生更小的誤差。閾值左移現(xiàn)在是22頁(yè)\一共有59頁(yè)\編輯于星期五⑶拒絕決策在某些情況下拒絕決策比錯(cuò)誤判別風(fēng)險(xiǎn)要小。樣本x在各種判別條件下的平均風(fēng)險(xiǎn)當(dāng)i=c+1時(shí)，如果R(ac+1|x)<R(ai|x),i=1,2,···,c則對(duì)x作出拒絕判別。若此時(shí)各類拒絕判別風(fēng)險(xiǎn)相同，即都為lz，則則拒絕判別的條件為

lz<R(ai|x),i=1,2,···,c?，F(xiàn)在是23頁(yè)\一共有59頁(yè)\編輯于星期五5.兩種Bayes決策關(guān)系①多類問(wèn)題中，若損失函數(shù)為0—1時(shí)

現(xiàn)在是24頁(yè)\一共有59頁(yè)\編輯于星期五②兩類問(wèn)題中，若有即所謂對(duì)稱損失函數(shù)的情況下，這時(shí)最小風(fēng)險(xiǎn)的Bayes決策和最小錯(cuò)誤概率的Bayes決策方法相同。6.此外還有下列三種主要的決策方法：聶曼－皮爾遜決策：兩類模式中，一類錯(cuò)誤率為常數(shù)，另一類錯(cuò)誤率達(dá)到極小值時(shí)的決策。最大最小決策：考慮到先驗(yàn)概率有可能改變的分類方法。選擇風(fēng)險(xiǎn)為最大時(shí)的P(w)來(lái)設(shè)計(jì)。序貫分類決策：考慮特征的獲取要付出一定的代價(jià)。先用一部分特征來(lái)分類，逐步加入特征以減少分類損失?，F(xiàn)在是25頁(yè)\一共有59頁(yè)\編輯于星期五§3

Bayes分類器和判別函數(shù)c類的分類問(wèn)題，就是按決策規(guī)則將d維特征空間劃分為c個(gè)決策區(qū)域，其邊界稱為決策面，用決策面方程表示。用于表示決策規(guī)則的函數(shù)稱為判別函數(shù)

g(x)

。c個(gè)類就有c個(gè)由d個(gè)特征組成的單值函數(shù)，即判別函數(shù)g(x)

。1.Bayes決策中的判別函數(shù)

gi(x)=P(wi|x)最小錯(cuò)誤概率的決策規(guī)則

gi(x)=-R(ai|x)最小風(fēng)險(xiǎn)的決策規(guī)則

決策規(guī)則：

gi(x)>gj(x)所有i≠j

則x∈wi

現(xiàn)在是26頁(yè)\一共有59頁(yè)\編輯于星期五兩類情況下，設(shè)最小錯(cuò)誤率的Bayes決策規(guī)則的四種等價(jià)形式后驗(yàn)概率類條件概率密度函數(shù)與先驗(yàn)概率似然比似然比取對(duì)數(shù)現(xiàn)在是27頁(yè)\一共有59頁(yè)\編輯于星期五多類情況下，設(shè)最小錯(cuò)誤率的Bayes決策規(guī)則的四種等價(jià)形式現(xiàn)在是28頁(yè)\一共有59頁(yè)\編輯于星期五2.決策面方程各決策域R被決策面所分割，這些決策面是特征空間中的點(diǎn)、直線、超曲面，相鄰的兩個(gè)決策域在決策面上其判別函數(shù)相等。決策面方程應(yīng)滿足

gi(x)=gj(x)gij(x)=gi(x)－gj(x)=0i≠j

且i與j為相鄰的兩類。一維、三類二維、二類現(xiàn)在是29頁(yè)\一共有59頁(yè)\編輯于星期五只有兩類的分界面：

x為一維，決策面為一分界點(diǎn)；如圖(a)

x為二維，決策面為一曲線；如圖(b)

x為三維，決策面為一曲面；

x為d維，決策面為一超曲面(b)現(xiàn)在是30頁(yè)\一共有59頁(yè)\編輯于星期五3.分類器設(shè)計(jì)在d維特征空間內(nèi)，劃分為c個(gè)決策區(qū)域。⑴多類：根據(jù)各類訓(xùn)練集樣本x計(jì)算得到c個(gè)判別函數(shù)gi，將待分樣本計(jì)算gi，從中選擇最大值作為類決策。分類器可看成由硬件或軟件組成的一個(gè)“機(jī)器”?，F(xiàn)在是31頁(yè)\一共有59頁(yè)\編輯于星期五⑵兩類：兩類分類器可看作只是對(duì)x計(jì)算判別函數(shù)的一個(gè)“機(jī)器”，根據(jù)計(jì)算結(jié)果的符號(hào)將x分類?，F(xiàn)在是32頁(yè)\一共有59頁(yè)\編輯于星期五例4對(duì)例1和例2分別列出判別函數(shù)和決策面方程例1.判別函數(shù)

決策面方程

例2.判別函數(shù)

決策面方程：現(xiàn)在是33頁(yè)\一共有59頁(yè)\編輯于星期五§4正態(tài)分布的Bayes決策

大量隨機(jī)變量服從正態(tài)分布,而且數(shù)學(xué)上容易處理,因此以正態(tài)分布為例來(lái)說(shuō)明。1.正態(tài)分布函數(shù)和性質(zhì)⑴單變量的正態(tài)分布概率密度函數(shù)

性質(zhì)：p(x)由m,s2確定。隨機(jī)變量

x集中在均值m附近,其分散度正比于標(biāo)準(zhǔn)差s,95%樣本落入|x-m|<2s范圍內(nèi)。現(xiàn)在是34頁(yè)\一共有59頁(yè)\編輯于星期五⑵多元(維)正態(tài)分布的概率密度函數(shù)

現(xiàn)在是35頁(yè)\一共有59頁(yè)\編輯于星期五⑶多元正態(tài)分布的性質(zhì)：①參數(shù)m和S決定分布形狀概率密度函數(shù)由d+d(d+1)/2個(gè)數(shù)目的參數(shù)唯一確定，其中d為均值數(shù)，d(d+1)/2為協(xié)方差數(shù)。通常記為。②等概率密度點(diǎn)的軌跡為一超橢球面

x大部分落在以均值向量m為中心，大小由協(xié)方差矩陣S確定的區(qū)域。指數(shù)項(xiàng)為常數(shù)的x點(diǎn)即為等概率密度。因此超橢球的方程應(yīng)是現(xiàn)在是36頁(yè)\一共有59頁(yè)\編輯于星期五超橢球主軸方向由S的本征向量確定，其長(zhǎng)度與協(xié)方差矩陣的本征值l平方根成正比。證明：中心移到坐標(biāo)原點(diǎn)m=0，，可用這約束條件構(gòu)造Lagrange函數(shù)，求極值得到?，F(xiàn)在是37頁(yè)\一共有59頁(yè)\編輯于星期五

在數(shù)理統(tǒng)計(jì)中，定義稱x到m的Mahalanobis(馬氏)距離平方。所以等概率密度點(diǎn)的軌跡是x到μ的馬氏距離為常數(shù)的超橢球面。③在正態(tài)分布中不相關(guān)性等價(jià)于獨(dú)立性。若兩個(gè)隨機(jī)變量xi和xj間

對(duì)多元正態(tài)的任意兩個(gè)分量xi和xj來(lái)說(shuō)兩者等價(jià)。如果xi和xj是統(tǒng)計(jì)獨(dú)立，∑中xi

的方差sii2,xi和xj的協(xié)方差sij2,則sij2＝0,∑為對(duì)角矩陣。則x=(x1,···,xd)T各分量是相互獨(dú)立的正態(tài)分布隨機(jī)變量?，F(xiàn)在是38頁(yè)\一共有59頁(yè)\編輯于星期五④多元正態(tài)分布的邊緣分布和條件分布具有正態(tài)性⑤線性變換的正態(tài)性：

x為多元正態(tài)分布的隨機(jī)向量，其均值向量為m，協(xié)方差矩陣為S。對(duì)x作線性變換，即

y=AxA為線性變換矩陣，且非奇異，變換后服從均值向量為Am，協(xié)方差矩陣為A∑AT的多元正態(tài)分布。

p(y)~N(Am,A∑AT)

⑥線性組合的正態(tài)性

x為多元分布的正態(tài)隨機(jī)向量，則線性組合y=aTx

是一維的正態(tài)隨機(jī)變量,a是與x同維向量

p(y)~N(aTm,

aT∑A)現(xiàn)在是39頁(yè)\一共有59頁(yè)\編輯于星期五2.正態(tài)分布的最小錯(cuò)誤率的Bayes分類

條件概密函數(shù)

判別函數(shù)

現(xiàn)在是40頁(yè)\一共有59頁(yè)\編輯于星期五

決策面方程根據(jù)相鄰的決策域在決策面上的判別函數(shù)相等，下面討論幾種不同的情況：

⑴Si=s2I,i=1,2,···,c⑵Si＝S

⑶Si≠Sj,

i,j=1,2,···,c

現(xiàn)在是41頁(yè)\一共有59頁(yè)\編輯于星期五⑴Si=s2I各類模式分布的協(xié)方差矩陣相等，各xi統(tǒng)計(jì)獨(dú)立且方差相同，協(xié)方差均為0。幾何上相當(dāng)于各類樣本落在以mi為中心同樣大小的一些超球體中。判別函數(shù)中第二和第三項(xiàng)與類別i無(wú)關(guān)

若c類先驗(yàn)概率相等，則gi(x)可忽略最后一項(xiàng)。歐氏距離平方：現(xiàn)在是42頁(yè)\一共有59頁(yè)\編輯于星期五Bayes決策：①P(wi)=P(wj)先驗(yàn)概率相等測(cè)量從待分類向量x到每一類均值向量的歐氏距離，把x分到距離最近的類，mi是從訓(xùn)練樣本集中得到的。也稱最小距離分類器。若把每個(gè)均值向量mi看作一個(gè)典型的樣本(模板)，則這種分類方法也稱為模板匹配技術(shù)。②P(wi)≠P(wj)

歐氏距離的平方必須用方差s2規(guī)范化后減去lnP(wi)再用于分類。因此，如果待分類的向量x

同兩類均值向量的歐氏距離相等，則最小錯(cuò)誤概率Bayes決策把這模式歸入先驗(yàn)概率大的那類?，F(xiàn)在是43頁(yè)\一共有59頁(yè)\編輯于星期五實(shí)際使用中不必計(jì)算歐氏距離，把gi(x)展開(kāi)可得這是x的二次函數(shù)，其中xT

x與分類無(wú)關(guān)

這是與均值有關(guān)的線性判別函數(shù)，組成線性分類器。對(duì)待分類的樣本x,分別計(jì)算gi(x),i=1,2,···,c

gk(x)＝maxgi(x)則決策x∈wki現(xiàn)在是44頁(yè)\一共有59頁(yè)\編輯于星期五

決策面方程相鄰決策面方程是由上述線性方程所確定的一個(gè)超平面，且討論的是方差相等，協(xié)方差為0這樣一種特殊情況，即。

這個(gè)方程確定了決策面是通過(guò)x0并正交于向量W的一個(gè)超平面。由于W=mi－mj

所以超平面正交于均值向量mi與mj之間的聯(lián)線?，F(xiàn)在是45頁(yè)\一共有59頁(yè)\編輯于星期五

若先驗(yàn)概率相等

超平面通過(guò)mi與mj聯(lián)線的中點(diǎn)，且與聯(lián)線正交。若先驗(yàn)概率不相等，則

x0不在中點(diǎn)，超平面向先驗(yàn)概率小的方向移動(dòng)。若s2<<||mi-mj||2,則先驗(yàn)概率對(duì)決策面的影響就比較小。d維特征空間，交界面呈球狀分布，其判別邊界為d-1維的平面，垂直于中心線。現(xiàn)在是46頁(yè)\一共有59頁(yè)\編輯于星期五一維二維三維現(xiàn)在是47頁(yè)\一共有59頁(yè)\編輯于星期五⑵Si＝SS與i無(wú)關(guān)。各類的協(xié)方差矩陣相等S1＝S2＝···＝Sc=S。幾何上相當(dāng)于各類樣本集中于以該類均值mi點(diǎn)為中心的同樣大小和形狀的超橢球體中。判別函數(shù)：

若c類先驗(yàn)概率相等，則

Bayes決策：計(jì)算x到每類均值