第2章 貝葉斯決策論 - 中山大學(xué)

1、Bayesian Decision Theory2要點(diǎn)：要點(diǎn)： 引言引言 貝葉斯決策論貝葉斯決策論( (連續(xù)性特征連續(xù)性特征) ) 最小誤差率分類最小誤差率分類 分類器與判別函數(shù)分類器與判別函數(shù) 正態(tài)密度正態(tài)密度 正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù) 貝葉斯決策論貝葉斯決策論( (離散性特征離散性特征) ) 本章小結(jié)本章小結(jié)3n實(shí)例實(shí)例: :鮭魚(yú)與鱸魚(yú)鮭魚(yú)與鱸魚(yú)n狀態(tài)變量及概率狀態(tài)變量及概率n狀態(tài)變量可被看作是隨機(jī)變量狀態(tài)變量可被看作是隨機(jī)變量n抓到鮭魚(yú)與鱸魚(yú)的事件是隨機(jī)抓到鮭魚(yú)與鱸魚(yú)的事件是隨機(jī)的的 ( (均勻先驗(yàn)均勻先驗(yàn)) ) ( (封閉性封閉性) ) 2.1 引引 言言)()(21wPw

2、P1)()(21wPwP1)()(21wPwP4僅根據(jù)先驗(yàn)信息的判定準(zhǔn)則僅根據(jù)先驗(yàn)信息的判定準(zhǔn)則 若若 , ,則事件則事件w1w1成立成立; ; 反之反之, ,則則w2w2成立。成立。利用類條件概率密度利用類條件概率密度: : 及及 描述了兩種魚(yú)類外觀上亮度的差異描述了兩種魚(yú)類外觀上亮度的差異。 )()(21wPwP)|(1wxP)|(2wxP5 注注 : 假定的類條件概率密度函數(shù)圖假定的類條件概率密度函數(shù)圖,顯示了模式處于類別顯示了模式處于類別w1時(shí)觀察某時(shí)觀察某個(gè)特定特征值個(gè)特定特征值 x 的概率密度的概率密度.如果如果 x 代表了魚(yú)的長(zhǎng)度代表了魚(yú)的長(zhǎng)度,那么這兩條曲線可那么這兩條曲線可描

3、述兩種魚(yú)的長(zhǎng)度區(qū)別描述兩種魚(yú)的長(zhǎng)度區(qū)別.概率函數(shù)已歸一化概率函數(shù)已歸一化,因此每條曲線下的面積為因此每條曲線下的面積為16 后驗(yàn)后驗(yàn), ,似然似然, ,證據(jù)因子及貝葉斯公式證據(jù)因子及貝葉斯公式 介紹一些基本概念介紹一些基本概念P(w1 后驗(yàn)后驗(yàn) = = 似然似然 x x 先驗(yàn)先驗(yàn) / / 證據(jù)因子證據(jù)因子)(/ )()|()|(xPwPwxPxwPjjj73/1)(, 3/2)(21wPwP在先驗(yàn)概率在先驗(yàn)概率 及圖及圖2-1給出的后驗(yàn)概率圖給出的后驗(yàn)概率圖.此情況下此情況下,假定一假定一個(gè)模式具有特征值個(gè)模式具有特征值 , 那么它屬于那么它屬于w2類的概率約為類的概率約為0.08,屬于屬于W

4、1的概率的概率約為約為0.92.在每個(gè)在每個(gè)x 處的后驗(yàn)概率之和為處的后驗(yàn)概率之和為1.014x8 基于后驗(yàn)概率的決策準(zhǔn)則基于后驗(yàn)概率的決策準(zhǔn)則 (x 表示觀察值表示觀察值) 若若 類別判定類別判定w1 若若 類別判定類別判定w2 決策后所導(dǎo)致的錯(cuò)誤率決策后所導(dǎo)致的錯(cuò)誤率 若判定若判定w2 若判定若判定w1)|()|(21xwPxwP)|()|(21xwPxwP)|()|(2xwPxerrorP)|()|(1xwPxerrorP9 最小錯(cuò)誤率最小錯(cuò)誤率 為為了追求最小的錯(cuò)誤率，采取如下判定準(zhǔn)則：了追求最小的錯(cuò)誤率，采取如下判定準(zhǔn)則： 若若 , ,則判定類別為則判定類別為w1;w1; 反之，判為

5、反之，判為w2w2。 可以證明可以證明, ,依從這樣的準(zhǔn)則可以獲得最小錯(cuò)誤率：依從這樣的準(zhǔn)則可以獲得最小錯(cuò)誤率： 我們稱該準(zhǔn)則為我們稱該準(zhǔn)則為“貝葉斯決策準(zhǔn)則貝葉斯決策準(zhǔn)則”。)|()|(21xwPxwP)|(),|(min)|(21xwPxwPxerrorP10 2.2 貝葉斯決策論貝葉斯決策論-連續(xù)性特連續(xù)性特征征1. 允許利用多于一個(gè)的特征允許利用多于一個(gè)的特征2. 允許多于兩種類別狀態(tài)的情形允許多于兩種類別狀態(tài)的情形3. 允許有其它行為而不僅是判定類別。允許有其它行為而不僅是判定類別。4. 引入損失函數(shù)，比錯(cuò)誤率更具一般性。引入損失函數(shù)，比錯(cuò)誤率更具一般性。 概概 述述11令令 1,

6、2, c表示一系列類別狀態(tài)。表示一系列類別狀態(tài)。令令 1, 2, a表示一系列可能采取的行動(dòng)（或決策）。表示一系列可能采取的行動(dòng)（或決策）。令令 ( i | j)表示當(dāng)實(shí)際狀態(tài)為表示當(dāng)實(shí)際狀態(tài)為 i 時(shí)時(shí),采取采取 i 的行為會(huì)帶來(lái)的風(fēng)的行為會(huì)帶來(lái)的風(fēng)險(xiǎn)。險(xiǎn)。那么，與行動(dòng)那么，與行動(dòng) i 相關(guān)聯(lián)的損失相關(guān)聯(lián)的損失R( i | x)=因此，總風(fēng)險(xiǎn)可表示為：對(duì)因此，總風(fēng)險(xiǎn)可表示為：對(duì)R ( i | x) .P (x)的求和。的求和。 考察損失函數(shù)對(duì)判定準(zhǔn)則的影響考察損失函數(shù)對(duì)判定準(zhǔn)則的影響)|()|(xPjjidxxpxxRR)()| )(12上述的貝葉斯決策規(guī)則：上述的貝葉斯決策規(guī)則：為了最小化

7、總風(fēng)險(xiǎn)，對(duì)所有為了最小化總風(fēng)險(xiǎn)，對(duì)所有 計(jì)算計(jì)算條件風(fēng)險(xiǎn)條件風(fēng)險(xiǎn)ai， 21)|()|()|(1xPxRjcjjii選擇行為選擇行為 i ，使得，使得R( i| x)最小化。最小化后的總最小化。最小化后的總風(fēng)險(xiǎn)值稱為風(fēng)險(xiǎn)值稱為貝葉斯風(fēng)險(xiǎn)貝葉斯風(fēng)險(xiǎn)，記為，記為 它是可獲得的它是可獲得的最優(yōu)結(jié)果。最優(yōu)結(jié)果。*R13 兩類分類問(wèn)題兩類分類問(wèn)題行為行為 1對(duì)應(yīng)類別判決對(duì)應(yīng)類別判決 1， 2則對(duì)應(yīng)則對(duì)應(yīng) 2 。為了簡(jiǎn)化符號(hào)，令。為了簡(jiǎn)化符號(hào)，令)|(,jiji那么可得兩種行為的損失函數(shù)那么可得兩種行為的損失函數(shù))|()|()|()|()|()|(22, 211 , 2222, 111 , 11xPxPx

8、RxPxPxR14 決策決策 按照貝葉斯決策規(guī)則，為了使得條件風(fēng)險(xiǎn)最小按照貝葉斯決策規(guī)則，為了使得條件風(fēng)險(xiǎn)最小, 如果則判為如果則判為 相反，則判為相反，則判為)|()|(21xRxR12 結(jié)合貝葉斯公式，用先驗(yàn)概率與條件密度來(lái)表示結(jié)合貝葉斯公式，用先驗(yàn)概率與條件密度來(lái)表示 后驗(yàn)概率，等價(jià)規(guī)則為后驗(yàn)概率，等價(jià)規(guī)則為 如果如果 則判為則判為 否則，判決為否則，判決為)()|()()()|()(222, 22, 1111 , 11 , 2PxPPxP1215左圖說(shuō)明，如果左圖說(shuō)明，如果引入一個(gè)引入一個(gè)0-1損失損失或分類損失，那么或分類損失，那么判別邊界將由閾值判別邊界將由閾值 決定；而如果決定；

9、而如果損失函數(shù)對(duì)模式損失函數(shù)對(duì)模式 判判為為 的懲罰大于反的懲罰大于反過(guò)來(lái)情況，將得到過(guò)來(lái)情況，將得到較大的閾值較大的閾值 使得使得R1變小變小ba21b216 當(dāng)損失函數(shù)簡(jiǎn)化到所謂的當(dāng)損失函數(shù)簡(jiǎn)化到所謂的“對(duì)稱損失對(duì)稱損失”或或“0-1損失損失” 函數(shù)函數(shù)10)|(jijijicji, 2 , 1, 這個(gè)損失函數(shù)將這個(gè)損失函數(shù)將0損失賦給一個(gè)正確的判決，而將一損失賦給一個(gè)正確的判決，而將一 個(gè)單位損失賦給任何一種錯(cuò)誤判決，因此所有誤判都是個(gè)單位損失賦給任何一種錯(cuò)誤判決，因此所有誤判都是 等價(jià)的。與這個(gè)損失函數(shù)對(duì)應(yīng)的風(fēng)險(xiǎn)就是等價(jià)的。與這個(gè)損失函數(shù)對(duì)應(yīng)的風(fēng)險(xiǎn)就是平均誤差概率平均誤差概率。 2.3

10、 2.3 最小誤差率分類最小誤差率分類17 極小極大化準(zhǔn)則（選講）極小極大化準(zhǔn)則（選講） 有時(shí)我們需要設(shè)計(jì)在整個(gè)先驗(yàn)概率范圍內(nèi)都能很好操作的有時(shí)我們需要設(shè)計(jì)在整個(gè)先驗(yàn)概率范圍內(nèi)都能很好操作的 分類器。一種合理的設(shè)計(jì)方法就是分類器。一種合理的設(shè)計(jì)方法就是使先驗(yàn)概率取任何一種使先驗(yàn)概率取任何一種 值時(shí)所引起的總風(fēng)險(xiǎn)的最壞情況盡可能小，也就是說(shuō)最小值時(shí)所引起的總風(fēng)險(xiǎn)的最壞情況盡可能小，也就是說(shuō)最小 化最大可能的風(fēng)險(xiǎn)?；畲罂赡艿娘L(fēng)險(xiǎn)。 我們以我們以R1表示分類器判為表示分類器判為 1時(shí)的特征空間的區(qū)域，同樣的時(shí)的特征空間的區(qū)域，同樣的 有有R2和和 2,總風(fēng)險(xiǎn)的形式可表示為總風(fēng)險(xiǎn)的形式可表示為 22

11、22, 2111 , 21222, 1111 , 1)|()()|()()|()()|()(RRdxxpPxpPdxxpPxpPR18結(jié)合公式結(jié)合公式 與與)(1)(12PPdxxpdxxpRR)|(1)|(1211122, 22, 1211 , 11 , 22, 21 , 11112, 21 , 12, 21)|()()|()()()()|()()(RRRdxxpdxxpPdxxpPR可以得到可以得到等式表明一旦判別邊界確定后，總風(fēng)險(xiǎn)與等式表明一旦判別邊界確定后，總風(fēng)險(xiǎn)與 成成線形關(guān)系。如果能找到一個(gè)邊界使比例為線形關(guān)系。如果能找到一個(gè)邊界使比例為0，那么風(fēng)險(xiǎn)，那么風(fēng)險(xiǎn)將與先驗(yàn)概率獨(dú)立。這就

12、是將與先驗(yàn)概率獨(dú)立。這就是極小極大化求解。極小極大化求解。)(1PdxxpRRmm)|()(122, 22, 12, 2風(fēng)險(xiǎn)風(fēng)險(xiǎn)19 2.4 分類器與判別函數(shù)分類器與判別函數(shù) 多類情況多類情況有許多方式來(lái)表述模式分類器，用的最多的是一種有許多方式來(lái)表述模式分類器，用的最多的是一種判別函數(shù)判別函數(shù) 若對(duì)于所有的若對(duì)于所有的 都有都有)(xgiij )()(xgxgji則分類器將這個(gè)特征向量則分類器將這個(gè)特征向量x判給判給i20上圖為包含上圖為包含d個(gè)輸入個(gè)輸入c個(gè)判別函數(shù)的系統(tǒng)。確定哪個(gè)判別函數(shù)值個(gè)判別函數(shù)的系統(tǒng)。確定哪個(gè)判別函數(shù)值最大，并相應(yīng)地對(duì)輸入作分類。最大，并相應(yīng)地對(duì)輸入作分類。21 不

13、同情況下的分類器的表示方式不同情況下的分類器的表示方式 一般風(fēng)險(xiǎn)的情況下為一般風(fēng)險(xiǎn)的情況下為)|()(xRxgii)|()(xPxgii 最小誤差概率情況下最小誤差概率情況下 其它一些較常見(jiàn)的形式其它一些較常見(jiàn)的形式j(luò)jjiiiiPxpPxpxPxg)()|()()|()|()()()|()(iiiPxpxg)(ln)|(ln)(iiiPxpxg22 盡管判別函數(shù)可寫(xiě)成各種不同的形式，但是判決規(guī)則是相同的。盡管判別函數(shù)可寫(xiě)成各種不同的形式，但是判決規(guī)則是相同的。 每種判決規(guī)則都是將特征空間劃分每種判決規(guī)則都是將特征空間劃分c個(gè)判決區(qū)域，個(gè)判決區(qū)域， 如果對(duì)于所有的如果對(duì)于所有的 有有 那么那么

14、x屬于屬于 要求我要求我 們將們將x分給分給 。此區(qū)域由判決邊界來(lái)分割，其判決邊界即判決。此區(qū)域由判決邊界來(lái)分割，其判決邊界即判決 空間中使判決函數(shù)值最大的曲面。如圖空間中使判決函數(shù)值最大的曲面。如圖cRR,1ij )()(xgxgjiiRi23在這個(gè)二維的兩類問(wèn)題的分類器中，概率密度為高斯分布。判別邊界由兩個(gè)在這個(gè)二維的兩類問(wèn)題的分類器中，概率密度為高斯分布。判別邊界由兩個(gè)雙曲面構(gòu)成，因此判決區(qū)域雙曲面構(gòu)成，因此判決區(qū)域R2并非是簡(jiǎn)單連通的。橢圓輪廓線標(biāo)記出并非是簡(jiǎn)單連通的。橢圓輪廓線標(biāo)記出1/e乘乘以概率密度的峰值。以概率密度的峰值。24 2.5 正態(tài)密度正態(tài)密度 單變量密度函數(shù)單變量密度

15、函數(shù)單變量正態(tài)分布單變量正態(tài)分布2)(2/1exp21)(xxpdxxxpxE)()(dxxpxxE)()()(222容易計(jì)算其期望值與方差容易計(jì)算其期望值與方差252|x單變量正態(tài)分布大約有單變量正態(tài)分布大約有95%的區(qū)域在的區(qū)域在 范圍內(nèi)，如圖范圍內(nèi)，如圖此分布的峰值為此分布的峰值為2/1)(p26 正態(tài)分布與熵之間的關(guān)系正態(tài)分布與熵之間的關(guān)系熵的定義熵的定義dxxpxpxpH)(ln)()(2log單位為奈特，若換為單位為奈特，若換為 ,單位為比特。熵是一個(gè)非負(fù)的量單位為比特。熵是一個(gè)非負(fù)的量用來(lái)描述一種分布中隨機(jī)選取的樣本點(diǎn)的不確定性?？梢杂脕?lái)描述一種分布中隨機(jī)選取的樣本點(diǎn)的不確定性。

16、可以證明正態(tài)分布在所有具有給定均值和方差的分布中具有最大證明正態(tài)分布在所有具有給定均值和方差的分布中具有最大熵。并且，如中心極限定理所述，大量的小的，獨(dú)立的隨機(jī)熵。并且，如中心極限定理所述，大量的小的，獨(dú)立的隨機(jī)分布的總和等效為高斯分布。分布的總和等效為高斯分布。27 多元密度函數(shù)多元密度函數(shù)多元正態(tài)密度多元正態(tài)密度)()(2/1(exp)2(1)(12/12/xxxptd其中其中x是一個(gè)是一個(gè)d維列向量，維列向量， 是是d維均值向量，維均值向量， 是是 的協(xié)方差矩陣，的協(xié)方差矩陣， 和和 分別是其行列式的值和逆。分別是其行列式的值和逆。1dd 28 協(xié)方差矩陣協(xié)方差矩陣 通常是對(duì)稱的且半正定

17、。我們將嚴(yán)格限定通常是對(duì)稱的且半正定。我們將嚴(yán)格限定 是正定的。對(duì)角線元素是正定的。對(duì)角線元素 是相應(yīng)的是相應(yīng)的 方差且非對(duì)角線元素方差且非對(duì)角線元素 是是 和和 的協(xié)方差。如果的協(xié)方差。如果 和和 統(tǒng)計(jì)獨(dú)立，則統(tǒng)計(jì)獨(dú)立，則 。如果所有的非。如果所有的非對(duì)對(duì) 角線元素為角線元素為0，那么，那么p( x)變成了變成了x中各元素的單變量正態(tài)密度函數(shù)中各元素的單變量正態(tài)密度函數(shù)的的 內(nèi)積。內(nèi)積。ijiiix0iiixixjxjx 服從正態(tài)分布的隨機(jī)變量的線形組合，不管這些隨機(jī)變量是獨(dú)立服從正態(tài)分布的隨機(jī)變量的線形組合，不管這些隨機(jī)變量是獨(dú)立 還是非獨(dú)立的，也是一個(gè)正態(tài)分布還是非獨(dú)立的，也是一個(gè)正態(tài)分

18、布。(這是個(gè)非常有用的結(jié)論）這是個(gè)非常有用的結(jié)論）29 2.6 正態(tài)分布的判別函數(shù)正態(tài)分布的判別函數(shù))(lnln212ln2)()(21)(1iiiitiiPdxxxg)(ln)|(ln)(iiiPxpxg最小誤差概率分類可通過(guò)判別函數(shù)獲得最小誤差概率分類可通過(guò)判別函數(shù)獲得如果已知如果已知),()|(iiiNxp那么那么30情況情況1：Ii22i這種情況發(fā)生在各特征統(tǒng)計(jì)獨(dú)立，且每個(gè)特征具有相同的這種情況發(fā)生在各特征統(tǒng)計(jì)獨(dú)立，且每個(gè)特征具有相同的 方差時(shí)。此時(shí)的協(xié)方差陣是對(duì)角陣，僅僅是方差時(shí)。此時(shí)的協(xié)方差陣是對(duì)角陣，僅僅是 與單位陣與單位陣I 的乘積。幾何上它與樣本落于相等大小的超球體聚類中的的

19、乘積。幾何上它與樣本落于相等大小的超球體聚類中的 情況相對(duì)應(yīng)，第情況相對(duì)應(yīng)，第i類的聚類以均值向量類的聚類以均值向量 為中心。為中心。 省略掉其它無(wú)關(guān)緊要的附加常量，可得到簡(jiǎn)單的判決函數(shù)省略掉其它無(wú)關(guān)緊要的附加常量，可得到簡(jiǎn)單的判決函數(shù)2)(ln2)(22iiiPxxg31展開(kāi)后我們得到展開(kāi)后我們得到省略附加常量，等價(jià)于線性判決函數(shù)省略附加常量，等價(jià)于線性判決函數(shù)其中其中且且稱稱 為第為第 i個(gè)方向的閾值或者偏置。個(gè)方向的閾值或者偏置。0)(itiiwxwxg)(ln22/1)(iitititiPxxxgiiiw21)(ln2120itiiPw0iw32 使用線性判別函數(shù)的分類器稱為使用線性判

20、別函數(shù)的分類器稱為“線性機(jī)器線性機(jī)器”。這類分類器有許多有。這類分類器有許多有趣的趣的 理論性質(zhì)，其中一些將在第理論性質(zhì)，其中一些將在第5章中詳細(xì)討論。此處只需注意到一個(gè)線章中詳細(xì)討論。此處只需注意到一個(gè)線性機(jī)器的判定面是一些超平面，它們是由兩類問(wèn)題中可獲得最大后驗(yàn)概性機(jī)器的判定面是一些超平面，它們是由兩類問(wèn)題中可獲得最大后驗(yàn)概率的率的 線性方程線性方程 來(lái)確定。來(lái)確定。 在以上的例子中，該方程可寫(xiě)為在以上的例子中，該方程可寫(xiě)為其中其中且且此方程定義了一個(gè)通過(guò)此方程定義了一個(gè)通過(guò) x0 且與向量且與向量 w 正交的超平面。由于正交的超平面。由于 ，將將 Ri 與與 Rj 分開(kāi)的超平面與兩中心點(diǎn)

21、的連線垂直。若分開(kāi)的超平面與兩中心點(diǎn)的連線垂直。若 則上式則上式右邊第二項(xiàng)為零，因此超平面垂直平分兩中心點(diǎn)的連線。如圖右邊第二項(xiàng)為零，因此超平面垂直平分兩中心點(diǎn)的連線。如圖)()(xgxgji0)(0 xxwtjiw)()()(ln)(21220jijijijiPPx)()(jiPPjiw33如果兩種分布的協(xié)方差矩陣相等且與單位陣成比例，那么它們呈如果兩種分布的協(xié)方差矩陣相等且與單位陣成比例，那么它們呈d維球狀分布，維球狀分布，其判決邊界是一個(gè)其判決邊界是一個(gè)d-1維歸一化超平面，垂直于兩個(gè)中心的連線。在這些一維，維歸一化超平面，垂直于兩個(gè)中心的連線。在這些一維，二維及三維的例子中，是假設(shè)在二

22、維及三維的例子中，是假設(shè)在 的情況下來(lái)顯示的情況下來(lái)顯示 和判決和判決邊界的。邊界的。)()(jiPP)|(ixp34 如果所有如果所有c類的先驗(yàn)概率類的先驗(yàn)概率 相等，那么相等，那么 項(xiàng)就成了另一可省略項(xiàng)就成了另一可省略 的附加常量。此種情況下，最優(yōu)判決規(guī)則可簡(jiǎn)單陳述如下：的附加常量。此種情況下，最優(yōu)判決規(guī)則可簡(jiǎn)單陳述如下： 為將某特征向量為將某特征向量 x 歸類，通過(guò)測(cè)量每一個(gè)歸類，通過(guò)測(cè)量每一個(gè) x 到到 c 個(gè)均值向量中的個(gè)均值向量中的 每一個(gè)歐氏距離，并將每一個(gè)歐氏距離，并將 x 歸為離它最近的那一類中。這樣一個(gè)分類歸為離它最近的那一類中。這樣一個(gè)分類 器被稱為器被稱為 “最小距離分

23、類器最小距離分類器”。如果每個(gè)均值向量被看成是其所屬模。如果每個(gè)均值向量被看成是其所屬模 式類的一個(gè)理想原型或模板，那么本質(zhì)上是一個(gè)式類的一個(gè)理想原型或模板，那么本質(zhì)上是一個(gè)模板匹配技術(shù)模板匹配技術(shù)。)(iP)(lniP35如圖：隨著先驗(yàn)概率的改變，判決邊界也隨之改變；對(duì)于差別較大的離如圖：隨著先驗(yàn)概率的改變，判決邊界也隨之改變；對(duì)于差別較大的離散先驗(yàn)概率而言，判決邊界不會(huì)落于這些一維散先驗(yàn)概率而言，判決邊界不會(huì)落于這些一維, 二維二維 及三維球狀高斯及三維球狀高斯分步的中心點(diǎn)之間。分步的中心點(diǎn)之間。36情況情況2 ： 第二類簡(jiǎn)單的情況是所有類的協(xié)方差陣都相等，但各自的均值向量第二類簡(jiǎn)單的情況

24、是所有類的協(xié)方差陣都相等，但各自的均值向量 是任意的。幾何上，這種情況對(duì)應(yīng)于樣本落在相同大小和相同形狀是任意的。幾何上，這種情況對(duì)應(yīng)于樣本落在相同大小和相同形狀 的超橢球體聚類中，第的超橢球體聚類中，第 i類的聚類中心在向量類的聚類中心在向量 附近。此時(shí)的判決附近。此時(shí)的判決 函數(shù)可簡(jiǎn)化為函數(shù)可簡(jiǎn)化為)(ln)()(21)(1ijtiiPxxxgii 將二次型展開(kāi)后，可再次得到線性判決函數(shù)將二次型展開(kāi)后，可再次得到線性判決函數(shù)0)(itiiwxwxg其中其中iiw137由于判決函數(shù)是線性的，判決邊界同樣是超平面由于判決函數(shù)是線性的，判決邊界同樣是超平面0)(0 xxwt)(1jiw)()()(

25、)(/ )(ln)(2110jijitjijijiPPx其中其中且且如果先驗(yàn)概率相等，其判決面與均值連線相交于如果先驗(yàn)概率相等，其判決面與均值連線相交于x0點(diǎn)；若不點(diǎn)；若不等，最優(yōu)邊界超平面將遠(yuǎn)離可能性較大的均值。如圖等，最優(yōu)邊界超平面將遠(yuǎn)離可能性較大的均值。如圖38相等但非對(duì)稱的高斯分相等但非對(duì)稱的高斯分布概率密度（由二維平布概率密度（由二維平面和三維橢球面表示）面和三維橢球面表示）及判決區(qū)域。判決超平及判決區(qū)域。判決超平面未必和均值連線垂直面未必和均值連線垂直正交。正交。39情況情況3 ：任意i0)(itiitiwxwxWxxg121iiWiiiw1在一般的多元正態(tài)分布的情況下，每一類的協(xié)方差是不同，其在一般的多元正態(tài)分布的情況下，每一類的協(xié)方差是不同，其判決函數(shù)顯然也是二次型判決函數(shù)顯然也是二次型其中其中在兩類問(wèn)題中，其對(duì)應(yīng)的判決面是超二次曲面。在兩類問(wèn)題中，其對(duì)應(yīng)的判決面是超二次曲面。40任意高斯分布導(dǎo)致一般超二次曲面的貝葉斯判決邊界。反之，任意高斯分布導(dǎo)