第2章貝葉斯決策理論

1、第2章 貝葉斯決策理論Chapter 2: Bayesian decision theory,2020/7/16,模式(樣本)的表示方法,向量表示 : 假設(shè)一個樣本有n個變量(特征) = (X1,X2,Xn)T 2. 矩陣表示: N個樣本，n個變量(特征),2020/7/16,3. 幾何表示 一維表示 X1=0.5 X2=3 二維表示 X1=(x1,x2)T=(1,2)T X2=(x1,x2)T=(2,1)T 三維表示 X1=(x1,x2, x3)T=(1,1,0)T X2=(x1,x2 , x3)T=(1,0,1)T,本章主要內(nèi)容,2.1 基于最小錯誤率的貝葉斯決策,2.3 正態(tài)分布時(shí)的貝葉

2、斯統(tǒng)計(jì)決策,2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策,2.4 分類器的錯誤率問題,2.1 基于最小錯誤率的貝葉斯決策,2.1.1 預(yù)備知識,1、用向量來表示模式,1,2,3,4,5,轉(zhuǎn)化成列向量,0,1,0,1,0,0,0,1,2,3,35,34,33,0,1,0,0,1,1,“1”,模式： 一些供比對用的、“標(biāo)準(zhǔn)”的樣本。,特征提取,35,模式“1”的圖片,2、高維積分,已知模式（樣本）：,一維積分：,高維積分：,二重積分：,若,推廣,條件概率密度,若有兩個隨機(jī)變量X和Y，它們的聯(lián)合概率密度為 ，,變量X和Y各自的邊緣概率密度為 和 ，則在條件,Y=y下，X的條件概率密度為,3、條件概率,定義：,即

3、：,4、全概率公式,定義：設(shè)事件 是樣本空間 的一個劃分，B是任意一事件，則,現(xiàn)在進(jìn)行一次試驗(yàn)，如果 B 確定發(fā)生了，那么這一重要的補(bǔ)充信息可以使我們對事件 的概率重新估計(jì)， 則：在已知 B 發(fā)生的條件下，求出 的概率 ，這個概率稱為后驗(yàn)概率。,5、貝葉斯公式（利用了條件概率和全概率公式）,貝葉斯公式的另一種形式：,由貝葉斯公式衍生出貝葉斯決策、貝葉斯估計(jì)、貝葉斯學(xué)習(xí)等諸多理論體系，進(jìn)而形成一個貝葉斯學(xué)派；,貝葉斯公式：,（1763年提出）,貝葉斯公式由于其權(quán)威性、一致性和典雅性而被列入最優(yōu)美的數(shù)學(xué)公式之一 ；,貝葉斯公式的兩個創(chuàng)新點(diǎn)：,（1）用概率表示所有形式的不確定性；,（2）,例如天氣預(yù)

4、報(bào)時(shí)，“今天下雨的概率是85%”比直接預(yù)測“今天下雨”要更科學(xué) ；,引入了“先驗(yàn)”與“后驗(yàn)”的概念；,先驗(yàn)概率：預(yù)先已知的或者可以估計(jì)的模式識別系統(tǒng)位于某種類型的概率。根據(jù)大量統(tǒng)計(jì)確定某類事物出現(xiàn)的比例，如我國理工科大學(xué)男女生比例大約為8:2，則在這類學(xué)校一個學(xué)生是男生的先驗(yàn)概率為0.8，而為女生的概率是0.2，這兩類概率是互相制約的，因?yàn)檫@兩個概率之和應(yīng)滿足總和為1的約束。 P(男生) 后驗(yàn)概率：一個具體事物屬于某種類別的概率.例如一個學(xué)生用特征向量X表示，它是男性或女性的概率表示成P(男生|X)和P(女生|X)這就是后驗(yàn)概率。由于一個學(xué)生只可能為兩個性別之一，因此有P(男生|X)+P(女生

5、|X)=1的約束，這一點(diǎn)是與類分布密度函數(shù)不同的。 后驗(yàn)概率與先驗(yàn)概率也不同，后驗(yàn)概率涉及一個具體事物，而先驗(yàn)概率是泛指一類事物，因此 P(男生|X)和P(男生)是兩個不同的概念。,先驗(yàn)與后驗(yàn),2.1.1 預(yù)備知識（續(xù)）,貝葉斯公式：,例：利用貝葉斯公式求 的最大值：,先驗(yàn),后驗(yàn),先驗(yàn)概率：是指根據(jù)歷史資料或主觀判斷所確定的事件發(fā)生的概率，該類概率沒有經(jīng)過實(shí)驗(yàn)證實(shí)，屬檢驗(yàn)前的概率。,后驗(yàn)概率：進(jìn)行實(shí)驗(yàn)后，事件發(fā)生的概率。,貝葉斯公式在推理中融入了先驗(yàn)，即融入了對事物既有的一些認(rèn)識：,2.1.1 預(yù)備知識（續(xù)）,6、分類錯誤率,分類錯誤率 = 被錯分的樣本數(shù) / 樣本總數(shù),分類方案一,分類方案二

6、,在分類中，希望分類錯誤率盡可能地小。,2.1.2 最小錯誤率貝葉斯決策的前提,（1）要決策分類的類別數(shù)是一定的；,前提：,（2）每一類出現(xiàn)的“先驗(yàn)概率”已知；,類,類,即,已知,（3）每一類的“類條件概率密度”已知；,即,已知,待解決的分類問題：,與,類,類,待解決的分類問題：,2.1.3 最小錯誤率貝葉斯決策規(guī)則,決策規(guī)則（樣本只有兩類時(shí)）：,如果,如果,則,則,先驗(yàn)概率已知,類條件概率密度已知,可能屬于 類也可能屬于 類。,2.1.4 最小錯誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例,例 細(xì)胞識別,假設(shè)在某個局部地區(qū)細(xì)胞識別中， 正常( )和異常( )兩類的先驗(yàn)概率分別為 正常狀態(tài)： P ( ) =0.

7、9; 異常狀態(tài)： P ( ) =0.1. 現(xiàn)有一待識別的細(xì)胞，其觀察值為 ，從類條件概率密度分布曲線上查得 P(x | )=0.2, P(x | )=0.4. 試對該細(xì)胞x進(jìn)行分類。 解：利用貝葉斯公式，分別計(jì)算出 及 的后驗(yàn)概率。 P( | x)= P( |x)=1- P( |x)=0.182,類,類,2.1.4 最小錯誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例（續(xù)）,類條件概率密度（已知）,后驗(yàn)概率密度（待求）,類,類,根據(jù)上圖決策,2.1.4 最小錯誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例（續(xù)）,為什么類條件概率密度是已知的,“類條件概率密度”是指系統(tǒng)位于某種類型條件下，模式樣本的概率密度函數(shù)。一般而言，同一類事物的

8、某個屬性都有一定的變化范圍，在這個變化范圍內(nèi)的分布密度可用一種函數(shù)形式表示。,類,類,例如對于細(xì)胞識別而言，假設(shè) 是血紅素濃度，則 表示正常血細(xì)胞的血紅素濃度的分布情況。該分布可以事先測定，因此是已知的。,正常血細(xì)胞,異常血細(xì)胞,2.1.4 最小錯誤率貝葉斯決策規(guī)則應(yīng)用實(shí)例（續(xù)）,為什么先驗(yàn)概率是已知的,例如在某個局部地區(qū)（比如一個縣）細(xì)胞識別中，要根據(jù)血紅素濃度的測量值 判定其為正常血細(xì)胞或者是異常血細(xì)胞（例如白血病血細(xì)胞）。,類,類,正常血細(xì)胞,異常血細(xì)胞,該縣正常人的比例；,該縣白血病患者的比例；,上述比例關(guān)系可根據(jù)往年病歷資料統(tǒng)計(jì)大致得到，因此可以看作是已知的。,上述比例關(guān)系盡管可能是

9、近似的，但對決策準(zhǔn)確程度的影響并不是直接的，這也是貝葉斯決策的一個優(yōu)點(diǎn)。,2.1.5 決策規(guī)則使錯誤率最小的理論證明,前面給出了最小錯誤率貝葉斯決策規(guī)則，但尚未證明按這種決策規(guī)則進(jìn)行分類確實(shí)能使分類錯誤概率最小。下面以一維情況完成證明，其結(jié)果不難推廣到多維。,1、平均錯誤率：,（是 的期望） 見（26）,的概率密度,3、對 進(jìn)行分類（決策）時(shí)的錯誤 見（27）式,2、決策規(guī)則（兩類時(shí)）：,如果,如果,則,則,(2-6),2.1.5 決策規(guī)則確實(shí)使錯誤率最小的理論證明（續(xù)）,決策錯誤率 在每個x值處都取小者，因而平均錯誤率P(e)也必然達(dá)到最小。,2.1.6 最小錯誤率貝葉斯決策規(guī)則向多類的推廣

10、,決策規(guī)則（樣本只有兩類時(shí)）：,如果,如果,則,則,決策規(guī)則（樣本有多類時(shí)）：,類,類,類,類,類,如果,對于一切 成立，,則,2.2 基于最小風(fēng)險(xiǎn)的貝葉斯決策,2.2.1 為什么要引入基于風(fēng)險(xiǎn)的決策,基于最小錯誤率的貝葉斯決策,如果,如果,則,則,誤判為：,誤判為：,錯誤率：,錯誤率：,基于最小錯誤率的貝葉斯決策只關(guān)注錯誤率，并不關(guān)注因誤判而帶來的風(fēng)險(xiǎn)。但在實(shí)際應(yīng)用中考慮風(fēng)險(xiǎn)是很重要的。 “風(fēng)險(xiǎn)”的適用范圍比錯誤率更廣泛，它引入了“損失”的概念。即考慮了因誤判而帶來的損失。,例：細(xì)胞識別,類,類,正常血細(xì)胞,異常血細(xì)胞,把正常血細(xì)胞誤判為異常血細(xì)胞會給人帶來不必要的痛苦；但若將異常血細(xì)胞誤判

11、為正常血細(xì)胞，則會使病人因失去及早治療的機(jī)會而遭受極大的損失。,2.2.2 幾個概念（6個） 設(shè)觀察x是d維隨機(jī)向量， 其中 為一維隨機(jī)變量。 1、狀態(tài)空間： （c個自然狀態(tài)，c 類組成） 2、決策空間： （a個決策） 注意：a=c 或者 a=c+1（拒絕）,本來,誤判為：,誤判為：,錯誤率：,錯誤率：,本來,造成的損失：,造成的損失：,把模式 判決為 類的一次決策；,模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；,3、損失函數(shù)： （真實(shí)狀態(tài)為 ，決策為 ）,把模式 判決為 類的一次決策；,模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；,狀態(tài)空間：,決策空間：,一般決策表,4、一般決策表（

12、由概念1、2、3得到）,5、條件風(fēng)險(xiǎn)（條件期望損失）：,條件風(fēng)險(xiǎn)：,模式 屬于 類，現(xiàn)卻將之判決為 類而帶來的損失；,模式 屬于 類的概率（可能性）；,例：計(jì)算條件風(fēng)險(xiǎn),（正常類）,（異常類）,（正常）,（異常）,已知,所以,這意味著： 把異常類血細(xì)胞判別為正常類細(xì)胞所冒風(fēng)險(xiǎn)太大，所以寧肯將之判別為異常類血細(xì)胞。,（2-15）,“風(fēng)險(xiǎn)”的適用范圍比錯誤率更廣泛，它引入了“損失”的概念。即考慮了因誤判而帶來的損失。,注意： 期望風(fēng)險(xiǎn)反映對所有x的取值采取相應(yīng)決策 所帶來的平均風(fēng)險(xiǎn)。,6、期望風(fēng)險(xiǎn)R：,注意：條件風(fēng)險(xiǎn)反映對某一x的取值采取相應(yīng)決策 所帶來的平均風(fēng)險(xiǎn)。,5、條件風(fēng)險(xiǎn)：條件期望損失（續(xù)

13、）,2.2.3 基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則與決策步驟,2、決策步驟：,1、決策規(guī)則：,（根據(jù)貝葉斯公式計(jì)算）,（計(jì)算條件風(fēng)險(xiǎn)）,（決策）,在實(shí)踐中如何給出決策表：,2.2.3 基于最小風(fēng)險(xiǎn)的貝葉斯決策規(guī)則與決策步驟（續(xù)）,（正常類）,（異常類）,（正常）,（異常）,在實(shí)踐中要列出合適的決策表很不容易，往往要根據(jù)所研究的具體問題，分析錯誤決策造成損失的嚴(yán)重程度，與有關(guān)專家共同商討來確定。,（教材P15）,（即需要具體問題具體分析）,2.2.4 基于最小風(fēng)險(xiǎn)的貝葉斯決策應(yīng)用實(shí)例,例：細(xì)胞識別,假設(shè)在某個局部地區(qū)細(xì)胞識別中， 正常( )和異常( )兩類的先驗(yàn)概率分別為 正常狀態(tài)： P ( ) =0

14、.9; 異常狀態(tài)： P ( ) =0.1. 現(xiàn)有一待識別的細(xì)胞，其觀察值為 ，從類條件概率密度分布曲線上查得 P(x | )=0.2, P(x | )=0.4. 且因誤判而帶來的風(fēng)險(xiǎn)如下頁表所表示，試對該細(xì)胞x進(jìn)行分類。 解： （1）利用貝葉斯公式，分別計(jì)算出 及 的后驗(yàn)概率。 P( | x)= P( |x)=1- P( |x)=0.182,類,類,若貝葉斯決策,2.2.4 基于最小風(fēng)險(xiǎn)的貝葉斯決策應(yīng)用實(shí)例（續(xù)）,（正常類）,（異常類）,（正常）,（異常）,（2）計(jì)算條件風(fēng)險(xiǎn),（3）基于最小風(fēng)險(xiǎn)進(jìn)行決策,（將 判決為第 類的風(fēng)險(xiǎn)）,（將 判決為第 類的風(fēng)險(xiǎn)）,模式 屬于 類的概率（可能性）；,

15、所以,兩類決策結(jié)果正好相反，這是因?yàn)橛绊憶Q策結(jié)果的因素又多了一個“損失”。由于兩類錯誤決策所造成的損失相差很懸殊，因此“損失”在這里起了主導(dǎo)作用。,2.2.5 最小錯誤率與最小風(fēng)險(xiǎn)貝葉斯決策的聯(lián)系,（正常類）,（異常類）,（正常）,（異常）,若采用0-1損失函數(shù)：,例：兩類樣本的分類,根據(jù)條件風(fēng)險(xiǎn)公式：,則兩類決策的風(fēng)險(xiǎn)為,因此兩種決策規(guī)則等價(jià) （理論推導(dǎo)見教材P16）,（將 判決為第 類的風(fēng)險(xiǎn)）,（將 判決為第 類的錯誤率）見下頁復(fù)習(xí),復(fù)習(xí)：2.1.5 決策規(guī)則使錯誤率最小的理論證明,1、平均錯誤率：,（是 的期望） 見（26）,的概率密度,3、對 進(jìn)行分類（決策）時(shí)的錯誤 見（27）式,2

16、、決策規(guī)則（兩類時(shí)）：,如果,如果,則,則,(2-6),條件風(fēng)險(xiǎn)（條件期望損失）,注意：在采用0-1損失函數(shù)時(shí)，,最小風(fēng)險(xiǎn)貝葉斯決策就是使左邊最小,結(jié)論：最小錯誤率貝葉斯決策就是在0-1損失函數(shù)條件下的 最小風(fēng)險(xiǎn)貝葉斯決策，也就是前者是后者的特例。,2.3 正態(tài)分布時(shí)的貝葉斯統(tǒng)計(jì)決策,2.3.1 預(yù)備知識,（1）一元正態(tài)分布（單變量）,正態(tài)分布的樣本主要集中分布在其均值附近，其分散程度可用標(biāo)準(zhǔn)差 來衡量，標(biāo)準(zhǔn)差愈大分散程度也越大。從正態(tài)分布的總體中抽取樣本，約有95%的樣本都落在區(qū)間 內(nèi)。,2.3.1 預(yù)備知識（續(xù)）,（2）多元正態(tài)分布,左圖的投影,多元正態(tài)分布,協(xié)方差矩陣：,均值向量：,從正

17、態(tài)分布總體中抽取的樣本大部分落在由 和 所確定的一個區(qū)域中，區(qū)域中心由均值決定，區(qū)域形狀由協(xié)方差矩陣決定。,2.3.1 預(yù)備知識（續(xù)）,（3）多元正態(tài)分布的協(xié)方差矩陣,2.3.1 預(yù)備知識（續(xù)）,（3）多元正態(tài)分布的協(xié)方差矩陣（續(xù)）,區(qū)域中心由均值決定，區(qū)域形狀由協(xié)方差矩陣決定；且主軸方向是協(xié)方差矩陣的特征向量方向；,多元正態(tài)分布的性質(zhì)： 1、多元正態(tài)分布由均值 和協(xié)方差矩陣 完全確定。 2、從正態(tài)分布總體中抽取的樣本大部分落在由 和 所確定的一個區(qū)域中，區(qū)域中心由均值決定，區(qū)域形狀由協(xié)方差矩陣決定； 3、從多元正態(tài)概率密度函數(shù)式可以看出，指數(shù)項(xiàng)為常數(shù)時(shí)，密度值不變（等密度）； 上式的解是一個

18、超橢球面，且主軸方向是協(xié)方差矩陣的特征向量方向；主軸的長度與相應(yīng)的協(xié)方差矩陣的本征值成正比。,2.3.2 貝葉斯統(tǒng)計(jì)決策的決策面與判別函數(shù),例如：最小錯誤率貝葉斯決策規(guī)則（兩類情形）,如果,如果,則,則,類,類,根據(jù)決策規(guī)則只能確定樣本 屬于哪一類，而現(xiàn)在欲求決策面（分類面）。,若 位于決策面上，應(yīng)該有,決策面方程：,判別函數(shù)：,類,類,決策面：如果按某種決策規(guī)則將空間分成若干個決策域，則將決策域的邊界稱為決策面。,判別函數(shù)： 用于表達(dá)決策規(guī)則的函數(shù)。,例如：,決策面方程：,決策面在數(shù)學(xué)上的解析表示。,例如：,判別函數(shù)的判別功能示意圖,2.3.2 貝葉斯統(tǒng)計(jì)決策的決策面與判別函數(shù)（續(xù)）,判別函

19、數(shù)與決策面方程（教材P20 P22：有關(guān)分類器設(shè)計(jì)） 1、多類情況： 決策規(guī)則： 判別函數(shù)定義(3種) 決策面方程： 2、兩類情況： 決策規(guī)則： 判別函數(shù)定義(3種) 決策面方程：,為一維時(shí)，決策面為一點(diǎn)； 為二維時(shí)，決策面為曲線； 為三維時(shí)，決策面為曲面； 大于三維時(shí)，決策面為超曲面。,決策面方程的形態(tài)：,為二維時(shí),為一維時(shí),為三維時(shí),2.3.2 貝葉斯統(tǒng)計(jì)決策的決策面與判別函數(shù)（續(xù)）,2.3.3 正態(tài)概型下的最小錯誤率貝葉斯決策的判別函數(shù),（1）“最小錯誤率貝葉斯決策”的判別函數(shù)與決策面的推廣：,（兩類情形）,取對數(shù)前后，所求決策面不變,推廣至多類,2.3.3 正態(tài)概型下最小錯誤率貝葉斯決

20、策的判別函數(shù)（續(xù)）,決策面：,判別函數(shù)：,（2）如果類條件概率密度 服從正態(tài)分布：,則判別函數(shù)：,決策面：,（3）為什么假設(shè)類條件概率密度 服從正態(tài)分布,2.3.3 正態(tài)概型下最小錯誤率貝葉斯決策的判別函數(shù)（續(xù)）,數(shù)學(xué)上簡便性： 除了一些極其簡單與不甚實(shí)用的統(tǒng)計(jì)分布模型外，正態(tài)分布可說是數(shù)學(xué)上最簡便的一種。正態(tài)分布有許多良好的性質(zhì)，便于對統(tǒng)計(jì)決策方法進(jìn)行分析。,物理上的合理性： 在許多實(shí)際應(yīng)用場合，如果同一類樣本在特征空間內(nèi)的確較集中地分布在其類均值的附近，遠(yuǎn)離均值處分布較少，那么一般情況下以正態(tài)分布模型近似往往是比較合理的。人們也往往因數(shù)學(xué)分析復(fù)雜程度考慮而不得不采用這種模型，當(dāng)然使用時(shí)應(yīng)注意結(jié)果是否合理或關(guān)注其可接受的程度。,2.3.4 正態(tài)概型下最小錯誤率貝葉斯決策的討論,判別函數(shù)：,決策面：,以上決策面表達(dá)式很復(fù)雜，因此討論以下兩種特殊情形；,類條件概率密度：,（1）,（2）,2.3.4 正態(tài)概型下最小錯誤率貝葉斯決策的討論（續(xù)）,第一種情形：,判別函數(shù)：,決策面：,判別函數(shù)：,決策面：,進(jìn)一步簡化：忽略與i無關(guān)的項(xiàng),2.3.4 正態(tài)概型下最小錯誤率貝葉斯決策的討論（續(xù)）,（1）若,判