第3章Bayes決策理論ppt課件

1、第三章 Bayes決策實(shí)際 最小錯(cuò)誤概率的Bayes決策 最小風(fēng)險(xiǎn)的Bayes決策 Neyman-Pearson決策 Bayes分類器和判別函數(shù) 正態(tài)分布時(shí)的Bayes決策法那么.引言方式特征的不確定性 進(jìn)展方式識(shí)別，首先要提取和選擇方式特征，使這些特征組成的特征向量能很好地代表這個(gè)事物。但是，在實(shí)踐問題中，由于技術(shù)或經(jīng)濟(jì)上的緣由，使得提取和選擇的特征不一定能準(zhǔn)確地描畫這個(gè)方式。 比如， 特征選擇的不適宜，特征的數(shù)量不當(dāng)，特征丈量的不準(zhǔn)確，等等，使方式具有不確定性。 因此，我們該當(dāng)把方式向量看成隨機(jī)變量。 處置隨機(jī)變量用什么方法呢？ 概率論與數(shù)理統(tǒng)計(jì) .1.概率 頻率：假設(shè)在 n次反復(fù)實(shí)驗(yàn)中，

2、事件A發(fā)生了 次，那么稱比值 是事件A在這n次實(shí)驗(yàn)中發(fā)生的頻率。記作 概率：在一樣條件下反復(fù)進(jìn)展同一實(shí)驗(yàn)，假設(shè)隨著實(shí)驗(yàn)次數(shù)n的添加，事件A的頻率 僅在某個(gè)數(shù) 附近有微小變化，那么稱 是事件A的概論，實(shí)踐上， 是不容易得到的，常用n較大時(shí)的頻率作為A的概率 .2. 條件概率 設(shè)A，B是實(shí)驗(yàn)E的兩個(gè)事件，那么稱 為在事件B發(fā)生條件下事件A的條件概率。3. Bayes公式含義：假設(shè) 是某個(gè)過程的n個(gè)事件，是各事件出現(xiàn)的概率，稱為先驗(yàn)概率。假設(shè)這個(gè)過程得到一個(gè)結(jié)果B，由于B的出現(xiàn)，而對(duì)各事件 的概率要做出重新認(rèn)識(shí)。.3.1 最小錯(cuò)誤概率的Bayes決策1.用先驗(yàn)概率決策 假設(shè)某個(gè)工廠消費(fèi)兩種尺寸和外形

3、都一樣的螺釘,一種是鐵的,一種是銅的,兩種產(chǎn)品混在一同,要求對(duì)它們進(jìn)展自動(dòng)分類。 設(shè) 鐵的類別形狀用 表示； 銅的類別形狀用 表示； 由于事先類別形狀是不確定的，所以 是隨機(jī)變量。假設(shè)鐵螺釘有7萬個(gè)，銅螺釘有3萬個(gè)，那么鐵螺釘出現(xiàn)的概率 ，銅螺釘出現(xiàn)的概率. 假設(shè)用概率 和 來決策，規(guī)那么為： 假設(shè) 那么螺釘 假設(shè) 那么螺釘 由于 ，所以 螺釘 。 一切螺釘都分到鐵螺釘這一類，決策錯(cuò)誤概率為0.3。 用先驗(yàn)概率決策存在的問題？ 與待識(shí)別對(duì)象的特征沒有建立聯(lián)絡(luò)，沒有利用待識(shí)別對(duì)象本身的信息. 2.用后驗(yàn)概率決策 先用一個(gè)方式特征 來分類，假設(shè)這個(gè)特征對(duì)分類是有效的，那么 的概率分布就與類別形狀

4、是有聯(lián)絡(luò)的。 例如：銅螺釘和鐵螺釘?shù)耐獗砹炼仁遣煌?，以亮度作為特?，亮度用“亮度計(jì)來丈量，每個(gè)螺釘?shù)牧炼仍诹炼扔?jì)上可以在一定范圍內(nèi)延續(xù)取值。由于每個(gè)螺釘?shù)牧炼饶軌蚴遣煌模?是一個(gè)延續(xù)的隨機(jī)變量。. 對(duì) 的概率分布記為 對(duì) 的概率分布記為 那么 和 的差別 反映了 和 的類別形狀的差別 反映了兩類方式的差別。X有對(duì)屬于銅螺釘?shù)姆植?，也有?duì)屬于鐵螺釘?shù)姆植?假設(shè)曾經(jīng)知道了 ， ， ， 如何求利用Bayes公式：式中Bayes公式闡明,可以經(jīng)過特征的察看值 ，把先驗(yàn)概率 轉(zhuǎn)化為后驗(yàn)概率 。 . 圖3.1表示了當(dāng)(a)所示時(shí)，后驗(yàn)概率 隨亮度的變化情況。 因此，可以用后驗(yàn)概率進(jìn)展決策。.決策

5、規(guī)那么： 假設(shè) ，那么決策 ； 假設(shè) ，那么決策 ； 這個(gè)決策規(guī)那么被稱為最小錯(cuò)誤概率的Bayes決策。為什么說這個(gè)決策規(guī)那么具有最小錯(cuò)誤概率呢？ .3. 最小錯(cuò)誤概率的解釋 在用上述規(guī)那么決策時(shí),有兩種能夠發(fā)生的錯(cuò)誤分類 將真實(shí)屬于 分到 將真實(shí)屬于 分到 察看到的x值不同,那么后驗(yàn)概率就不同,從而分類錯(cuò)誤概率也不同,所以分類錯(cuò)誤概率 是隨機(jī)變量x的函數(shù). 也是隨機(jī)變量.對(duì)于察看到的大量x,對(duì)它們作出分類決策的平均錯(cuò)誤率 該當(dāng)是 的數(shù)學(xué)期望. 由概率論可知,假設(shè)知延續(xù)隨機(jī)變量x的概率密度函數(shù) , 可以計(jì)算出 的數(shù)學(xué)期望假設(shè)對(duì)于每次察看到的特征值x, 盡能夠小的話,那么上式的積分也必定是盡能夠

6、小的. 假設(shè)H為兩類的分界面,相應(yīng)于 和 , 將x軸分為兩個(gè)區(qū)域 , 在發(fā)生分類錯(cuò)誤時(shí),總的錯(cuò)誤概率為：. 所以總的錯(cuò)誤概率是兩種分類錯(cuò)誤概率的加權(quán)和。. 由于 和 是恣意取的，所以錯(cuò)誤概率不一定是最小的。當(dāng)把決策面 左移時(shí)，我們可以減小代表誤分類的三角形區(qū)域 的面積，從而減小分類錯(cuò)誤概率。 假設(shè)選取決策面H使得： 那么可消除面積A，從而得到最小的分類錯(cuò)誤概率。 這正是上述決策規(guī)那么得到的結(jié)果。. 假設(shè)對(duì)于某個(gè)x ，有那么把x 分到R2中可以使得x對(duì)積分 奉獻(xiàn)增大，而對(duì)積分 的奉獻(xiàn)減小，相當(dāng)于使H左移。 .證明： 假設(shè)R1是 類的決策域，R2是 類的決策域，對(duì)X分類，這時(shí)有兩種能夠發(fā)生的分類錯(cuò)

7、誤： X的真實(shí)形狀是 ，卻分到 R1 ， X的真實(shí)形狀是 ，卻分到 R2 ， 錯(cuò)誤率： 由Bayes公式有：. 那么 在整個(gè)特征空間，有所以， 當(dāng) 時(shí)，把x分到R1，添加積分值，可以使錯(cuò)誤率減小。 .同理可得： 當(dāng) 時(shí)，把x分到R2，可以使錯(cuò)誤率減小。. 對(duì)于普通情況，即方式向量是 維向量，要求在 類方式情況下進(jìn)展決策時(shí)，最小錯(cuò)誤概率的Bayes決策法那么可表達(dá)為： 設(shè) 是個(gè) 類別形狀的有限集合，特征向量 是 維隨機(jī)向量， 是方式向量 在 形狀下的條件概率密度， 是 的先驗(yàn)概率，那么根據(jù)Bayes法那么,后驗(yàn)概率 就是 式中, 這時(shí)決策與上述二類一維方式類似： 假設(shè) 對(duì)于一切 成立，那么決策

8、。.3.2 最小風(fēng)險(xiǎn)的Bayes決策1 決策錯(cuò)誤的損失與風(fēng)險(xiǎn) 對(duì)于兩類別決策，存在兩種能夠的分類錯(cuò)誤： 1把真實(shí)形狀為 的方式分到 類； 2把真實(shí)形狀為 的方式分到 類。 顯然，由于分類錯(cuò)誤，其結(jié)果都會(huì)帶來損失，但是對(duì)于有的問題來說損失是不同的。 .比如，以癌變細(xì)胞的分類辨以為例，把正常細(xì)胞識(shí)別成癌變細(xì)胞 給正常人帶來精神負(fù)擔(dān)；把癌變細(xì)胞識(shí)別成正常細(xì)胞 使早期患者失去治療時(shí)機(jī)，延誤治療，縮短生命。因此，在決策時(shí)就要把由分類錯(cuò)誤而引起的損失思索進(jìn)去。 . 普通情況，設(shè) 是 個(gè)能夠的決策集合 是 個(gè)自然形狀集合 表示當(dāng)自然形狀為 時(shí)，采取決策 所呵斥的損失。 決策表 損失的數(shù)值普通由專家根據(jù)閱歷給

9、出。 . 2. 最小風(fēng)險(xiǎn)的Bayes決策設(shè) 是X在自然形狀為 下的條件概率， 是自然形狀為 的先驗(yàn)概率，那么由Bayes公式可求得后驗(yàn)概率 X. 由Bayes公式，后驗(yàn)概率是： 式中 假定察看到一個(gè) ，同時(shí)決議采取決策 ，假設(shè)真正的形狀為 ，就會(huì)導(dǎo)致產(chǎn)生損失 。 由于 是自然形狀為 的概率，所以與采取的決策 有關(guān)的損失的數(shù)學(xué)期望就是： . 是一個(gè)平均損失，稱為條件風(fēng)險(xiǎn)。每當(dāng)察看到一個(gè)X時(shí)，我們總可以選取使條件風(fēng)險(xiǎn)極小的決策。假設(shè)選取的決策使得平均損失對(duì)每一個(gè)詳細(xì)的X都能盡能夠小，那么總風(fēng)險(xiǎn)也會(huì)到達(dá)極小。最小風(fēng)險(xiǎn)的Bayes決策規(guī)那么： 為了使風(fēng)險(xiǎn)最小，應(yīng)對(duì)于 計(jì)算條件風(fēng)險(xiǎn) 并選擇決策，使得 最

10、小。. 對(duì)于二類問題， 相當(dāng)于決策“真正形狀為 ，而 相當(dāng)于決策“真正形狀為 。記 為當(dāng)真正形狀為 而把 誤作真正形狀時(shí)所遭到的損失。有.這時(shí)最小風(fēng)險(xiǎn)的Bayes決策法那么就是：假設(shè) ，那么斷定 為真正的形狀；否那么 為真正的形狀?；颍杭僭O(shè) ，那么斷定 為真正的形狀；否那么 為真正的形狀。上式與最小錯(cuò)誤概率的Bayes決策比較，有何不同？ 在后驗(yàn)概率上分別乘以一個(gè)損失差作為比例因子。. 最小風(fēng)險(xiǎn)的Bayes決策和最小錯(cuò)誤概率的Bayes決策的關(guān)系： (1)在二類問題中，假設(shè)有 即所謂對(duì)稱損失函數(shù)的情況，二者一致。 (2)普通的多類問題中，在0-1損失函數(shù)的情況時(shí)，即 提示：問題的普通性和特殊性

11、。.條件風(fēng)險(xiǎn)為： 使 極小，即使 極大。 兩種決策的結(jié)果一樣 正確時(shí)的條件概率.3.3 Neyman-Pearson決策 對(duì)于兩類別決策，存在兩種能夠的分類錯(cuò)誤： 1把真實(shí)形狀為 的方式分到 類； 2把真實(shí)形狀為 的方式分到 類。兩種錯(cuò)誤的概率分別為：決策應(yīng)該使 都為最小。如何做？ . Neyman-Pearson決策所要處理的問題： 對(duì)于二類方式識(shí)別問題，堅(jiān)持一種錯(cuò)誤概率為常數(shù) ，例如 ，而使另一種錯(cuò)誤概率 到達(dá)極小。 這個(gè)問題可以看成在 條件下求 的極小值問題。 用什么方法呢？ . 采用Lagrange乘數(shù)法，約束條件為 ， 構(gòu)造Lagrange函數(shù)： 我們的目的就是使 到達(dá)極小。即 mi

12、n.對(duì)于二類問題，有所以， .要使 極小，對(duì)于X，假設(shè)被積函數(shù)將X分到R1，來減少假設(shè) ，將X分到R2，來減小 。這樣，可以寫出決策規(guī)那么： 假設(shè) ，那么 假設(shè) ，那么如何求 ？.將決策規(guī)那么寫成： 假設(shè) 那么 假設(shè) 那么 可以看出， 是兩種決策的邊境。也就是選擇R1和R2的邊境，使得L極小。. 到達(dá)極小值的必要條件是：由此得 或這是未知數(shù) 的方程， 就是分界的閾值?？梢杂闷渌麛?shù)學(xué)方法求得。.3.6 正態(tài)分布時(shí)的Bayes決策法那么單變量正態(tài)密度函數(shù) 它的均值為： 方差為：.單變量正態(tài)密度可由兩個(gè)參數(shù)，即均值 和方差 完全決議，記為 。它表示 是服從均值為 ，方差為 的正態(tài)分布的隨機(jī)變量。正態(tài)

13、分布的樣本集中在均值附近，其分散的程度正比于方差的平方根 ，即規(guī)范差。從正態(tài)總體中抽取的樣本中有95.44%落在區(qū)間 中。.多維正態(tài)密度函數(shù)為：其中 是 維列向量， 是 維均值向量， 是 協(xié)方差矩陣，它的均值向量為協(xié)方差矩陣為： 是 的逆矩陣， 是 的行列式。. 圖3.8所示為一個(gè)二維正態(tài)密度的表示圖，假設(shè)把等概率密度點(diǎn)畫出來，它們就是一簇同心的橢圓。 從正態(tài)總體中抽取的樣本落在一個(gè)密集的區(qū)域，區(qū)域中心由均值向量決議，外形由協(xié)方差矩陣決議。. 用判別函數(shù)可以得到最小錯(cuò)誤概率的分類。當(dāng)概率密度函數(shù) 為正態(tài)時(shí)，對(duì)上式取自然對(duì)數(shù)，那么下面對(duì)該式在下述三種不同情況下進(jìn)展討論：.1.第一種情況： 這種情

14、況下，每類的協(xié)方差矩陣都相等，而且類內(nèi)各特征分兩間相互獨(dú)立，具有一樣的方差，協(xié)方差矩陣是對(duì)角矩陣，對(duì)角線元素都是 。 . 幾何上這相當(dāng)于樣本落在同樣大小的一些超圓球族內(nèi)。第 i 類樣本的超圓球族是以均值 為中心的。圖3.8和3.9的長短軸相等方式 這時(shí)： 判別函數(shù)可以寫成： 是歐氏間隔. 假設(shè) 個(gè)類的先驗(yàn)概率 都一樣： 這時(shí)最小錯(cuò)誤概率的Bayes決策法那么是：假設(shè)要對(duì)方式 分類，只需計(jì)算出從待分類方式向量 到每一類均值向量 的歐氏間隔 ，然后把 歸到間隔最近的那個(gè)均值向量所屬的類別。 這種分類器稱為最小間隔分類器 - 模板匹配技術(shù) 假設(shè) 個(gè)類的先驗(yàn)概率不一樣： 這時(shí)對(duì)間隔的平方 必需用方差

15、規(guī)范化后減去 再用以分類。所以，假設(shè)待分類的方式向量 同兩類均值向量的歐氏間隔相等的話，最小錯(cuò)誤概率的Bayes決策是把這個(gè)方式歸到先驗(yàn)概率較大的那一類。. 在實(shí)踐運(yùn)用中，不用計(jì)算歐氏間隔， 把 展開后，判別函數(shù)式就變成 式中 與方式類別無關(guān)，可以忽略，可得判別函數(shù)： 式中 , 決策面由線性方程 所決議。. 在這個(gè)詳細(xì)情況下，決策面可化為： 其中 這個(gè)方程確定了經(jīng)過 并正交于向量 的超平面。由于 ，所以劃分 和 的超平面正交于均值向量之間的聯(lián)線。. 圖(3.11)是一個(gè)二維二類方式的例子。假設(shè) ，那么點(diǎn) 就分開先驗(yàn)概率較大的那個(gè)類的均值向量而朝先驗(yàn)概率較小的那類方向挪動(dòng)。但假設(shè)方差 ，那么先驗(yàn)概率對(duì)決策面位置的影響比較小。. 2.第二種情況： 各類的協(xié)方差矩陣相等，這種情況下的判別函數(shù)為：假設(shè)各類的先驗(yàn)概率相等，決策法那么為只計(jì)算它與每一類均值向量間的Mahalanobis間隔平方 而后把它分到與之最近的均值向量所屬的類別中去。假設(shè)各類的先驗(yàn)概率不同時(shí)，那么決策應(yīng)有利于先驗(yàn)概率較大的那一類。. 把 展開后， 與類別 無關(guān)，判別函數(shù)變成： 式中 假設(shè) 和 相鄰，它們之間的決策面應(yīng)滿足： 式中. 圖3.12表示二維二類方式情況下的決策界面。假設(shè)各類的先驗(yàn)概率相等，那么這個(gè)決策面同均值向量聯(lián)線的交點(diǎn)在聯(lián)線的中點(diǎn)。假設(shè)各類的先驗(yàn)概率不相等，