貝葉斯決策理論課件

第2章貝葉斯(Bayes)決策理論2.1引言（已知條件、欲求解的問題）2.2幾種常用的決策規(guī)則2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策2.4離散情況的貝葉斯決策

2.5分類器的錯(cuò)誤率問題第2章貝葉斯(Bayes)決策理論2.1引言（已知條件2.1引言模式識別的分類問題：根據(jù)待識別對象的特征觀察值，將其分到某一個(gè)類別中2.1引言模式識別的分類問題：根據(jù)待識別對象的特征觀察值Bayes決策理論的基本已知條件①已知決策分類的類別數(shù)為c，各類別的狀態(tài)為：②已知各類別總體的概率分布（各個(gè)類別出現(xiàn)的先驗(yàn)概率和類條件概率密度函數(shù)）Bayes決策理論的基本已知條件①已知決策分類的類別數(shù)為c，Bayes決策理論欲解決的問題如果在特征空間中觀察到某一個(gè)（隨機(jī)）向量x=(x1,x2,…,xd)T那么，應(yīng)該將x分到哪一個(gè)類才是最合理的？Bayes決策理論欲解決的問題如果在特征空間中觀察到某一個(gè)（2.2幾種常用的決策規(guī)則2.2.1基于最小錯(cuò)誤率的Bayes決策2.2.2基于最小風(fēng)險(xiǎn)的Bayes決策2.2.3Neyman-Pearson決策2.2.4最小最大決策2.2.5序貫分類方法2.2幾種常用的決策規(guī)則2.2.1基于最小錯(cuò)誤率的Ba2.2.1基于最小錯(cuò)誤率的Bayes決策利用概率論中的Bayes公式進(jìn)行分類，可以得到錯(cuò)誤率最小的分類規(guī)則2.2.1基于最小錯(cuò)誤率的Bayes決策利用概率論中的B已知條件①類別狀態(tài)的先驗(yàn)概率②類條件概率密度已知條件①類別狀態(tài)的先驗(yàn)概率根據(jù)Bayes公式得到狀態(tài)的后驗(yàn)概率基本決策規(guī)則ifthen將x歸屬后驗(yàn)概率最大的類別

后驗(yàn)=似然x先驗(yàn)/證據(jù)因子根據(jù)Bayes公式得到狀態(tài)的后驗(yàn)概率基本決策規(guī)則ifthen兩類情況下的Bayes決策規(guī)則及其變型①Bayes決策規(guī)則兩類情況下的Bayes決策規(guī)則及其變型①Bayes決策規(guī)則②變型1（消去相同的分母）②變型1（消去相同的分母）③變型2④變型3（取似然比的自然對數(shù)的負(fù)值）似然比似然比閾值③變型2④變型3（取似然比的自然對數(shù)的負(fù)值）似然比似然比閾值兩類的后驗(yàn)概率相等時(shí)，采取的策略：歸屬其中一類拒絕（設(shè)置一個(gè)拒絕類，供進(jìn)一步分析）兩類的后驗(yàn)概率相等時(shí)，采取的策略：例：某地區(qū)細(xì)胞識別中，正常和異常細(xì)胞的先驗(yàn)概率：

P(ω1)=0.9，P(ω2)=0.1有未知細(xì)胞x，對應(yīng)的類條件概率密度：P(x|ω1)=0.2，

P(x|ω2)=0.4判別該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞？解：先計(jì)算后驗(yàn)概率：屬于正常細(xì)胞，注意：先驗(yàn)概率起主導(dǎo)作用如果先驗(yàn)概率相等，則屬于異常細(xì)胞例：某地區(qū)細(xì)胞識別中，正常和異常細(xì)胞的先驗(yàn)概率：P(x|ω正確分類與錯(cuò)誤分類正確分類：將樣本歸屬到樣本本身所屬的類別錯(cuò)誤分類：將樣本歸屬到非樣本本身所屬的類別正確分類與錯(cuò)誤分類正確分類：將樣本歸屬到樣本本身所屬的類別以一維、兩類情況為例，證明Bayes規(guī)則使分類錯(cuò)誤率最小（平均）錯(cuò)誤率定義為條件錯(cuò)誤概率以一維、兩類情況為例，證明Bayes規(guī)則使分類錯(cuò)誤率最?。ㄆ紹ayes決策規(guī)則：此時(shí)，x(ω2)的條件錯(cuò)誤概率此時(shí)，x(ω1)的條件錯(cuò)誤概率Bayes決策規(guī)則：此時(shí)，x(ω2)的條件錯(cuò)誤概率此時(shí)，條件錯(cuò)誤概率Bayes公式全概率公式平均錯(cuò)誤率條件錯(cuò)誤概率Bayes公式全概率公式平均錯(cuò)誤率t

是兩類的分界點(diǎn)，x軸分成兩個(gè)區(qū)間只有當(dāng)t取兩類后驗(yàn)概率相等的點(diǎn)時(shí)，錯(cuò)誤率才是最小的（黃顏色區(qū)域變成零）紅＋黃綠t是兩類的分界點(diǎn)，x軸分成兩個(gè)區(qū)間只有當(dāng)t取兩類后驗(yàn)概貝葉斯決策理論課件2.2.2基于最小風(fēng)險(xiǎn)的Bayes決策在醫(yī)學(xué)診斷上，有誤診（無病說有?。⒙┰\。在雷達(dá)防空中，有虛警、漏警（有飛機(jī)說成無飛機(jī)）。這些錯(cuò)誤判斷會造成不同的后果和損失?；谧钚★L(fēng)險(xiǎn)的Bayes決策是：在考慮各種錯(cuò)誤可能造成不同的損失的情況下的Bayes決策規(guī)則2.2.2基于最小風(fēng)險(xiǎn)的Bayes決策在醫(yī)學(xué)診斷上，有誤基本概念決策（行動）：所采取的決定決策（行動）空間：所有可能決策所構(gòu)成的一個(gè)集合損失：每一個(gè)決策將付出的代價(jià)，通常為決策和自然狀態(tài)（類）的函數(shù)基本概念決策（行動）：所采取的決定狀態(tài)決策…c個(gè)自然狀態(tài)（類）a個(gè)決策損失一般決策表狀態(tài)…c個(gè)自然狀態(tài)（類）a個(gè)決策損失一般決策說明：狀態(tài)空間由c個(gè)自然狀態(tài)（c個(gè)類）組成：決策空間由a

個(gè)決策組成：a=c或者a=c＋1

（拒絕類）說明：狀態(tài)空間由c個(gè)自然狀態(tài)（c個(gè)類）組成：決策空間由損失函數(shù)有a×c

個(gè)值：含義：當(dāng)真實(shí)狀態(tài)為ωj

而所采取的決策為

αi

時(shí)所造成的損失大小損失函數(shù)有a×c個(gè)值：含義：已知后驗(yàn)概率最小錯(cuò)誤率Bayes決策取后驗(yàn)概率的最大者對于給定的模式向量x已知后驗(yàn)概率最小錯(cuò)誤率Bayes決策取后驗(yàn)概率的最大者對于給在決策表中，每一個(gè)決策αi

對應(yīng)存在

c個(gè)損失。對于x，定義在采取決策αi

時(shí)的條件期望損失（條件風(fēng)險(xiǎn)）為：在決策表中，每一個(gè)決策αi對應(yīng)存在c個(gè)損失。對于x是隨機(jī)向量的觀察值，對于其不同觀察值，采取不同的決策αi時(shí)，對應(yīng)不同的條件風(fēng)險(xiǎn)。所以，不同的x，將會采用不同的決策決策可以看成隨機(jī)向量x的函數(shù)，記為α(x)（隨機(jī)變量），可以定義期望風(fēng)險(xiǎn)為注：積分在整個(gè)特征空間上進(jìn)行x是隨機(jī)向量的觀察值，對于其不同觀察值，采取不同的決策α差別：條件風(fēng)險(xiǎn)

R(αi|x)只反映出，對某一個(gè)x取值，采取決策行動αi所帶來的風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)

R

則反映，在整個(gè)特征空間中不同的x

取值，采取相應(yīng)的決策α(x)所帶來的平均風(fēng)險(xiǎn)差別：目標(biāo)：所采取的一系列決策行動應(yīng)該使期望風(fēng)險(xiǎn)達(dá)到最小手段：如果在采取每一個(gè)決策時(shí)，都使其條件風(fēng)險(xiǎn)最小，則對所有的x作決策時(shí)，其期望風(fēng)險(xiǎn)也必然達(dá)到最小決策：最小風(fēng)險(xiǎn)Bayes決策目標(biāo)：所采取的一系列決策行動應(yīng)該使期望風(fēng)險(xiǎn)達(dá)到最小最小風(fēng)險(xiǎn)Bayes決策規(guī)則：其中采取決策最小風(fēng)險(xiǎn)Bayes決策規(guī)則：其中采取決策最小風(fēng)險(xiǎn)Bayes決策的步驟①在已知類先驗(yàn)概率和類概率密度函數(shù)的情況下，計(jì)算待識x的后驗(yàn)概率（Bayes公式）最小風(fēng)險(xiǎn)Bayes決策的步驟①在已知類先驗(yàn)概率和類概率密度函②根據(jù)決策表，計(jì)算每一個(gè)決策的條件風(fēng)險(xiǎn)③找出條件風(fēng)險(xiǎn)最小值所對應(yīng)的決策，對x采取該決策（歸屬到該類）②根據(jù)決策表，計(jì)算每一個(gè)決策的條件風(fēng)險(xiǎn)③找出條件風(fēng)險(xiǎn)最小值所例：區(qū)分正常與異常細(xì)胞正常細(xì)胞異常細(xì)胞后驗(yàn)概率例：區(qū)分正常與異常細(xì)胞正常細(xì)胞異常細(xì)胞后驗(yàn)概率條件風(fēng)險(xiǎn)決策：歸屬到異常細(xì)胞原因：損失起主導(dǎo)作用0610正常異常歸正常歸異常條件風(fēng)險(xiǎn)決策：歸屬到異常細(xì)胞0610正常異常歸正常歸異常兩種決策規(guī)則之間的關(guān)系定義0-1損失函數(shù)意義：正確決策沒有損失，錯(cuò)誤決策損失都為1附件條件：c個(gè)類別對應(yīng)c個(gè)決策（無拒絕類）兩種決策規(guī)則之間的關(guān)系定義0-1損失函數(shù)意義：附件條件：c對x采取決策（歸屬）ωi時(shí)的條件錯(cuò)誤概率結(jié)論：在0-1損失函數(shù)的條件下，使風(fēng)險(xiǎn)最小的Bayes決策等價(jià)于使錯(cuò)誤率最小的Bayes決策，后者是前者的特例最小最小最大對x采取決策（歸屬）ωi時(shí)的條件錯(cuò)誤概率結(jié)論：在0-2.2.3Neyman-Pearson(聶曼-皮爾遜)決策在限定一類錯(cuò)誤率條件下，使另一類錯(cuò)誤率為最小的兩類別決策2.2.3Neyman-Pearson(聶曼-皮爾遜)決策2.2.4最小最大決策考慮先驗(yàn)概率變化的情況下，如何使最大可能的風(fēng)險(xiǎn)為最小，即在最差的條件下爭取最好的結(jié)果2.2.4最小最大決策考慮先驗(yàn)概率變化的情況下，如何使最貝葉斯決策理論課件貝葉斯決策理論課件2.2.5序貫分類方法原因：獲取特征需要付出一定的代價(jià)（成本），我們要衡量，增加特征所付出的代價(jià)，減少錯(cuò)誤率所得到的好處2.2.5序貫分類方法原因：獲取特征需要付出一定的代價(jià)（成序貫分類方法：先用一部分特征來分類，逐步加入特征以減少分類損失每步都要衡量加入新特征所花代價(jià)與所降低分類損失的大小，以便決定是否繼續(xù)增加新特征序貫分類方法：2.2.6分類器設(shè)計(jì)要點(diǎn)：判別函數(shù)決策面（分類面）分類器設(shè)計(jì)2.2.6分類器設(shè)計(jì)要點(diǎn)：決策面（分類面）對于c

類分類問題，按照決策規(guī)則可以把d

維特征空間分成c個(gè)決策域，我們將劃分決策域的邊界面稱為決策面（分類面）決策面（分類面）對于c類分類問題，按照決策規(guī)則可以把d判別函數(shù)用于表達(dá)決策規(guī)則的某些函數(shù)，則稱為判別函數(shù)判別函數(shù)可以取為決策規(guī)則的單調(diào)增函數(shù)，最簡單的形式就是決策規(guī)則本身判別函數(shù)用于表達(dá)決策規(guī)則的某些函數(shù)，則稱為判別函數(shù)決策面與判別函數(shù)的關(guān)系判別函數(shù)決定決策面方程分兩類和多類情況來討論判別函數(shù)、決策面方程、分類器設(shè)計(jì)決策面與判別函數(shù)的關(guān)系判別函數(shù)決定決策面方程分兩類和多類情況2.2.6.1多類情況設(shè)c類問題和d維模式（隨機(jī)）向量為2.2.6.1多類情況設(shè)c類問題和d維模式（隨機(jī)最小錯(cuò)誤率Bayes決策規(guī)則：最小錯(cuò)誤率Bayes決策規(guī)則：判別函數(shù)定義一組（c

個(gè)）判別函數(shù)gi(x),i=1,…,c來表示c

類決策規(guī)則，可以取判別函數(shù)定義一組（c個(gè)）判別函數(shù)決策規(guī)則如果使對all成立，則將x歸于ωi

類決策規(guī)則如果使對all成立，則將x歸于ωi類決策面方程各決策域被決策面所分割，決策面應(yīng)該是特征空間中的超曲面。相鄰的兩個(gè)決策域在決策面上，其判別函數(shù)值是相等的決策面方程各決策域被決策面所分割，決策面應(yīng)該是特征空間中的超如果Ri和Rj

是兩個(gè)相鄰的決策域，則它們之間的決策面方程：如果Ri和Rj是兩個(gè)相鄰的決策域，則它們之間的決貝葉斯決策理論課件分類器設(shè)計(jì)分類器：可看成是由硬件或軟件組成的一個(gè)“機(jī)器”（程序）功能：先計(jì)算出c

個(gè)判別函數(shù)值，再從中選出對應(yīng)于判別函數(shù)為最大值的類作為決策結(jié)果分類器設(shè)計(jì)分類器：可看成是由硬件或軟件組成的一個(gè)“機(jī)器”（程貝葉斯決策理論課件2.2.6.2兩類情況設(shè)兩類問題和d維模式（隨機(jī)）向量為2.2.6.2兩類情況設(shè)兩類問題和d維模式（隨機(jī)）向最小錯(cuò)誤率Bayes決策規(guī)則：最小錯(cuò)誤率Bayes決策規(guī)則：判別函數(shù)只需定義一個(gè)判別函數(shù)：具體形式有：判別函數(shù)只需定義一個(gè)判別函數(shù)：具體形式有：決策規(guī)則ifthenthenif決策規(guī)則ifthenthenif決策面方程特征空間：一維，決策面：分界點(diǎn)二維曲線三維曲面高維超曲面決策面方程特征空間：一維，決策面：分界點(diǎn)分類器設(shè)計(jì)兩類分類器的功能：計(jì)算判別函數(shù)，再根據(jù)計(jì)算結(jié)果的符號將x分類g(x)判別計(jì)算閾值單元決策分類器設(shè)計(jì)兩類分類器的功能：計(jì)算判別函數(shù)，再根據(jù)計(jì)算結(jié)果的符2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策重點(diǎn)分析正態(tài)分布情況下統(tǒng)計(jì)決策的原因是：①正態(tài)分布在物理上是合理的、廣泛的②正態(tài)分布數(shù)學(xué)表達(dá)上簡捷，如一維情況下只有均值和方差兩個(gè)參數(shù)，因而易于分析2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策重點(diǎn)分析正態(tài)分布情況下統(tǒng)計(jì)決策的2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)單變量正態(tài)分布多變量正態(tài)分布2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)單變量正態(tài)分布1單變量正態(tài)分布

連續(xù)型概率密度函數(shù)應(yīng)滿足條件1單變量正態(tài)分布連續(xù)型概率密度函數(shù)應(yīng)滿足條件單變量正態(tài)分布概率密度函數(shù)其中均值或數(shù)學(xué)期望方差單變量正態(tài)分布概率密度函數(shù)其中均值或數(shù)學(xué)期望方差2多元正態(tài)分布

（1）定義d維向量d

維均值向量d×d協(xié)方差矩陣逆矩陣行列式2多元正態(tài)分布（1）定義d維向量注：協(xié)方差矩陣是非負(fù)定的。一般情況情況下，我們假設(shè)是正定的，即|Σ|>0，即存在逆矩陣主對角線σij2為方差其他分量σij2(ij)為協(xié)方差對稱矩陣注：協(xié)方差矩陣是非負(fù)定的。一般情況情況下，我們假設(shè)是正定的，①參數(shù)μ與Σ對分布的決定作用多元正態(tài)分布完全由均值向量μ與協(xié)方差矩陣Σ決定μ有d

個(gè)分量，Σ由有d(d+1)/2元素，多元正態(tài)分布總共有d+d(d+1)/2個(gè)參數(shù)常記為：p(x)=N(μ,Σ)

(2)性質(zhì)①參數(shù)μ與Σ對分布的決定作用(2)性質(zhì)②等密度點(diǎn)的軌跡是一個(gè)超橢球面從正態(tài)分布總體中抽取的樣本大部分落在由μ和Σ所確定的一個(gè)區(qū)域中。區(qū)域的中心由均值向量μ決定，區(qū)域的大小由協(xié)方差矩陣Σ決定等密度點(diǎn)滿足下列方程，其解是一個(gè)超橢球面constant②等密度點(diǎn)的軌跡是一個(gè)超橢球面constant貝葉斯決策理論課件x到μ的Mahalanobis距離的平方等密度點(diǎn)軌跡是：x到μ的Mahalanobis距離為常數(shù)的超橢球面x到μ的Mahalanobis距離的平方③不相關(guān)性等價(jià)于獨(dú)立性如果xi與xj為兩個(gè)隨機(jī)變量（向量）獨(dú)立：滿足

p(xi,xj)=p(xi)p(xj)不相關(guān)：滿足E{xixj}=E{xi}E{xj}

③不相關(guān)性等價(jià)于獨(dú)立性相互獨(dú)立不相關(guān)成立成立？？多元正態(tài)分布的任意兩個(gè)分量成立！相互獨(dú)立不相關(guān)成立成立？？多元正態(tài)分布的任意兩個(gè)分量成立！說明：正態(tài)分布中不相關(guān)意味著協(xié)方差矩陣是對角矩陣并且有說明：正態(tài)分布中不相關(guān)意味著協(xié)方差矩陣是對角矩陣并且有④邊緣分布(對變量進(jìn)行積分)和條件分布(固定變量)的正態(tài)性⑤線性變換的正態(tài)性y=AxA為線性變換的非奇異矩陣。若x為正態(tài)分布，則y也是正態(tài)分布⑥線性組合的正態(tài)性④邊緣分布(對變量進(jìn)行積分)和條件分布(固定變量)的正態(tài)性正態(tài)分布與熵之間的關(guān)系熵的定義單位為奈特，若換為,單位為比特。熵是一個(gè)非負(fù)的量用來描述一種分布中隨機(jī)選取的樣本點(diǎn)的不確定性?？梢宰C明正態(tài)分布在所有具有給定均值和方差的分布中具有最大熵。正態(tài)分布與熵之間的關(guān)系熵的定義單位為奈特，若換為2.3.2多元正態(tài)概率型下的最小錯(cuò)誤率Bayes判別函數(shù)與決策面多類情況下的判別函數(shù)多元正態(tài)分布的類概率密度函數(shù)2.3.2多元正態(tài)概率型下的最小錯(cuò)誤率Bayes判別函數(shù)與i

類與j

類的決策面方程判別函數(shù)常數(shù)i類與j類的決策面方程判別函數(shù)常數(shù)針對不同的協(xié)方差矩陣進(jìn)行討論針對不同的協(xié)方差矩陣進(jìn)行討論1第一種情況條件：每類的協(xié)方差矩陣都相等，類內(nèi)各特征間相互獨(dú)立，具有相等的方差分兩種情形(1)各類的先驗(yàn)概率不等(2)各類的先驗(yàn)概率相等1第一種情況條件：每類的協(xié)方差矩陣都相等，類內(nèi)各特征間相互判別函數(shù)當(dāng)前的協(xié)方差矩陣為對于每一個(gè)判別函數(shù)都是相同的(1)先驗(yàn)概率不相等判別函數(shù)當(dāng)前的協(xié)方差矩陣為對于每一個(gè)判別函數(shù)都是相同的(1)消去相同的部分，代入?yún)f(xié)方差矩陣，得其中向量x到類ωi

的均值向量μi

的歐氏距離的平方消去相同的部分，代入?yún)f(xié)方差矩陣，得其中向量x到類ωi(2)各類先驗(yàn)概率相等消去相同的部分，得判別函數(shù)Bayes決策規(guī)則：決策規(guī)則簡化為(2)各類先驗(yàn)概率相等消去相同的部分，得判別函數(shù)Baye解釋：對于觀察向量x，只需要計(jì)算x到各類均值向量的歐氏距離的平方，再將x歸于距離最小的類別中去，這樣的分類器稱之為最小距離分類器解釋：對于觀察向量x，只需要計(jì)算x到各類均值向量的歐氏(3)直觀的幾何解釋判別函數(shù)展開后得對于每一個(gè)類都相同(3)直觀的幾何解釋判別函數(shù)展開后得對于每一個(gè)類都相同消去相同部分，得令判別函數(shù)為：消去相同部分，得令判別函數(shù)為：判別函數(shù)是模式向量x的線性函數(shù)，這樣的分類器稱之為線性分類器判別函數(shù)是模式向量x的線性函數(shù)，這樣的分類器稱之為線決策面方程(i與j類）現(xiàn)在為判別函數(shù)＝1決策面方程現(xiàn)在為判別函數(shù)＝1令決策面方程超平面乘于σ2，提取得令決策面方程超平面乘于σ2，提取得決策面方程：超平面以二維為例，直觀地解釋它們的幾何意義決策面方程：超平面以二維為例，直觀地解釋它們的幾何意義當(dāng)各類的先驗(yàn)概率相等時(shí)，有ωi

類與ωj

類之間的決策超平面通過它們均值向量μi

與μj

連線的中點(diǎn)并與之正交四類當(dāng)各類的先驗(yàn)概率相等時(shí)，有ωi類與ωj類之間的決策超當(dāng)各類先驗(yàn)概率不相等時(shí)，有決策面當(dāng)P(ωi)>P(ωj)N在M右側(cè)當(dāng)各類先驗(yàn)概率不相等時(shí)，有決策面當(dāng)P(ωi)>P(ωj)解釋：w是點(diǎn)μj到點(diǎn)μi

的向量，x-x0是從點(diǎn)x0到點(diǎn)x（位于決策面上）的向量。兩者之間的點(diǎn)積為零，其意義是兩者相互垂直，并通過x0當(dāng)先驗(yàn)概率不相等時(shí)，x0位置不在μi到μj連線的中點(diǎn)上，靠近先驗(yàn)概率小的一邊，遠(yuǎn)離先驗(yàn)概率大的一邊；決策面通過x0，并與向量μi-

μj正交解釋：2第二種情況：Σi＝

Σ(各類協(xié)方差相等)判別函數(shù)簡化后得如果各類先驗(yàn)概率相等常數(shù)2第二種情況：Σi＝Σ(各類協(xié)方差相等)判別函數(shù)簡化后定義新的判別函數(shù)（Mahalanobis距離的平方）決策規(guī)則：對于觀察向量x，計(jì)算x到每一類均值向量μi的馬氏距離的平方γ2，最后歸于γ2最小的類別定義新的判別函數(shù)（Mahalanobis距離的平方）決策規(guī)則考察判別函數(shù)的幾何意義展開后，得每一類判斷函數(shù)都相同的部分考察判別函數(shù)的幾何意義展開后，得每一類判斷函數(shù)都相同的部分消去與類別判斷無關(guān)的項(xiàng)，得其中線性判別函數(shù)消去與類別判斷無關(guān)的項(xiàng)，得其中線性判別函數(shù)決策面為一個(gè)超平面根據(jù)其中類似可得決策面為一個(gè)超平面根據(jù)其中類似可得解釋：向量w一般不再在μi-

μj方向上，有一個(gè)坐標(biāo)旋轉(zhuǎn)。向量(x-x0)通過x0點(diǎn)。w與(x-x0)點(diǎn)積為零，表示兩者正交。決策面仍過x0點(diǎn)，與w正交，但不再與μi-

μj正交解釋：當(dāng)各類先驗(yàn)概率相等，則x0

點(diǎn)是兩個(gè)均值向量連線的中點(diǎn)如果各類先驗(yàn)概率不相等，則x0

點(diǎn)偏向先驗(yàn)概率小的一邊當(dāng)各類先驗(yàn)概率相等，則x0點(diǎn)是兩個(gè)均值向量連線的中點(diǎn)3第三種情況：各類協(xié)方差矩陣不等判別函數(shù)消去與類別無關(guān)的項(xiàng)并展開后，得3第三種情況：各類協(xié)方差矩陣不等判別函數(shù)消去與類別無關(guān)的其中判別函數(shù)是二次型其中判別函數(shù)是二次型決策面方程為：決策面為超二次曲面，隨著類先驗(yàn)概率、類正態(tài)密度函數(shù)參數(shù)的不同，出現(xiàn)為某種形式的超二次曲面，如超球面、超橢球面、超拋物面、超雙曲面或超平面決策面方程為：決策面為超二次曲面，隨著類先驗(yàn)概率、類正態(tài)密度二維正態(tài)分布情況下的一些例子：決策面：帶斜線部分的外輪廓線方差二維正態(tài)分布情況下的一些例子：決策面：帶斜線部分的外輪廓線方2.4離散情況的貝葉斯決策

以上幾節(jié)所討論的特征向量可以是d維特征空間中的任一點(diǎn)，即為連續(xù)的隨機(jī)向量。但在許多的模式識別問題中，特征向量是一個(gè)離散型隨機(jī)向量，僅可取個(gè)離散值中的一個(gè)。此時(shí)，我們?nèi)钥梢岳秘惾~斯公式計(jì)算式中

2.4離散情況的貝葉斯決策以上幾節(jié)所討論的特征向量可可以看出，貝葉斯決策規(guī)則仍然不變，最小錯(cuò)誤率的貝葉斯決策法則仍為：如果對于一切成立，則決策。最小風(fēng)險(xiǎn)的Bayes決策法則仍是：如果，則對應(yīng)的決策?？梢钥闯?，貝葉斯決策規(guī)則仍然不變，最小錯(cuò)誤率的貝葉斯對于二類模式的分類問題，通常采用下述形式的判別函數(shù)：下面考慮一個(gè)兩類模式的分類問題。設(shè)特征向量，它的各個(gè)分量都是或?yàn)?或?yàn)?的二值特征，并且各特征相互獨(dú)立。并令：

以一種分類問題的模型來說明。這類模型中，對模式的每一個(gè)特征需要給出一個(gè)“是”與“否”的答案，“是”表示該模式具有對應(yīng)特征，其值就為1，否則不具有對應(yīng)特征，其值就為0。對于二類模式的分類問題，通常采用下述形式的判別函數(shù)：下面考慮因?yàn)槟Ｊ街懈魈卣飨嗷オ?dú)立，所以可以把條件概率寫成的分量的概率之積的形式：因此似然比為：

如果采用對數(shù)形式的判別函數(shù)，則有：上式關(guān)于是線性的，因此可以改寫得到線性判別函數(shù)的形式：

因?yàn)槟Ｊ街懈魈卣飨嗷オ?dú)立，所以可以把條件概率寫成

是的分量的線性組合，它們的系數(shù)是權(quán)，它的值表示在作分類決策時(shí)對特征作“是”回答的關(guān)聯(lián)程度。在判別中，先驗(yàn)概率僅對閾值權(quán)起作用。如果，則，說明不能給出有關(guān)類別的信息。如果，則，從而是正的。這種情況下，特征對于類給出的是的頻率要高于類。同樣如果，則是負(fù)的，此時(shí)特征對于類給出的“是”的頻率要低于類。是的分量的線性組合，它們的系數(shù)是權(quán)，它的值表示2.5關(guān)于分類器的錯(cuò)誤率問題任何一種決策規(guī)則都有其相對應(yīng)的錯(cuò)誤率。在已知類條件概率密度及先驗(yàn)概率的條件下，當(dāng)采取指定的決策規(guī)則分類，其錯(cuò)誤率應(yīng)該是固定的在分類器設(shè)計(jì)出來后，通?？偸且藻e(cuò)誤率的大小來衡量其性能的優(yōu)劣。當(dāng)用不同的分類方法處理同一問題時(shí)，通?？偸且藻e(cuò)誤率大小作為比較方案好壞的標(biāo)準(zhǔn)2.5關(guān)于分類器的錯(cuò)誤率問題任何一種決策規(guī)則都有其相對應(yīng)的在模式識別的理論和實(shí)踐中錯(cuò)誤率是非常重要的參數(shù)。但是，計(jì)算錯(cuò)誤率是復(fù)雜和困難的現(xiàn)在計(jì)算或估計(jì)錯(cuò)誤率的方法分成三大類：①按理論公式計(jì)算（非常簡單的情況）②計(jì)算錯(cuò)誤率的上界（要盡可能緊）③實(shí)驗(yàn)估計(jì)在模式識別的理論和實(shí)踐中錯(cuò)誤率是非常重要的參數(shù)。但是，計(jì)算錯(cuò)本章小結(jié)內(nèi)容：Bayes決策理論，正態(tài)分布情況下的詳細(xì)討論特點(diǎn)：依據(jù)Bayes理論設(shè)計(jì)的分類器理論上講具有最優(yōu)的性能，可以被用來作為衡量其他分類器設(shè)計(jì)方法優(yōu)劣的標(biāo)準(zhǔn)問題：如何估計(jì)出類先驗(yàn)概率、類條件概率密度函數(shù)（實(shí)現(xiàn)時(shí)的難點(diǎn)）本章小結(jié)內(nèi)容：Bayes決策理論，正態(tài)分布情況下的詳細(xì)討論演講完畢，謝謝觀看！演講完畢，謝謝觀看！第2章貝葉斯(Bayes)決策理論2.1引言（已知條件、欲求解的問題）2.2幾種常用的決策規(guī)則2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策2.4離散情況的貝葉斯決策

2.5分類器的錯(cuò)誤率問題第2章貝葉斯(Bayes)決策理論2.1引言（已知條件2.1引言模式識別的分類問題：根據(jù)待識別對象的特征觀察值，將其分到某一個(gè)類別中2.1引言模式識別的分類問題：根據(jù)待識別對象的特征觀察值Bayes決策理論的基本已知條件①已知決策分類的類別數(shù)為c，各類別的狀態(tài)為：②已知各類別總體的概率分布（各個(gè)類別出現(xiàn)的先驗(yàn)概率和類條件概率密度函數(shù)）Bayes決策理論的基本已知條件①已知決策分類的類別數(shù)為c，Bayes決策理論欲解決的問題如果在特征空間中觀察到某一個(gè)（隨機(jī)）向量x=(x1,x2,…,xd)T那么，應(yīng)該將x分到哪一個(gè)類才是最合理的？Bayes決策理論欲解決的問題如果在特征空間中觀察到某一個(gè)（2.2幾種常用的決策規(guī)則2.2.1基于最小錯(cuò)誤率的Bayes決策2.2.2基于最小風(fēng)險(xiǎn)的Bayes決策2.2.3Neyman-Pearson決策2.2.4最小最大決策2.2.5序貫分類方法2.2幾種常用的決策規(guī)則2.2.1基于最小錯(cuò)誤率的Ba2.2.1基于最小錯(cuò)誤率的Bayes決策利用概率論中的Bayes公式進(jìn)行分類，可以得到錯(cuò)誤率最小的分類規(guī)則2.2.1基于最小錯(cuò)誤率的Bayes決策利用概率論中的B已知條件①類別狀態(tài)的先驗(yàn)概率②類條件概率密度已知條件①類別狀態(tài)的先驗(yàn)概率根據(jù)Bayes公式得到狀態(tài)的后驗(yàn)概率基本決策規(guī)則ifthen將x歸屬后驗(yàn)概率最大的類別

后驗(yàn)=似然x先驗(yàn)/證據(jù)因子根據(jù)Bayes公式得到狀態(tài)的后驗(yàn)概率基本決策規(guī)則ifthen兩類情況下的Bayes決策規(guī)則及其變型①Bayes決策規(guī)則兩類情況下的Bayes決策規(guī)則及其變型①Bayes決策規(guī)則②變型1（消去相同的分母）②變型1（消去相同的分母）③變型2④變型3（取似然比的自然對數(shù)的負(fù)值）似然比似然比閾值③變型2④變型3（取似然比的自然對數(shù)的負(fù)值）似然比似然比閾值兩類的后驗(yàn)概率相等時(shí)，采取的策略：歸屬其中一類拒絕（設(shè)置一個(gè)拒絕類，供進(jìn)一步分析）兩類的后驗(yàn)概率相等時(shí)，采取的策略：例：某地區(qū)細(xì)胞識別中，正常和異常細(xì)胞的先驗(yàn)概率：

P(ω1)=0.9，P(ω2)=0.1有未知細(xì)胞x，對應(yīng)的類條件概率密度：P(x|ω1)=0.2，

P(x|ω2)=0.4判別該細(xì)胞屬于正常細(xì)胞還是異常細(xì)胞？解：先計(jì)算后驗(yàn)概率：屬于正常細(xì)胞，注意：先驗(yàn)概率起主導(dǎo)作用如果先驗(yàn)概率相等，則屬于異常細(xì)胞例：某地區(qū)細(xì)胞識別中，正常和異常細(xì)胞的先驗(yàn)概率：P(x|ω正確分類與錯(cuò)誤分類正確分類：將樣本歸屬到樣本本身所屬的類別錯(cuò)誤分類：將樣本歸屬到非樣本本身所屬的類別正確分類與錯(cuò)誤分類正確分類：將樣本歸屬到樣本本身所屬的類別以一維、兩類情況為例，證明Bayes規(guī)則使分類錯(cuò)誤率最?。ㄆ骄╁e(cuò)誤率定義為條件錯(cuò)誤概率以一維、兩類情況為例，證明Bayes規(guī)則使分類錯(cuò)誤率最?。ㄆ紹ayes決策規(guī)則：此時(shí)，x(ω2)的條件錯(cuò)誤概率此時(shí)，x(ω1)的條件錯(cuò)誤概率Bayes決策規(guī)則：此時(shí)，x(ω2)的條件錯(cuò)誤概率此時(shí)，條件錯(cuò)誤概率Bayes公式全概率公式平均錯(cuò)誤率條件錯(cuò)誤概率Bayes公式全概率公式平均錯(cuò)誤率t

是兩類的分界點(diǎn)，x軸分成兩個(gè)區(qū)間只有當(dāng)t取兩類后驗(yàn)概率相等的點(diǎn)時(shí)，錯(cuò)誤率才是最小的（黃顏色區(qū)域變成零）紅＋黃綠t是兩類的分界點(diǎn)，x軸分成兩個(gè)區(qū)間只有當(dāng)t取兩類后驗(yàn)概貝葉斯決策理論課件2.2.2基于最小風(fēng)險(xiǎn)的Bayes決策在醫(yī)學(xué)診斷上，有誤診（無病說有病）、漏診。在雷達(dá)防空中，有虛警、漏警（有飛機(jī)說成無飛機(jī)）。這些錯(cuò)誤判斷會造成不同的后果和損失。基于最小風(fēng)險(xiǎn)的Bayes決策是：在考慮各種錯(cuò)誤可能造成不同的損失的情況下的Bayes決策規(guī)則2.2.2基于最小風(fēng)險(xiǎn)的Bayes決策在醫(yī)學(xué)診斷上，有誤基本概念決策（行動）：所采取的決定決策（行動）空間：所有可能決策所構(gòu)成的一個(gè)集合損失：每一個(gè)決策將付出的代價(jià)，通常為決策和自然狀態(tài)（類）的函數(shù)基本概念決策（行動）：所采取的決定狀態(tài)決策…c個(gè)自然狀態(tài)（類）a個(gè)決策損失一般決策表狀態(tài)…c個(gè)自然狀態(tài)（類）a個(gè)決策損失一般決策說明：狀態(tài)空間由c個(gè)自然狀態(tài)（c個(gè)類）組成：決策空間由a

個(gè)決策組成：a=c或者a=c＋1

（拒絕類）說明：狀態(tài)空間由c個(gè)自然狀態(tài)（c個(gè)類）組成：決策空間由損失函數(shù)有a×c

個(gè)值：含義：當(dāng)真實(shí)狀態(tài)為ωj

而所采取的決策為

αi

時(shí)所造成的損失大小損失函數(shù)有a×c個(gè)值：含義：已知后驗(yàn)概率最小錯(cuò)誤率Bayes決策取后驗(yàn)概率的最大者對于給定的模式向量x已知后驗(yàn)概率最小錯(cuò)誤率Bayes決策取后驗(yàn)概率的最大者對于給在決策表中，每一個(gè)決策αi

對應(yīng)存在

c個(gè)損失。對于x，定義在采取決策αi

時(shí)的條件期望損失（條件風(fēng)險(xiǎn)）為：在決策表中，每一個(gè)決策αi對應(yīng)存在c個(gè)損失。對于x是隨機(jī)向量的觀察值，對于其不同觀察值，采取不同的決策αi時(shí)，對應(yīng)不同的條件風(fēng)險(xiǎn)。所以，不同的x，將會采用不同的決策決策可以看成隨機(jī)向量x的函數(shù)，記為α(x)（隨機(jī)變量），可以定義期望風(fēng)險(xiǎn)為注：積分在整個(gè)特征空間上進(jìn)行x是隨機(jī)向量的觀察值，對于其不同觀察值，采取不同的決策α差別：條件風(fēng)險(xiǎn)

R(αi|x)只反映出，對某一個(gè)x取值，采取決策行動αi所帶來的風(fēng)險(xiǎn)期望風(fēng)險(xiǎn)

R

則反映，在整個(gè)特征空間中不同的x

取值，采取相應(yīng)的決策α(x)所帶來的平均風(fēng)險(xiǎn)差別：目標(biāo)：所采取的一系列決策行動應(yīng)該使期望風(fēng)險(xiǎn)達(dá)到最小手段：如果在采取每一個(gè)決策時(shí)，都使其條件風(fēng)險(xiǎn)最小，則對所有的x作決策時(shí)，其期望風(fēng)險(xiǎn)也必然達(dá)到最小決策：最小風(fēng)險(xiǎn)Bayes決策目標(biāo)：所采取的一系列決策行動應(yīng)該使期望風(fēng)險(xiǎn)達(dá)到最小最小風(fēng)險(xiǎn)Bayes決策規(guī)則：其中采取決策最小風(fēng)險(xiǎn)Bayes決策規(guī)則：其中采取決策最小風(fēng)險(xiǎn)Bayes決策的步驟①在已知類先驗(yàn)概率和類概率密度函數(shù)的情況下，計(jì)算待識x的后驗(yàn)概率（Bayes公式）最小風(fēng)險(xiǎn)Bayes決策的步驟①在已知類先驗(yàn)概率和類概率密度函②根據(jù)決策表，計(jì)算每一個(gè)決策的條件風(fēng)險(xiǎn)③找出條件風(fēng)險(xiǎn)最小值所對應(yīng)的決策，對x采取該決策（歸屬到該類）②根據(jù)決策表，計(jì)算每一個(gè)決策的條件風(fēng)險(xiǎn)③找出條件風(fēng)險(xiǎn)最小值所例：區(qū)分正常與異常細(xì)胞正常細(xì)胞異常細(xì)胞后驗(yàn)概率例：區(qū)分正常與異常細(xì)胞正常細(xì)胞異常細(xì)胞后驗(yàn)概率條件風(fēng)險(xiǎn)決策：歸屬到異常細(xì)胞原因：損失起主導(dǎo)作用0610正常異常歸正常歸異常條件風(fēng)險(xiǎn)決策：歸屬到異常細(xì)胞0610正常異常歸正常歸異常兩種決策規(guī)則之間的關(guān)系定義0-1損失函數(shù)意義：正確決策沒有損失，錯(cuò)誤決策損失都為1附件條件：c個(gè)類別對應(yīng)c個(gè)決策（無拒絕類）兩種決策規(guī)則之間的關(guān)系定義0-1損失函數(shù)意義：附件條件：c對x采取決策（歸屬）ωi時(shí)的條件錯(cuò)誤概率結(jié)論：在0-1損失函數(shù)的條件下，使風(fēng)險(xiǎn)最小的Bayes決策等價(jià)于使錯(cuò)誤率最小的Bayes決策，后者是前者的特例最小最小最大對x采取決策（歸屬）ωi時(shí)的條件錯(cuò)誤概率結(jié)論：在0-2.2.3Neyman-Pearson(聶曼-皮爾遜)決策在限定一類錯(cuò)誤率條件下，使另一類錯(cuò)誤率為最小的兩類別決策2.2.3Neyman-Pearson(聶曼-皮爾遜)決策2.2.4最小最大決策考慮先驗(yàn)概率變化的情況下，如何使最大可能的風(fēng)險(xiǎn)為最小，即在最差的條件下爭取最好的結(jié)果2.2.4最小最大決策考慮先驗(yàn)概率變化的情況下，如何使最貝葉斯決策理論課件貝葉斯決策理論課件2.2.5序貫分類方法原因：獲取特征需要付出一定的代價(jià)（成本），我們要衡量，增加特征所付出的代價(jià)，減少錯(cuò)誤率所得到的好處2.2.5序貫分類方法原因：獲取特征需要付出一定的代價(jià)（成序貫分類方法：先用一部分特征來分類，逐步加入特征以減少分類損失每步都要衡量加入新特征所花代價(jià)與所降低分類損失的大小，以便決定是否繼續(xù)增加新特征序貫分類方法：2.2.6分類器設(shè)計(jì)要點(diǎn)：判別函數(shù)決策面（分類面）分類器設(shè)計(jì)2.2.6分類器設(shè)計(jì)要點(diǎn)：決策面（分類面）對于c

類分類問題，按照決策規(guī)則可以把d

維特征空間分成c個(gè)決策域，我們將劃分決策域的邊界面稱為決策面（分類面）決策面（分類面）對于c類分類問題，按照決策規(guī)則可以把d判別函數(shù)用于表達(dá)決策規(guī)則的某些函數(shù)，則稱為判別函數(shù)判別函數(shù)可以取為決策規(guī)則的單調(diào)增函數(shù)，最簡單的形式就是決策規(guī)則本身判別函數(shù)用于表達(dá)決策規(guī)則的某些函數(shù)，則稱為判別函數(shù)決策面與判別函數(shù)的關(guān)系判別函數(shù)決定決策面方程分兩類和多類情況來討論判別函數(shù)、決策面方程、分類器設(shè)計(jì)決策面與判別函數(shù)的關(guān)系判別函數(shù)決定決策面方程分兩類和多類情況2.2.6.1多類情況設(shè)c類問題和d維模式（隨機(jī)）向量為2.2.6.1多類情況設(shè)c類問題和d維模式（隨機(jī)最小錯(cuò)誤率Bayes決策規(guī)則：最小錯(cuò)誤率Bayes決策規(guī)則：判別函數(shù)定義一組（c

個(gè)）判別函數(shù)gi(x),i=1,…,c來表示c

類決策規(guī)則，可以取判別函數(shù)定義一組（c個(gè)）判別函數(shù)決策規(guī)則如果使對all成立，則將x歸于ωi

類決策規(guī)則如果使對all成立，則將x歸于ωi類決策面方程各決策域被決策面所分割，決策面應(yīng)該是特征空間中的超曲面。相鄰的兩個(gè)決策域在決策面上，其判別函數(shù)值是相等的決策面方程各決策域被決策面所分割，決策面應(yīng)該是特征空間中的超如果Ri和Rj

是兩個(gè)相鄰的決策域，則它們之間的決策面方程：如果Ri和Rj是兩個(gè)相鄰的決策域，則它們之間的決貝葉斯決策理論課件分類器設(shè)計(jì)分類器：可看成是由硬件或軟件組成的一個(gè)“機(jī)器”（程序）功能：先計(jì)算出c

個(gè)判別函數(shù)值，再從中選出對應(yīng)于判別函數(shù)為最大值的類作為決策結(jié)果分類器設(shè)計(jì)分類器：可看成是由硬件或軟件組成的一個(gè)“機(jī)器”（程貝葉斯決策理論課件2.2.6.2兩類情況設(shè)兩類問題和d維模式（隨機(jī)）向量為2.2.6.2兩類情況設(shè)兩類問題和d維模式（隨機(jī)）向最小錯(cuò)誤率Bayes決策規(guī)則：最小錯(cuò)誤率Bayes決策規(guī)則：判別函數(shù)只需定義一個(gè)判別函數(shù)：具體形式有：判別函數(shù)只需定義一個(gè)判別函數(shù)：具體形式有：決策規(guī)則ifthenthenif決策規(guī)則ifthenthenif決策面方程特征空間：一維，決策面：分界點(diǎn)二維曲線三維曲面高維超曲面決策面方程特征空間：一維，決策面：分界點(diǎn)分類器設(shè)計(jì)兩類分類器的功能：計(jì)算判別函數(shù)，再根據(jù)計(jì)算結(jié)果的符號將x分類g(x)判別計(jì)算閾值單元決策分類器設(shè)計(jì)兩類分類器的功能：計(jì)算判別函數(shù)，再根據(jù)計(jì)算結(jié)果的符2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策重點(diǎn)分析正態(tài)分布情況下統(tǒng)計(jì)決策的原因是：①正態(tài)分布在物理上是合理的、廣泛的②正態(tài)分布數(shù)學(xué)表達(dá)上簡捷，如一維情況下只有均值和方差兩個(gè)參數(shù)，因而易于分析2.3正態(tài)分布時(shí)的統(tǒng)計(jì)決策重點(diǎn)分析正態(tài)分布情況下統(tǒng)計(jì)決策的2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)單變量正態(tài)分布多變量正態(tài)分布2.3.1正態(tài)分布概率密度函數(shù)的定義與性質(zhì)單變量正態(tài)分布1單變量正態(tài)分布

連續(xù)型概率密度函數(shù)應(yīng)滿足條件1單變量正態(tài)分布連續(xù)型概率密度函數(shù)應(yīng)滿足條件單變量正態(tài)分布概率密度函數(shù)其中均值或數(shù)學(xué)期望方差單變量正態(tài)分布概率密度函數(shù)其中均值或數(shù)學(xué)期望方差2多元正態(tài)分布

（1）定義d維向量d

維均值向量d×d協(xié)方差矩陣逆矩陣行列式2多元正態(tài)分布（1）定義d維向量注：協(xié)方差矩陣是非負(fù)定的。一般情況情況下，我們假設(shè)是正定的，即|Σ|>0，即存在逆矩陣主對角線σij2為方差其他分量σij2(ij)為協(xié)方差對稱矩陣注：協(xié)方差矩陣是非負(fù)定的。一般情況情況下，我們假設(shè)是正定的，①參數(shù)μ與Σ對分布的決定作用多元正態(tài)分布完全由均值向量μ與協(xié)方差矩陣Σ決定μ有d

個(gè)分量，Σ由有d(d+1)/2元素，多元正態(tài)分布總共有d+d(d+1)/2個(gè)參數(shù)常記為：p(x)=N(μ,Σ)

(2)性質(zhì)①參數(shù)μ與Σ對分布的決定作用(2)性質(zhì)②等密度點(diǎn)的軌跡是一個(gè)超橢球面從正態(tài)分布總體中抽取的樣本大部分落在由μ和Σ所確定的一個(gè)區(qū)域中。區(qū)域的中心由均值向量μ決定，區(qū)域的大小由協(xié)方差矩陣Σ決定等密度點(diǎn)滿足下列方程，其解是一個(gè)超橢球面constant②等密度點(diǎn)的軌跡是一個(gè)超橢球面constant貝葉斯決策理論課件x到μ的Mahalanobis距離的平方等密度點(diǎn)軌跡是：x到μ的Mahalanobis距離為常數(shù)的超橢球面x到μ的Mahalanobis距離的平方③不相關(guān)性等價(jià)于獨(dú)立性如果xi與xj為兩個(gè)隨機(jī)變量（向量）獨(dú)立：滿足

p(xi,xj)=p(xi)p(xj)不相關(guān)：滿足E{xixj}=E{xi}E{xj}

③不相關(guān)性等價(jià)于獨(dú)立性相互獨(dú)立不相關(guān)成立成立？？多元正態(tài)分布的任意兩個(gè)分量成立！相互獨(dú)立不相關(guān)成立成立？？多元正態(tài)分布的任意兩個(gè)分量成立！說明：正態(tài)分布中不相關(guān)意味著協(xié)方差矩陣是對角矩陣并且有說明：正態(tài)分布中不相關(guān)意味著協(xié)方差矩陣是對角矩陣并且有④邊緣分布(對變量進(jìn)行積分)和條件分布(固定變量)的正態(tài)性⑤線性變換的正態(tài)性y=AxA為線性變換的非奇異矩陣。若x為正態(tài)分布，則y也是正態(tài)分布⑥線性組合的正態(tài)性④邊緣分布(對變量進(jìn)行積分)和條件分布(固定變量)的正態(tài)性正態(tài)分布與熵之間的關(guān)系熵的定義單位為奈特，若換為,單位為比特。熵是一個(gè)非負(fù)的量用來描述一種分布中隨機(jī)選取的樣本點(diǎn)的不確定性?？梢宰C明正態(tài)分布在所有具有給定均值和方差的分布中具有最大熵。正態(tài)分布與熵之間的關(guān)系熵的定義單位為奈特，若換為2.3.2多元正態(tài)概率型下的最小錯(cuò)誤率Bayes判別函數(shù)與決策面多類情況下的判別函數(shù)多元正態(tài)分布的類概率密度函數(shù)2.3.2多元正態(tài)概率型下的最小錯(cuò)誤率Bayes判別函數(shù)與i

類與j

類的決策面方程判別函數(shù)常數(shù)i類與j類的決策面方程判別函數(shù)常數(shù)針對不同的協(xié)方差矩陣進(jìn)行討論針對不同的協(xié)方差矩陣進(jìn)行討論1第一種情況條件：每類的協(xié)方差矩陣都相等，類內(nèi)各特征間相互獨(dú)立，具有相等的方差分兩種情形(1)各類的先驗(yàn)概率不等(2)各類的先驗(yàn)概率相等1第一種情況條件：每類的協(xié)方差矩陣都相等，類內(nèi)各特征間相互判別函數(shù)當(dāng)前的協(xié)方差矩陣為對于每一個(gè)判別函數(shù)都是相同的(1)先驗(yàn)概率不相等判別函數(shù)當(dāng)前的協(xié)方差矩陣為對于每一個(gè)判別函數(shù)都是相同的(1)消去相同的部分，代入?yún)f(xié)方差矩陣，得其中向量x到類ωi

的均值向量μi

的歐氏距離的平方消去相同的部分，代入?yún)f(xié)方差矩陣，得其中向量x到類ωi(2)各類先驗(yàn)概率相等消去相同的部分，得判別函數(shù)Bayes決策規(guī)則：決策規(guī)則簡化為(2)各類先驗(yàn)概率相等消去相同的部分，得判別函數(shù)Baye解釋：對于觀察向量x，只需要計(jì)算x到各類均值向量的歐氏距離的平方，再將x歸于距離最小的類別中去，這樣的分類器稱之為最小距離分類器解釋：對于觀察向量x，只需要計(jì)算x到各類均值向量的歐氏(3)直觀的幾何解釋判別函數(shù)展開后得對于每一個(gè)類都相同(3)直觀的幾何解釋判別函數(shù)展開后得對于每一個(gè)類都相同消去相同部分，得令判別函數(shù)為：消去相同部分，得令判別函數(shù)為：判別函數(shù)是模式向量x的線性函數(shù)，這樣的分類器稱之為線性分類器判別函數(shù)是模式向量x的線性函數(shù)，這樣的分類器稱之為線決策面方程(i與j類）現(xiàn)在為判別函數(shù)＝1決策面方程現(xiàn)在為判別函數(shù)＝1令決策面方程超平面乘于σ2，提取得令決策面方程超平面乘于σ2，提取得決策面方程：超平面以二維為例，直觀地解釋它們的幾何意義決策面方程：超平面以二維為例，直觀地解釋它們的幾何意義當(dāng)各類的先驗(yàn)概率相等時(shí)，有ωi

類與ωj

類之間的決策超平面通過它們均值向量μi

與μj

連線的中點(diǎn)并與之正交四類當(dāng)各類的先驗(yàn)概率相等時(shí)，有ωi類與ωj類之間的決策超當(dāng)各類先驗(yàn)概率不相等時(shí)，有決策面當(dāng)P(ωi)>P(ωj)N在M右側(cè)當(dāng)各類先驗(yàn)概率不相等時(shí)，有決策面當(dāng)P(ωi)>P(ωj)解釋：w是點(diǎn)μj到點(diǎn)μi

的向量，x-x0是從點(diǎn)x0到點(diǎn)x（位于決策面上）的向量。兩者之間的點(diǎn)積為零，其意義是兩者相互垂直，并通過x0當(dāng)先驗(yàn)概率不相等時(shí)，x0位置不在μi到μj連線的中點(diǎn)上，靠近先驗(yàn)概率小的一邊，遠(yuǎn)離先驗(yàn)概率大的一邊；決策面通過x0，并與向量μi-

μj正交解釋：2第二種情況：Σi＝

Σ(各類協(xié)方差相等)判別函數(shù)簡化后得如果各類先驗(yàn)概率相等常數(shù)2第二種情況：Σi＝Σ(各類協(xié)方差相等)判別函數(shù)簡化后定義新的判別函數(shù)（Mahalanobis距離的平方）決策規(guī)則：對于觀察向量x，計(jì)算x到每一類均值向量μi的馬氏距離的平方γ2，最后歸于γ2最小的類別定義新的判別函數(shù)（Mahalanobis距離的平方）決策規(guī)則考察判別函數(shù)的幾何意義展開后，得每一類判斷函數(shù)都相