模式識(shí)別-Bayes決策方法和企業(yè)分配決策

模式識(shí)別

PatternClassification

第三章:Bayes決策方法Bayes決策方法原理根據(jù)Bayes決策理論，由先驗(yàn)知識(shí)來推斷后驗(yàn)概率保證錯(cuò)誤概率最小或風(fēng)險(xiǎn)最小3AppliedPatternRecognitionCSE616Bayes決策方法先驗(yàn)知識(shí)先驗(yàn)概率P(ωi

)類概率密度P(X/ωi)

4AppliedPatternRecognitionCSE616Bayes決策方法根據(jù)考慮問題的角度Bayes決策法最小錯(cuò)誤概率的Bayes決策法最小風(fēng)險(xiǎn)的Bayes決策法5AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策一維二類情況設(shè)兩類模式分別1和2，其類概率密度分別為P(x/1)和P(x/2),先驗(yàn)概率為P(1)和P(2)P(x/1)P(x/2)

x

6AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策一維二類情況顯然：由Bayes公式（聯(lián)合概率密度知）：7AppliedPatternRecognitionCSE616一維二類情況則后驗(yàn)概率同理可得其中最小錯(cuò)誤概率的Bayes決策8AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策一維二類情況合理的決策為：對(duì)待識(shí)樣本x若P(1/x)>P(2/x)，則判x∈1類若P(2/x)>P(1/x)，則判x∈２類9AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策一維二類情況上述決策等價(jià)于：對(duì)待識(shí)樣本x若P(x/1)P(1)>P(x/2)P(２)，則判x∈1類若P(x/2)P(2)>P(x/1)P(1

)，則判x∈２類即由先驗(yàn)知識(shí)推斷后驗(yàn)概率10AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策一維二類情況或：，則判x∈1類上述分類準(zhǔn)則稱為Bayes決策準(zhǔn)則似然比11AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策特殊情況下，若P(1)=P(２)，則分類決策完全由類概率密度函數(shù)決定。即：

若P(x/1)>P(x/2)，則判x∈1類若P(x/2)>P(x/1)，則判x∈２類12AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策以魚自動(dòng)分類為例，假設(shè)僅選取魚的長(zhǎng)度作為特征，則兩類魚的類概率密度函數(shù)P(x/1)和P(x/2)如下：13AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策類概率密度來源來統(tǒng)計(jì)直方圖鱸魚鮭魚14AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策兩條曲線描述了兩類魚的長(zhǎng)度區(qū)別概率密度函數(shù)已歸一化，因此每條曲線下的面積為１，即：15AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策若先驗(yàn)概率P(1)=2/3，P(２)=1/3，則其后驗(yàn)概率P(1/x)和P(2/x)如下圖所示特征值x=14的模式如何分類？0.920.0816AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策錯(cuò)誤概率最?。垮e(cuò)誤概率P(x/1)P(1)P(x/2)P(2

)

x

R1R217AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策錯(cuò)誤概率最??？無論判別從哪個(gè)方向調(diào)整，均導(dǎo)致錯(cuò)誤概率的增加！P(x/1)P(1)P(x/2)P(2

)

x

R1R218AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策多類多維情況

設(shè)Ω={1，2，﹒﹒﹒，ωc}是C個(gè)類別狀態(tài)的有限集合，X=[x1，x2，﹒﹒﹒，xd]T是d維特征向量，

P(x/i)

為第i類的類概率密度函數(shù)，P(i

)

為第i類的先驗(yàn)概率，則有：其中19AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策多類多維情況Bayes決策準(zhǔn)則為：

20AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策舉例設(shè)某地區(qū)細(xì)胞識(shí)別中正常(1)和異常(2)兩類的先驗(yàn)概率分別為：

P(1)=0.9P(2)=0.1

且知1和2兩類的類概率密度函數(shù)為P(x/1)和P(x/2)

現(xiàn)有一待識(shí)細(xì)胞其特征值為x，從概率密度函數(shù)曲線查得：

P(x/1)=0.2P(x/2)=0.4試用Bayes決策準(zhǔn)則對(duì)待識(shí)樣本進(jìn)行分類。21AppliedPatternRecognitionCSE616最小錯(cuò)誤概率的Bayes決策解：P(x/1)P(1)=0.2×0.9=0.18P(x/2)P(2)=0.1×0.4=0.04可見：

P(x/1)P(1>P(x/2)P(2)由Bayes決策準(zhǔn)則得：x∈1類，為正常細(xì)胞22AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策損失的概念基于最小錯(cuò)誤概率的Bayes決策，僅考慮如何保證錯(cuò)誤概率最小，而未考慮決策所帶來的損失。例如：自動(dòng)滅火系統(tǒng)，乙肝診斷，魚的分類等，則應(yīng)考慮錯(cuò)判造成的損失?？衫脹Q策論的理論和方法來解決上述問題。23AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策損失的概念設(shè)Ω={1，2，﹒﹒﹒，ωc}表示c個(gè)有限的類別狀態(tài)的集合，A={a1，a2，﹒﹒﹒，ak}表示k個(gè)有限的決策（行為）的集合則定義為模式自然狀態(tài)為ωj時(shí)，采取決策ai所造成的損失24AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策損失的概念例如，對(duì)于細(xì)胞正?；虍惓５姆诸悊栴}，可得如下?lián)p失表1（正常）2（異常）a1（正常）11=012=10a2（異常）21=222=0自然狀態(tài)損失決策25AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策風(fēng)險(xiǎn)函數(shù)（損失函數(shù)）設(shè)P(j)是自然狀態(tài)為j的先驗(yàn)概率，X為d維特征向量，則由Bayes決策理論知，后驗(yàn)概率：由于每一類后驗(yàn)概率P(X)均相同，可將其視為一標(biāo)量因子26AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策風(fēng)險(xiǎn)函數(shù)（損失函數(shù)）假定我們觀測(cè)某個(gè)特定模式X并且采取行為ai，如果真實(shí)的類別狀態(tài)為j，通過定義我們將有損失(ai/j)顯然，與行為ai相關(guān)的總的損失為27AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策風(fēng)險(xiǎn)函數(shù)（損失函數(shù)）上式稱為作出決策ai的風(fēng)險(xiǎn)函數(shù)，簡(jiǎn)記為：28AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策決策過程當(dāng)待識(shí)樣本X到來時(shí)，將其判為各類所帶來的風(fēng)險(xiǎn)分別為R1(X)，R2(X)，﹒﹒﹒，Rc(X)

則基于最小風(fēng)險(xiǎn)的Bayes決策準(zhǔn)則為：

29AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策問題：如何合理、科學(xué)、準(zhǔn)確地定義ij?帶有主觀因素30AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策特殊情況：兩類問題

則基于最小風(fēng)險(xiǎn)（損失）的Bayes決策為：若R1(X)

<R2(X)，則判X∈1類31AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策特殊情況：兩類問題上述決策等價(jià)于：對(duì)待識(shí)樣本x若：，則判

x∈1類

似然比32AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策33AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策特殊情況：兩類問題若：12-22=21-11，即對(duì)稱損失，則最小風(fēng)險(xiǎn)Bayes決策與最小錯(cuò)誤概率Bayes決策是等價(jià)的。34AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策例：

1(乙肝)2(健康)

P(1)=0.05P(2)=0.95P(x/1)=0.5P(x/2)=0.211

=

22=0，

12=1，21=10

試分別用最小風(fēng)險(xiǎn)和最小錯(cuò)誤概率Bayes決策對(duì)模式X分類35AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策解：最小錯(cuò)誤概率Bayes決策

P(x/1)P(1)=0.05×0.5=0.025P(x/2)P(2)=0.2×0.95=0.19可見：

P(x/1)P(1）<P(x/2)P(2)由Bayes決策準(zhǔn)則得：x∈2

類，為健康36AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策解：最小風(fēng)險(xiǎn)Bayes決策

似然比：37AppliedPatternRecognitionCSE616最小風(fēng)險(xiǎn)（損失）的Bayes決策解：最小風(fēng)險(xiǎn)Bayes決策可見：根據(jù)最小風(fēng)險(xiǎn)（損失）的Bayes決策準(zhǔn)則：

x∈1

類，為乙肝38AppliedPatternRecognitionCSE616（0-1）損失條件下的最小風(fēng)險(xiǎn)Bayes決策最小風(fēng)險(xiǎn)Bayes決策若定義：ij=0i=j1i=j

（0-1）損失39AppliedPatternRecognitionCSE616（0-1）損失條件下的最小風(fēng)險(xiǎn)Bayes決策則最小風(fēng)險(xiǎn)Bayes決策等價(jià)于：可見，min{Ri(X)

}等價(jià)于max{Ri(X)

}，即（0-1）損失條件下，最小風(fēng)險(xiǎn)Bayes決策等價(jià)于最小錯(cuò)誤概率的Bayes決策。40AppliedPatternRecognitionCSE616何種準(zhǔn)則更具一般意義？41AppliedPatternRecognitionCSE616分類器、判別函數(shù)與判別界Bayes分類器等價(jià)于：

定義一組判別函數(shù)gi(x),i=1,…,c

若：gi(x)>gj(x)ji則判待識(shí)樣本x屬于i類42AppliedPatternRecognitionCSE616分類器、判別函數(shù)與判別界對(duì)最小錯(cuò)誤概率Bayes決策gi(x)=P(i/x)

或

gi(x)=P(x/i)P(i)

gi(x)=lnP(x/

i)+lnP(i)

對(duì)最小風(fēng)險(xiǎn)Bayes決策

gi(x)=-R(i/x)43AppliedPatternRecognitionCSE616分類器、判別函數(shù)與判別界基于判別函數(shù)的分類器44AppliedPatternRecognitionCSE616分類器、判別函數(shù)與判別界上述判別函數(shù)將特征空間劃分為c個(gè)判別區(qū)域

R1,R2,…,Rc

各個(gè)判別區(qū)域滿足：如果gi(x)>gj(x)ji

則x位于判別區(qū)域Ri

45AppliedPatternRecognitionCSE616分類器、判別函數(shù)與判別界R1R2R3R4g1(X)g4(X)g3(X)g2(X)46AppliedPatternRecognitionCSE616分類器、判別函數(shù)與判別界兩類情況分類器僅需考慮兩個(gè)判別函數(shù)g1(x)和g2(x)

定義：g(x)g1(x)–g2(x)=P(x/1)P(1)-P(x/2)P(2)基于判別函數(shù)的決策為：

如果g(x)>0，則

x屬于1類;若g(x)<0，則x屬于2類

47AppliedPatternRecognitionCSE616分類器、判別函數(shù)與判別界兩類情況g(X)<0g(X)<0g(X)>048AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策一維正態(tài)分布均值：方差：一維正態(tài)分布可以簡(jiǎn)寫為：49AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策一維正態(tài)分布的統(tǒng)計(jì)特性

95%的樣本落在μ±2σ范圍內(nèi)99%的樣本落在μ±3σ范圍內(nèi)σ越小，樣本分布越集中，反之越發(fā)散50AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策一維正態(tài)分布51AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策多維正態(tài)分布

設(shè)d維特征向量則d維正態(tài)分布定義為：簡(jiǎn)記為：52AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策多維正態(tài)分布其中：

μ稱為均值向量，反映了樣本在d維特征空間的重心位置。

53AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策多維正態(tài)分布

μi

反映了樣本在特征空間第i個(gè)方向的重心位置邊緣概率分布54AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策多維正態(tài)分布

∑稱為協(xié)方差矩陣。55AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策多維正態(tài)分布當(dāng)i=j時(shí)，σij反映樣本在d維特征空間各方向的發(fā)散程度；當(dāng)i≠j時(shí)，σij反映各特征間的統(tǒng)計(jì)相關(guān)性。

56AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策 設(shè)各類樣本的類概率密度均滿足正態(tài)分布，即

根據(jù)最小錯(cuò)誤概率Bayes決策準(zhǔn)則有：若判別函數(shù)則判

x∈i

57AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策為了分析方便，現(xiàn)取判別函數(shù)的自然對(duì)數(shù)（單調(diào)增函數(shù)），即令：下面分三種情況進(jìn)行討論58AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況一各類協(xié)方差矩陣相同，∑i

＝∑j

＝∑各特征統(tǒng)計(jì)獨(dú)立，即：，i≠j且，i=j即

59AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況一此時(shí)，，且其中：?jiǎn)挝痪仃?0AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況一則判別函數(shù)：此時(shí)的Bayes決策等價(jià)為：若要將待識(shí)樣本X進(jìn)行分類，則只需計(jì)算X到各類樣本均值向量μi的歐氏距離，再將X歸類到距離最近的類別，此時(shí)的分類器稱為最小距離分類器。歐氏距離61AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況一均值向量μ１

均值向量μ2

待識(shí)樣本Ｘ

最小距離分類器62AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況一由于：與類別無關(guān)，可不考慮63AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況一故：

稱gi(x)為線性判別函數(shù)，相應(yīng)的分類器為線性分類器。64AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況一65AppliedPatternRecognitionCSE616情況一66AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況二各類方差相同，即則其中稱為樣本X與正態(tài)分布模式類的馬氏距離（Mahalanobis距離）。當(dāng)待識(shí)別的樣本X到來時(shí)，分別計(jì)算樣本X與各個(gè)模式類的馬氏距離，并將X分類到馬氏距離最近的模式類中。67AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況二可以證明，此時(shí)判別函數(shù)仍滿足線性關(guān)系，即：分類器仍為線性分類器68AppliedPatternRecognitionCSE616正態(tài)分布條件下的Bayes決策情況三各類協(xié)方差矩陣各不相同，即：分類器為非線性分類器（二次型分類器）69AppliedPatternRecognitionCSE616影響模式識(shí)別的關(guān)鍵因素模式的緊致性問題若將模式類視為集合，則集合中的點(diǎn)可分為兩類：內(nèi)點(diǎn)和臨界點(diǎn)內(nèi)點(diǎn)：與該點(diǎn)相鄰的點(diǎn)（距離最近的點(diǎn)）仍然屬于該點(diǎn)所在的集合臨界點(diǎn)：與該點(diǎn)相鄰的點(diǎn)屬于另外的集合（模式類）。70AppliedPatternRecognitionCSE616影響模式識(shí)別的關(guān)鍵因素模式的緊致性問題若將模式類視為集合，則集合中的點(diǎn)可分為兩類：內(nèi)點(diǎn)和臨界點(diǎn)內(nèi)點(diǎn)：與該點(diǎn)相鄰的點(diǎn)（距離最近的點(diǎn)）仍然屬于該點(diǎn)所在的集合臨界點(diǎn)：與該點(diǎn)相鄰的點(diǎn)屬于另外的集合（模式類）。71AppliedPatternRecognitionCSE616影響模式識(shí)別的關(guān)鍵因素模式的緊致性問題無臨界點(diǎn)臨界點(diǎn)較少臨界點(diǎn)多得無法進(jìn)行分類72AppliedPatternRecognitionCSE616影響模式識(shí)別的關(guān)鍵因素模式的緊致性問題緊致集：指滿足下列條件的模式類臨界點(diǎn)的數(shù)量與總的樣本點(diǎn)數(shù)相比很少每個(gè)內(nèi)點(diǎn)對(duì)都有足夠大的鄰域，使得該鄰域內(nèi)的點(diǎn)都在同一集合假若每一模式類都滿足緊致集的假設(shè)，則模式識(shí)別并不存在多大困難，但對(duì)于許多識(shí)別問題，該假設(shè)并不成立。73AppliedPatternRecognitionCSE616影響模式識(shí)別的關(guān)鍵因素解決問題的途徑通過空間變換或映射來解決，不滿足緊致性假設(shè)的模式類映射到另外的幾何空間可能就滿足緊致性。如何進(jìn)行特征空間變換或映射？74AppliedPatternRecognitionCSE616影響模式識(shí)別的關(guān)鍵因素解決問題的途徑選擇更為有效的特征。如何有效選擇有效特征？盡量選擇反映共性，突出異性的特征，即類間距離越大越好，類內(nèi)距離越小越好。盡量選擇統(tǒng)計(jì)無關(guān)的特征，減少信息冗余。在相同錯(cuò)誤概率條件下，選擇維數(shù)較小的特征。根據(jù)識(shí)別對(duì)象的特點(diǎn)，選擇反映事物本質(zhì)特性的參數(shù)作為特征（例，語音的音調(diào)周期，聲道參數(shù)等）75AppliedPatternRecognitionCSE616企業(yè)分配決策

第一節(jié)企業(yè)分配的基本理論

一.企業(yè)分配的含義

企業(yè)分配是根據(jù)企業(yè)所有權(quán)的歸屬及各權(quán)益占有的比例,對(duì)企業(yè)生產(chǎn)成果進(jìn)行劃分,是一種利用財(cái)務(wù)手段確保生產(chǎn)成果的合理歸屬和正確分配的管理過程。企業(yè)分配是對(duì)企業(yè)一定生產(chǎn)成果的分配。

?

利潤是指企業(yè)在一定時(shí)期內(nèi)從事各種經(jīng)營活動(dòng)所獲取的經(jīng)營成果。企業(yè)的利潤總額由營業(yè)利潤、投資凈收益、補(bǔ)貼收入和營業(yè)外收支凈額組成。

補(bǔ)貼收入指企業(yè)按規(guī)定實(shí)際收到退還的增值稅或按銷量或工作量等依據(jù)國家規(guī)定的補(bǔ)助定額計(jì)算并按期給予的定額補(bǔ)貼及屬于國家扶持的領(lǐng)域而給予的其他形式的補(bǔ)貼。

?(一)營業(yè)利潤：是企業(yè)通過銷售商品和提供勞務(wù)等經(jīng)營業(yè)務(wù)實(shí)現(xiàn)的利潤。

營業(yè)利潤=營業(yè)收入-營業(yè)成本-期間費(fèi)用

營業(yè)收入:指企業(yè)通過銷售商品和提供勞務(wù)等經(jīng)營業(yè)務(wù)實(shí)現(xiàn)的收入。

營業(yè)成本:指企業(yè)為生產(chǎn),銷售商品和提供勞務(wù)等發(fā)生的直接人工、直接材料、制造費(fèi)用等。

期間費(fèi)用:是直接計(jì)入當(dāng)期損益的費(fèi)用。包括管理費(fèi)用,財(cái)務(wù)費(fèi)用和營業(yè)費(fèi)用。?(二)投資凈收益：是指企業(yè)對(duì)外投資收益扣除投資損失后的數(shù)額。

投資收益:投資股票分得的股利,投資債券取得的利息收入,從被投資企業(yè)分得的利潤,投資到期收回的款項(xiàng)或中途轉(zhuǎn)讓取得的款項(xiàng)高于投資賬面價(jià)值的差額。

投資損失:指投資到期收回的款項(xiàng)或中途轉(zhuǎn)讓取的款項(xiàng)低于投資賬面價(jià)值的差額。?(三)營業(yè)外收支：指與企業(yè)生產(chǎn)經(jīng)營無直接聯(lián)系的收入和支出。

營業(yè)外收入:固定資產(chǎn)盤盈凈收入、出售固定資產(chǎn)凈收益、對(duì)方違約的賠款收入等。

營業(yè)外支出:固定資產(chǎn)盤虧、報(bào)廢毀損和出售的凈損失、非常損失、公益救濟(jì)性捐款、賠償金、違約金等。?主營業(yè)務(wù)利潤=