模式識(shí)別 第三章 概率估計(jì)課件

第三章概率密度函數(shù)的估計(jì)1主要內(nèi)容引言參數(shù)估計(jì)非參數(shù)估計(jì)23.1引言基于樣本的Bayes分類器：通過(guò)估計(jì)類條件概率密度函數(shù)，設(shè)計(jì)相應(yīng)的判別函數(shù)MAXg1...g2gc...x1x2xna(x)最一般情況下適用的“最優(yōu)”分類器：錯(cuò)誤率最小，對(duì)分類器設(shè)計(jì)在理論上有指導(dǎo)意義。訓(xùn)練樣本集樣本分布的

統(tǒng)計(jì)特征：

概率密度函數(shù)決策規(guī)則：

判別函數(shù)

決策面方程分類器

功能結(jié)構(gòu)3基于樣本的Bayes分類器設(shè)計(jì)基于樣本的兩步Bayes分類器設(shè)計(jì):利用樣本集估計(jì)P(ωi)和p(x|ωi)基于上述估計(jì)值設(shè)計(jì)判別函數(shù)及分類器面臨的問(wèn)題：如何利用樣本集估計(jì)P(ωi)和p(x|ωi)；估計(jì)量的評(píng)價(jià)：估計(jì)量的性質(zhì)如何？如何利用樣本集估計(jì)錯(cuò)誤率的方法5概率密度估計(jì)的方法類的先驗(yàn)概率估計(jì)（較容易）：依靠經(jīng)驗(yàn)；用訓(xùn)練數(shù)據(jù)中各類出現(xiàn)的頻率估計(jì)。頻率：試驗(yàn)在相同的條件下重復(fù)N次，其中M次事件A發(fā)生，則A發(fā)生的頻率為：fN(A)=M/N概率：當(dāng)N很大時(shí)，頻率會(huì)趨向一個(gè)穩(wěn)定值，稱為A的概率：6類條件概率密度估計(jì)（非常難）：概率密度函數(shù)包含了一個(gè)隨機(jī)變量的全部信息；概率密度函數(shù)可以是滿足下面條件的任何函數(shù)：概率密度估計(jì)的方法7概率密度估計(jì)的方法類條件概率密度估計(jì)的兩種主要方法：參數(shù)估計(jì)：根據(jù)對(duì)問(wèn)題的一般性認(rèn)識(shí)，假設(shè)隨機(jī)變量服從某種分布，其概率密度函數(shù)形式已知，只是表征函數(shù)的參數(shù)未知，通過(guò)訓(xùn)練數(shù)據(jù)來(lái)估計(jì)：訓(xùn)練樣本：監(jiān)督和非監(jiān)督估計(jì)方法：最大似然估計(jì)、Bayes估計(jì)非參數(shù)估計(jì)：密度函數(shù)的形式未知，也不作假設(shè)，利用訓(xùn)練數(shù)據(jù)直接對(duì)概率密度進(jìn)行估計(jì)訓(xùn)練樣本：監(jiān)督估計(jì)方法：Parzen窗法、kn-近鄰法8為了準(zhǔn)確地對(duì)某一類的分布進(jìn)行參數(shù)估計(jì)或總體推斷，應(yīng)只使用該類的樣本。區(qū)間估計(jì)：在一定置信度條件下估計(jì)某一未知參數(shù)q的取值范圍，稱之為置信區(qū)間，這類估計(jì)成為區(qū)間估計(jì)。3.2參數(shù)估計(jì)10最大似然估計(jì)和Bayes估計(jì)區(qū)別兩種方法估計(jì)的參數(shù)的結(jié)果接近，但過(guò)程有區(qū)別：前者將未知參數(shù)看成是確定變量，在實(shí)際樣本觀察的概率最大的條件下，獲得未知參數(shù)的最好的估計(jì)；后者將未知參數(shù)看成是按某種分布得隨機(jī)變量，樣本的觀察結(jié)果由先驗(yàn)分布轉(zhuǎn)化為后驗(yàn)分布，再由后驗(yàn)分布修正參數(shù)的估計(jì)值。3.2.1最大似然估計(jì)12當(dāng)個(gè)隨機(jī)樣本取定值時(shí)，稱為相對(duì)于的的似然函數(shù)。聯(lián)合概密設(shè)一個(gè)總體的概密為，其中是一個(gè)未知參數(shù)集，似然函數(shù)14似然函數(shù)似然函數(shù)：對(duì)數(shù)(loglarized)似然函數(shù)：15最大似然估計(jì)16似然函數(shù)給出了從總體樣本中抽出N個(gè)樣本的概率。假設(shè)樣本是獨(dú)立抽取的，并且不同類別的參數(shù)是相互獨(dú)立的。最大似然估計(jì)就是根據(jù)已經(jīng)抽取的N個(gè)樣本，來(lái)估計(jì)這組樣本“最可能”來(lái)自哪個(gè)密度函數(shù)。17最大似然估計(jì)示意圖18一元正態(tài)分布例解20一元正態(tài)分布均值的估計(jì)代入前式，有：21多元正態(tài)分布參數(shù)最大似然估計(jì)均值估計(jì)是無(wú)偏的，協(xié)方差矩陣估計(jì)是有偏的。協(xié)方差矩陣的無(wú)偏估計(jì)是：對(duì)于一般的多元正態(tài)分布，計(jì)算方法完全類似，且有233.2.2貝葉斯估計(jì)-最小風(fēng)險(xiǎn)回顧一下最小風(fēng)險(xiǎn)Bayes決策——狀態(tài)空間——觀察或測(cè)量到的d維模式特征向量；——決策空間

——損失函數(shù)，表示真實(shí)狀態(tài)為而所采取的決策為時(shí)所帶來(lái)的某種損失。24Bayes決策確定x

的真實(shí)狀態(tài)i

（模式類）Bayes估計(jì)根據(jù)一個(gè)樣本集，找出估計(jì)量，估計(jì)所屬總體分布的某個(gè)真實(shí)參數(shù)使帶來(lái)的Bayes風(fēng)險(xiǎn)最小。3.2.2貝葉斯估計(jì)-最小風(fēng)險(xiǎn)26令為代替所造成的損失，對(duì)于一個(gè)觀測(cè)矢量集合，當(dāng)用作為的估計(jì)時(shí)，在觀測(cè)條件下的條件期望損失為考慮到的各種取值，我們應(yīng)求在狀態(tài)空間中的期望，。3.2.2貝葉斯估計(jì)-最小風(fēng)險(xiǎn)27Bayes估計(jì)的基本思想：所求得的的估計(jì)值應(yīng)使估計(jì)損失的期望最小，這種使或等價(jià)地使取最小值的的估計(jì)值稱為的Bayes估計(jì)。對(duì)于不同的，可得到不同的最佳Bayes估計(jì)。這里假定損失函數(shù)為平方誤差，即:3.2.2貝葉斯估計(jì)-最小風(fēng)險(xiǎn)28最小方差Bayes估計(jì)是在觀測(cè)條件下的的條件期望。3.2.2貝葉斯估計(jì)-最小風(fēng)險(xiǎn)30確定θ的先驗(yàn)分布

p(θ)由樣本集H={x1,x2,…,xN}形式上求出樣本聯(lián)合分布：計(jì)算θ的后驗(yàn)分布：

計(jì)算貝葉斯估計(jì)：在許多情況下，最小方差Bayes估計(jì)是最理想的Bayes最優(yōu)估計(jì)器。對(duì)平方誤差損失函數(shù)情況求解Bayes估計(jì)量的步驟如下：3.2.2貝葉斯估計(jì)-最小風(fēng)險(xiǎn)31最大似然估計(jì)和Bayes估計(jì)比較最大似然估計(jì)計(jì)算復(fù)雜度比Bayes估計(jì)小。最大似然估計(jì)比Bayes估計(jì)更易理解和掌握。Bayes估計(jì)比最大似然估計(jì)能利用更多的信息，如果這些信息是可靠的，則Bayes估計(jì)更準(zhǔn)確。但當(dāng)訓(xùn)練樣本趨于無(wú)窮多時(shí)，兩種估計(jì)效果相同；如果沒(méi)有先驗(yàn)信息（如都是均勻分布的），兩者估計(jì)是相似的。當(dāng)后驗(yàn)概率的波形較寬，或在估計(jì)值附近不對(duì)稱時(shí)，Bayes估計(jì)要好。3233Bayes學(xué)習(xí)與Bayes估計(jì)的前提條件是相同的，Bayes學(xué)習(xí)不是進(jìn)行概率的參數(shù)估計(jì)，而是進(jìn)行總體概率的推斷以獲得，因此，它們具有某些相同的計(jì)算內(nèi)容，也有不同的計(jì)算目標(biāo)。它們的前三步都是相同的，只是最后一步有所不同：在已知的條件下，H

對(duì)已不具有什么信息3.2.3貝葉斯學(xué)習(xí)34其中：3.2.3貝葉斯學(xué)習(xí)353.2.3貝葉斯學(xué)習(xí)重新標(biāo)記H36隨著樣本數(shù)的增加，可以得到一系列對(duì)概率密度函數(shù)參數(shù)的估計(jì)。如果上式的后驗(yàn)概率序列逐漸尖銳，逐步趨向于以θ的真值為中心的一個(gè)尖峰，當(dāng)樣本無(wú)窮多時(shí)，收斂于在參數(shù)真值上的脈沖函數(shù)，則這一過(guò)程稱為貝葉斯學(xué)習(xí)。3.2.3貝葉斯學(xué)習(xí)37單變量正態(tài)分布函數(shù)的定義及性質(zhì)單變量正態(tài)分布概函數(shù)，有兩個(gè)參數(shù)和完全決定，常簡(jiǎn)記為。期望方差正態(tài)分布的監(jiān)督參數(shù)估計(jì)示例38Bayes估計(jì)是把參數(shù)看成為隨機(jī)的未知參數(shù)，一般具有先驗(yàn)分布。樣本通過(guò)似然函數(shù)并利用Bayes公式將的先驗(yàn)分布轉(zhuǎn)化為后驗(yàn)分布?，F(xiàn)以單變量正態(tài)分布為例，并假定總體方差已知，估計(jì)的參數(shù)為均值?？傮w分布密度和參數(shù)的先驗(yàn)分布

…形式已知

………………先驗(yàn)分布已知Bayes估計(jì)示例39對(duì)平方誤差損失函數(shù)情況求解Bayes估計(jì)量的步驟如下：（1）確定的先驗(yàn)分布；（2）由樣本集求出樣本聯(lián)合分布（3）求的后驗(yàn)分布（4）現(xiàn)（1）（2）已完成，下面主要進(jìn)行（3）（4），這里。40414243Bayes學(xué)習(xí)是利用的先驗(yàn)分布及樣本提供的信息求出的后驗(yàn)分布，然后直接求總體分布Bayes學(xué)習(xí)示例44當(dāng)觀察一個(gè)樣本時(shí)，N=1就會(huì)有一個(gè)μ的估計(jì)值的修正值;當(dāng)觀察N=4時(shí)，對(duì)μ進(jìn)行修正，向真正的μ靠近;當(dāng)觀察N=9時(shí)，對(duì)μ進(jìn)行修正，向真正的μ靠的更近當(dāng)N↑,μN(yùn)就反映了觀察到N個(gè)樣本后對(duì)μ的最好推測(cè)，而σN2反映了這種推測(cè)的不確定性,N↑,σN2↓,σN2

隨觀察樣本增加而單調(diào)減小，且當(dāng)N→∞,σN2→0

當(dāng)N↑，P(μ|xi)越來(lái)越尖峰突起.N→∞,P(μ|xi)→σ函數(shù)，這個(gè)過(guò)程成為貝葉斯學(xué)習(xí)。4546通過(guò)密度函數(shù)的線性合并獲取未知的模型，形式如下：3.2.4混合模型：EM算法即假設(shè)一個(gè)J分布符合p(x)，則這個(gè)模型隱含的假設(shè)是每一個(gè)點(diǎn)x都可能以概率Pj屬于J模型分布。用上述模型可以逼近任何連續(xù)密度函數(shù)，只要有足夠數(shù)量的混合J和適當(dāng)?shù)膮?shù)。473.2.4EM算法：?jiǎn)栴}描述假設(shè)J分布符合高斯混合模型，算法目的是確定各個(gè)高斯分布的參數(shù)；高斯混合模型被定義為K個(gè)高斯密度函數(shù)的線性組合：其中為均值為，協(xié)方差為的高斯分布，是混合參數(shù)，看做第i個(gè)高斯分布的權(quán)重，表征先驗(yàn)概率。且48的概率密度函數(shù)為參數(shù)估計(jì)的最常用方法是最大似然估計(jì)，通過(guò)使似然函數(shù)達(dá)到最大值得到參數(shù)的估計(jì)值。將高斯混合密度函數(shù)中所有待定的參數(shù)記為，則似然函數(shù)為：3.2.4EM算法：?jiǎn)栴}描述49該混合高斯分布一共有K個(gè)分布函數(shù)，對(duì)于每一個(gè)觀察到的樣本y，如果知道它是屬于K中的哪個(gè)分布，那么求這些參數(shù)就會(huì)變得很簡(jiǎn)單.假如我們用來(lái)表示這些高斯分布，那么我們的樣本集中不僅僅是，而是而現(xiàn)實(shí)往往是：我們不知道每個(gè)x屬于哪個(gè)分布，也就是說(shuō)z是我們觀察不到的，z是隱藏變量。3.2.4EM算法：?jiǎn)栴}簡(jiǎn)化50假定可以觀察到Z，問(wèn)題變?yōu)榍笙率阶畲笾档荶是觀察不到的，因此EM算法假設(shè)Z的分布依據(jù)上一輪的估計(jì)參數(shù)確定，求取上式期望的最大值。定義：3.2.4EM算法：算法原理51E階段：在迭代的（t+1）步，其中已知，計(jì)算期望值：M階段：通過(guò)最大化計(jì)算的一個(gè)第（t+1）步估計(jì)，即終止條件：3.2.4EM算法：算法原理523.2.4EM算法：算法原理EM算法特點(diǎn)：(1)每次迭代均能提高似然函數(shù)p(θ|X)的值。(2)如果p(θ|X)有上界，則logp(θ|X)收斂某個(gè)值。Q(θ,θ(t+1))Q(θ,θ(t))LogL(θ)θ(t)θ(t+1)θ(t+2)533.3非參數(shù)估計(jì)參數(shù)估計(jì)需要事先假定一種分布函數(shù)，利用樣本數(shù)據(jù)估計(jì)其參數(shù)。又稱為基于模型的方法非參數(shù)估計(jì)：密度函數(shù)的形式未知，也不作假設(shè)，利用訓(xùn)練數(shù)據(jù)直接對(duì)概率密度進(jìn)行估計(jì)。又稱為模型無(wú)關(guān)方法。543.3.1基本估計(jì)方法估計(jì)的目的：從樣本集K={x1,x2,…,xN}估計(jì)樣本空間中任何一點(diǎn)的概率密度p(x)基本方法：用某種函數(shù)構(gòu)造某一樣本對(duì)待估計(jì)的密度函數(shù)的貢獻(xiàn)，所有樣本所作貢獻(xiàn)的線性組合視作對(duì)某點(diǎn)概率密度p(x)的估計(jì)55基本估計(jì)方法圖解56一個(gè)隨機(jī)向量x落入某一區(qū)域R中的概率為設(shè)個(gè)樣本是從上述概密為的總體中獨(dú)立抽取的，個(gè)樣本中有個(gè)樣本落入?yún)^(qū)域中的概率服從離散隨機(jī)變量的二項(xiàng)分布故可以用統(tǒng)計(jì)概率P來(lái)估計(jì)概率密度函數(shù)p(x)57令為眾數(shù)，如果不是整數(shù)，則:

即等于的整數(shù)部分；如果是整數(shù)，則:

和在二項(xiàng)分布中使取最大的k值稱為眾數(shù)58由于：所以：這里是的估計(jì)，當(dāng)較大較小時(shí)上式的近似程度是足夠的。59當(dāng)固定時(shí)，對(duì)的最大似然估計(jì)，由概率論知，的數(shù)學(xué)期望。基本估計(jì)方法60設(shè)區(qū)域R的體積為V，我們?nèi)足夠小，使ò?=RVxpxdxpP)()(設(shè))(?xp是)(xp的估計(jì)，由上面二式有VxpxdxpPNkR)(?)(??===ò可得：概率密度的基本估計(jì)方法61顯然是的基本估計(jì)式，它與有關(guān)，顯然和有一定的誤差。

理論上，要使

R0

V0，同時(shí)k，N。

而實(shí)際估計(jì)時(shí)體積不是任意的小，且樣本總數(shù)總是存在誤差。

也是有限的，所以概率密度的基本估計(jì)方法62為提高x處的概率密度的估計(jì)精度，根據(jù)極限理論，－在小區(qū)域中，盡管落入樣本增大，但與樣本總數(shù)N比，可忽略不計(jì)－當(dāng)N增大時(shí)，落入中的樣本數(shù)也增大－當(dāng)不斷減小時(shí)，使趨于構(gòu)造一個(gè)包含x在內(nèi)的區(qū)域序列，設(shè)的體積為,樣本數(shù)為，則的估計(jì)為：概率密度的基本估計(jì)方法且滿足以下條件：63窗函數(shù)方法滿足上述三個(gè)條件區(qū)域序列和樣本選取一般有兩種方法，形成了兩種總體概率密度估計(jì)：Parzen窗法：使區(qū)域序列的體積按N的某個(gè)函數(shù)隨N的增大不斷縮小，使估計(jì)收斂于Kn近鄰法：讓為N的某個(gè)函數(shù)，隨N的增大而變大，的選取是使正好包含x的個(gè)近鄰點(diǎn)，該區(qū)域的體積為概率密度估計(jì)。64653.3.2Parzen窗法

x點(diǎn)的密度估計(jì)：樣本集KN={x1,x2,…,xN}落入?yún)^(qū)域的個(gè)數(shù)區(qū)域RN:一個(gè)d維超立方體，棱長(zhǎng)hN，體積VN=hNd定義窗函數(shù)：超立方體內(nèi)樣本數(shù)：概率密度p(x)的估計(jì)：66上面所講的是從構(gòu)造上導(dǎo)出了估計(jì)式，所取的窗函數(shù)即迭加基函數(shù)為維方窗(柱)函數(shù)。事實(shí)上只要窗函數(shù)滿足下面的兩個(gè)條件:由式構(gòu)造的估計(jì)式就是概密函數(shù)。67

按照上面的條件，除了選擇方窗外，還可以選擇其它的滿足上述兩個(gè)條件的函數(shù)作窗函數(shù)。下面列出幾個(gè)一維窗函數(shù)的例子，n維的窗函數(shù)可用乘積的方法由一維函數(shù)構(gòu)造。⑶

指數(shù)窗函數(shù)

[]uu-=jexp)(⑴

方窗函數(shù)

?íì￡=j其它,021,1)(uu⑵

正態(tài)窗函數(shù)

ú?ùê?é-p=j221exp21)(uu⑷

三角窗函數(shù)

?íì>￡-=j1,01,1)(uuuu68窗寬的選擇hN是控制“窗”寬度的參數(shù)，根據(jù)樣本的數(shù)量選擇。太大：平均，分辨力低太?。航y(tǒng)計(jì)變動(dòng)大為保證依概率漸進(jìn)收斂到真實(shí)的概率密度，即：收斂的充要條件：69下面進(jìn)一步討論窗寬對(duì)估計(jì)的影響:定義:于是估計(jì)式表示成:影響的幅度和寬度。注意到:可看出窗寬的選擇70若Nh較大，則)(jNxx-d幅度將較小，而寬度增大)(?xpN是N個(gè)低幅緩變寬的函數(shù)迭加)(?xpN較平滑，不能跟上的變化，分辨率較低。)(xp若Nh很小，則)(jNxx-d幅度將很大，則寬度很小)(?xpN是N個(gè)尖脈沖函數(shù)迭加,波動(dòng)大，不穩(wěn)定，失去連續(xù)性。71不同窗寬的估計(jì)效果h為窗的寬度72例：待估的密度函數(shù)為二項(xiàng)分布解：此為多峰情況的估計(jì)設(shè)窗函數(shù)為正態(tài)解：此為多峰情況的估計(jì)設(shè)窗函數(shù)為正態(tài)-0.25<x<-20<x<2x為其它-2.5-210.2502P(x)x73N=∞N=256N=16N=1由結(jié)果曲線可以看出，樣本量越大，估計(jì)越精確；同時(shí)，也可以看出窗口選擇是否適當(dāng)對(duì)估計(jì)結(jié)果有一定影響。74P—窗法的特點(diǎn)：適用范圍廣，無(wú)論概密是規(guī)則的或不規(guī)則的、單峰的或多峰的。但它要求樣本分布較好且數(shù)量要大，顯然這也是一個(gè)良好估計(jì)所必須的，但它的取樣過(guò)程的操作增加了取樣工作的復(fù)雜性。窗函數(shù)選取得當(dāng)有利于提高估計(jì)的精度和減少樣本的數(shù)量。75在P—窗法中，把體積作為的函數(shù)導(dǎo)致對(duì)估計(jì)結(jié)果影響很大。例如當(dāng)選得太小將導(dǎo)致大部分區(qū)域是空的，會(huì)使不穩(wěn)定；選得太大，則較平坦，將丟失的一些重要空間變化。當(dāng)—近鄰估計(jì)法是克服這個(gè)問(wèn)題的一個(gè)可能的方法。3.3.3kN-近鄰法76基本思想：把含點(diǎn)的序列區(qū)域的體積作為落入中樣本數(shù)的函數(shù)，而不是直接作為的函數(shù)。我們可以預(yù)先確定是的某個(gè)函數(shù)，然后在點(diǎn)附近選擇一“緊湊”區(qū)域，個(gè)鄰近樣本。實(shí)驗(yàn)樣本數(shù)讓它只含點(diǎn)附近概密較大，則包含個(gè)樣本的區(qū)域如果體積自然就相對(duì)的小；點(diǎn)附近概密較小，則區(qū)域體積就較大。個(gè)鄰近樣本而擴(kuò)展到高密度如果顯然，當(dāng)區(qū)域?yàn)楹袇^(qū)時(shí)，擴(kuò)展過(guò)程必然會(huì)停止。3.3.3kN-近鄰法77則收斂于真實(shí)的概率密度如果滿足條件

②③①3.3.3kN-近鄰法概率密度估計(jì)表達(dá)式：點(diǎn)x處窗的“體積”是Vn：78在樣本數(shù)目有限的條件下，K1的選擇也會(huì)影響估計(jì)的結(jié)果，但該方法避免了出現(xiàn)空的區(qū)域RN，消除了估計(jì)不穩(wěn)定性；同時(shí)，RN的體積VN適應(yīng)于KN的變化，而不是取決于N，避免了出現(xiàn)VN過(guò)大的情況，不會(huì)使估計(jì)過(guò)于平坦而嚴(yán)重失真；和P窗法相比，K近鄰法是一個(gè)較好的估計(jì)方法。但該方法也需要較多的樣本。3.3.3kN-近鄰法79-20210.01.00.10.010.001N=1,KN=1-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001-20210.01.00.10.010.001N=16,KN=4N=256,KN=16N=,KN=3.3.3kN-近鄰法kN的選擇：

漸進(jìn)收斂容易保證；有限樣本性質(zhì)、最小平方誤差與P窗幾乎相同80P窗口法是通過(guò)各樣本處的窗函數(shù)疊加構(gòu)造類的概密，算法的本質(zhì)是所有樣本一起考慮，有多少樣本就有多少項(xiàng)窗函數(shù)。正交函數(shù)級(jí)數(shù)逼近是設(shè)定類概密的逼近函數(shù)為有限項(xiàng)正交函數(shù)級(jí)數(shù)，按某種準(zhǔn)則求級(jí)數(shù)中的待定系數(shù)，該方法可以通過(guò)樣本的逐個(gè)加入而提高逼近精度。3.4有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法813.4有限項(xiàng)正交函數(shù)級(jí)數(shù)逼近法設(shè)有個(gè)抽自同一母體

的樣本用于估計(jì)總體概密，我們將概密的估計(jì)表示成有限項(xiàng)正交級(jí)數(shù)式中，是某一正交函數(shù)集的基函數(shù)，為待定系數(shù)。應(yīng)根據(jù)的特點(diǎn)適當(dāng)選擇以期在固定的項(xiàng)數(shù)下減小誤差，項(xiàng)數(shù)