模式識(shí)別 第3章 概率密度估計(jì)學(xué)習(xí)資料

模式識(shí)別:概率密度函數(shù)的估計(jì)第3章概率密度函數(shù)的估計(jì)目錄3.1引言3.2參數(shù)估計(jì)3.3非參數(shù)估計(jì)概率密度估計(jì)的方法類的先驗(yàn)概率的估計(jì)：用訓(xùn)練數(shù)據(jù)中各類出現(xiàn)的頻率估計(jì)經(jīng)驗(yàn)概率密度估計(jì)的方法類條件概率密度估計(jì)的兩種主要方法：參數(shù)估計(jì)：概率密度函數(shù)的形式已知，而參數(shù)未知，通過訓(xùn)練數(shù)據(jù)來估計(jì)最大似然估計(jì)非參數(shù)估計(jì)：密度函數(shù)的形式未知，利用訓(xùn)練數(shù)據(jù)直接對(duì)概率密度進(jìn)行估計(jì)Parzen窗法kn-近鄰法目錄3.1引言3.2參數(shù)估計(jì)3.3非參數(shù)估計(jì)3.2.1最大似然估計(jì)MaximumLikelihood(ML)樣本集可按類別分開，不同類別的密度函數(shù)的參數(shù)分別用各類的樣本集來訓(xùn)練。概率密度函數(shù)的形式已知，參數(shù)未知，為了描述概率密度函數(shù)p(x|ωi)與參數(shù)θ的依賴關(guān)系，用p(x|ωi

,θ)表示。最大似然估計(jì)似然函數(shù)：對(duì)數(shù)(loglarized)似然函數(shù)：似然函數(shù)（對(duì)數(shù)似然函數(shù)）最大化：估計(jì)結(jié)果計(jì)算方法最大似然估計(jì)量使似然函數(shù)梯度為0：一元正態(tài)分布均值和方差的估計(jì)一元正態(tài)分布均值和方差的估計(jì)多元正態(tài)分布參數(shù)最大似然估計(jì)均值估計(jì)是無偏的，協(xié)方差矩陣估計(jì)是有偏的。協(xié)方差矩陣的無偏估計(jì)是：例題：已知四個(gè)樣本和三個(gè)屬性構(gòu)成的數(shù)據(jù)矩陣。使用最大似然估計(jì)獲得均值向量和協(xié)方差矩陣。

[,1][,2][,3][1,]159[2,]2610[3,]3711[4,]4812解：cov函數(shù)計(jì)算樣本協(xié)方差已知

y<-matrix(c(1,2,3,4,5,6,7,8,9,10,11,12),4,3)計(jì)算均值向量apply(y,2,mean)得到結(jié)果為2.56.510.5用cov(y)計(jì)算樣本協(xié)方差矩陣得：[,1][,2][,3][1,]1.66671.66671.6667[2,]1.66671.66671.6667[3,]1.66671.66671.6667

最大似然估計(jì)的協(xié)方差矩陣(3/4)*cov(y)

[,1][,2][,3][1,]1.251.25

1.25[2,]1.251.25

1.25[3,]1.251.25

1.25目錄3.1引言3.2參數(shù)估計(jì)3.3非參數(shù)估計(jì)3.3非參數(shù)估計(jì)非參數(shù)估計(jì)：密度函數(shù)的形式未知，也不作假設(shè)，利用訓(xùn)練數(shù)據(jù)直接對(duì)概率密度進(jìn)行估計(jì)。兩種主要方法：Parzen窗法kN-近鄰法基本方法設(shè)樣本集為D={x1，x2，x3}，每個(gè)樣本xi對(duì)以它為中心，寬度為h的范圍內(nèi)分布的貢獻(xiàn)為a，要想估計(jì)p(x)，可以把每個(gè)樣本點(diǎn)的貢獻(xiàn)相加近似作為這點(diǎn)的密度，對(duì)任意點(diǎn)都這樣做，則得到分布p(x)。當(dāng)N足夠大時(shí)，將有好的估計(jì)效果。我們也可以認(rèn)為每個(gè)樣本對(duì)自己所在位置的分布貢獻(xiàn)最大，而離得越遠(yuǎn)，則貢獻(xiàn)越小。所以表示為在樣本xi處對(duì)分布貢獻(xiàn)最大，而往兩邊越來越小的函數(shù)形式。理論依據(jù)如果有N個(gè)樣本x1，…，xN是從p(x)的總體中獨(dú)立抽取的，則N個(gè)樣本中有k個(gè)落入?yún)^(qū)域R中的概率Pk等于二項(xiàng)分布：當(dāng)時(shí)，Pk的值最大。可取兩種主要方法：Parzen窗法和kN-近鄰法Parzen窗法固定體積（例如：），計(jì)算落入?yún)^(qū)域的樣本數(shù)kkN-近鄰法固定落入?yún)^(qū)域樣本數(shù)k（例如：），計(jì)算落入k個(gè)樣本需要的體積V3.2Parzen窗法窗函數(shù)的選擇常用的窗函數(shù)：方窗函數(shù)：正態(tài)窗函數(shù)：

指數(shù)窗函數(shù)：參數(shù)估計(jì)和非參數(shù)估計(jì)的使用范圍非參數(shù)估計(jì)：（1）樣本數(shù)量非常充足。（2）樣本的分布形式未知。參數(shù)估計(jì)：貝葉斯------（1）樣本數(shù)量非常充足或很充足。（2）樣本的分布形式已知。樸素貝葉斯------（1）樣本數(shù)量非常充足、很充足或充足。（2）樣本的分布形式已知。（3）屬性之間近似獨(dú)立。習(xí)題類條件概率密度估計(jì)的兩種主要方法_________和_________。類條件概率密度估計(jì)的非參數(shù)估計(jì)有兩種主要的方法_________和_________。它們的基本原理都是基于樣本對(duì)分布的_________原則。如果有N個(gè)樣本，可以計(jì)算樣本鄰域的體積V，然后獲得V中的樣本數(shù)k，那么P(x)=_________。假設(shè)正常細(xì)胞和癌細(xì)胞的樣本的類條件概率服從多元正態(tài)分布，使用最大似然估計(jì)方法，對(duì)概率密度的參數(shù)估計(jì)的結(jié)果為__________。證明：使用最大似然估計(jì)方法，對(duì)一元正態(tài)概率密度的參數(shù)估計(jì)的結(jié)果如下：例題：已知5個(gè)樣本和2個(gè)屬性構(gòu)成的數(shù)據(jù)集中，w1類有3個(gè)樣本，w2類有兩個(gè)樣本。如果使用貝葉斯方法設(shè)計(jì)分類器，需要獲得各類樣本的條件概率分布，現(xiàn)假設(shè)樣本服從多元正態(tài)分布，則只需獲得分布的參數(shù)均值向量和協(xié)方差矩陣即可，那么采用最大似然估計(jì)獲得的w1類的類條件概率密度均值向量為_________,以及協(xié)方差矩陣為________。屬性1屬性2類別12W114W143W124W226W2計(jì)算機(jī)求解：計(jì)算樣本均值向量和協(xié)方差矩陣已知

y<-matrix(c(1,1,4,2,4,3