《模式識(shí)別原理與應(yīng)用》非參數(shù)估計(jì) 第四周

1、模式識(shí)別原理與應(yīng)用非參數(shù)估計(jì) 第四周一、 密度估計(jì)上圖為一個(gè)N(-5,4)正態(tài)分布和N(5,2)正態(tài)分布相疊加的分布，后面將圍繞這個(gè)分布分別使用直方圖密度估計(jì)和核密度估計(jì)。1、基于直方圖密度估計(jì)基于直方圖密度估計(jì)的缺點(diǎn)：樣本量要大，間隔控量，不光滑，下面為直方圖密度估計(jì)的代碼：clear;% 繪制原始圖像X=(-25:0.002:15);Y=(normpdf(X,-5,4)+normpdf(X,5,2)/2;figure(1);plot(X,Y);% 隨機(jī)生成1000個(gè)N(-5,4)正態(tài)分布和1000個(gè)N(5,2)正態(tài)分布rndDistribute=normrnd(-5,4,1000,1);n

2、ormrnd(5,2,1000,1);n=2000; % 直方圖生成dif=1; %直方圖間隔n=(max(rndDistribute)-min(rndDistribute)/dif; %直方圖條數(shù)H X=hist(rndDistribute,n);H=H/sum(H)/dif;figure(2);bar(X,H);結(jié)果：2、核密度估計(jì)概率密度函數(shù)為pnx=knnVn=1n i=1n1VnK(x-xihn) ，其中K(u)為核函數(shù)，這里給出兩種常用的核函數(shù)。利用核函數(shù)Ku=1u120otherwise得到的結(jié)果：其中，hn分別為0.5，0.8，1，2。利用核函數(shù)Kz=12exp-z22得到的結(jié)

3、果：其中，hn分別為0.5，0.8，1，2。這里程序定義了兩個(gè)函數(shù)：Kernel.m，Density.m。Kernel.m主要是通過傳入的method參數(shù)來分別調(diào)用這兩種核函數(shù)，Density.m是計(jì)算核密度估計(jì)公式pnx=1n i=1n1VnK(x-xihn)主程序就是根據(jù)不同的參數(shù)調(diào)用Density并繪制圖像。源代碼如下：function K = Kernel( ui,method )%KERNEL 01核 高斯核 if strcmp(method,'01') t=zeros(size(ui); t(abs(ui)<=0.5)=1; K=sum(t); elseif

4、strcmp(method,'GAS') t=1/sqrt(2*pi).*exp(-ui.2/2); K=sum(t); endendfunction kn = Density(rndDistribute, x,hn,method )%公式計(jì)算 kn=zeros(size(x); for i=1:1:size(x,2); kn(i)=Kernel(rndDistribute-x(i)/hn,method)/hn; end kn=kn/size(rndDistribute,1);endclear;% 繪制原始圖像X=(-25:0.002:15);Y=(normpdf(X,-5,4

5、)+normpdf(X,5,2)/2;figure(1);plot(X,Y);% 隨機(jī)生成1000個(gè)N(-5,4)正態(tài)分布和1000個(gè)N(5,2)正態(tài)分布rndDistribute=normrnd(-5,4,1000,1);normrnd(5,2,1000,1);n=2000;% 核密度估計(jì)% 01核 和 高斯核% hn 分別為 0.5 0.8 1 2% 01核figure(2);x=-25:0.01:15;hn=0.5;kn=Density(rndDistribute,x,hn,'01');subplot(2,2,1);plot(x,kn);hn=0.8;kn=Density

6、(rndDistribute,x,hn,'01');subplot(2,2,2);plot(x,kn);hn=1;kn=Density(rndDistribute,x,hn,'01');subplot(2,2,3);plot(x,kn);hn=2;kn=Density(rndDistribute,x,hn,'01');subplot(2,2,4);plot(x,kn);% 高斯核figure(3);x=-25:0.01:15;hn=0.5;kn=Density(rndDistribute,x,hn,'GAS');subplot(2

7、,2,1);plot(x,kn);hn=0.8;kn=Density(rndDistribute,x,hn,'GAS');subplot(2,2,2);plot(x,kn);hn=1;kn=Density(rndDistribute,x,hn,'GAS');subplot(2,2,3);plot(x,kn);hn=2;kn=Density(rndDistribute,x,hn,'GAS');subplot(2,2,4);plot(x,kn);二、 k近鄰分類器(kNN)根據(jù)貝葉斯公式Pwix=pnxwiPwipnx，其中Pwi=nin、pnxwi

8、=kiniVn、pnx=knnVn，得出Pwix=kikn。也即，某點(diǎn)的類別和其鄰域內(nèi)相鄰的幾個(gè)點(diǎn)有關(guān)（k1+k2+kc=kn，n1+n2+nc=n）。這里用的是iris數(shù)據(jù)拿來測(cè)試，iris數(shù)據(jù)每類的前25個(gè)為訓(xùn)練數(shù)據(jù)，每類的后25個(gè)為測(cè)試數(shù)據(jù)。clear;% 加載數(shù)據(jù)load fisheriris;irisFeatures=meas;% 創(chuàng)建訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)irisTrain=irisFeatures(1:25,:);irisFeatures(51:75,:);irisFeatures(101:125,:);irisTrainNum=ones(25,1);ones(25,1)*2;one

9、s(25,1)*3;irisTest=irisFeatures(26:50,:);irisFeatures(76:100,:);irisFeatures(126:150,:);% 創(chuàng)建knn分類器，近鄰點(diǎn)個(gè)數(shù)為15mdl=fitcknn(irisTrain,irisTrainNum,'NumNeighbors',15);% 預(yù)測(cè)測(cè)試點(diǎn)的類別irisTestNum=predict(mdl,irisTest);% 統(tǒng)計(jì)結(jié)果sum=0;for i=1:1:75 if(irisTestNum(i) = irisTrainNum(i) sum=sum+1; endenddisp(1-su

10、m/75.0);% 顯示結(jié)果stem(irisTestNum);這里采用的是15近鄰分類器，其中測(cè)試數(shù)據(jù)的準(zhǔn)確率達(dá)到93.33%。下圖為具體的結(jié)果。三、 MeanShift聚類MeanShift可以用與聚類、圖像處理以及運(yùn)動(dòng)跟蹤上，其核心公式為x=i=1nxiKx-xihi=1nKx-xih通過多次迭代，最終可以收斂到局部最優(yōu)的位置，其中核函數(shù)K()為Kz=12exp-z22算法的大致流程為：第一步、從x*=xj出發(fā)第二步、 x=i=1nxiKx*-xihi=1nKx*-xih，若x-x*2<則中止迭代，否則x*=x繼續(xù)第二步這里我們測(cè)試這個(gè)算法的性能，如下圖為隨機(jī)生成滿足二維正態(tài)分布的

11、兩組點(diǎn)。我們使用MeanShift算法進(jìn)行聚類：如上圖，可以看到聚類的效果還是比較理想的，這里設(shè)置的h=2。h太小或者太大會(huì)大大的影響結(jié)果，所以這里對(duì)于h的取值要適度。附上代碼：clear;% 隨機(jī)生成滿足二維正態(tài)分布的兩組點(diǎn)mu1=5 5;s1=1 0;0 1;n1=100;mu2=10 10;s2=2 0;0 1;n2=100;n=n1+n2;data=mvnrnd(mu1,s1,n1);mvnrnd(mu2,s2,n2);figure(1);plot(data(:,1),data(:,2),'*'); % meanshifth=2; %核大小sortNum=zeros(n

12、,2); %最終迭代點(diǎn)dif=0.01; %設(shè)置終止迭代的條件for j=1:1:n x=data(j,:); pre_x=0 0; while norm(pre_x-x)>dif pre_x=x; u=0 0; %分子 d=0; %分母 %公式 分子和分母 累加 for i=1:n ui=(x-data(i,:)/h; k=(1/sqrt(2*pi)*exp(-0.5*norm(ui).2); %高斯核 u=u+data(i,:)*k; d=d+k; end x=u/d; end sortNum(j,:)=x;end% 聚類label=zeros(n,1); %創(chuàng)建標(biāo)簽nowId=1;

13、 %最大類別idlabel(1)=nowId; %設(shè)置第一個(gè)點(diǎn)的標(biāo)簽為1% 計(jì)算所有點(diǎn)的標(biāo)簽for i=2:1:size(sortNum,1) % 將該點(diǎn)的最終迭代坐標(biāo)與已知標(biāo)簽點(diǎn)的最終迭代坐標(biāo)比較 % 這里設(shè)置兩坐標(biāo)之差的二范數(shù)小于2到3倍的dif 則聚為一類 % 否則為新的標(biāo)簽 flag=0; %用來判斷是否找到同類的點(diǎn) for j=1:1:i-1 if norm(sortNum(i,:)-sortNum(j,:)<dif*3 label(i)=label(j); flag=1; break; end end if(flag=0) nowId=nowId+1; label(i)=nowId;