貝葉斯最小錯誤概率分類器設計

1、精選優(yōu)質(zhì)文檔-傾情為你奉上一、 實驗目的1. 掌握密度函數(shù)監(jiān)督參數(shù)估計方法；2. 掌握貝葉斯最小錯誤概率分類器設計方法。二、 實驗原理貝葉斯分類器是各種分類器中分類錯誤概率最小或者在預先給定代價的情況下平均風險最小的分類器。它的設計方法是一種最基本的統(tǒng)計分類方法。其分類原理是通過某對象的先驗概率，利用貝葉斯公式計算出其后驗概率，即該對象屬于某一類的概率，選擇具有最大后驗概率的類作為該對象所屬的類。對于兩類分類問題，已知先驗概率P(1)和 P(2)，以及類別標號 1和2，得到相應的類條件概率密度P(x |1)， P(x|2)， 由貝葉斯公式：計算得到條件概率P(i|x) (i=1,2)，又稱為后

2、驗概率。如果：P(i|x)=max P(i|x)，x i 或者：P(1|x) P(2|x)，x 1P(2|x) P(1|x)，x 2三、 實驗內(nèi)容對于一個兩類分類問題，設兩類的先驗概率相同（），兩類的類條件概率密度函數(shù)服從二維正態(tài)分布，即 其中，。1.生成兩類模式隨機樣本點并進行分類；2.設計最大似然估計算法對兩類類條件概率密度函數(shù)進行估計；3.用2中估計的類條件概率密度函數(shù)設計最小錯誤概率貝葉斯分類器，實現(xiàn)對兩類樣本的分類。四、 實驗步驟1. 產(chǎn)生訓練樣本根據(jù)實驗提供的先驗均值向量和協(xié)方差矩陣，利用編寫的multivrandn函數(shù)構造二維正態(tài)分布，分別產(chǎn)生N=500及N=1000個樣本，所得

3、結果如圖1.1及1.2所示。圖1.1兩類訓練樣本（N=500）圖1.2兩類訓練樣本（N=1000）2. 參數(shù)估計對產(chǎn)生的樣本進行最大似然估計，估計出樣本二維正態(tài)分布的均值向量和協(xié)方差矩陣。其中，。對于樣本N=500估計結果如下：1=3.0575 6.0294， 2=2.9404 -1.9881，1=0.47340.00520.00522.1152，2=2.1241-0.1233-0.12332.0153對于樣本N=1000估計結果如下：1=3.0072 5.9923， 2=2.9869 -1.9336，1=0.54990.04880.04882.0033，2=1.98410.05250.052

4、51.81023. 分類器設計根據(jù)上面得出的參數(shù)估計結果和貝葉斯最大后驗概率判決準則設計分類器。當，則。設計分類函數(shù)，對樣本進行分類判決。例如對類別1中的第一個樣本進行分類，結果如圖2所示：圖2.分類結果對兩組樣本進行分類，運用matlab 理論分別計算出N=500及N=1000個樣本的分界線，結果如圖3.1及3.2所示：圖3.1 兩組樣本分類結果(N=500)圖3.2 兩組樣本分類結果(N=1000)五、 實驗分析1. 在產(chǎn)生樣本的過程中，利用二維正態(tài)分布函數(shù)函數(shù)產(chǎn)生大量樣本，經(jīng)過均值和協(xié)方差矩陣的估計后可以看出：隨著樣本數(shù)量N的增加，估計出的均值更接近于真實值；方差相對變化較大，即樣本數(shù)據(jù)

5、的波動較大，不確定性越大。故樣本數(shù)越多，分類器將兩類樣本分離的會更加清楚，分類器的性能越好。2. 參數(shù)估計完全按照最大似然估計過程，結果如上所示，由于樣本產(chǎn)生較好且數(shù)量較大，估計值也比較準確，從反面驗證了參數(shù)估計過程的正確性。3. 根據(jù)最大后驗概率判決準則，利用估計出的參數(shù)設計分類器，兩組樣本分類結果如圖3.1及3.2所示，可以看出：N=500和N=1000時均有個別誤差，大部分樣本分類正確；隨著樣本數(shù)的增加，分類錯誤的樣本數(shù)越少，即錯誤率越小，分類器的性能越好。4. 添加干擾，檢測實驗結果在產(chǎn)生樣本時，添加均勻分布的一個干擾項，再次驗證參數(shù)估計和分類結果如下：1=8.5751 11.6213

6、， 2=8.4160 3.7158，1=7.4464-0.8548-0.85488.9503，2=9.11591.24931.24938.8853可以看出，得到的均值及方差估計值與真實值差距較大。分類結果如圖4所示：圖4 樣本分類結果（有干擾）從分類結果可知，樣本混淆現(xiàn)象嚴重，分類錯誤的樣本數(shù)較多。因此，在有干擾的情況下該分類器的訓練誤差較大，錯誤率高，性能較差。六、 程序代碼本次實驗程序代碼共分為三部分：主程序及兩個函數(shù)程序。1. 主程序如下：N=500clear all;close all;clc;d=2; %二維pw1=0.5;pw2=0.5;u1=3,6;u2=3,-2; %均值向量s

7、igma1=0.5,0;0,2; %協(xié)方差矩陣sigma2=2,0;0,2;N=500; %訓練樣本數(shù)samples1=multivrandn(u1,sigma1,N);samples2=multivrandn(u2,sigma2,N);figure(1);for i=1:Nplot(samples1(i,1),samples1(i,2),b*);hold on;plot(samples2(i,1),samples2(i,2),ro);hold on;endlegend(訓練樣本1,訓練樣本2);hold on;u_1=mean(samples1,1); %估計均值u_2=mean(sampl

8、es2,1);sig1=zeros(2,2); %協(xié)方差矩陣的估計for i=1:Ntemp=(samples1(i,:)-u_1)*(samples1(i,:)-u_1);sig1=sig1+temp;endsig1=sig1/N; %估計協(xié)方差矩陣sig2=zeros(2,2);for i=1:Ntemp=(samples2(i,:)-u_2)*(samples2(i,:)-u_2);sig2=sig2+temp;endsig2=sig2/N;% 畫出實際分類線syms x1 x2f1=(1/(sqrt(2*pi).d)./det(sig1).*exp(-1/2*(x1 x2-u_1)*i

9、nv(sig1)*(x1 x2-u_1);f2=(1/(sqrt(2*pi).d)./det(sig2).*exp(-1/2*(x1 x2-u_2)*inv(sig2)*(x1 x2-u_2);f3=f2/f1-pw1/pw2;ezplot(f3,-4,10);hold on;text(-2,4,分界線);N=1000clear all;close all;clc;d=2; %二維pw1=0.5;pw2=0.5;u1=3,6;u2=3,-2; %均值向量sigma1=0.5,0;0,2; %協(xié)方差矩陣sigma2=2,0;0,2;N=1000; %訓練樣本數(shù)samples1=multivran

10、dn(u1,sigma1,N);samples2=multivrandn(u2,sigma2,N);figure(1);for i=1:N plot(samples1(i,1),samples1(i,2),b*);hold on; plot(samples2(i,1),samples2(i,2),ro);hold on;endlegend(訓練樣本1,訓練樣本2);hold on;u_1=mean(samples1,1); %估計均值u_2=mean(samples2,1); sig1=zeros(2,2); %協(xié)方差矩陣的估計for i=1:N temp=(samples1(i,:)-u_1

11、)*(samples1(i,:)-u_1); sig1=sig1+temp;end sig1=sig1/N; %估計協(xié)方差矩陣sig2=zeros(2,2);for i=1:N temp=(samples2(i,:)-u_2)*(samples2(i,:)-u_2); sig2=sig2+temp;endsig2=sig2/N; % 畫出實際分類線syms x1 x2f1=(1/(sqrt(2*pi).d)./det(sig1).*exp(-1/2*(x1 x2-u_1)*inv(sig1)*(x1 x2-u_1);f2=(1/(sqrt(2*pi).d)./det(sig2).*exp(-1

12、/2*(x1 x2-u_2)*inv(sig2)*(x1 x2-u_2);f3=f2/f1-pw1/pw2;ezplot(f3,-4,10);hold on;text(-2,4,分界線); 2.二維正態(tài)分布樣本產(chǎn)生函數(shù) multivrandn function Y = multivrandn(u,R,M)% this function draws M samples from N(u,R)% where u is the mean vector(row) and R is the covariance matrix which must be positive definiten = leng

13、th(u); % get the dimensionC = chol(R); % perform cholesky decomp R = CCX = randn(M,n); % draw M samples from N(0,I)Z=unifrnd(1,10,M,n);Y = X*C +Z+ ones(M,1)*u;end 3.分類判決函數(shù)分類 fenlei( samples1(1,:),pw1,pw2,u_1,u_2,sig1,sig2,d ) function fenlei(samples1(1,:),pw1,pw2,u_1,u_2,sig1,sig2,d )%UNTITLED2 Summary of this function goes here% Detailed explanation goes