Fisher準(zhǔn)則線性分類器設(shè)計

1、一、基于Fisher準(zhǔn)則線性分類器設(shè)計1、實驗內(nèi)容：已知有兩類數(shù)據(jù)1和2二者的概率已知p()1=,p()2=。i中數(shù)據(jù)點的坐標(biāo)對應(yīng)一一如下：數(shù)據(jù)：x=2數(shù)據(jù)點的對應(yīng)的三維坐標(biāo)為x2=數(shù)據(jù)的樣本點分布如下圖：1) 請把數(shù)據(jù)作為樣本，根據(jù)Fisher選擇投影方向W的原則，使原樣本向量在該方向上的投影能兼顧類問分布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，求出評價投影方向W的函數(shù)，并在圖形表示出來。并在實驗報告中表示出來，并求使JF(w)取極大值的w*。用matlab完成Fisher線性分類器的設(shè)計，程序的語句要求有注釋。根據(jù)上述的結(jié)果并判斷(1,屆于哪個類別，并畫出數(shù)據(jù)分類相應(yīng)的結(jié)果圖，要求畫出其

2、在W上的投影?；卮鹑缦聠栴}，分析一下W的比例因子對于Fisher判別函數(shù)沒有影響的原因。2、實驗代碼x1=將x1、x2、x3變?yōu)樾邢蛄縳1=x1(:);x2=x2(:);x3=x3(:);%計算第一類的樣本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%計算第一類樣本類內(nèi)離散度矩陣S1S1=zeros(3,3);fori=1:36S1=S1+-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)'*-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i);end%w2的數(shù)據(jù)點坐標(biāo)x4=計算第二類的

3、樣本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%計算第二類樣本類內(nèi)離散度矩陣S2S2=zeros(3,3);fori=1:36S2=S2+-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)'*-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i);end%總類內(nèi)離散度矩陣SwSw=zeros(3,3);Sw=S1+S2;%樣本類問離散度矩陣SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最優(yōu)解WW=SwA-1*(m1-m2)'%將W變?yōu)閱挝幌蛄恳?/p>

4、方便計算投影W=W/sqrt(sum(W.A2);%計算一維Y空間中的各類樣本均值M1及M2fori=1:36y(i)=W*x1(i)x2(i)x3(i)'endM1=mean(y);fori=1:36y(i)=W*x4(i)x5(i)x6(i)'endM2=mean(y);%利用當(dāng)P(w1)與P(w2)已知時的公式計算W0p1=;p2=;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%計算將樣本投影到最佳方向上以后的新坐標(biāo)X1=x1*W(1)+x2*W(2)+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%得到

5、投影長度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐標(biāo)%繪制樣本點figure(1);plot3(x1,x2,x3,'r*');%第一類holdonplot3(x4,x5,x6,'gp');%第二類legend(笫一類點','第二類點');title('Fisher線性判別曲線');W1=5*W;%畫出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','g

6、9;);%判別已給點的分類a1=1,'a2=,'a3=,'a4=,'a5=,'A=a1a2a3a4a5;n=size(A,2);%下面代碼在改變樣本時可不修改%繪制待測數(shù)據(jù)投影到最佳方向上的點fork=1:nA1=A(:,k)'*W;A11=W*A1;%得到待測數(shù)據(jù)投影y=W*A(:,k)+W0;%計算后與0相比以判斷類別，大于0為第一類，小于0為第二類ify>0plot3(A(1,k),A(2,k),A(3,k),'ro');%點為"rp"對應(yīng)第一類plot3(A11(1),A11(2),A11(3),

7、'ro');%投影為"r+"對應(yīng)ro類elseplot3(A(1,k),A(2,k),A(3,k),'ch');%點為"bh"對應(yīng)ch類plot3(A11(1),A11(2),A11(3),'ch');%投影為"b*”對應(yīng)ch類endend%畫出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','m');view(,30);axis(-2,3,-1,3,);gridonholdoff3、實驗結(jié)果根據(jù)求出最

8、佳投影方向，然后按照此方向，將待測數(shù)據(jù)進行投影。為直觀起見，我們將兩步畫在一張圖上，如下：其中，紅色的*是給出的第一類樣本點，藍(lán)色的五角星是第二類樣本點。下方的實直線是最佳投影方向。待測數(shù)據(jù)投影在其上，圓圈是被分為第一類的樣本點，十字是被分為第二類的樣本點。使Jf(w)取極大值的W=(,)4、實驗分析W的比例因子對于Fisher判別函數(shù)沒有影響的原因：在本實驗中，最需要的是W的方向，或者說是在此方向上數(shù)據(jù)的投影，那么W的比例因子，即它是單位向量的多少倍長就無關(guān)緊要了，不管比例因子有多大，在最后求投影時都會被消掉而起不到實際作用。二、Bayes分類器設(shè)計1、實驗內(nèi)容假定某個局部區(qū)域細(xì)胞識別中正常

9、(1)和非正常(2)兩類先驗概率分別為正常狀態(tài)：P(1)=；異常狀態(tài)：P(2)=?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為x:已知先驗概率是的曲線如下圖：p(x|1)p(x|2)類條件概率分布正態(tài)分布分別為(-2,)(2,4)試對觀察的結(jié)果進行分類。1) 用matlab完成分類器的設(shè)計，要求程序相應(yīng)語句有說明文字，要求有子程序的調(diào)用過程。2) 根據(jù)例子畫出后驗概率的分布曲線以及分類的結(jié)果示意圖。3) 如果是最小風(fēng)險貝葉斯決策，決策表如下：最小風(fēng)險貝葉斯決策表：一*狀態(tài)決*a106a210請重新設(shè)計程序，畫出相應(yīng)的后驗概率的分布曲線和分類結(jié)果，并比較兩個結(jié)果。2、實驗代碼最小錯誤率貝葉斯決策x=%得到

10、待測細(xì)胞個數(shù)pw1_x=zeros(1,m);%存放對w1的后驗概率矩陣pw2_x=zeros(1,m);%存放對w2的后驗概率矩陣results=zeros(1,m);%存放比較結(jié)果矩陣fori=1:m%計算在w1下的后驗概率pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);%計算在w2下的后驗概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);endfori=

11、1:mifpw1_x(i)>pw2_x(i)%比較兩類后驗概率result(i)=0;%正常細(xì)胞elseresult(i)=1;%異常細(xì)胞endenda=-5:5;%取樣本點以畫圖n=numel(a);pw1_plot=zeros(1,n);pw2_plot=zeros(1,n);forj=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);%計算每個樣本點對w1的后驗概率以畫圖pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*n

12、ormpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)；一endfigure(1);holdonplot(a,pw1_plot,'co',a,pw2_plot,'r-.');fork=1:mifresult(k)=0plot(x(k),'cp');%正常細(xì)胞用五角星表示elseplot(x(k),'r*');%異常細(xì)胞用*表示end;end;legend('正常細(xì)胞后驗概率曲線','異常細(xì)胞后驗概率曲線,'正常細(xì)胞','異常細(xì)胞')；xlabel

13、('樣本細(xì)胞的觀察值');ylabel('后驗概率');title('后驗概率分巾曲線');gridonreturn%實驗內(nèi)容仿真：x=,disp(x);pw1=;pw2=;result=bayes(x,pw1,pw2);最小風(fēng)險貝葉斯決策x=%得到待測細(xì)胞個數(shù)R1_x=zeros(1,m);%存放把樣本X判為正常細(xì)胞所造成的整體損失R2_x=zeros(1,m);%存放把樣本X判為異常細(xì)胞所造成的整體損失result=zeros(1,m);%存放比較結(jié)果e1=-2;a1=;e2=2;a2=2;%類條件概率分布px_w1:(-2,)px_w2(2

14、,4)r11=0;r12=2;r21=4;r22=0;%風(fēng)險決策表fori=1:m%計算兩類風(fēng)險值R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*

15、pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);endfori=1:mifR2_x(i)>R1_x(i)%第二類比第一類風(fēng)險大result(i)=0;%判為正常細(xì)胞(損失較小)，用0表示elseresult(i)=1;%判為異常細(xì)胞，用1表示endenda=-5:5;%取樣本點以畫圖n=numel(a);R1_plot=zeros(1,n);R2_plot=zeros(1,n);forj=1:nR1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normp

16、df(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)%計算各樣本點的風(fēng)險以畫圖endfigur

17、e(1);holdonplot(a,R1_plot,'co',a,R2_plot,'r-.');fork=1:mifresult(k)=0plot(x(k),'cp');%正常細(xì)胞用五角星表示elseplot(x(k),'r*');%異常細(xì)胞用*表示end;end;legend('正常細(xì)胞','異常細(xì)胞','Location','Best');xlabel('細(xì)胞分類結(jié)果');ylabel('條件風(fēng)險');title('風(fēng)險判決

18、曲線');gridonreturn%實驗內(nèi)容仿真：x=,disp(x);pw1=;pw2=;result=bayes(x,pw1,pw2);3、實驗結(jié)果最小錯誤率貝葉斯決策后驗概率曲線：帶紅色虛線曲線是判決為異常細(xì)胞的后驗概率曲線宵色實線曲線是為判為正常細(xì)胞的后驗概率曲線根據(jù)最小錯誤概率準(zhǔn)則，判決結(jié)果顯示在曲線下方：五角星代表判決為正常細(xì)胞，*號代表異常細(xì)胞各細(xì)胞分類結(jié)果(0為判成正常細(xì)胞，1為判成異常細(xì)胞)：0000000000000最小風(fēng)險貝葉斯決策帶紅色虛線曲線是異常細(xì)胞的條件風(fēng)險曲線；宵色圓圈曲線是正常細(xì)胞的條件風(fēng)險曲線。根據(jù)貝葉斯最小風(fēng)險判決準(zhǔn)則，判決結(jié)果顯示在曲線下方：五角

19、星代表判決為正常細(xì)胞，*號代表異常細(xì)胞。各細(xì)胞分類結(jié)果(0為判成正常細(xì)胞，1為判成異常細(xì)胞)：4、實驗分析由最小錯誤率的貝葉斯判決和基于最小風(fēng)險的貝葉斯判決得出的圖形中的分類結(jié)果可以看出，樣本在前者中被分為“正常細(xì)胞”，在后者中被分為“異常細(xì)胞”，分類結(jié)果不同。因為在給予最小風(fēng)險的貝葉斯判決中，影響決策結(jié)果的因素多“損失”，這個損失是人為給出的，要想獲得最小風(fēng)險的效果，就要認(rèn)真分析其問題的內(nèi)在特點與專家的共同設(shè)計給出適當(dāng)?shù)膿p失。可以看出，在圖1中，這兩個樣本點下兩類決策的后驗概率相差很小，當(dāng)結(jié)合最小風(fēng)險貝葉斯決策表進行計算時，“損失因素”就起了主導(dǎo)作用，導(dǎo)致出現(xiàn)了相反的結(jié)果。另外，最小錯誤率貝

20、葉斯決策就是在0-1損失函數(shù)條件下的最小風(fēng)險貝葉斯決策，最小錯誤率貝葉斯決策是最小風(fēng)險貝葉斯決策的一種特歹0。三、感知函數(shù)準(zhǔn)則線性分類器1、實驗內(nèi)容：已知有兩個樣本空間w1和w2,這些點對應(yīng)的橫縱坐標(biāo)的分布情況是：x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=,-4,-5,-3;y2=1,-1,5,1,-4,0;在二維空間樣本分布圖形如下所示：(plot(x1,y1,x2,y2)1、用matlab完成感知準(zhǔn)則函數(shù)確定程序的設(shè)計。2、請確定sampled0,-3),(1,3),(-1,5),(-1,1),6),(-3,-1),(2,-1),(0,1),(1,1),;屆于哪個樣本

21、空間，根據(jù)數(shù)據(jù)畫出分類的結(jié)果。3、請分析一下k和a(1)對丁感知函數(shù)準(zhǔn)則確定的影響，并確定當(dāng)k=1/2/3時，相應(yīng)的k的值，以及a不同時，k值得變化情況。4、根據(jù)實驗結(jié)果請說明感知準(zhǔn)則函數(shù)是否是唯一的，為什么？2、實驗代碼%a為解向量，b為分界面clearalla(1,：)=2,4;y=zeros(11,2)%第一類樣本點x1=1,2,4,1,5;y1=2,1,-1,-3,-3;%規(guī)范化處理第一類樣本點xb1=-x1;yb1=-y1;%第二類樣本點x2=,-4,-5,-3;y2=1,-1,5,1,-4,0;%需進行分類的樣本sample=0,-3;1,3;-1,5;-1,1;,6;-3,-1;

22、2,-1;0,1;1,1;,;,%執(zhí)行算法fori=1:5y(i,:)=xb1(i),yb1(i);endfori=1:6y(i+5,:)=x2(i),y2(i);endk=1;while(1)flag=1;yk=0,0;forj=1:11;temp=y(j,:)*a(k,:)'%求兩個向量內(nèi)積iftemp<=0yk=yk+y(j,:);flag=0;endendifflag=1break;elsea(k+1,:)=a(k,:)+yk;k=k+1;endend%確定分界面(!指令用來調(diào)用操作系統(tǒng)命令ech。指令用來控制m文件在執(zhí)行過程中是否顯示)!echo迭代次數(shù)k-1%經(jīng)過k-

23、1次迭代!echo解向量a(k,:)%解向量b(1,1)=a(k,2);b(1,2)=-a(k,1);%此為分界面!echo分界面b(1,：)%繪制圖形subplot(2,1,1),%圖1:原始樣本點，確定分界面plot(x1,y1,'rs',x2,y2,'b*');holdonline(0,a(k,1),0,a(k,2),'color','b');%繪制解向量c=b(1,2)/b(1,1);bplot(1)=-6/c;bplot(2)=6/c;line(bplot(1),bplot(2),-6,6,'color'

24、,'g','LineWidth',2);%繪制分界面gridonaxis(-6,6,-6,6)xlabel('x'),ylabel('y'),title('由分類樣本確定分界面')legend('類別1','類別2','解向量','分界面')subplot(2,1,2),%圖2:測試樣本點，確定分類fori=1:length(sample)ifsample(i,:)*a(k,:)'>0plot(sample(i,1),sample(i,2),'b*');holdonelseplot(sample(i,1),sample(i,2),'rs');holdonendendline(0,a(k,1),0,a(k,2),'color','b');%繪制解向量line(bplot(1),bplot(2),-6,6,'color','g','LineWidth',2);%繪制分界面gridonaxis