Fisher準(zhǔn)則線性分類器設(shè)計(jì)

1、一、基于Fisher準(zhǔn)則線性分類器設(shè)計(jì)1、實(shí)驗(yàn)內(nèi)容：已知有兩類數(shù)據(jù)1和2二者的概率已知p()1=,p()2=。i中數(shù)據(jù)點(diǎn)的坐標(biāo)對(duì)應(yīng)一一如下：數(shù)據(jù)：x=2數(shù)據(jù)點(diǎn)的對(duì)應(yīng)的三維坐標(biāo)為x2=數(shù)據(jù)的樣本點(diǎn)分布如下圖：1) 請(qǐng)把數(shù)據(jù)作為樣本，根據(jù)Fisher選擇投影方向W的原則，使原樣本向量在該方向上的投影能兼顧類問(wèn)分布盡可能分開(kāi)，類內(nèi)樣本投影盡可能密集的要求，求出評(píng)價(jià)投影方向W的函數(shù)，并在圖形表示出來(lái)。并在實(shí)驗(yàn)報(bào)告中表示出來(lái)，并求使JF(w)取極大值的w*。用matlab完成Fisher線性分類器的設(shè)計(jì)，程序的語(yǔ)句要求有注釋。根據(jù)上述的結(jié)果并判斷(1,屆于哪個(gè)類別，并畫出數(shù)據(jù)分類相應(yīng)的結(jié)果圖，要求畫出其

2、在W上的投影?；卮鹑缦聠?wèn)題，分析一下W的比例因子對(duì)于Fisher判別函數(shù)沒(méi)有影響的原因。2、實(shí)驗(yàn)代碼x1=將x1、x2、x3變?yōu)樾邢蛄縳1=x1(:);x2=x2(:);x3=x3(:);%計(jì)算第一類的樣本均值向量m1m1(1)=mean(x1);m1(2)=mean(x2);m1(3)=mean(x3);%計(jì)算第一類樣本類內(nèi)離散度矩陣S1S1=zeros(3,3);fori=1:36S1=S1+-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)'*-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i);end%w2的數(shù)據(jù)點(diǎn)坐標(biāo)x4=計(jì)算第二類的

3、樣本均值向量m2m2(1)=mean(x4);m2(2)=mean(x5);m2(3)=mean(x6);%計(jì)算第二類樣本類內(nèi)離散度矩陣S2S2=zeros(3,3);fori=1:36S2=S2+-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)'*-m2(1)+x4(i)-m2(2)+x5(i)-m2(3)+x6(i);end%總類內(nèi)離散度矩陣SwSw=zeros(3,3);Sw=S1+S2;%樣本類問(wèn)離散度矩陣SbSb=zeros(3,3);Sb=(m1-m2)'*(m1-m2);%最優(yōu)解WW=SwA-1*(m1-m2)'%將W變?yōu)閱挝幌蛄恳?/p>

4、方便計(jì)算投影W=W/sqrt(sum(W.A2);%計(jì)算一維Y空間中的各類樣本均值M1及M2fori=1:36y(i)=W*x1(i)x2(i)x3(i)'endM1=mean(y);fori=1:36y(i)=W*x4(i)x5(i)x6(i)'endM2=mean(y);%利用當(dāng)P(w1)與P(w2)已知時(shí)的公式計(jì)算W0p1=;p2=;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%計(jì)算將樣本投影到最佳方向上以后的新坐標(biāo)X1=x1*W(1)+x2*W(2)+x3*W(3)'X2=x4*W(1)+x5*W(2)+x6*W(3)'%得到

5、投影長(zhǎng)度XX1=W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;%得到新坐標(biāo)%繪制樣本點(diǎn)figure(1);plot3(x1,x2,x3,'r*');%第一類holdonplot3(x4,x5,x6,'gp');%第二類legend(笫一類點(diǎn)','第二類點(diǎn)');title('Fisher線性判別曲線');W1=5*W;%畫出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','g

6、9;);%判別已給點(diǎn)的分類a1=1,'a2=,'a3=,'a4=,'a5=,'A=a1a2a3a4a5;n=size(A,2);%下面代碼在改變樣本時(shí)可不修改%繪制待測(cè)數(shù)據(jù)投影到最佳方向上的點(diǎn)fork=1:nA1=A(:,k)'*W;A11=W*A1;%得到待測(cè)數(shù)據(jù)投影y=W*A(:,k)+W0;%計(jì)算后與0相比以判斷類別，大于0為第一類，小于0為第二類ify>0plot3(A(1,k),A(2,k),A(3,k),'ro');%點(diǎn)為"rp"對(duì)應(yīng)第一類plot3(A11(1),A11(2),A11(3),

7、'ro');%投影為"r+"對(duì)應(yīng)ro類elseplot3(A(1,k),A(2,k),A(3,k),'ch');%點(diǎn)為"bh"對(duì)應(yīng)ch類plot3(A11(1),A11(2),A11(3),'ch');%投影為"b*”對(duì)應(yīng)ch類endend%畫出最佳方向line(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),'color','m');view(,30);axis(-2,3,-1,3,);gridonholdoff3、實(shí)驗(yàn)結(jié)果根據(jù)求出最

8、佳投影方向，然后按照此方向，將待測(cè)數(shù)據(jù)進(jìn)行投影。為直觀起見(jiàn)，我們將兩步畫在一張圖上，如下：其中，紅色的*是給出的第一類樣本點(diǎn)，藍(lán)色的五角星是第二類樣本點(diǎn)。下方的實(shí)直線是最佳投影方向。待測(cè)數(shù)據(jù)投影在其上，圓圈是被分為第一類的樣本點(diǎn)，十字是被分為第二類的樣本點(diǎn)。使Jf(w)取極大值的W=(,)4、實(shí)驗(yàn)分析W的比例因子對(duì)于Fisher判別函數(shù)沒(méi)有影響的原因：在本實(shí)驗(yàn)中，最需要的是W的方向，或者說(shuō)是在此方向上數(shù)據(jù)的投影，那么W的比例因子，即它是單位向量的多少倍長(zhǎng)就無(wú)關(guān)緊要了，不管比例因子有多大，在最后求投影時(shí)都會(huì)被消掉而起不到實(shí)際作用。二、Bayes分類器設(shè)計(jì)1、實(shí)驗(yàn)內(nèi)容假定某個(gè)局部區(qū)域細(xì)胞識(shí)別中正常

9、(1)和非正常(2)兩類先驗(yàn)概率分別為正常狀態(tài)：P(1)=；異常狀態(tài)：P(2)=?，F(xiàn)有一系列待觀察的細(xì)胞，其觀察值為x:已知先驗(yàn)概率是的曲線如下圖：p(x|1)p(x|2)類條件概率分布正態(tài)分布分別為(-2,)(2,4)試對(duì)觀察的結(jié)果進(jìn)行分類。1) 用matlab完成分類器的設(shè)計(jì)，要求程序相應(yīng)語(yǔ)句有說(shuō)明文字，要求有子程序的調(diào)用過(guò)程。2) 根據(jù)例子畫出后驗(yàn)概率的分布曲線以及分類的結(jié)果示意圖。3) 如果是最小風(fēng)險(xiǎn)貝葉斯決策，決策表如下：最小風(fēng)險(xiǎn)貝葉斯決策表：一*狀態(tài)決*a106a210請(qǐng)重新設(shè)計(jì)程序，畫出相應(yīng)的后驗(yàn)概率的分布曲線和分類結(jié)果，并比較兩個(gè)結(jié)果。2、實(shí)驗(yàn)代碼最小錯(cuò)誤率貝葉斯決策x=%得到

10、待測(cè)細(xì)胞個(gè)數(shù)pw1_x=zeros(1,m);%存放對(duì)w1的后驗(yàn)概率矩陣pw2_x=zeros(1,m);%存放對(duì)w2的后驗(yàn)概率矩陣results=zeros(1,m);%存放比較結(jié)果矩陣fori=1:m%計(jì)算在w1下的后驗(yàn)概率pw1_x(i)=(pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);%計(jì)算在w2下的后驗(yàn)概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);endfori=

11、1:mifpw1_x(i)>pw2_x(i)%比較兩類后驗(yàn)概率result(i)=0;%正常細(xì)胞elseresult(i)=1;%異常細(xì)胞endenda=-5:5;%取樣本點(diǎn)以畫圖n=numel(a);pw1_plot=zeros(1,n);pw2_plot=zeros(1,n);forj=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2);%計(jì)算每個(gè)樣本點(diǎn)對(duì)w1的后驗(yàn)概率以畫圖pw2_plot(j)=(pw2*normpdf(a(j),e2,a2)/(pw1*n

12、ormpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)；一endfigure(1);holdonplot(a,pw1_plot,'co',a,pw2_plot,'r-.');fork=1:mifresult(k)=0plot(x(k),'cp');%正常細(xì)胞用五角星表示elseplot(x(k),'r*');%異常細(xì)胞用*表示end;end;legend('正常細(xì)胞后驗(yàn)概率曲線','異常細(xì)胞后驗(yàn)概率曲線,'正常細(xì)胞','異常細(xì)胞')；xlabel

13、('樣本細(xì)胞的觀察值');ylabel('后驗(yàn)概率');title('后驗(yàn)概率分巾曲線');gridonreturn%實(shí)驗(yàn)內(nèi)容仿真：x=,disp(x);pw1=;pw2=;result=bayes(x,pw1,pw2);最小風(fēng)險(xiǎn)貝葉斯決策x=%得到待測(cè)細(xì)胞個(gè)數(shù)R1_x=zeros(1,m);%存放把樣本X判為正常細(xì)胞所造成的整體損失R2_x=zeros(1,m);%存放把樣本X判為異常細(xì)胞所造成的整體損失result=zeros(1,m);%存放比較結(jié)果e1=-2;a1=;e2=2;a2=2;%類條件概率分布px_w1:(-2,)px_w2(2

14、,4)r11=0;r12=2;r21=4;r22=0;%風(fēng)險(xiǎn)決策表fori=1:m%計(jì)算兩類風(fēng)險(xiǎn)值R1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)+r22*

15、pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2);endfori=1:mifR2_x(i)>R1_x(i)%第二類比第一類風(fēng)險(xiǎn)大result(i)=0;%判為正常細(xì)胞(損失較小)，用0表示elseresult(i)=1;%判為異常細(xì)胞，用1表示endenda=-5:5;%取樣本點(diǎn)以畫圖n=numel(a);R1_plot=zeros(1,n);R2_plot=zeros(1,n);forj=1:nR1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normp

16、df(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)%計(jì)算各樣本點(diǎn)的風(fēng)險(xiǎn)以畫圖endfigur

17、e(1);holdonplot(a,R1_plot,'co',a,R2_plot,'r-.');fork=1:mifresult(k)=0plot(x(k),'cp');%正常細(xì)胞用五角星表示elseplot(x(k),'r*');%異常細(xì)胞用*表示end;end;legend('正常細(xì)胞','異常細(xì)胞','Location','Best');xlabel('細(xì)胞分類結(jié)果');ylabel('條件風(fēng)險(xiǎn)');title('風(fēng)險(xiǎn)判決

18、曲線');gridonreturn%實(shí)驗(yàn)內(nèi)容仿真：x=,disp(x);pw1=;pw2=;result=bayes(x,pw1,pw2);3、實(shí)驗(yàn)結(jié)果最小錯(cuò)誤率貝葉斯決策后驗(yàn)概率曲線：帶紅色虛線曲線是判決為異常細(xì)胞的后驗(yàn)概率曲線宵色實(shí)線曲線是為判為正常細(xì)胞的后驗(yàn)概率曲線根據(jù)最小錯(cuò)誤概率準(zhǔn)則，判決結(jié)果顯示在曲線下方：五角星代表判決為正常細(xì)胞，*號(hào)代表異常細(xì)胞各細(xì)胞分類結(jié)果(0為判成正常細(xì)胞，1為判成異常細(xì)胞)：0000000000000最小風(fēng)險(xiǎn)貝葉斯決策帶紅色虛線曲線是異常細(xì)胞的條件風(fēng)險(xiǎn)曲線；宵色圓圈曲線是正常細(xì)胞的條件風(fēng)險(xiǎn)曲線。根據(jù)貝葉斯最小風(fēng)險(xiǎn)判決準(zhǔn)則，判決結(jié)果顯示在曲線下方：五角

19、星代表判決為正常細(xì)胞，*號(hào)代表異常細(xì)胞。各細(xì)胞分類結(jié)果(0為判成正常細(xì)胞，1為判成異常細(xì)胞)：4、實(shí)驗(yàn)分析由最小錯(cuò)誤率的貝葉斯判決和基于最小風(fēng)險(xiǎn)的貝葉斯判決得出的圖形中的分類結(jié)果可以看出，樣本在前者中被分為“正常細(xì)胞”，在后者中被分為“異常細(xì)胞”，分類結(jié)果不同。因?yàn)樵诮o予最小風(fēng)險(xiǎn)的貝葉斯判決中，影響決策結(jié)果的因素多“損失”，這個(gè)損失是人為給出的，要想獲得最小風(fēng)險(xiǎn)的效果，就要認(rèn)真分析其問(wèn)題的內(nèi)在特點(diǎn)與專家的共同設(shè)計(jì)給出適當(dāng)?shù)膿p失?？梢钥闯?，在圖1中，這兩個(gè)樣本點(diǎn)下兩類決策的后驗(yàn)概率相差很小，當(dāng)結(jié)合最小風(fēng)險(xiǎn)貝葉斯決策表進(jìn)行計(jì)算時(shí)，“損失因素”就起了主導(dǎo)作用，導(dǎo)致出現(xiàn)了相反的結(jié)果。另外，最小錯(cuò)誤率貝

20、葉斯決策就是在0-1損失函數(shù)條件下的最小風(fēng)險(xiǎn)貝葉斯決策，最小錯(cuò)誤率貝葉斯決策是最小風(fēng)險(xiǎn)貝葉斯決策的一種特歹0。三、感知函數(shù)準(zhǔn)則線性分類器1、實(shí)驗(yàn)內(nèi)容：已知有兩個(gè)樣本空間w1和w2,這些點(diǎn)對(duì)應(yīng)的橫縱坐標(biāo)的分布情況是：x1=1,2,4,1,5;y1=2,1,-1,-3,-3;x2=,-4,-5,-3;y2=1,-1,5,1,-4,0;在二維空間樣本分布圖形如下所示：(plot(x1,y1,x2,y2)1、用matlab完成感知準(zhǔn)則函數(shù)確定程序的設(shè)計(jì)。2、請(qǐng)確定sampled0,-3),(1,3),(-1,5),(-1,1),6),(-3,-1),(2,-1),(0,1),(1,1),;屆于哪個(gè)樣本

21、空間，根據(jù)數(shù)據(jù)畫出分類的結(jié)果。3、請(qǐng)分析一下k和a(1)對(duì)丁感知函數(shù)準(zhǔn)則確定的影響，并確定當(dāng)k=1/2/3時(shí)，相應(yīng)的k的值，以及a不同時(shí)，k值得變化情況。4、根據(jù)實(shí)驗(yàn)結(jié)果請(qǐng)說(shuō)明感知準(zhǔn)則函數(shù)是否是唯一的，為什么？2、實(shí)驗(yàn)代碼%a為解向量，b為分界面clearalla(1,：)=2,4;y=zeros(11,2)%第一類樣本點(diǎn)x1=1,2,4,1,5;y1=2,1,-1,-3,-3;%規(guī)范化處理第一類樣本點(diǎn)xb1=-x1;yb1=-y1;%第二類樣本點(diǎn)x2=,-4,-5,-3;y2=1,-1,5,1,-4,0;%需進(jìn)行分類的樣本sample=0,-3;1,3;-1,5;-1,1;,6;-3,-1;

22、2,-1;0,1;1,1;,;,%執(zhí)行算法fori=1:5y(i,:)=xb1(i),yb1(i);endfori=1:6y(i+5,:)=x2(i),y2(i);endk=1;while(1)flag=1;yk=0,0;forj=1:11;temp=y(j,:)*a(k,:)'%求兩個(gè)向量?jī)?nèi)積iftemp<=0yk=yk+y(j,:);flag=0;endendifflag=1break;elsea(k+1,:)=a(k,:)+yk;k=k+1;endend%確定分界面(!指令用來(lái)調(diào)用操作系統(tǒng)命令ech。指令用來(lái)控制m文件在執(zhí)行過(guò)程中是否顯示)!echo迭代次數(shù)k-1%經(jīng)過(guò)k-

23、1次迭代!echo解向量a(k,:)%解向量b(1,1)=a(k,2);b(1,2)=-a(k,1);%此為分界面!echo分界面b(1,：)%繪制圖形subplot(2,1,1),%圖1:原始樣本點(diǎn)，確定分界面plot(x1,y1,'rs',x2,y2,'b*');holdonline(0,a(k,1),0,a(k,2),'color','b');%繪制解向量c=b(1,2)/b(1,1);bplot(1)=-6/c;bplot(2)=6/c;line(bplot(1),bplot(2),-6,6,'color'

24、,'g','LineWidth',2);%繪制分界面gridonaxis(-6,6,-6,6)xlabel('x'),ylabel('y'),title('由分類樣本確定分界面')legend('類別1','類別2','解向量','分界面')subplot(2,1,2),%圖2:測(cè)試樣本點(diǎn)，確定分類fori=1:length(sample)ifsample(i,:)*a(k,:)'>0plot(sample(i,1),sample(i,2),'b*');holdonelseplot(sample(i,1),sample(i,2),'rs');holdonendendline(0,a(k,1),0,a(k,2),'color','b');%繪制解向量line(bplot(1),bplot(2),-6,6,'color','g','LineWidth',2);%繪制分界面gridonaxis