作業(yè)二基于Fisher準(zhǔn)則線性分類器設(shè)計(jì)

1、作業(yè)二 Fisher 線性判別分類器一實(shí)驗(yàn)?zāi)康谋緦?shí)驗(yàn)旨在讓同學(xué)進(jìn)一步了解分類器的設(shè)計(jì)概念，能夠根據(jù)自己的設(shè)計(jì)對(duì)線性分類器有更深刻地認(rèn)識(shí)，理解Fisher準(zhǔn)則方法確定最佳線性分界面方法的原理，以及Lagrande乘子求解的原理。二實(shí)驗(yàn)條件Matlab軟件三實(shí)驗(yàn)原理線性判別函數(shù)的一般形式可表示成g (X) =WTX Wo其中根據(jù)Fisher選擇投影方向 W勺原則，即使原樣本向量在該方向上的投影能兼顧類間分 布盡可能分開，類內(nèi)樣本投影盡可能密集的要求，用以評(píng)價(jià)投影方向W勺函數(shù)為：*dW 二 Sw (m -m)2)上面的公式是使用Fisher準(zhǔn)則求最佳法線向量的解，該式比較重要。另外，該式這種形式的運(yùn)

2、算，我們稱為線性變換，其中mh-m2式一個(gè)向量，SW1是SW的逆矩陣，如m|-m2是d維，Sv和Sw1都是dx d維，得到的W*也是一個(gè)d維的向量。向量W*就是使Fisher準(zhǔn)則函數(shù)JF(W)達(dá)極大值的解，也就是按 Fisher準(zhǔn)則將d維X空間投影到一維丫空間的最佳投影方向，該向量 W*的各分量值是對(duì)原d維特征向量求加權(quán)和的權(quán)值。以上討論了線性判別函數(shù)加權(quán)向量W的確定方法，并討論了使 Fisher準(zhǔn)則函數(shù)極大的d維向量W*的計(jì)算方法，但是判別函數(shù)中的另一項(xiàng)W0尚未確定，一般可采用以下幾種方法確定Wo如N1r1 N2m2或者Wo1 12 2 二 m叫+N2或當(dāng)PC )1與P()2已知時(shí)可用當(dāng)W確

3、定之后，則可按以下規(guī)則分類,WTX WWorXWTX ： -Wor X 三心2四實(shí)驗(yàn)程序及結(jié)果分析%可中數(shù)據(jù)點(diǎn)的坐標(biāo)x1 =0.23311.52070.6499I 0.77571.05241.19740.29080.25180.66820.56220.90230.1333-0.54310.9407 -0.21260.0507-0.08100.73150.33451.0650 -0.02470.10430.31220.66550.58381.16531.26530.8137 -0.33990.51520.7226 -0.20150.4070-0.1717-1.0573-0.2099;x2 =2.

4、3385)2.19461.67301.63651.78442.01552.06812.12132.47971.51181.96921.83401.87042.29481.77142.39391.56481.93292.20272.45681.75231.69912.48831.72592.04662.02262.37571.79872.08282.07981.94492.38012.23732.16141.92352.2604;x3 =0.5338；0.85141.08310.41641.11760.55360.60710.44390.49280.59011.09271.07561.00720

5、.42720.43530.98690.48411.09921.02990.71271.01240.45760.85441.12750.77050.41291.00850.76760.84180.87840.97510.78400.41581.03150.75330.9548%將 x1、x2、x3變?yōu)樾邢蛄?x1=x1(:);x2=x2(:);x3=x3(:);%計(jì)算第一類的樣本均值向量 mlm1(1)=mea n(x1);m1(2)=mea n(x2);m1(3)=mea n(x3);%計(jì)算第一類樣本類內(nèi)離散度矩陣 S1S1=zeros(3,3);for i=1:36-m1(2)+x2(i)S

6、1= S1+-m1(1)+x1(i)-m1(2)+x2(i)-m1(3)+x3(i)*-m1(1)+x1(i)-m1( 3)+x3(i);end%w2的數(shù)據(jù)點(diǎn)坐標(biāo)x4 =1.40101.23012.08141.16551.37401.18291.76321.97392.41522.58902.84721.95391.25001.28641.26142.00712.18311.79091.33221.14661.70871.59202.93531.46642.93131.83491.83402.50962.71982.31482.03532.60301.23272.14651.56732.941

7、4;=1.0298；0.96110.91541.49010.8200)0.93991.14051.06780.80501.28891.46011.43340.70911.29421.37440.93871.22661.18330.87980.55920.51500.99830.91200.71261.28331.10291.26800.71401.24461.33921.18080.55031.47081.14350.76791.1288;x6 =0.62101.36560.54980.67080.89321.43420.95080.73240.57841.49431.09150.76441.

8、21591.30491.14080.93980.61970.66031.39281.40840.69090.84000.53811.37290.77310.73191.34390.81420.95860.73790.75480.73930.67390.86511.36991.1458;x4=x4(:);x5=x5(:);x6=x6(:);%計(jì)算第二類的樣本均值向量 m2m2(1)=mea n(x4);m2(2)=mea n(x5);m2(3)=mea n(x6);%計(jì)算第二類樣本類內(nèi)離散度矩陣 S2S2=zeros(3,3);for i=1:36-m2(2)+x5(i)S2=S2+-m2(1)

9、+x4(i)-m2(2)+x5(i)-m2(3)+x6(i)*-m2(1)+x4(i)-m2 (3) +x6(i);end%總類內(nèi)離散度矩陣SwSw=zeros(3,3);Sw=S1+S2;%樣本類間離散度矩陣SbSb=zeros(3,3);Sb=(m1-m2)*(m1-m2);%最優(yōu)解WW=SwA-1*(m1-m2)%將W變?yōu)閱挝幌蛄恳苑奖阌?jì)算投影W=W/sqrt(sum(W.A2);%計(jì)算一維Y空間中的各類樣本均值 M1及M2for i=1:36y(i)=W*x1(i) x2(i) x3(i);endM1=m ea n(y)for i=1:36y(i)=W*x4(i) x5(i) x6(i

10、);endM2=mea n(y)%利用當(dāng)P(w1)與P(w2)已知時(shí)的公式計(jì)算 W0p1=0.6;p2=0.4;W0=-(M1+M2)/2+(log(p2/p1)/(36+36-2);%計(jì)算將樣本投影到最佳方向上以后的新坐標(biāo)X1=x1*W(1)+x2*W(2)+x3*W(3);X2=x4*W(1)+x5*W(2)+x6*W(3);% 得到投影長度XX仁W(1)*X1;W(2)*X1;W(3)*X1;XX2=W(1)*X2;W(2)*X2;W(3)*X2;% 得到新坐標(biāo)%繪制樣本點(diǎn)figure(1)plot3(x1,x2,x3,r*) % 第一類hold onplot3(x4,x5,x6,bp)

11、 % 第二類legend(第一類點(diǎn),第二類點(diǎn))title(Fisher 線性判別曲線)W仁 5*W;%畫出最佳方向lin e(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,b);%判別已給點(diǎn)的分類a1=1,1.5,0.6;a2=1.2,1.0,0.55;a3=2.0,0.9,0.68;a4=1.2,1.5,0.89;a5=0. 23,2.33,1.43;A=a1 a2 a3 a4 a5n=size(A,2);濟(jì)面代碼在改變樣本時(shí)都不必修改%繪制待測(cè)數(shù)據(jù)投影到最佳方向上的點(diǎn)for k=1: nA仁 A(:,k)*W;A11=W*A1;%得到待測(cè)數(shù)據(jù)投影

12、y=W*A(:,k)+W0;%計(jì)算后與0相比以判斷類別，大于 0為第一類,if y0plot3(A(1,k),A(2,k),A(3,k),go); % plot3(A11(1),A11(2),A11(3),go); % elseplot3(A(1,k),A(2,k),A(3,k),m+); % plot3(A11(1),A11(2),A11(3),m+); % end點(diǎn)為rp對(duì)應(yīng)第一類投影為r+對(duì)應(yīng)go類點(diǎn)為bh對(duì)應(yīng)m+類投影為b*對(duì)應(yīng)m啖end%畫出最佳方向lin e(-W1(1),W1(1),-W1(2),W1(2),-W1(3),W1(3),color,k); view(-37.5,30);axis(-2,3,-1,3,-0.5,1.5);grid onhold off實(shí)驗(yàn)結(jié)果和數(shù)據(jù)：首先根據(jù)求出最佳投影方向，然后按照此方向，將待測(cè)數(shù)據(jù)進(jìn)行投影 分布如下：其中，紅色的*是給出的第一類樣本點(diǎn)，藍(lán)色的五角星是第二類樣本點(diǎn) 是最佳投影方向。待測(cè)數(shù)據(jù)投影在其上，圓圈是被分為第一類的樣本點(diǎn)，十 類的