fisher算法及其matlab實現(xiàn)

1、Fisher判別法講解以及matlab代碼實現(xiàn)兩類的線形判別問題可以看作是把所有樣本都投影到一個方向上，然后在這個一維空間中確定一個分類的閾值。過這個預(yù)置點且與投影方向垂直的超平面就是兩類的分類面。第一個問題，如何確定投影方向？這里只討論兩類分類的問題訓(xùn)練樣本集是X=x1,x2.xn,每個樣本是一個d維.一一,11一1222向量，其中第一類w1=X1,X2.Xn1,第二類w2=X1,X2.Xn2o我們要尋求一個投影方向w（w也是一個d維向量），投影以后樣本變成：yi=WTXi（y是一個標(biāo)量），i=1.n在原樣本空間中，類均值為:（ps.mi是一個d*1的矩陣，假設(shè)每個維度是一個變量值，mi中的

2、每一維度就是這些變量值的均值，如下圖所示：第一類樣本第一類樣本第一類均值第一類均值xlz2ml身高身高150160155體重體重809587.5圖1特別注明：有些例子給的矩陣是這樣的:地點地點樣品號樣品號水體水體底泥底泥ASPbASPb甲地甲地12.797.813.8549.624.6712.3122.3147.834.6316.8128.8262.1543.5一5815.2943.254.916.1228.2958.7miXjniXjwii=1,2（一共兩類的均值）乙地乙地1L061.222.1820.620.84.063.8527.1303.51L4042.414.37.933.255.1

3、4.4322.454.6圖2這里的單個樣本是1*d的矩陣，要注意計算的時候?qū)⑵滢D(zhuǎn)置，不然套用日sher算法公式的時候就會發(fā)現(xiàn)最后得到的矩陣維數(shù)不對。定義各類類內(nèi)的離散度矩陣為：(類內(nèi)離散度矩陣其實就是類協(xié)方差矩陣，類在多于一個樣本，且樣本維度1時是一個矩陣)S一(Xj_mi)(Xj-mi)TXjwi(因為，Xj是一個d*1的矩陣，也可稱作d維向量，甲也是一個d*1的矩陣,所以最后得到的S一定是一個d*d的矩陣)(在用matlab計算的時候直接用cov(wi)即可得到想要的協(xié)方差矩陣， 故直接計算不探究細節(jié)時圖2可直接cov算協(xié)方差，不用根據(jù)公式轉(zhuǎn)置來轉(zhuǎn)置去，不過matlab中算的協(xié)方差被縮小了

4、(n1-1)倍，計算時Si=cov(w1)*(n1-1)總的類內(nèi)離散度矩陣：Sw=S1s2類間離散度矩陣定義為:Sb=(mi-m2)(m-m2)T在投影以后的一維空間里，兩類的均值分別是;mNiyiyjwiiXjwimii=i,2故類內(nèi)離散度不再是一個矩陣，而是一個值i”(ymii相yjwi總類內(nèi)離散度為:Sww二SiiSii類間離散度：2Sbb二(mil-hi)要使得需求的方向投影能在投影后兩類能盡可能的分開,聚集，可表示成如下準則，即日sher準則：maxJ(w)=-SbSww將公式代入并通過拉格朗日求極值的方法，可得投影方向：i,、w=Sw(m,-m2)（w是一個d*1的矩陣，或者說亦是

5、一個d維向量）閾值可表小為:1.W0:-2(miim22)最后將待確定樣本代入g(x);wTxw0判斷g（x）的符號和哪個類相同，確定其屬于哪個類別。例子（注意表格中所給的樣本維度和公式中變量維度的問題代碼已經(jīng)運行無誤而各類內(nèi)部又盡可能的ABCDEFGH1胃病類型胃病類型銅藍蛋白銅藍蛋白藍色反應(yīng)藍色反應(yīng)乙酸乙酸硫化物硫化物歸類歸類2228134201113245134104014胃病胃病200167122715170150?S161001672014171501177628120133102629160100510210非胃病非胃病1851155192111701256421216514253

6、21318510S21221422512571415未知樣未知樣1001171216130100612171S代碼:%讀取 excel 中特定單元格的數(shù)據(jù)w12=xlsread(模式識別理論學(xué)習(xí)胃病分類問題.xls,C2:F16);%分別選取類 1 和類 2、測試樣本的數(shù)據(jù)w1=w12(1:5,:);w2=w12(6:12,:);sample=w12(13:15,:);%計算類 1 和類 2 的樣本數(shù)r1=size(w1,1);r2=size(w2,1);r3=size(sample,1);%計算類 1 和類 2 的均值(矩陣)m1=mean(w1);m2=mean(w2);%各類類內(nèi)離散度矩

7、陣(協(xié)方差矩陣)s1=cov(w1)*(r1-1);s2=cov(w2)*(r2-1);%總類內(nèi)離散度矩陣sw=s1+s2;%投影向量的計算公式w=inv(sw)*(m1-m2);%計算投影后的一位空間內(nèi)，各類的均值y1=w*m1;y2=w*m2;%計算閾值w0=-1/2*(y1+y2);附口類相同符號被歸為同類fori=1:r3y(i)=sample(i,:)*w+w0;ify(i)*(w*w1(1,:)+w0)0y(i)=1;elsey(i)=2;endEnd判斷得出第一個待測樣本屬于類 1,第二，三個待測樣本屬于類 2如果想進一步知道樣本矩陣是如何轉(zhuǎn)置得到最后結(jié)果的，可看下面這個例子，這

8、個例子沒有用到matlab 內(nèi)置的 cov 協(xié)方差函數(shù)(用 cov 可以直接用樣本數(shù)據(jù)直接進行矩陣運算，不用轉(zhuǎn)置成樣本維度向量)，所以要進行轉(zhuǎn)置后代入 fisher 準則公式求解.3ABCIDEF甲地甲地P12.797.813.8549.6r424.6712.3122.3147.85r34.6316.8128,3262.15643.547,5815,2943.2785I916,122&2958.7乙地乙地11.061.222.1820.6920,84.063.8527.110r301511.401142.414,37.933.21255.14.4322.454.613未知樣本未知樣本1

9、2.414.37.933.2142k5J4.4322.4r54.6J154.10612.12421.71252.2916x=xlsread(模式識別理論學(xué)習(xí)污染水域問題.xls,C3:F14);x1=x(1:5,:);x2=x(6:10,:);sample=x(11:12,:);m1=zeros(size(x1,1),1);%求類內(nèi)離散度矩陣m1=mean(x1,2)m2=mean(x2,2)%求類內(nèi)離散度矩陣s1=zeros(size(x1,1),size(x1,1);fori=1:size(x1,2)s1=s1+(x1(:,i)-m1)*(x1(:,i)-m1);ends2=zeros(size(x2,1),size(x2,1);fori=1:size(x2,2)s2=s2+(x2(:,i)-m2)*(x2(