線性分類器設(shè)計(jì)與非線性分類器設(shè)計(jì)

1、作業(yè)1：線線性分類類器設(shè)計(jì)計(jì)1、問題描描述將4個(gè)輸入入矢量分分為兩類類，其中中兩個(gè)矢矢量對(duì)應(yīng)應(yīng)的目標(biāo)標(biāo)值為11，另兩兩個(gè)矢量量對(duì)應(yīng)的的目標(biāo)值值為0。輸輸入矢量量為P-00.5 -0.5 00.3 0 -0.5 00.5 -0.3 11目標(biāo)分類矢矢量為TT11 1 0 002、算法描描述采用單一感感知器神神經(jīng)元來來解決這這個(gè)簡單單的分類類問題。感感知器（pperccepttronn）是由由美國學(xué)學(xué)者F.Rossenbblattt于119577年提出出的，它它是一個(gè)個(gè)具有單單層計(jì)算算神經(jīng)元元的神經(jīng)經(jīng)網(wǎng)絡(luò)，并并由線性性閾值單單元組成成。當(dāng)它它用于兩兩類模式式的分類類時(shí)，相相當(dāng)于在在高維樣樣本空間間中

2、，用用一個(gè)超超平面將將兩類樣樣本分開開。兩類樣本線線性情況況下，線線性判別別函數(shù)可可描述為為，其中是權(quán)向向量，是是閾值。假設(shè)兩類樣本線性可分，則一定存在一個(gè)由定義的超平面，滿足，其中。定義感知器器代價(jià)函函數(shù)為，其其中Y是訓(xùn)練練向量的的子集，是是權(quán)向量量w定義的的超平面面錯(cuò)誤分分類的部部分。變變量；。為了了計(jì)算出出代價(jià)函函數(shù)的最最小迭代代值，利利用梯度度下降法法設(shè)計(jì)迭迭代方案案，即其中，代入入得這種算法稱稱為感知知器算法法。這個(gè)個(gè)算法從從任意權(quán)權(quán)向量ww(0)開始初初始化，通通過錯(cuò)誤誤分類特特征形成成修正向向量。如如此重復(fù)復(fù)到算法法收斂于于解，即即所有的的特征向向量都正正確的分分類?？煽梢宰C明明

3、，如果果兩類模模式是線線性可分分的，則則算法一一定收斂斂。感知知器特別別適合用用于簡單單的模式式分類問問題。3、算法的的實(shí)現(xiàn)Matlaab源程程序如下下：0.5 00.3 0;-0.55 0.5 -0.55 1;t=1 1 00 0;w,b=innitpp(p,t) 初始始化感知知器plotppv(pp,t) 繪繪制輸入入矢量plotppc(ww,b) 繪制分分類線pauseew,b,epoochss,errrorrs=traainpp(w,b,pp,t,-1) 訓(xùn)訓(xùn)練感知知器pauseeploteerr(errrorss); 繪繪制誤差差圖4、分類結(jié)結(jié)果和討討論圖1為分類類結(jié)果，圖圖中的實(shí)實(shí)

4、線將兩兩類分開開。經(jīng)過過6步達(dá)達(dá)到誤差差要求，訓(xùn)訓(xùn)練結(jié)束束。誤差差變化曲曲線如圖圖2所示示。 圖圖1 圖圖2經(jīng)過訓(xùn)練后后，網(wǎng)絡(luò)絡(luò)的權(quán)值值和閾值值分別為為w =-22.98871 -0.446300b=-0.35772訓(xùn)練結(jié)束后后，驗(yàn)證證p=-00.5;0.2;a=simmup(p,ww,b)運(yùn)行結(jié)果為為a11屬1類類可見，單層層感知器器算法可可用于簡簡單的線線性分類類問題。作業(yè)2：非非線性分分類器設(shè)設(shè)計(jì)1、問題描描述設(shè)計(jì)分類器器實(shí)現(xiàn)同同或運(yùn)算算。同或或問題的的真值表表為 X1X2同或運(yùn)算結(jié)結(jié)果類0011010010001111用一條直線線是不能能將這兩兩類分開開的，可可考慮非非線性分分類算法法

5、設(shè)計(jì)分分類器。2、算法描描述（1）雙層層感知器器算法 單單層感知知器神經(jīng)經(jīng)網(wǎng)絡(luò)不不能解決決線性不不可分的的輸入矢矢量的分分類問題題，解決決這一問問題的辦辦法是輸輸入的線線性不可可分矢量量進(jìn)行預(yù)預(yù)處理。雙雙層感知知器算法法就是采采用兩層層感知器器神經(jīng)元元，先將將線性不不可分問問題轉(zhuǎn)化化為線性性可分問問題，再再進(jìn)行分分類的。算法分為兩兩個(gè)階段段，第一一階段的的映射將將非線性性可分問問題轉(zhuǎn)換換為線性性可分問問題，通通過第一一層的神神經(jīng)元完完成第一一階段的的計(jì)算，它它們構(gòu)成成隱層（hhiddden layyer），將將輸入向向量x映射到到新向量量y，即第二階段是是基于轉(zhuǎn)轉(zhuǎn)換數(shù)據(jù)據(jù)實(shí)現(xiàn)分分類，通通過第二

6、二層神經(jīng)經(jīng)元實(shí)現(xiàn)現(xiàn)運(yùn)算，構(gòu)構(gòu)成輸出出層（ooutpput layyer），得得出決策策方程。即即（2）徑向向基函數(shù)數(shù)算法若定義函數(shù)數(shù)變量為為從中心心點(diǎn)ci與輸入入向量的的歐式距距離，即即，則稱稱該函數(shù)數(shù)為徑向向基函數(shù)數(shù)（Raadiaal BBasiis FFuncctioon，RRBF）。函函數(shù)f可可有多種種形式，例例如高斯形式被被廣泛使使用。徑向基函數(shù)數(shù)網(wǎng)絡(luò)的的結(jié)構(gòu)包包括兩層層，即隱隱層和輸輸出層，隱隱層為徑徑向基層層（raadbaas），利利用徑向向基函數(shù)數(shù)將非線線性問題題轉(zhuǎn)換為為線性問問題，輸輸出層為為線性層層（puurellinee），將將轉(zhuǎn)換后后的樣本本用線性性分類方方法進(jìn)行行分類。

7、3、算法的的實(shí)現(xiàn)與與分類結(jié)結(jié)果（1）雙層層感知器器算法Matlaab源程程序?yàn)椋簆=0 0 11 1;0 11 0 1;t=1 0 00 1;s1=2;w1,bb1=iniitp(p,ss1)w2,bb2=iniitp(s1,t)plotppv(pp,t)plotppc(ww1,bb1)pauseea1=siimupp(p,w1,b1);w2,bb2,eepocchs,errrorss=ttraiinp(w2,b2,a1,t,-1);ploteerr(errrorss);運(yùn)行結(jié)果：圖3為分類類結(jié)果，誤誤差變化化曲線如如圖4所所示。 圖3 圖44訓(xùn)練結(jié)束后后，兩兩層網(wǎng)絡(luò)絡(luò)的權(quán)值值和閾值值分別為為

8、w1=11 1;1 11；b1=-00.5;-1.5w2=11 -11 ；b2=-0.5; （2）徑向向基函數(shù)數(shù)算法Matlaab源程程序?yàn)椋簆=0 0;00 1;1 00;1 1;t=1 0 00 1;c=1 0;11 0;n=disst(pp,c)a=raddbass(n)a1=aw,b=innitpp(a11,t)subpllot(2111)plotppv(aa1,tt)plotppc(ww,b)w,b,epoochss,errrorrs=traainpp(w,b,aa1,tt,-11)subpllot(2122)ploteerr(errrorss)運(yùn)行結(jié)果：分類結(jié)果和和誤差變變化曲線線

9、如圖55所示。圖5訓(xùn)練結(jié)束后后，網(wǎng)絡(luò)絡(luò)的權(quán)值值和閾值值分別為為w =11.69973 1.998866b =-11.78863作業(yè)3: 非線性性分類器器設(shè)計(jì)1、問題描描述將5個(gè)輸入入矢量分分為兩類類，其中中兩個(gè)矢矢量對(duì)應(yīng)應(yīng)的目標(biāo)標(biāo)值為11，另三三個(gè)矢量量對(duì)應(yīng)的的目標(biāo)值值為0。輸輸入矢量量為P-00.5 -0.5 00.3 -0.1 -0.88 -0.5 00.5 -0.5 11.0 0目標(biāo)分類矢矢量為TT11 11 00 00 002、算法及及實(shí)現(xiàn)（1）采用用單層感感知器算算法clearrp=-00.5 -0.5 00.3 -0.1 -0.88;-00.5 0.55 -00.5 1.00 0;

10、t=1 1 00 0 0;plotppv(pp,t);pauseew,b=innitpp(p,t)pauseeplotppv(pp,t)plotppc(ww,b)pauseew,b,epoochss,errrorrs=traainpp(w,b,pp,t,-1);ploteerr(errrorss)（2）采用用雙層感感知器算算法p=-00.5 -0.5 00.3 -0.1 -0.88;-00.5 0.55 -00.5 1.00 0;t=1 1 00 0 0;plotppv(pp,t);pausees1=2;w1,bb1=iniitp(p,ss1)w2,bb2=iniitp(s1,t)pauseeplotppv(pp,t)plotppc(ww1,bb1)pauseea1=siimupp(p,w1,b1);w2,bb2,eepocchs,errrorss=ttraiinp(w2,b2,a1,t,-1);ploteerr(errrorss)3、分類結(jié)結(jié)果和討討論（1）單層層感知器器算法圖6為分類類結(jié)果，誤誤差變化化曲線如如圖7所所示。圖6圖7訓(xùn)練結(jié)束后后，網(wǎng)絡(luò)絡(luò)的權(quán)值值和閾值值分別為為w =00.80096 0.113844b =0.26336（2）雙層層感知器器算法分類結(jié)果如如圖8所所示。圖8