模式識(shí)別實(shí)驗(yàn)二

1、模式識(shí)別實(shí)驗(yàn)二 學(xué)院：電子與信息工程學(xué)院 學(xué)號(hào)：3115316005 姓名：黃 亮一、實(shí)驗(yàn)內(nèi)容1、Iris數(shù)據(jù)集以鳶尾花的特征作為數(shù)量來(lái)源。該數(shù)據(jù)集由3種不同類型的鳶尾花的50個(gè)樣本數(shù)據(jù)構(gòu)成。使用感知器算法對(duì)3種類型的鳶尾花兩兩分類。2、產(chǎn)生以(0, 0)，(1, 1)，(1, 0)，(0, 1)為中心的數(shù)據(jù)樣本，其中(0,0)和(1,1)為一類， (1,0)和(0,1)為一類，使用BP算法對(duì)這兩類數(shù)據(jù)點(diǎn)分類。3、使用BP算法對(duì)Iris 數(shù)據(jù)集中的3類樣本分類。二、實(shí)驗(yàn)原理1、感知器算法感知器是兩類分類的線性分類模型，其輸入為樣本的特征向量，輸出為樣本的類別，即通過(guò)樣本的特征，就可以準(zhǔn)確判斷該

2、樣本屬于哪一類。感知器能解決的問(wèn)題首先要求特征空間是線性可分的，其次是兩類問(wèn)題。其基本模型如下圖所示：其中輸入特征X=x0,x1,xn-1T ,連接權(quán)值W=w0,w1,wn-1T, b為偏置值，為了方便計(jì)算，在X和W中添加一維來(lái)表示偏置，X=x0,x1,xn-1，1T, W=w0,w1,wn-1,wnT，感知器的輸出y=WTX。感知器學(xué)習(xí)算法是一種監(jiān)督學(xué)習(xí)算法，訓(xùn)練感知器的過(guò)程中需要給出樣本的特征值X和期望的輸出值d，定義誤差函數(shù)=(d -y)2,算法的優(yōu)化目標(biāo)是求得權(quán)值向量W，使得在所有樣本上誤差取得最小值。本次實(shí)驗(yàn)中使用梯度下降法來(lái)求取最優(yōu)權(quán)值W。權(quán)值調(diào)整可表示為如下形式：W(n+1) =

3、 W(n) (/W)其中為學(xué)習(xí)速率，/W為誤差關(guān)于權(quán)值的變化率，/W值如下式：/W = -2(d - y)X感知器學(xué)習(xí)算法的步驟如下：(1)隨機(jī)初始化W(0)(2)選取一個(gè)樣本計(jì)算/W(3)更新權(quán)值W(n+1) = W(n) (/W)(4)檢測(cè)是否達(dá)到優(yōu)化目標(biāo)，達(dá)到優(yōu)化目標(biāo)則學(xué)習(xí)完成，否則繼續(xù)步驟(2)2、BP算法由于感知器算法輸入到輸出為線性映射，所以只能較好的解決線性可分的分類問(wèn)題。而非線性映射能較好的解決非線性可分問(wèn)題，實(shí)驗(yàn)中以此為基礎(chǔ)使用BP算法對(duì)數(shù)據(jù)進(jìn)行分類。神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)如上圖所示，網(wǎng)絡(luò)輸入X=x0, x1,xnT，輸出Y=y0,y1,ymT 。Wij為第L層第i個(gè)神經(jīng)元到第L

4、-1層神經(jīng)元的連接權(quán)值，L層第i個(gè)神經(jīng)元的輸入用Ipi表示，輸出用Opi表示，輸入到輸出的映射使用非線性函數(shù)f(x)=1/(1+exp(-x)。L層第i個(gè)神經(jīng)元的輸入可表示為，其中Opj為第L-1層的輸出。BP算法是監(jiān)督學(xué)習(xí)算法，訓(xùn)練網(wǎng)絡(luò)時(shí)輸入特征值和期望輸出d，其誤差可表示為E=(d -y)2，BP算法使用梯度下降法使得樣本集在網(wǎng)絡(luò)上的平均誤差達(dá)到最小值。網(wǎng)絡(luò)權(quán)值調(diào)整可表示為：W(l)ij(k+1) = W(l)ij(k) + pW(l)ij其中pW(l)ij = -(Ep/pW(l)ij)，為算法的學(xué)習(xí)速率，(Ep/pW(l)ij)為誤差對(duì)權(quán)值的變化率。輸出層和隱含層的Ep/pW(l)ij

5、變化率計(jì)算方式是有差別的。（1）輸出層Ep/pW(l)ijEp/pW(l)ij = (Ep/I(l)i)*( I(l)i/W(l)ij)I(l)i/W(l)ij = O(l-1)jEp/I(l)I = (Ep/O(l)i)*( O(l)i/I(l)i)O(l)i/I(l)I = O(l)i*(1- O(l)i)Ep/ O(l)I = -2(di - O(l)I)得到輸出層Ep/pW(l)ijEp/pW(l)ij = -2(di O(l)i)O(l)i(1- O(l)i)O(l-1)j（2）隱含層Ep/pW(l)ijEp/pW(l)ij = (Ep/I(l)i)*( I(l)i/W(l)ij)I

6、(l)i/W(l)ij = O(l-1)jEp/I(l)I = (Ep/O(l)i)*( O(l)i/I(l)i)O(l)i/I(l)I = O(l)i*(1- O(l)i)Ep/O(l)I = 得到隱含層Ep/pW(l)ijEp/pW(l)ij = O(l)i(1- O(l)i) O(l-1)jBP算法的執(zhí)行步驟如下：（1）初始化網(wǎng)絡(luò)權(quán)值（2）輸入訓(xùn)練樣本對(duì)，計(jì)算各層輸出（3）計(jì)算網(wǎng)絡(luò)各層誤差（4）調(diào)整各層權(quán)值（5）檢測(cè)網(wǎng)絡(luò)是否達(dá)到優(yōu)化目標(biāo)，若滿足則訓(xùn)練結(jié)束，否則重復(fù)執(zhí)行步驟（2）三、實(shí)驗(yàn)過(guò)程(1)使用感知器算法對(duì)Iris數(shù)據(jù)集兩兩分類輸入特征向量X=x0, x1, x2, x3, 1T,權(quán)

7、值W=w0, w1, w2, w3, bT,首先從樣本集中選取不同數(shù)量的樣本訓(xùn)練感知器，在所有樣本集上檢測(cè)分類正確率。首先對(duì)第一類和第二類分類，其中一次運(yùn)行結(jié)果如下表所示：訓(xùn)練樣本數(shù)W0W1W2W3b樣本集上正確分類個(gè)數(shù)10-0.10170.55390.73810.45800.643410020-0.07130.5378-0.4980-0.01510.1335100300.01950.3172-0.61470.4240.652810040-0.14870.4466-0.4245-0.22100.8340100第一類和第三類分類，其中一次運(yùn)行結(jié)果如下表所示：訓(xùn)練樣本數(shù)W0W1W2W3b樣本集上正

8、確分類個(gè)數(shù)10-0.03030.3965-0.3894-0.04310.395810020-0.04500.2347-0.2671-0.32130.8237100300.22450.0163-0.4702-0.2303-0.587110040-0.04620.2677-0.2332-0.45470.7477100第二類和第三類分類，其中一次運(yùn)行結(jié)果如下表所示：訓(xùn)練樣本數(shù)W0W1W2W3b樣本集上正確分類個(gè)數(shù)100.39400.6212-0.7665-0.33270.112891200.50440.5444-0.9726-0.28380.574193300.66920.3033-1.0313-0

9、.58480.998298400.66230.5751-1.1088-0.88181.133697選取所有樣本訓(xùn)練感知器，學(xué)習(xí)速率為0.001。首先對(duì)第一類和第二類分類，第一類和第二類的平均平方誤差最小大約在0.04左右，因此用0.04作為訓(xùn)練算法的終止條件，其中幾次訓(xùn)練結(jié)果如下表：W0W1W2W3b迭代次數(shù)樣本集上正確分類個(gè)數(shù)0.09530.3155-0.6207-0.07920.342626880100-0.00230.3635-0.5577-0.14530.602911738100-0.08170.4417-0.4509-0.31090.6185155811000.07530.3672-

10、0.5901-0.11280.230118034100對(duì)第一類和第三類進(jìn)行分類，學(xué)習(xí)速率0.001，第一類和第三類所能達(dá)到的平均平方誤差約在0.02左右，選取0.02作為學(xué)習(xí)算法的終止條件，其中幾次的實(shí)驗(yàn)結(jié)果如下表示：W0W1W2W3b迭代次數(shù)樣本集上正確分類個(gè)數(shù)0.10950.1281-0.3435-0.38410.5996189861000.19420.1215-0.4121-0.30320.2764342941000.18920.1207-0.4130-0.29750.304531294100對(duì)第二類和第三類進(jìn)行分類，學(xué)習(xí)速率0.001，第二類和第三類所能達(dá)到的平均平方誤差約在0.25左

11、右，選取0.25作為算法的終止條件，其中幾次實(shí)驗(yàn)結(jié)果如下表所示：W0W1W2W3b迭代次數(shù)樣本集上正確分類個(gè)數(shù)0.48180.6917-0.9053-0.84950.836439620970.67420.6881-1.1632-0.71970.704764422980.84190.5656-1.2379-0.79900.50709862596(2)使用BP算法對(duì)異或數(shù)據(jù)分類。以(0,0)，(1,1)，(1,0)，(0,1)為中心，產(chǎn)生邊長(zhǎng)為0.4的正方形，(0,0),(1,1)為一類，(1,0),(0,1)為一類，使用BP算法對(duì)數(shù)據(jù)分類。構(gòu)造三層神經(jīng)網(wǎng)絡(luò)，隱含層4個(gè)神經(jīng)元，輸入X=x0, x1

12、, 1T, d=1,0表示第一類，d=0,1T表示第二類。網(wǎng)絡(luò)輸出為y=y0, y1T,若y0大于y1則判為第一類，否則判為第二類。其中一次實(shí)驗(yàn)結(jié)果如下所示：隱含層權(quán)值：-3.4186 5.5870 1.62614.4379 1.9138 -4.2940Wh = 5.2180 6.3336 -2.1521 3.2383 4.2890 -0.6710輸出層權(quán)值： 4.0898 5.4056 -5.4691 -2.4168 1.1144Wo = -4.0941 -5.4110 5.2468 2.7867 -1.2488 該網(wǎng)絡(luò)能對(duì)樣本集中的所有數(shù)據(jù)進(jìn)行正確分類，訓(xùn)練停止的條件是網(wǎng)絡(luò)在樣本集上的平均

13、平方誤差小于等于0.02。迭代次數(shù)127507次，在整個(gè)樣本集上大約迭代400次左右。以(0,0)，(1,1)，(1,0)，(0,1)為中心，產(chǎn)生邊長(zhǎng)為1的正方形，(0,0),(1,1)為一類，(1,0),(0,1)為一類，使用BP算法對(duì)數(shù)據(jù)分類。構(gòu)造三層神經(jīng)網(wǎng)絡(luò)，隱含層5個(gè)神經(jīng)元，學(xué)習(xí)速率0.005，平均誤差小于等于0.08時(shí)學(xué)習(xí)結(jié)束。其中一次實(shí)驗(yàn)結(jié)果如下：隱含層權(quán)值：3.4223 2.3185 0.6337-0.1836 2.7699 -0.9258Wh = 7.2399 3.3606 -2.2081 2.6776 4.8163 -6.1144 6.9915 -6.2296 3.7189輸

14、出層權(quán)值： -2.7949 1.7939 -6.6808 6.5898 7.3565 -0.9116 Wo = 3.0974 -2.0867 6.5947 -6.4006 -7.4555 0.8978（3）使用BP算法對(duì)Iris數(shù)據(jù)集分類Iris數(shù)據(jù)集包含三類樣本，用1,0,0表示第一類，0,1,0表示第二類，0,0,1表示第三類。采用三層神經(jīng)網(wǎng)絡(luò)對(duì)數(shù)據(jù)分類，隱含層神經(jīng)元為6個(gè)，學(xué)習(xí)速率0.001，其中一次實(shí)驗(yàn)得到的輸出層和隱含層權(quán)值如下：輸出層權(quán)值： -0.6591 5.6660 -0.5686 -2.2803 -0.4915 -1.1567 -0.3333wo = 0.4855 -5.70

15、36 0.7730 -6.0257 0.8285 0.5842 0.4079 -0.6897 -2.0370 -0.5895 6.6174 -1.1247 -0.2451 -0.7879隱含層權(quán)值：-0.1066 0.4925 0.7609 0.5546 0.9141 0.4362 2.0043 -3.0739 -1.0273 0.5063 0.7132 0.7303 0.2896 0.6459 0.7072 Wh = -2.7401 -2.6886 4.1146 4.4903 -2.7650 0.1781 0.9133 0.6227 0.6955 0.1221 -0.3074 -0.3541

16、 0.8468 0.7436 0.4610將所有樣本輸入神經(jīng)網(wǎng)絡(luò)，得到網(wǎng)絡(luò)輸出，分類錯(cuò)誤三個(gè)，第二類樣本的第21,23和34個(gè)樣本被錯(cuò)誤的分為第三類。四、實(shí)驗(yàn)分析（1）線性分類器對(duì)Iris數(shù)據(jù)分類從實(shí)驗(yàn)結(jié)果中可以看出，即使選取的樣本比較少，第一類和第二類，第一類和第三類總是可以較好地分類。而第二類和第三類隨著訓(xùn)練樣本數(shù)的增加，分類器的性能也會(huì)相應(yīng)的上升?？梢钥闯?，第一類數(shù)據(jù)和其它兩類是線性可分的，第二類和第三類樣本不是線性可分的。從多次實(shí)驗(yàn)中可以看出，雖然算法選取的結(jié)束條件是相同的，但初始權(quán)值的不同也會(huì)影響最終得到的分類器的預(yù)測(cè)能力。訓(xùn)練過(guò)程中需要確定合適的學(xué)習(xí)速率，在本次實(shí)驗(yàn)中，若選取學(xué)習(xí)速

17、率0.1則會(huì)出現(xiàn)算法不收斂的情況，權(quán)值會(huì)出現(xiàn)趨向無(wú)窮或非數(shù)的情況。（2）BP算法對(duì)異或數(shù)據(jù)分類BP算法能較好的解決異或問(wèn)題的分類，在實(shí)驗(yàn)中正方形邊長(zhǎng)取0.4時(shí)，網(wǎng)絡(luò)在樣本集上的誤差可以小于等于0.01，所有的樣本都可以被正確分類。當(dāng)正方形邊長(zhǎng)取1時(shí)，兩類數(shù)據(jù)之間的界限不明顯時(shí)，網(wǎng)絡(luò)在樣本上的誤差可以達(dá)到0.08左右，400個(gè)樣本中的378個(gè)樣本被正確分類。（3）BP算法對(duì)Iris數(shù)據(jù)集分類使用BP算法對(duì)Iris數(shù)據(jù)集進(jìn)行分類，其誤差最小可以達(dá)到0.04左右，150個(gè)樣本中的147個(gè)可以被正確的分類，第二類的第21,23和34個(gè)樣本被錯(cuò)誤的分為第三類。感知器算法中錯(cuò)誤分類的樣本也集中在第二類的第

18、21,23和34個(gè)樣本?？梢钥闯龇蔷€性算法可以解決非線性的分類問(wèn)題，但不能達(dá)到百分之百的正確率。在訓(xùn)練過(guò)程中學(xué)習(xí)速率和隱含層單元個(gè)數(shù)的選擇也是比較重要的，但本實(shí)驗(yàn)中Iris數(shù)據(jù)集并不是很復(fù)雜，所以在選取不同個(gè)數(shù)的隱含層單元時(shí)對(duì)分類的正確率并沒(méi)有顯著的提高。不同的學(xué)習(xí)速率會(huì)影響收斂的速度，學(xué)習(xí)速率越大則訓(xùn)練會(huì)越快，但也會(huì)出現(xiàn)誤差一直有較大波動(dòng)的情況。權(quán)值初始值的不同導(dǎo)致訓(xùn)練進(jìn)入局部最小值點(diǎn)，誤差停留在較大水平但不在下降。實(shí)驗(yàn)中也會(huì)出現(xiàn)誤差長(zhǎng)時(shí)間停留在某一個(gè)值附近，通過(guò)長(zhǎng)時(shí)間的訓(xùn)練誤差才會(huì)從新開(kāi)始下降的情況。五、實(shí)驗(yàn)結(jié)論通過(guò)該次實(shí)驗(yàn)比較了線性分類器和非線性分類器，在Iris數(shù)據(jù)集上線性分類器和非線

19、性分類器的性能差距并不是很大。而對(duì)異或數(shù)據(jù)線性分類器是無(wú)法完成分類任務(wù)的，非線性分類器則可以比較好地解決該問(wèn)題。BP算法訓(xùn)練耗時(shí)是比較長(zhǎng)的，感知器算法訓(xùn)練耗時(shí)更短一些。BP算法中學(xué)習(xí)速率，隱含層單元個(gè)數(shù)等選擇都是比較重要的，但由于時(shí)間關(guān)系，本次實(shí)驗(yàn)并沒(méi)有深入討論該問(wèn)題。對(duì)于分類問(wèn)題沒(méi)有那種算法是最好的，針對(duì)問(wèn)題選擇合適的方法是比較重要的。附錄實(shí)驗(yàn)代碼(Matlab)一、感知器算法function w, samples = two_kind_classify(samples1, samples2, step, mine) rows1, cols1 = size(samples1);rows2,

20、cols2 = size(samples2); weight_temp = rand(cols1 + 1, 1);label1 = ones(rows1, 1);label2 = -ones(rows2, 1);samples1 = samples1 label1;samples2 = samples2 label2;samples = samples1; samples2;flag = true;counter = 1;h_last = my_mse(samples, weight_temp) c = 0;while flag x = samples(counter, 1:cols1); d

21、 = samples(counter, cols1+1); x = x 1; y = x * weight_temp; weight_temp = weight_temp + step * 2 *( d - y) * x' h = my_mse(samples, weight_temp) if h < mine break; end counter = counter + 1; if counter > rows1 + rows2 counter = 1; end c = c + 1;endw = weight_temp;function e = my_mse(sample

22、s, w) rows, cols = size(samples);totle_e = 0;for i=1:rows x = samples(i, 1:cols-1); x = x 1; d = samples(i, cols); y = x * w; temp_e = (d - y) 2; totle_e = totle_e + temp_e;ende = totle_e / rows;（2）BP算法function weight_hidden, weight_out = processBP(samples, targets, hiddens, step, minmse) rows_sampl

23、es, cols_samples = size(samples);rows_targets, cols_targets = size(targets);w_hidden = rand(hiddens, cols_samples + 1);w_out = rand(cols_targets, hiddens + 1);error_out = zeros(cols_targets, 1);error_hidden = zeros(hiddens, 1);e = meanError(samples, targets, w_hidden, w_out)counter = 1;i = 0; ww_out

24、 = zeros(cols_targets, hiddens+1);ww_hidden = zeros(hiddens, cols_samples+1);while e > minmse x = samples(counter, :); target = targets(counter, :); x = x 1' hid_out = sfunc(w_hidden * x); %ÁÐ hid_out_temp = hid_out; 1; out_out = sfunc(w_out * hid_out_temp); %ÁÐ error_out = -2*(target' - out_out).*out_out.*(1-out_out); w_out = w_out - step*error_out*hid