第三章感知器

1、1第三章第三章 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)3.13.1單層感知器單層感知器3.23.2多層感知器多層感知器23.1單層感知器單層感知器3.1.1感知器模型感知器模型 o1 oj om W1 Wj Wm x1 x2 xi xn3 3 前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)3j=1,2,m Tni21,.,x,.x,xx)(XTmi21,.,o,.o,oo)(OTnjijj2j1j,.,w,.w,ww)(W3.1.13.1.1感知器模型感知器模型前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器4凈輸入：凈輸入：輸出：輸出：n1iiijjxwnet(3.1)()()(XWTjn0iiijjjjsgnxwsgnTnet

2、sgno(3.2)3.1.13.1.1感知器模型感知器模型前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器5(1)設(shè)輸入向量設(shè)輸入向量X=(x1 ,x2)T0Txwxw10Txwxw1oj2j21j1j2j21j1j輸出：輸出：則由方程則由方程 wijx1+w2jx2-Tj=0 (3.3)確定了二維平面上的一條分界線。確定了二維平面上的一條分界線。ojx1-1x2前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.23.1.2感知器的功能感知器的功能6（1 1）輸入是二維）輸入是二維wij x1+w2j x2 Tj = 0wij x1 = Tj - w2j x2x1 = (Tj -w2j x2

3、) / wij = - ( w2j/ wij ) x2 +Tj / wij = a x2 +c x1 * * * * O * * O * * O O * O x2 * * O O O O7感知器的功能（二維）感知器的功能（二維）0TjXW x1 * * * * O * * O * * O O * O x2 * * O O O O0TjXW0TjXW0TjXW0TjXW0TjXW8 x1 * * * * O * * O * * O O * O x2 * * O O O O前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.23.1.2感知器的功能感知器的功能9(2)設(shè)輸入向量設(shè)輸入向量X=(x

4、1,x2,x3)T0101332211332211jjjjjjjjjTxwxwxwTxwxwxwo輸出：輸出：則由方程則由方程 wijx1+w2jx2+w3j Tj=0 (3.4) 確定了三維空間上的一個(gè)分界平面。確定了三維空間上的一個(gè)分界平面。 x2ojx1x3-1前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.23.1.2感知器的功能感知器的功能10（2 2）輸入是三維）輸入是三維wij x1+w2j x2 +w3j x3 Tj = 0 x1 = a x2 +b x3 +c 0TjXW是什么？是什么？ x1 * * * * O * * O * * O O * O x2 * * O O

5、 O x311 x1 * * * * O * * O * * O O * O x2 * * O O O x3前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.23.1.2感知器的功能感知器的功能12(3) 設(shè)輸入向量設(shè)輸入向量X=(x1，x2,，xn)T則由方程則由方程 wijx1+w2jx2+wnj Tj=0 (3.6) 確定了確定了n維空間上的一個(gè)分界平面。維空間上的一個(gè)分界平面。 輸出：輸出：wijx1+w2jx2+wnj Tj=0 (3.5)前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.23.1.2感知器的功能感知器的功能133.1.43.1.4感知器的學(xué)習(xí)感知器的學(xué)習(xí)p關(guān)

6、鍵問(wèn)題就是求關(guān)鍵問(wèn)題就是求0TjXW143.1.43.1.4感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法pPerceptron(Perceptron(感知器感知器) )學(xué)習(xí)規(guī)則學(xué)習(xí)規(guī)則式中，當(dāng)實(shí)際輸出與期望值相同時(shí)，權(quán)值不需要調(diào)整。感式中，當(dāng)實(shí)際輸出與期望值相同時(shí)，權(quán)值不需要調(diào)整。感知器學(xué)習(xí)規(guī)則代表一種知器學(xué)習(xí)規(guī)則代表一種有導(dǎo)師學(xué)習(xí)有導(dǎo)師學(xué)習(xí)。15感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1) 對(duì)各權(quán)值對(duì)各權(quán)值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；(2) 輸入樣本對(duì)輸入樣本對(duì)Xp,dp，其

7、中，其中Xp=(-1,x1p,x2p,x,xn np p)， dp為期望的輸出向量（教師信號(hào)），上標(biāo)為期望的輸出向量（教師信號(hào)），上標(biāo)p代表代表 樣本對(duì)的模式序號(hào)，設(shè)樣本集中的樣本總數(shù)為樣本對(duì)的模式序號(hào)，設(shè)樣本集中的樣本總數(shù)為P， 則則p=1,2,P,P；前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.43.1.4感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法16感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出計(jì)算各節(jié)點(diǎn)的實(shí)際輸出ojp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值，調(diào)整各節(jié)點(diǎn)對(duì)應(yīng)的權(quán)值，Wj(t+1)= Wj(t)+dj

8、p-ojp(t)Xp, j=1, 2,m, 其中為學(xué)習(xí)率，用于控制調(diào)整速度，太大其中為學(xué)習(xí)率，用于控制調(diào)整速度，太大 會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢，會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢， 一般取一般取0 011；(5)返回到步驟返回到步驟(2)輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有 樣本，感知器的實(shí)際輸出與期望輸出相等。樣本，感知器的實(shí)際輸出與期望輸出相等。前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.43.1.4感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法17Perceptron RulePerceptron Rule1819202122

9、23感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：（1 1）權(quán)值初始化）權(quán)值初始化（2 2）輸入樣本對(duì)）輸入樣本對(duì)（3 3）計(jì)算輸出）計(jì)算輸出（4 4）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值）根據(jù)感知器學(xué)習(xí)規(guī)則調(diào)整權(quán)值（5 5）返回到步驟）返回到步驟(2)(2)輸入下一對(duì)樣本，周而輸入下一對(duì)樣本，周而復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與復(fù)始直到對(duì)所有樣本，感知器的實(shí)際輸出與期望輸出相等。期望輸出相等。前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器24例三例三 單計(jì)算節(jié)點(diǎn)感知器，單計(jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定個(gè)輸入。給定3對(duì)訓(xùn)練樣對(duì)訓(xùn)練樣本對(duì)如下：本對(duì)如下：X1 = (-1，1，-2，0)T d1

10、 = 1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 設(shè)初始權(quán)向量設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，=0.1=0.1。注意，注意，輸入向量中第一個(gè)分量輸入向量中第一個(gè)分量x0恒等于恒等于-1，權(quán)向量中第一個(gè)分，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.43.1.4感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法25解：第一步解：第一步 輸入輸入X1，得得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2

11、.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.43.1.4感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法26第二步第二步 輸入輸入X2，得，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T=-1.6 o2(1)=sgn(-1.6)=-1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5

12、)T =(0.7,0.8,-0.6,0)T由于由于d2= o2(1)，所以，所以W(2)= W(1)。前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.43.1.4感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法27第三步第三步 輸入輸入X3，得，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T=-2.1 O3(2)=sgn(-2.1=-1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0.5)T =(0.5,0.6,-0.4,0.1)T第四步第四步 返回到第一步，繼續(xù)訓(xùn)練直到返回到第一步，繼續(xù)訓(xùn)練直

13、到dp- op=0，p=1,2,3。前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)-單層感知器單層感知器3.1.43.1.4感知器的學(xué)習(xí)算法感知器的學(xué)習(xí)算法28Perceptron ClassificationPerceptron Classification29303132333.1.33.1.3單層感知器的局限性單層感知器的局限性p問(wèn)題：能否用感知器解決如下問(wèn)題？問(wèn)題：能否用感知器解決如下問(wèn)題？ x1 O O x2343.1.33.1.3單層感知器的局限性單層感知器的局限性p無(wú)法解決無(wú)法解決“異或異或”問(wèn)題問(wèn)題p只能解決線性可分問(wèn)題只能解決線性可分問(wèn)題“異或異或”的真值表的真值表x1x2y00001110111

14、035 o T3 y1 y2-1 w1 1 w2 1 w2 2 T1 T2 w12-1 x1 x2 雙層感知器雙層感知器 x1 S1 O S2 O x2“異或異或”問(wèn)題分問(wèn)題分類類例四例四 用兩計(jì)算層感知器解決用兩計(jì)算層感知器解決“異或異或”問(wèn)題。問(wèn)題。“異或異或”的真值表的真值表x1 x2y1 y2 o 0 01 1 00 11 011 00 111 11 1 0前饋神經(jīng)網(wǎng)絡(luò)前饋神經(jīng)網(wǎng)絡(luò)多層感知器多層感知器3.23.2多層感知器多層感知器363.2.13.2.1多層感知器的提出多層感知器的提出提出的動(dòng)因提出的動(dòng)因單計(jì)算層感知器的局限性：?jiǎn)斡?jì)算層感知器的局限性：只能解決線性可分問(wèn)題，而大量的分類問(wèn)題是線性不可分的。只能解決線性可分問(wèn)題，而大量的分類問(wèn)題是線性不可分的。解決的有效辦法解決的有效辦法 在輸入層與輸出層之間引入隱層作為輸入模式的在輸入層與輸出層之間引入隱層作為輸入模式的“內(nèi)部表示內(nèi)部表示”，將單，將單計(jì)算層感知器變成計(jì)算層感知器變成多（計(jì)算）層感知器多（計(jì)算）層感知器。 采用采用非線性連續(xù)函數(shù)作為轉(zhuǎn)移函數(shù)非線性連續(xù)函數(shù)作為轉(zhuǎn)移函數(shù)，使區(qū)域邊界線的基本線，使區(qū)域邊界線的基本線素由直線變成曲線，從而使整個(gè)邊界線變成連續(xù)光滑