第二講-感知器

第3章

感知器

主要內(nèi)容：感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展；線性可分問題與線性不可分問題；感知器的訓(xùn)練算法.

重點(diǎn)：感知器的結(jié)構(gòu)、表達(dá)能力、學(xué)習(xí)算法難點(diǎn)：感知器的表達(dá)能力

設(shè)計(jì)算機(jī)1秒能完成24個(gè)城市的枚舉，則城市數(shù)與計(jì)算時(shí)間的關(guān)系如下表:隨城市增多,計(jì)算時(shí)間增加很快。到31個(gè)城市時(shí),要計(jì)算325年。城市數(shù)2425262728293031計(jì)算時(shí)間1sec24sec10min4.3hour4.9day136.5day10.8year325year人工智能的具體應(yīng)用人工智能的具體應(yīng)用人工智能的具體應(yīng)用第3章

感知器3.1感知器與人工神經(jīng)網(wǎng)絡(luò)的早期發(fā)展

3.2感知器的學(xué)習(xí)算法

3.2.1感知器訓(xùn)練算法

3.3線性不可分問題3.3.1異或(Exclusive–OR)問題

3.3.2線性不可分問題的克服

實(shí)現(xiàn)！問題的發(fā)現(xiàn)與解決！3.1感知器與ANN的早期發(fā)展McCulloch和Pitts1943年,發(fā)表第一個(gè)系統(tǒng)的ANN研究——閾值加權(quán)和(M-P)數(shù)學(xué)模型.1947年,開發(fā)出感知器.圖3.1感知器神經(jīng)元模型硬限幅函數(shù)F.Roseblatt已經(jīng)證明,如果兩類模式是線性可分的（指存在一個(gè)超平面將它們分開）,則算法一定收斂.感知器特別適用于簡單的模式分類問題,也可用于基于模式分類的學(xué)習(xí)控制中.本節(jié)中所說的感知器是指單層的感知器.多層網(wǎng)絡(luò)因?yàn)橐玫胶竺鎸⒁榻B的反向傳播法進(jìn)行權(quán)值修正,所以把它們均歸類為反向傳播網(wǎng)絡(luò)之中.3.1感知器與ANN的早期發(fā)展3.1感知器與ANN的早期發(fā)展1962年，Rosenblatt宣布:人工神經(jīng)網(wǎng)絡(luò)可以學(xué)會(huì)它能表示的任何東西.o1圖3.2多輸出感知器x1x2o2omxn…

………輸入層輸出層3.2感知器的學(xué)習(xí)算法

感知器的學(xué)習(xí)是有導(dǎo)師學(xué)習(xí).感知器的訓(xùn)練算法的基本原理來源于著名的Hebb學(xué)習(xí)律.基本思想：逐步地將樣本輸入到網(wǎng)絡(luò)中,根據(jù)輸出結(jié)果和理想輸出之間的差別來調(diào)整網(wǎng)絡(luò)中的權(quán)矩陣.什么是Hebb學(xué)習(xí)律，與感知器的學(xué)習(xí)規(guī)則是否相同？感知器模型如圖I/O關(guān)系:3.2感知器的學(xué)習(xí)算法-網(wǎng)絡(luò)結(jié)構(gòu)

感知器的最大作用就是可以對輸入的樣本分類,故它可作分類器，如感知器對輸入信號(hào)的分類如下:即當(dāng)感知器的輸出為1時(shí),輸入樣本稱為A類；輸出為0時(shí),輸入樣本稱為B類.3.2感知器的學(xué)習(xí)算法-網(wǎng)絡(luò)結(jié)構(gòu)

一個(gè)簡單的單神經(jīng)元（感知器）分類的例子.例:二維矢量，兩類如圖:L為分類線:區(qū)為區(qū)為設(shè)一個(gè)單神經(jīng)元硬限幅函數(shù)123.2感知器的學(xué)習(xí)算法-網(wǎng)絡(luò)結(jié)構(gòu)

學(xué)習(xí)規(guī)則是用來計(jì)算新的權(quán)值矩陣W及新的偏差的算法.感知器利用其學(xué)習(xí)規(guī)則來調(diào)整網(wǎng)絡(luò)的權(quán)值，以便使該網(wǎng)絡(luò)對輸人矢量的響應(yīng)達(dá)到數(shù)值為0或1的目標(biāo)輸出.輸入矢量P，輸出矢量A，目標(biāo)矢量為T的感知器網(wǎng)絡(luò)，其學(xué)習(xí)規(guī)則為:（誤差學(xué)習(xí)算法）.3.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則感知器的學(xué)習(xí)算法目的在于找尋恰當(dāng)?shù)臋?quán)系數(shù)w=(w1,w2,…,wn)，使系統(tǒng)對一個(gè)特定的樣本x=(x1,x2,…,xn)能產(chǎn)生期望值d.當(dāng)x分類為A類時(shí)，期望值d=1；x為B類時(shí)，d=-1.為了方便說明感知器學(xué)習(xí)算法，把閾值b并入權(quán)系數(shù)w中，同時(shí)，樣本x也相應(yīng)增加一個(gè)分量xn+1.故令:wn+1=-b,xn+1=1

則感知器的輸出可表示為:3.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則感知器學(xué)習(xí)算法步驟如下:步1.對權(quán)系數(shù)w置初值權(quán)系數(shù)w=(w1,…,wn,wn+1)的各個(gè)分量置一個(gè)較小的初始隨機(jī)值,并記為wl(0),…,wn(0),同時(shí)有wn+1(0)=-b.wi(t)為t時(shí)刻從第i個(gè)輸入上的權(quán)系數(shù)，i=1,2,…,n.wn+1(t)為t時(shí)刻時(shí)的閾值.步2.輸入一樣本x=(x1,x2,…,xn+1)以及它的期望輸出d期望輸出值d在樣本的類屬不同時(shí)取值不同.如果x是A類,則取d=1,如果x是B類,則取-1.期望輸出d也即是教師信號(hào).3.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則步4.根據(jù)實(shí)際輸出求誤差ee(t)=d-y(t)

步5.用誤差e去修改權(quán)系數(shù)wi(t+1)=wi(t)+e(t)xii=1,2,…,n+1

其中稱為權(quán)重變化率,0<1.的值不能太大.如果取值太大則wi(t)的穩(wěn)定性差;的值也不能太小,否則wi(t)的收斂速度太慢.步3.計(jì)算實(shí)際輸出值y3.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則當(dāng)實(shí)際輸出和期望值d相同時(shí)有:wi(t+1)=wi(t)步6.轉(zhuǎn)到第2步,一直執(zhí)行到一切樣本均穩(wěn)定為止.（算法的收斂性分析見后面的證明）.從上面分析可知,感知器實(shí)質(zhì)是一個(gè)分類器,它的這種分類是和二值邏輯相應(yīng)的.因此,感知器可以用于實(shí)現(xiàn)邏輯函數(shù).下面對感知器實(shí)現(xiàn)邏輯函數(shù)的情況作一些介紹.例用感知器實(shí)現(xiàn)或邏輯函數(shù)OR,即x1

x2,的真值(真值表如右所示).x1x2x1

x20011010101113.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則即有

b>0,w2,w1b,w1+w2b以x1

x2=1為A類,以x1

x2=0為B類,則有方程組令w1=1,w2=1,則有b1.取b=0.5,則有分類判別曲線x1+x2-0.5=0,分類情況如圖3.2a所示,實(shí)現(xiàn)的NN如圖3.2b.3.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則x1x2圖3.1bOR函數(shù)的NN實(shí)現(xiàn)o(x1,x2)11-10.53.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則類似地,對與邏輯函數(shù)AND(真值表如下所示),即x1

x2,也可設(shè)計(jì)如圖所示的分類面（分類函數(shù)）.x1x2x1

x20011010100013.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則x1x2圖3.2bAND函數(shù)的NN實(shí)現(xiàn)o(x1,x2)11-11.53.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則但對異或邏輯函數(shù)XOR(真值表如下所示),則不可能利用單層感知器設(shè)計(jì)的線性分類面（線性分類函數(shù)）,如下圖所示.x1x2x1

x2001101010110?3.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則對此,只能設(shè)計(jì)多層感知器,如下圖所示的XOR函數(shù)的2層設(shè)計(jì).x1x211-11.5x1x211-10.5圖3.3bXOR函數(shù)的2層NN實(shí)現(xiàn)o(x1,x2)-11-103.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則而其函數(shù)空間的分類面如下圖所示.3.2感知器的學(xué)習(xí)算法-學(xué)習(xí)規(guī)則3.2感知器的學(xué)習(xí)算法-Matlab實(shí)現(xiàn)該函數(shù)的調(diào)用命令為:[dW,LS]=learnp(W,P,Z,N,A,T,E,gW,gA,D,LP,LS)[db,LS]=learnp(b,ones(1,Q),Z,N,A,T,E,gW,gA,D,LP,LS)

------各參數(shù)的具體意義可參考神經(jīng)網(wǎng)絡(luò)工具箱的用戶指南.3.2感知器的學(xué)習(xí)算法-Matlab實(shí)現(xiàn)感知器設(shè)計(jì)訓(xùn)練的步驟可總結(jié)如下:1)對于所要解決的問題，確定輸入矢量P，目標(biāo)矢量T，并由此確定各矢量的維數(shù)以及確定網(wǎng)絡(luò)結(jié)構(gòu)大小的神經(jīng)元數(shù)目；2)參數(shù)初始化: a)賦給權(quán)矢量w在(－l，1)的隨機(jī)非零初始值； b)給出最大訓(xùn)練循環(huán)次數(shù)max_epoch；3)網(wǎng)絡(luò)表達(dá)式:根據(jù)輸入矢量P以及最新權(quán)矢量W，計(jì)算網(wǎng)絡(luò)輸出矢量A；4)檢查:檢查輸出矢量A與目標(biāo)矢量T是否相同，如果是，或已達(dá)最大循環(huán)次數(shù)，訓(xùn)練結(jié)束，否則轉(zhuǎn)入5)；5)學(xué)習(xí):根據(jù)感知器的學(xué)習(xí)規(guī)則調(diào)整權(quán)矢量，并返回3).3.2感知器的學(xué)習(xí)算法-Matlab實(shí)現(xiàn)上述的整個(gè)訓(xùn)練過程我們可以用MATLAB工具箱中的函數(shù)train.m來完成。其調(diào)用方式如下:[net,tr]=train(net,P,T,Pi,Ai)3.2感知器的學(xué)習(xí)算法-Matlab實(shí)現(xiàn)例1采用單一感知器神經(jīng)元解決一個(gè)簡單的分類問題:將四個(gè)輸入輸入矢量分為兩類，其中兩個(gè)矢量對應(yīng)的目標(biāo)值為1，另兩個(gè)矢量對應(yīng)的目標(biāo)值為0，即輸入矢量:P=[-0.5–0.50.30.0;…-0.50.5-0.51.0]目標(biāo)分類矢量:T=[1.01.00.00.0]

3.2感知器的學(xué)習(xí)算法-Matlab實(shí)現(xiàn)解首先定義輸入矢量及相應(yīng)的目標(biāo)矢量:P=[-0.5–0.50.30.0;-0.50.5-0.51.0]；T=[1.01.00.00.0]；輸入矢量可以用左圖來描述，對應(yīng)于目標(biāo)值0的輸入矢量用符號(hào)‘0’表示，對應(yīng)于目標(biāo)值1的輸入矢量符號(hào)‘+’表示.

輸入矢量圖

訓(xùn)練結(jié)束后得到如圖所示的分類結(jié)果,分類線將兩類輸入矢量分開,其相應(yīng)的訓(xùn)練誤差的變化如圖所示。這說明經(jīng)過4步訓(xùn)練后,就達(dá)到了誤差指標(biāo)的要求.

分類結(jié)果誤差變化曲線下面給出本例的MATLAB程序%Examplepre.m

%NEWP——

建立一個(gè)感知器神經(jīng)元%INIT——

對感知器神經(jīng)元初始化%TRAIN——

訓(xùn)練感知器神經(jīng)元%SIM——

對感知器神經(jīng)元仿真pause%敲任意鍵繼續(xù)clc%P為輸入矢量P=[-0.5-0.5+0.3+0.0;-0.5+0.5-0.51.0];%T為目標(biāo)矢量T=[1100];pause%繪制輸入矢量圖plotpv(P,T);pause%定義感知器神經(jīng)元并對其初始化

net=newp([-0.50.5;-0.51],1);net.initFcn='initlay';net.layers{1}.initFcn='initwb';net.inputWeights{1,1}.initFcn='rands';net.layerWeights{1,1}.initFcn='rands';net.biases{1}.initFcn='rands';net=init(net);echooffk=pickic;ifk==2net.iw{1,1}=[-0.81610.3078];net.b{1}=[-0.1680];endechoonplotpc(net.iw{1,1},net.b{1})pause

%訓(xùn)練感知器神經(jīng)元net=train(net,P,T);pause%繪制結(jié)果分類曲線plotpv(P,T)plotpc(net.iw{1,1},net.b{1});pause%利用訓(xùn)練完的感知器神經(jīng)元分類p=[-0.5;0];a=sim(net,p)echooff感知器學(xué)習(xí)算法的收斂性定理:如果樣本輸入函數(shù)是線性可分的，那么感知器學(xué)習(xí)算法經(jīng)過有限次迭代后，可收斂到正確的權(quán)值或權(quán)向量.可證:在訓(xùn)練樣本Xk,k=1,2,…,N是線性可分時(shí)，采用上式的學(xué)習(xí)方法，在有限次迭代后，必能得到正確解.3.2感知器的學(xué)習(xí)算法-收斂性定理為證明此定理,不失一般性,先對該分類問題做一些假設(shè):A1:

輸入樣本Xk,k=1,2,…,N全部歸一化，即||Xk||=1；A2:

對最優(yōu)權(quán)向量W*,有||W*||=1.A3:

如果樣本可分，那么任意給定的一個(gè)輸入樣本Xk，要么屬于某一區(qū)域F＋，要么不屬于這一區(qū)域，記為F－，F(xiàn)＋和F－構(gòu)成了整個(gè)線性可分的樣本空間.在這里僅討論Xk∈F＋的情況.3.2感知器的學(xué)習(xí)算法-收斂性定理證明:因?yàn)镹個(gè)樣本線性可分，所以存在單位權(quán)向量W*和一個(gè)較小的正數(shù)d>0，使得W*TXk≥d對所有的樣本輸入Xk都成立，任意權(quán)值向量W和最優(yōu)權(quán)值向量W*之間的余弦角cosα為

由學(xué)習(xí)律可得W(k+1)=W(k)+μX(k),μ是學(xué)習(xí)系數(shù). 上式左乘W*可得W*WT(k+1)=W*[WT(k)+μXT(k)]≥W*WT(k)+μd從k=0迭代,可得W*WT(k)≥W*WT(0)+kμd 3.2感知器的學(xué)習(xí)算法-收斂性定理選擇W(0)∈Xk，滿足W*Xk>0，此時(shí)有W*WT(k)≥kμd 在W(k)未達(dá)到W*時(shí)，W(k)XT(k)<0，所以

迭代可得:

所以,

由于余弦值S(k)≤1,當(dāng)W(k)=W*時(shí),S(k)=1,于是我們求解得到這說明在μ和d選定后,可以在有限的次數(shù)k達(dá)到最優(yōu)加權(quán)W*.1）由于激活函數(shù)為閾值函數(shù),輸出矢量只能取0,1,說明僅可以解決簡單的分類問題,對于線性不可分或重疊時(shí)無法分類；但多層感知器網(wǎng)絡(luò)卻具有復(fù)雜的非線性分類能力,是一類非常有效的分類器.3.2硬限幅函數(shù)單神經(jīng)元(感知器)分類特性2）輸入矢量線性可分時(shí)，學(xué)習(xí)在有限次數(shù)內(nèi)收斂；3）輸入矢量的奇異性導(dǎo)致較慢的收斂.比如當(dāng)輸入/輸出矢量分別為:P=[-0.5–0.5+0.3–0.1–80-0.5+0.5–0.5+1.0100];T=[11001];時(shí)，必然導(dǎo)致訓(xùn)練的困難；4）異或問題不可解.

5）感知器網(wǎng)絡(luò)在NN的研究中有著重要意義和地位，其學(xué)習(xí)算法的自組織、自適應(yīng)思想，是NN學(xué)習(xí)算法的基礎(chǔ).3.2硬限幅函數(shù)單神經(jīng)元(感知器)分類特性3.2具有線性函數(shù)的單層網(wǎng)絡(luò)的分類功能它與感知器的主要不同之處在于其神經(jīng)元的激活函數(shù)是線性函數(shù),這允許輸出可以是任意值,而不僅僅只是像感知器中那樣只能取0或1.它采用的是W-H學(xué)習(xí)法則,也稱最小均方差(LMS)規(guī)則對權(quán)值進(jìn)行訓(xùn)練.自適應(yīng)線性元件的主要用途是線性逼近一個(gè)函數(shù)式而進(jìn)行模式聯(lián)想.3.2線性神經(jīng)元模型和結(jié)構(gòu)一.線性神經(jīng)元模型和結(jié)構(gòu)圖自適應(yīng)線性神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)

單神經(jīng)元多個(gè)神經(jīng)元3.2LMS（梯度下降）學(xué)習(xí)規(guī)則二.采用線性函數(shù)分類任務(wù)的目標(biāo):所有可能的輸入矢量與輸出矢量的誤差平方的統(tǒng)計(jì)量最小.線性函數(shù)單神經(jīng)元的分類任務(wù)中采用LMS算法調(diào)節(jié)連接權(quán).LMS的算法如下:LMS梯度下降算法訓(xùn)練方法:逐個(gè)處理、成批處理.采用成批處理的方法:設(shè)誤差E采用下式表示:其中yi=f[w

xi]是對應(yīng)第i個(gè)樣本xi的NN實(shí)時(shí)輸出;oi是對應(yīng)第i個(gè)樣本xi的期望輸出.3.2LMS（梯度下降）學(xué)習(xí)規(guī)則對W求偏導(dǎo),有令則有可寫為其中所以要使誤差