神經(jīng)網(wǎng)絡(luò)2005第8講

上次內(nèi)容：(1)什么是學(xué)習(xí)(2)單個神經(jīng)元的學(xué)習(xí)算法關(guān)于單層感知器學(xué)習(xí)的結(jié)論。定理：若訓(xùn)練樣本是線性可分的，則算法經(jīng)過有限步一定會收斂。*這個留著，現(xiàn)在不證明。下面是BP算法：先要有網(wǎng)絡(luò)結(jié)構(gòu)：(a) 講清楚網(wǎng)絡(luò)的連接權(quán)值是怎么標記的(b) 門限值怎么標記，(c) 給定樣本：(Xp, dp)，Xp=(xp1,xp2,xpn)T，dp=(dp1,dp2,dpm)T(d) 第t層第i個神經(jīng)元當輸入為Xp時的輸出用表示，對應(yīng)的受到作用力總和：算法是怎樣來的：(1)構(gòu)造誤差函數(shù)：共N個樣本。E=分析：若E=0，則顯然w和q即為所求，若E0，則要修改w和q使E減小。怎樣修改？梯度下降法。(,)D=-hD=-h=最后一層的神經(jīng)元示意圖。=-=-=-=-=-=-=-=第t層神經(jīng)元示意圖。D=-hD和D的計算方法見課本p36。說明：1. 沒法舉例子2. 算法程序容易實現(xiàn)，很多現(xiàn)成的程序，可以用VC或VB實現(xiàn)。3. 算法在神經(jīng)網(wǎng)絡(luò)規(guī)模較小時速度還行，規(guī)模大時速度太慢。4. 有很多改進方法，但解決不了根本問題。5. 說算法壞是正常的，總是要改進，算法的關(guān)鍵就是要求微分，6. 這個微分求了30年，實際上被人家求出來了，發(fā)現(xiàn)很簡單。7. BP算法求解原理是什么？局部搜索算法，開始選擇隨機初始點，計算到局部最優(yōu)解時若沒達到要求，則重新選擇開始點。7改進算法自己去看吧，什么原理呢，就是調(diào)整步長，理局部最優(yōu)解遠時步長加長，離局部最優(yōu)解近時步長縮短。8有一次我真是認真分析了一下時間復(fù)雜度，可以說明是指數(shù)的?？臻g復(fù)雜度很小，所以算法很實用。3.3聯(lián)想存儲器學(xué)習(xí)算法英文：associate memory，簡稱HAM1先說問題：給定樣本模式：X1=(x11,x12,x1n)T1,-1nX2=(x21,x22,x2n)T1,-1nXN=(xN1,xN2,xNn)T1,-1nN個n維二值向量，學(xué)習(xí)樣本。問題：要構(gòu)造離散hopfield神經(jīng)網(wǎng)絡(luò)使給定樣本成為神經(jīng)網(wǎng)絡(luò)的吸引子。平衡態(tài)。*也可以說這樣，輸入Xp時，網(wǎng)絡(luò)穩(wěn)定輸出Xp，p=1,2, N。*問一個問題：要想輸入Xp輸出Yp怎樣做，Xp是n維向量，Yp是m維向量。可以采用如下結(jié)構(gòu)：可以采用兩層學(xué)習(xí)：聯(lián)想學(xué)習(xí)，前饋學(xué)習(xí)。l 沒有十全十美的辦法。只能說明越來越好。l hebb規(guī)則學(xué)習(xí)l 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)固定學(xué)習(xí)目的是計算wij和qi。規(guī)則：，1i,jnHebb規(guī)則解釋：當兩者相同狀態(tài)時權(quán)值增加，表示同時興奮。用連接矩陣描述hopfield神經(jīng)網(wǎng)絡(luò)的權(quán)值計算方法：W=-NI。qi=0，i=1,2,n學(xué)習(xí)算法：訓(xùn)練樣本：X1,XNfor i=1 to nfor j=1 to n dowij=0;for p=1 to N dofor i=1 to nfor j=1 to n dowij=wij+xpixpj。問題：是否所有樣本都會稱為網(wǎng)絡(luò)的吸引子。先舉一個例子：X1=(+1,+1,-1,-1)T，X2=(+1,-1,+1,-1)TW=X1X1T+X2X2T-2I=+-=(1)初態(tài)為：(1,1,-1,-1)T，下一個狀態(tài)仍然是(1,1,-1,-1)T。(2)初態(tài)為：(1,-1,1,-1)T，下一個狀態(tài)是：(1,-1,1,-1)T。并不是任意一個向量都能成為平衡態(tài)，按照這樣的規(guī)則。但是N能有多大呢？定理3.2設(shè)N個樣本模式滿足：(1)endH(Xi,Xj)(1-e)n, ij，0e1/2(2)N1+則，當N足夠大時，X1,XN都會成為網(wǎng)絡(luò)的吸引子。證明：若Xk=f(WXk)，則Xk是網(wǎng)絡(luò)吸引子。WXk=(-NI)Xk=(n-N)Xk+ X1X1TXk+XNXNTXk限定后面一部分的絕對值，使其不超過前面就行。設(shè)Y=X1X1TXk+XNXNTXk=(y1,yn)，只需證明|yi|(n-N)，則Xk是神經(jīng)網(wǎng)絡(luò)平衡態(tài)。|yi|(1-2e)n(N-1)，解（1-2e）n(N-1)n-N并使n無窮大，就得到結(jié)論。N1+。注釋：當神經(jīng)網(wǎng)絡(luò)選擇0,1狀態(tài)時怎么辦？神經(jīng)元作用函數(shù)，f(s)=此時神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法為：wij=3.3.2雙向聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法1問題：識別張三，但是張三的照片缺損一點?？梢杂秒p向聯(lián)想存儲器。給定向量組：(X1,Y1)，(X2,Y2)，(XN,YN)。Xp=(xp1,)T，Yp=(yp1,)T，當初始狀態(tài)為(Xp,*)時，最終穩(wěn)定態(tài)為：(Xp, Yp)很多情況下只能記憶神經(jīng)網(wǎng)絡(luò)狀態(tài)的一半，另一半聯(lián)想出來。根據(jù)狀態(tài)的一部分可以聯(lián)想出全部狀態(tài)。1結(jié)構(gòu)神經(jīng)元是什么樣的。神經(jīng)元作用函數(shù)：f(s)=，兩邊的神經(jīng)元都是這樣。神經(jīng)網(wǎng)絡(luò)的工作是有節(jié)拍的。每個節(jié)拍神經(jīng)元同時改變狀態(tài)。工作狀態(tài)改變規(guī)則：*從本質(zhì)上理解，還是Hopfield神經(jīng)網(wǎng)絡(luò)，性質(zhì)不會大變。*關(guān)心的問題，這個神經(jīng)網(wǎng)絡(luò)是否穩(wěn)定，從一個狀態(tài)開始是否可以收斂到平衡態(tài)上去。干什么用。2學(xué)習(xí)算法給定學(xué)習(xí)樣本：(X1,Y1)，(X2,Y2)，(XN,YN)，構(gòu)造神經(jīng)網(wǎng)絡(luò)使每個樣本均為神經(jīng)網(wǎng)絡(luò)的平衡態(tài)。分析：樣本給定，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)就已經(jīng)定了。每層神經(jīng)元個數(shù)定了?，F(xiàn)在只要計算神經(jīng)網(wǎng)絡(luò)的連接權(quán)值就行了。Hebb規(guī)則學(xué)習(xí)：顯然：，仍然滿足作用力與反作用力相等。寫成矩陣形式：，顯然：W1=(W2)T定理3.3：若BAM學(xué)習(xí)訓(xùn)練樣本滿足，X向量與Y向量各自相互正交，則所有訓(xùn)練樣本均為BAM的平衡態(tài)。證明：設(shè)(Xl, Yl)是一個訓(xùn)練樣本，t時刻的狀態(tài)為：(Xl, Yl)，yj(t+1)=f()=f()=f()=f(n1ylj)=ylj。同理可證：xi(t+1)=xli。舉個例子：三個樣本：(X1,Y1)，(X2,Y2)，(X3,Y3)X1=(1,-1,-1,1)T, X2=(-1,1,1,-1)T, X3=(1,-1,1,-1)T。Y1=(-1,1,1)T, Y2=(-1,-1,-1)T, Y3=(1,-1,1)T。根據(jù)hebb規(guī)則計算得：W1=(W2)T=3.3.3HAM與BAM網(wǎng)絡(luò)模式分類器一個聯(lián)想存儲器神經(jīng)網(wǎng)絡(luò)，一個前饋神經(jīng)網(wǎng)絡(luò)，兩者合并起來，就是一個組合的分類器，有時需要輸入與輸出不同。3.4Hamming神經(jīng)網(wǎng)絡(luò)分類學(xué)習(xí)算法3.4.3分類原理發(fā)生變化的概率為：規(guī)則分類誤差最小就是最佳，但是沒法說哪種辦法是最好的。問題：給定向量：X1,X2,XN，Xi1,-1n，選擇Xp通過信道，接受到X，接受到X時并不知道傳送的到底是哪一個向量，怎么判斷呢？按照如下規(guī)則：若，則認為Xi就是信道輸入端輸入的向量。從某種意義上說是最好的。計算概率：假設(shè)e=r，條件概率，PX|Xj=，n表示每個向量的維數(shù)。分析：可以認為e0.5，所以1，所以dH(X,Xj)越小，PX|Xj越大，所以只需要通過海明距離衡量可能性。判斷準則：哪一個向量與