hejianhua神經(jīng)網(wǎng)絡講義part自組織網(wǎng)絡學習教案

1、會計學1hejianhua神經(jīng)網(wǎng)絡講義神經(jīng)網(wǎng)絡講義part自組織網(wǎng)絡自組織網(wǎng)絡第1頁/共41頁第2頁/共41頁圖8.1 格勞斯貝格內星模型圖 內星是通過聯(lián)接權矢量W接受一組輸入信號P 第3頁/共41頁圖82 格勞斯貝格外星模型圖 外星則是通過聯(lián)接權矢量向外輸出一組信號A。 它們之所以被稱為內星和外星，主要是因為其網(wǎng)絡的結構像星形，且內星的信號流向星的內部；而外星的信號流向星的外部。 第4頁/共41頁單內星中對權值修正的格勞斯貝格內星學習規(guī)則為： (81) 由(81)式可見，內星神經(jīng)元聯(lián)接強度的變化w1j是與輸出成正比的。如果內星輸出a被某一外部方式而維護高值時，那么通過不斷反復地學習，權值將能

2、夠逐漸趨近于輸入矢量pj的值，并趨使w1j逐漸減少，直至最終達到w1jpj，從而使內星權矢量學習了輸入矢量P，達到了用內星來識別一個矢量的目的。另一方面，如果內星輸出保持為低值時，網(wǎng)絡權矢量被學習的可能性較小，甚至不能被學習。 第5頁/共41頁因為輸入矢量的模已被單位化為1，所以內星的加權輸入和等于輸入矢量p1和p2之間夾角的余弦。 第6頁/共41頁第7頁/共41頁一層具有s個神經(jīng)元的內星，可以用相似的方式進行訓練，權值修正公式為： MATLAB神經(jīng)網(wǎng)絡工具箱中內星學習規(guī)則的執(zhí)行是用函數(shù)learnis.m來完成上述權矢量的修正過程：dW1earnis(W，P，A，lr)； W=W十dW； 第8

3、頁/共41頁我們首先對網(wǎng)絡進行初始化處理： R，Qsize(P)；S，Qsize(T)；Wzeros(S，R)；B-0.95* ones(S，1)；max-epoch10；lr0.7；第9頁/共41頁與內星不同，外星聯(lián)接強度的變化w是與輸入矢量P成正比的。這意味著當輸入矢量被保持高值，比如接近1時，每個權值wij將趨于輸出ai值，若pj1，則外星使權值產(chǎn)生輸出矢量。 當輸入矢量pj為0時，網(wǎng)絡權值得不到任何學習與修正。 第10頁/共41頁其中：Wsr權值列矢量；lr學習速率；Asq外星輸出；Prq外星輸入。MATLAB工具箱中實現(xiàn)外星學習與設計的函數(shù)為learnos.m，其調用過程如下：dWl

4、earnos(W，A，P，lr)； WW十dW； 第11頁/共41頁第12頁/共41頁科荷倫學習規(guī)則實際上是內星學習規(guī)則的一個特例，但它比采用內星規(guī)則進行網(wǎng)絡設計要節(jié)省更多的學習，因而常常用來替代內星學習規(guī)則。 第13頁/共41頁在MATLAB工具箱中，在調用科荷倫學習規(guī)則函數(shù)learnk.m時，一般通過先尋找輸出為1的行矢量i，然后僅對與i相連的權矩陣進行修正。使用方法如下： ifind(A=1)；dWlearnk(W，P，i，1r)；WW十dW；一般情況下科荷倫學習規(guī)則比內星學習規(guī)則能夠提高訓練速度1到2個數(shù)量級。 第14頁/共41頁第15頁/共41頁第16頁/共41頁2)來自競爭層內互相

5、抑制的加權輸入和為： 第17頁/共41頁而其他所有節(jié)點的輸出均為零，即： 此時 b)如果在競爭后，第i個節(jié)點“輸”了，而“贏”的節(jié)點為l，則有： 此時第18頁/共41頁在判斷競爭網(wǎng)絡節(jié)點勝負的結果時，可直接采用ni，即：第19頁/共41頁通過上面分析，可以將競爭網(wǎng)絡的工作原理總結如下：競爭網(wǎng)絡的激活函數(shù)使加權輸入和為最大的節(jié)點贏得輸出為1，而其他神經(jīng)元的輸出皆為0。這個競爭過程可用MATLAB描述如下： 第20頁/共41頁nW*P；S，Qsize(n)；xn+b*ones(1，Q)；ymax(x)；for q1：Q找出最大加權輸入和y(q)所在的行； sfind(x(:, q)y(q)；令元素

6、a(z，q)1，其他值為零； a(z(1)，q)1； end這個競爭過程的程序已被包含在競爭激活函數(shù)compet.m之中， Acompet(W*P，B)； 第21頁/共41頁822競爭學習規(guī)則 競爭網(wǎng)絡在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權值進行調整，調整權值的目的是為了使權值與其輸入矢量之間的差別越來越小，從而使訓練后的競爭網(wǎng)絡的權值能夠代表對應輸入矢量的特征，把相似的輸入矢量分成了同一類，并由輸出來指示所代表的類別。 競爭網(wǎng)絡修正權值的公式為： 式中l(wèi)r為學習速率，且0lr1，一般的取值范圍為0.01-0.3； pj為經(jīng)過歸一化處理后的輸入。 第22頁/共41頁用MATLAB工

7、具箱來實現(xiàn)上述公式的過程可以用內星學習規(guī)則：Acompet(W*P)；dWlearnis(P，A，lr，W)；WW十dW；更省時地是采用科荷倫學習規(guī)則如下：Acompet(W*P)；ifind(A=1)；dWlearnis(P，i，lr，W)；WW十dW； 不論采用哪種學習方法，層中每個最接近輸入矢量的神經(jīng)元，通過每次權值調整而使權值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡通過學習而識別了在網(wǎng)絡輸入端所出現(xiàn)的矢量，并將其分為某一類。 第23頁/共41頁823競爭網(wǎng)絡的訓練過程競爭網(wǎng)絡的學習和訓練過程，實際上是對輸入矢量的劃分聚類過程，使得獲勝節(jié)點與輸入矢量之間的權矢量代表獲勝輸入矢量。 這樣，當

8、達到最大循環(huán)的值后，網(wǎng)絡已重復多次訓練了P中的所有矢量，訓練結束后，對于用于訓練的模式P，其網(wǎng)絡輸出矢量中，其值為1的代表一種類型，而每類的典型模式值由該輸出節(jié)點與輸入節(jié)點相連的權矢量表示。 競爭網(wǎng)絡的輸入層節(jié)點r是由已知輸入矢量決定的，但競爭層的神經(jīng)元數(shù)s是由設計者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計，再適當?shù)卦黾有?shù)目來確定。 第24頁/共41頁另外還要事先確定的參數(shù)有：學習速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡的訓練是在達到最大循環(huán)次數(shù)后停止，這個數(shù)一般可取輸入矢量數(shù)組的1520倍，即使每組輸入矢量能夠在網(wǎng)絡重復出現(xiàn)1520次。競爭網(wǎng)絡的權值要進行隨機歸一化的初始化處理，這個過程在M

9、ATLAB中用函數(shù)randnr.m實現(xiàn)：wrandnr(S，R)；然后網(wǎng)絡則可以進入競爭以及權值的調整階段。 網(wǎng)絡的訓練全過程完全由計算機去做，工具箱中的競爭網(wǎng)絡訓練函數(shù)為trainc.m，它的用法如下： 第25頁/共41頁競爭網(wǎng)絡比較適合用于具有大批相似數(shù)組的分類問題。競爭學習網(wǎng)絡的局限性： 競爭網(wǎng)絡適用于當具有典型聚類特性的大量數(shù)據(jù)的辨識，但當遇到大量的具有概率分布的輸入矢量時，競爭網(wǎng)絡就無能為力了，這時可以采用科荷倫網(wǎng)絡來解決。 第26頁/共41頁第27頁/共41頁第28頁/共41頁圖8.6 二維科荷倫網(wǎng)絡結構圖 第29頁/共41頁圖8.7 二維神經(jīng)元層示意圖 科荷倫網(wǎng)絡的激活函數(shù)為二值

10、型函數(shù)。一般情況下b值固定，其學習方法與普通的競爭學習算法相同。在競爭層，每個神經(jīng)元都有自己的鄰域。一個直徑為1的鄰域包括主神經(jīng)元及它的直接周圍神經(jīng)元所組成的區(qū)域；直徑為2的鄰域包括直徑1的神經(jīng)元以及它們的鄰域。 第30頁/共41頁圖88二維網(wǎng)絡鄰域形狀 在MATLAB工具箱中有一個求獲勝神經(jīng)元的鄰域的函數(shù)：在二維競爭層中，鄰域函數(shù)為neighb2d.m。函數(shù)的用法如下：Np=x y；inneighb2d(i, Np, N)； 第31頁/共41頁對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定競爭層大小的參數(shù)就是神經(jīng)元數(shù)S，即Np=S；inneighb1d(i，Np，N)； 832

11、網(wǎng)絡的訓練過程 訓練設計步驟(適用于輸入矢量P具有某種概率分布的數(shù)組)： (1)初始化1) 由輸入矢量確定網(wǎng)絡結構：R, Qsize(P)；2) 設置網(wǎng)絡競爭層神經(jīng)元節(jié)點：一維S或二維的寬X和高Y，SX*Y；3) 將輸入模式P作歸一化處理：Pnormc(P);4) 歸一隨機化處理初始權值：Wrands(S, R)*0.1；并設置：第32頁/共41頁5) 最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個倍數(shù)所得)：max_cycle6) 基本學習速率lr：一般取0.010.3，視具體情況而定；7)最大鄰層數(shù)max_neighb: 一維max_neighbS-1；二維max_neighbmax(X Y

12、)-1； (2)循環(huán)訓練for cycle=1:max_cycle1)學習速率是線性下降的：xcycle/max_cycle;LR(1x)*lr；這使得學習速率隨著循環(huán)次數(shù)的增加，從lr*(max_cycle-1)/max_cycle逐漸降至0；2)鄰層數(shù)也是遞減的：n=max(ceil(max_neighb*(1-x*4) 1)；第33頁/共41頁3)計算輸入矢量加權和，并通過競爭求出獲勝節(jié)點Acompet(W*P)；4)根據(jù)獲勝節(jié)點求出相鄰層(以二維為例)，并進行權值修正：i=find(A1)；in=neighb2d(i, X, Y, n);dWlearn(W, P, in, LR)WW+dw；(3)輸出或顯示結果。MATLAB工具箱中用于訓練設計科荷倫網(wǎng)絡權矢量的函數(shù)為trainfm.m，它能執(zhí)行上述的訓練步驟的全過程。第34頁/共41頁最大鄰域數(shù)應設置為層的最大直徑數(shù)減去l。例如，對一維特性圖max_neighb應為S-1；對二維特性圖，其層神經(jīng)元寬為X高為Y時，max_neighb應當?shù)扔趦烧咧械妮^大值減去1。函數(shù)trainfm.m的訓練開始于學習速度lr和最大鄰域max_neighb，然后，其學習速率線性地遞減，以致于最后的訓練周期里的學習速率為0。鄰域數(shù)也是線性地減少，但在達到四分之一訓練周期后，其值保持為最大值1直到最終訓練結束。 給定一個特