自組織競爭人工神經(jīng)網(wǎng)絡(luò)

1、第08講 自組織競爭人工神經(jīng)網(wǎng)絡(luò) 鄒江在實際的神經(jīng)網(wǎng)絡(luò)中，比如人的視網(wǎng)膜中，存在著一種“側(cè)抑制”現(xiàn)象，即一個神經(jīng)細(xì)胞興奮后，通過它的分支會對周圍其他神經(jīng)細(xì)胞產(chǎn)生抑制。 自組織競爭人工神經(jīng)網(wǎng)絡(luò)正是基于上述生物結(jié)構(gòu)和現(xiàn)象形成的。它能夠?qū)斎肽Ｊ竭M行自組織訓(xùn)練和判斷，并將其最終分為不同的類型。 與BP網(wǎng)絡(luò)相比，這種自組織自適應(yīng)的學(xué)習(xí)能力進一步拓寬了人工神經(jīng)網(wǎng)絡(luò)在模式識別、分類方面的應(yīng)用，另一方面，競爭學(xué)習(xí)網(wǎng)絡(luò)的核心競爭層，又是許多種其他神經(jīng)網(wǎng)絡(luò)模型的重要組成部分。81幾種聯(lián)想學(xué)習(xí)規(guī)則 格勞斯貝格(SGrossberg)提出了兩種類型的神經(jīng)元模型：內(nèi)星與外星，用以來解釋人類及動物的學(xué)習(xí)現(xiàn)象。內(nèi)星可以被

2、訓(xùn)練來識別矢量；外星可以被訓(xùn)練來產(chǎn)生矢量。 圖8.1 格勞斯貝格內(nèi)星模型圖 內(nèi)星是通過聯(lián)接權(quán)矢量W接受一組輸入信號P 圖82 格勞斯貝格外星模型圖 外星則是通過聯(lián)接權(quán)矢量向外輸出一組信號A。 它們之所以被稱為內(nèi)星和外星，主要是因為其網(wǎng)絡(luò)的結(jié)構(gòu)像星形，且內(nèi)星的信號流向星的內(nèi)部；而外星的信號流向星的外部。 811內(nèi)星學(xué)習(xí)規(guī)則實現(xiàn)內(nèi)星輸入輸出轉(zhuǎn)換的激活函數(shù)是硬限制函數(shù)。可以通過內(nèi)星及其學(xué)習(xí)規(guī)則來訓(xùn)練某一神經(jīng)元節(jié)點只響應(yīng)特定的輸入矢量P，它是借助于調(diào)節(jié)網(wǎng)絡(luò)權(quán)矢量W近似于輸入矢量P來實現(xiàn)的。單內(nèi)星中對權(quán)值修正的格勞斯貝格內(nèi)星學(xué)習(xí)規(guī)則為： (81) 由(81)式可見，內(nèi)星神經(jīng)元聯(lián)接強度的變化w1j是與輸出

3、成正比的。如果內(nèi)星輸出a被某一外部方式而維護高值時，那么通過不斷反復(fù)地學(xué)習(xí)，權(quán)值將能夠逐漸趨近于輸入矢量pj的值，并趨使w1j逐漸減少，直至最終達到w1jpj，從而使內(nèi)星權(quán)矢量學(xué)習(xí)了輸入矢量P，達到了用內(nèi)星來識別一個矢量的目的。另一方面，如果內(nèi)星輸出保持為低值時，網(wǎng)絡(luò)權(quán)矢量被學(xué)習(xí)的可能性較小，甚至不能被學(xué)習(xí)。 現(xiàn)在來考慮當(dāng)不同的輸入矢量p1和p2分別出現(xiàn)在同一內(nèi)星時的情況。首先，為了訓(xùn)練的需要，必須將每一輸入矢量都進行單位歸一化處理。當(dāng)?shù)谝粋€矢量p1輸入給內(nèi)星后，網(wǎng)絡(luò)經(jīng)過訓(xùn)練，最終達到W(p1)T。此后，給內(nèi)星輸入另一個輸入矢量p2，此時內(nèi)星的加權(quán)輸入和為新矢量p2與已學(xué)習(xí)過矢量p1的點積，即

4、： 因為輸入矢量的模已被單位化為1，所以內(nèi)星的加權(quán)輸入和等于輸入矢量p1和p2之間夾角的余弦。 根據(jù)不同的情況，內(nèi)星的加權(quán)輸入和可分為如下幾種情況：1) p2等于p1，即有120，此時，內(nèi)星加權(quán)輸入和為1；2) p2不等于p1，內(nèi)星加權(quán)輸入和為0；3)當(dāng)p2-p1，即12180時，內(nèi)星加權(quán)輸入和達到最小值-1。 由此可見，對于一個已訓(xùn)練過的內(nèi)星網(wǎng)絡(luò)，當(dāng)輸入端再次出現(xiàn)該學(xué)習(xí)過的輸入矢量時，內(nèi)星產(chǎn)生1的加權(quán)輸入和；而與學(xué)習(xí)過的矢量不相同的輸入出現(xiàn)時，所產(chǎn)生的加權(quán)輸入和總是小于1。 當(dāng)多個相似輸入矢量輸入內(nèi)星，最終的訓(xùn)練結(jié)果是使網(wǎng)絡(luò)的權(quán)矢量趨向于相似輸入矢量的平均值。 內(nèi)星網(wǎng)絡(luò)中的相似度是由偏差b來

5、控制，由設(shè)計者在訓(xùn)練前選定，典型的相似度值為b-0.95，這意味著輸入矢量與權(quán)矢量之間的夾角小于1848。若選b-0.9時，則其夾角擴大為2548。一層具有s個神經(jīng)元的內(nèi)星，可以用相似的方式進行訓(xùn)練，權(quán)值修正公式為： MATLAB神經(jīng)網(wǎng)絡(luò)工具箱中內(nèi)星學(xué)習(xí)規(guī)則的執(zhí)行是用函數(shù)learnis.m來完成上述權(quán)矢量的修正過程：dW1earnis(W，P，A，lr)； W=W十dW； 例8.1 設(shè)計內(nèi)星網(wǎng)絡(luò)進行以下矢量的分類辨識：我們首先對網(wǎng)絡(luò)進行初始化處理： R，Qsize(P)；S，Qsize(T)；Wzeros(S，R)；B-0.95* ones(S，1)；max-epoch10；lr0.7；so8

6、1.m812外星學(xué)習(xí)規(guī)則外星網(wǎng)絡(luò)的激活函數(shù)是線性函數(shù)，它被用來學(xué)習(xí)回憶一個矢量，其網(wǎng)絡(luò)輸入P也可以是另一個神經(jīng)元模型的輸出。外星被訓(xùn)練來在一層s個線性神經(jīng)元的輸出端產(chǎn)生一個特別的矢量A。 對于一個外星，其學(xué)習(xí)規(guī)則為： 與內(nèi)星不同，外星聯(lián)接強度的變化w是與輸入矢量P成正比的。這意味著當(dāng)輸入矢量被保持高值，比如接近1時，每個權(quán)值wij將趨于輸出ai值，若pj1，則外星使權(quán)值產(chǎn)生輸出矢量。 當(dāng)輸入矢量pj為0時，網(wǎng)絡(luò)權(quán)值得不到任何學(xué)習(xí)與修正。 當(dāng)有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星時，其權(quán)值修正方式為：其中：Wsr權(quán)值列矢量；lr學(xué)習(xí)速率；Asq外星輸出；Prq外星輸入。MAT

7、LAB工具箱中實現(xiàn)外星學(xué)習(xí)與設(shè)計的函數(shù)為learnos.m，其調(diào)用過程如下：dWlearnos(W，A，P，lr)； WW十dW； 例82下面有兩元素的輸入矢量以及與它們相關(guān)的四元素目標(biāo)矢量，試設(shè)計一個外星網(wǎng)絡(luò)實現(xiàn)有效的矢量的獲得，外星沒有偏差。 P1 0；T0.1826 0.6325； 0.36510.3162； 0.54770.3162； 0.73030.6325；813科荷倫學(xué)習(xí)規(guī)則科荷倫學(xué)習(xí)規(guī)則是由內(nèi)星規(guī)則發(fā)展而來的。科荷倫規(guī)則為：科荷倫學(xué)習(xí)規(guī)則實際上是內(nèi)星學(xué)習(xí)規(guī)則的一個特例，但它比采用內(nèi)星規(guī)則進行網(wǎng)絡(luò)設(shè)計要節(jié)省更多的學(xué)習(xí)，因而常常用來替代內(nèi)星學(xué)習(xí)規(guī)則。 在MATLAB工具箱中，在調(diào)用

8、科荷倫學(xué)習(xí)規(guī)則函數(shù)learnk.m時，一般通過先尋找輸出為1的行矢量i，然后僅對與i相連的權(quán)矩陣進行修正。使用方法如下： ifind(A=1)；dWlearnk(W，P，i，1r)；WW十dW；一般情況下科荷倫學(xué)習(xí)規(guī)則比內(nèi)星學(xué)習(xí)規(guī)則能夠提高訓(xùn)練速度1到2個數(shù)量級。 82自組織競爭網(wǎng)絡(luò) 821網(wǎng)絡(luò)結(jié)構(gòu)競爭網(wǎng)絡(luò)由單層神經(jīng)元網(wǎng)絡(luò)組成，其輸入節(jié)點與輸出節(jié)點之間為全互聯(lián)結(jié)。因為網(wǎng)絡(luò)在學(xué)習(xí)中的競爭特性也表現(xiàn)在輸出層上，所以在競爭網(wǎng)絡(luò)中把輸出層又稱為競爭層，而與輸入節(jié)點相連的權(quán)值及其輸入合稱為輸入層。 從網(wǎng)絡(luò)的結(jié)構(gòu)圖中可以看出，自組織競爭網(wǎng)絡(luò)的權(quán)值有兩類：一類是輸入節(jié)點j到i的權(quán)值wij(i1，2、s；j1

9、，2、r)，這些權(quán)值是通過訓(xùn)練可以被調(diào)整的；另一類是競爭層中互相抑制的權(quán)值wik(k1，2、s)。這類權(quán)值是固定不變的，且它滿足一定的分布關(guān)系。 它們是一種對稱權(quán)值，即有wikwki，同時相同神經(jīng)元之間的權(quán)值起加強的作用，即滿足w11w11wkk0，而不同神經(jīng)元之間的權(quán)值相互抑制，對于ki有wij0。 設(shè)網(wǎng)絡(luò)的輸入矢量為：Pp1 p2 prT；對應(yīng)網(wǎng)絡(luò)的輸出矢量為：Aa1 a2 asT。由于競爭網(wǎng)絡(luò)中含有兩種權(quán)值，所以其激活函數(shù)的加權(quán)輸入和也分為兩部分：來自輸入節(jié)點的加權(quán)輸入和N與來自競爭層內(nèi)互相抑制的加權(quán)輸入和G。對于第i個神經(jīng)元有：1)來自輸入節(jié)點的加權(quán)輸入和為： 2)來自競爭層內(nèi)互相抑制

10、的加權(quán)輸入和為： a)如果在競爭后，第i個節(jié)點“贏”了，則有：而其他所有節(jié)點的輸出均為零，即： 此時 b)如果在競爭后，第i個節(jié)點“輸”了，而“贏”的節(jié)點為l，則有： 此時所以對整個網(wǎng)絡(luò)的加權(quán)輸入總和有下式成立：sl=nl+wll 對于“贏”的節(jié)點lsi=ni-|wii| 對于所有”輸“的節(jié)點i1，2s，il由此可以看出，經(jīng)過競爭后只有獲勝的那個節(jié)點的加權(quán)輸入總和為最大。競爭網(wǎng)絡(luò)的輸出為： 在判斷競爭網(wǎng)絡(luò)節(jié)點勝負(fù)的結(jié)果時，可直接采用ni，即：取偏差B為零是判定競爭網(wǎng)絡(luò)獲勝節(jié)點時的典型情況，偶而也采用下式進行競爭結(jié)果的判定：通過上面分析，可以將競爭網(wǎng)絡(luò)的工作原理總結(jié)如下：競爭網(wǎng)絡(luò)的激活函數(shù)使加權(quán)

11、輸入和為最大的節(jié)點贏得輸出為1，而其他神經(jīng)元的輸出皆為0。這個競爭過程可用MATLAB描述如下： nW*P；S，Qsize(n)；xn+b*ones(1，Q)；ymax(x)；for q1：Q找出最大加權(quán)輸入和y(q)所在的行； sfind(x(:, q)y(q)；令元素a(z，q)1，其他值為零； a(z(1)，q)1； end這個競爭過程的程序已被包含在競爭激活函數(shù)compet.m之中， Acompet(W*P，B)； 822競爭學(xué)習(xí)規(guī)則 競爭網(wǎng)絡(luò)在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權(quán)值進行調(diào)整，調(diào)整權(quán)值的目的是為了使權(quán)值與其輸入矢量之間的差別越來越小，從而使訓(xùn)練后的競爭網(wǎng)絡(luò)的

12、權(quán)值能夠代表對應(yīng)輸入矢量的特征，把相似的輸入矢量分成了同一類，并由輸出來指示所代表的類別。 競爭網(wǎng)絡(luò)修正權(quán)值的公式為： 式中l(wèi)r為學(xué)習(xí)速率，且0lr1，一般的取值范圍為0.01-0.3； pj為經(jīng)過歸一化處理后的輸入。 用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學(xué)習(xí)規(guī)則：Acompet(W*P)；dWlearnis(P，A，lr，W)；WW十dW；更省時地是采用科荷倫學(xué)習(xí)規(guī)則如下：Acompet(W*P)；ifind(A=1)；dWlearnis(P，i，lr，W)；WW十dW； 不論采用哪種學(xué)習(xí)方法，層中每個最接近輸入矢量的神經(jīng)元，通過每次權(quán)值調(diào)整而使權(quán)值矢量逐漸趨于這些輸入矢量。從

13、而競爭網(wǎng)絡(luò)通過學(xué)習(xí)而識別了在網(wǎng)絡(luò)輸入端所出現(xiàn)的矢量，并將其分為某一類。 823競爭網(wǎng)絡(luò)的訓(xùn)練過程競爭網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練過程，實際上是對輸入矢量的劃分聚類過程，使得獲勝節(jié)點與輸入矢量之間的權(quán)矢量代表獲勝輸入矢量。 這樣，當(dāng)達到最大循環(huán)的值后，網(wǎng)絡(luò)已重復(fù)多次訓(xùn)練了P中的所有矢量，訓(xùn)練結(jié)束后，對于用于訓(xùn)練的模式P，其網(wǎng)絡(luò)輸出矢量中，其值為1的代表一種類型，而每類的典型模式值由該輸出節(jié)點與輸入節(jié)點相連的權(quán)矢量表示。 競爭網(wǎng)絡(luò)的輸入層節(jié)點r是由已知輸入矢量決定的，但競爭層的神經(jīng)元數(shù)s是由設(shè)計者確定的，一般情況下，可以根據(jù)輸入矢量的維數(shù)及其估計，再適當(dāng)?shù)卦黾有?shù)目來確定。 另外還要事先確定的參數(shù)有：學(xué)習(xí)速率

14、和最大循環(huán)次數(shù)。競爭網(wǎng)絡(luò)的訓(xùn)練是在達到最大循環(huán)次數(shù)后停止，這個數(shù)一般可取輸入矢量數(shù)組的1520倍，即使每組輸入矢量能夠在網(wǎng)絡(luò)重復(fù)出現(xiàn)1520次。競爭網(wǎng)絡(luò)的權(quán)值要進行隨機歸一化的初始化處理，這個過程在MATLAB中用函數(shù)randnr.m實現(xiàn)：wrandnr(S，R)；然后網(wǎng)絡(luò)則可以進入競爭以及權(quán)值的調(diào)整階段。 網(wǎng)絡(luò)的訓(xùn)練全過程完全由計算機去做，工具箱中的競爭網(wǎng)絡(luò)訓(xùn)練函數(shù)為trainc.m，它的用法如下： 競爭網(wǎng)絡(luò)比較適合用于具有大批相似數(shù)組的分類問題。競爭學(xué)習(xí)網(wǎng)絡(luò)的局限性： 競爭網(wǎng)絡(luò)適用于當(dāng)具有典型聚類特性的大量數(shù)據(jù)的辨識，但當(dāng)遇到大量的具有概率分布的輸入矢量時，競爭網(wǎng)絡(luò)就無能為力了，這時可以采

15、用科荷倫網(wǎng)絡(luò)來解決。 83科荷倫自組織映射網(wǎng)絡(luò) 神經(jīng)細(xì)胞模型中還存在著一種細(xì)胞聚類的功能柱。它是由多個細(xì)胞聚合而成的，在接受外界刺激后，它們會自動形成。一個功能柱中的細(xì)胞完成同一種功能。 當(dāng)外界輸入不同的樣本到科荷倫自組織映射網(wǎng)絡(luò)中，一開始時輸入樣本引起輸出興奮的位置各不相同，但通過網(wǎng)絡(luò)自組織后會形成一些輸出群，它們分別代表了輸入樣本的分布，反映了輸入樣本的圖形分布特征，所以科荷倫網(wǎng)絡(luò)常常被稱為特性圖。 科荷倫網(wǎng)絡(luò)使輸入樣本通過競爭學(xué)習(xí)后，功能相同的輸入靠得比較近，不同的分得比較開，以此將一些無規(guī)則的輸入自動排開，在聯(lián)接權(quán)的調(diào)整過程中，使權(quán)的分布與輸入樣本的概率密度分布相似。所以科荷倫網(wǎng)絡(luò)可以

16、作為一種樣本特征檢測器，在樣本排序、樣本分類以及樣本檢測方面有廣泛地應(yīng)用。 一般可以這樣說，科荷倫網(wǎng)絡(luò)的權(quán)矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性。當(dāng)隨機樣本輸入到科荷倫網(wǎng)絡(luò)時，如果樣本足夠多，那么在權(quán)值分布上可近似于輸入隨機樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出空間的某一個區(qū)域或各個不同的區(qū)域。831科荷倫網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)科荷倫網(wǎng)絡(luò)結(jié)構(gòu)也是兩層：輸入層和競爭層。與基本競爭網(wǎng)絡(luò)不同之處是其競爭層可以由一維或二維網(wǎng)絡(luò)矩陣方式組成，且權(quán)值修正的策略也不同。1)一維網(wǎng)絡(luò)結(jié)構(gòu)與基本競爭學(xué)習(xí)網(wǎng)絡(luò)相同；2)二維網(wǎng)絡(luò)結(jié)構(gòu)：圖8.6 二維科荷倫網(wǎng)絡(luò)結(jié)構(gòu)圖

17、 圖8.7 二維神經(jīng)元層示意圖 科荷倫網(wǎng)絡(luò)的激活函數(shù)為二值型函數(shù)。一般情況下b值固定，其學(xué)習(xí)方法與普通的競爭學(xué)習(xí)算法相同。在競爭層，每個神經(jīng)元都有自己的鄰域。一個直徑為1的鄰域包括主神經(jīng)元及它的直接周圍神經(jīng)元所組成的區(qū)域；直徑為2的鄰域包括直徑1的神經(jīng)元以及它們的鄰域。 圖88二維網(wǎng)絡(luò)鄰域形狀 在MATLAB工具箱中有一個求獲勝神經(jīng)元的鄰域的函數(shù)：在二維競爭層中，鄰域函數(shù)為neighb2d.m。函數(shù)neighb2d.m的用法如下：Np=x y；inneighb2d(i, Np, N)； 對于一維競爭層，其中的鄰層函數(shù)為叫neighb1d.m，確定競爭層大小的參數(shù)就是神經(jīng)元數(shù)S，即Np=S；in

18、neighb1d(i，Np，N)； 832網(wǎng)絡(luò)的訓(xùn)練過程 訓(xùn)練設(shè)計步驟(適用于輸入矢量P具有某種概率分布的數(shù)組)： (1)初始化1) 由輸入矢量確定網(wǎng)絡(luò)結(jié)構(gòu)：R, Qsize(P)；2) 設(shè)置網(wǎng)絡(luò)競爭層神經(jīng)元節(jié)點：一維S或二維的寬X和高Y，SX*Y；3) 將輸入模式P作歸一化處理：Pnormc(P);4) 歸一隨機化處理初始權(quán)值：Wrands(S, R)*0.1；并設(shè)置：5) 最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個倍數(shù)所得)：max_cycle6) 基本學(xué)習(xí)速率lr：一般取0.010.3，視具體情況而定；7)最大鄰層數(shù)max_neighb: 一維max_neighbS-1；二維max_n

19、eighbmax(X Y)-1； (2)循環(huán)訓(xùn)練for cycle=1:max_cycle1)學(xué)習(xí)速率是線性下降的：xcycle/max_cycle;LR(1x)*lr；這 使 得 學(xué) 習(xí) 速 率 隨 著 循 環(huán) 次 數(shù) 的 增 加 ， 從lr*(max_cycle-1)/max_cycle逐漸降至0；2)鄰層數(shù)也是遞減的：n=max(ceil(max_neighb*(1-x*4) 1)；3)計算輸入矢量加權(quán)和，并通過競爭求出獲勝節(jié)點Acompet(W*P)；4)根據(jù)獲勝節(jié)點求出相鄰層(以二維為例)，并進行權(quán)值修正：i=find(A1)；in=neighb2d(i, X, Y, n);dWle

20、arn(W, P, in, LR)WW+dw；(3)輸出或顯示結(jié)果。MATLAB工具箱中用于訓(xùn)練設(shè)計科荷倫網(wǎng)絡(luò)權(quán)矢量的函數(shù)為trainfm.m，它能執(zhí)行上述的訓(xùn)練步驟的全過程。最大鄰域數(shù)應(yīng)設(shè)置為層的最大直徑數(shù)減去l。例如，對一維特性圖max_neighb應(yīng)為S-1；對二維特性圖，其層神經(jīng)元寬為X高為Y時，max_neighb應(yīng)當(dāng)?shù)扔趦烧咧械妮^大值減去1。函數(shù)trainfm.m的訓(xùn)練開始于學(xué)習(xí)速度lr和最大鄰域max_neighb，然后，其學(xué)習(xí)速率線性地遞減，以致于最后的訓(xùn)練周期里的學(xué)習(xí)速率為0。鄰域數(shù)也是線性地減少，但在達到四分之一訓(xùn)練周期后，其值保持為最大值1直到最終訓(xùn)練結(jié)束。 給定一個特性圖的權(quán)矩陣W，它的鄰域函數(shù)F(作為一個字符串)，以及競爭層大小Np，可以用函數(shù)plotmap.m畫出特性圖。8. 4對傳網(wǎng)絡(luò) 對傳網(wǎng)絡(luò)(Counter Propagation Network，簡稱CPN)是美國學(xué)者Hechi-Nielson在1987年首次提出的。從結(jié)構(gòu)上看，CPN是一種層次結(jié)構(gòu)的網(wǎng)絡(luò)，實際上，CPN是把兩種著名的網(wǎng)絡(luò)算法：科荷倫自組織映射理論與格勞斯貝格外星算法組合起來而形成的網(wǎng)絡(luò)。 841網(wǎng)絡(luò)結(jié)構(gòu)CPN網(wǎng)絡(luò)為兩層結(jié)構(gòu)：第一層為科荷倫層，采用無指導(dǎo)的訓(xùn)練方法對輸入數(shù)據(jù)進行自組織競爭的分類或壓縮，第二層稱為格勞斯貝格層。第一層的激活函數(shù)為二值