神經(jīng)網(wǎng)絡講義-5ppt課件

1、人工神經(jīng)網(wǎng)絡及其運用第6講 自組織網(wǎng)絡何建華電信系，華中科技大學2019年3月7日在實踐的神經(jīng)網(wǎng)絡中，比如人的視網(wǎng)膜中，存在著一種“側抑制景象，即一個神經(jīng)細胞興奮后，經(jīng)過它的分支會對周圍其他神經(jīng)細胞產(chǎn)生抑制。 自組織競爭人工神經(jīng)網(wǎng)絡正是基于上述生物構造和景象構成的。它可以對輸入方式進展自組織訓練和判別，并將其最終分為不同的類型。 與BP網(wǎng)絡相比，這種自組織自順應的學習才干進一步拓寬了人工神經(jīng)網(wǎng)絡在方式識別、分類方面的運用，另一方面，競爭學習網(wǎng)絡的中心競爭層，又是許多種其他神經(jīng)網(wǎng)絡模型的重要組成部分。81幾種聯(lián)想學習規(guī)那么 格勞斯貝格(SGrossberg)提出了兩種類型的神經(jīng)元模型：內(nèi)星與外星

2、，用以來解釋人類及動物的學習景象。內(nèi)星可以被訓練來識別矢量；外星可以被訓練來產(chǎn)生矢量。 圖8.1 格勞斯貝格內(nèi)星模型圖 內(nèi)星是經(jīng)過聯(lián)接權矢量W接受一組輸入信號P 圖82 格勞斯貝格外星模型圖 外星那么是經(jīng)過聯(lián)接權矢量向外輸出一組信號A。 它們之所以被稱為內(nèi)星和外星，主要是由于其網(wǎng)絡的構造像星形，且內(nèi)星的信號流向星的內(nèi)部；而外星的信號流向星的外部。 811內(nèi)星學習規(guī)那么實現(xiàn)內(nèi)星輸入輸出轉換的激活函數(shù)是硬限制函數(shù)。可以經(jīng)過內(nèi)星及其學習規(guī)那么來訓練某一神經(jīng)元節(jié)點只呼應特定的輸入矢量P，它是借助于調理網(wǎng)絡權矢量W近似于輸入矢量P來實現(xiàn)的。單內(nèi)星中對權值修正的格勞斯貝格內(nèi)星學習規(guī)那么為： (81) 由(

3、81)式可見，內(nèi)星神經(jīng)元聯(lián)接強度的變化w1j是與輸出成正比的。假設內(nèi)星輸出a被某一外部方式而維護高值時，那么經(jīng)過不斷反復地學習，權值將可以逐漸趨近于輸入矢量pj的值，并趨使w1j逐漸減少，直至最終到達w1jpj，從而使內(nèi)星權矢量學習了輸入矢量P，到達了用內(nèi)星來識別一個矢量的目的。另一方面，假設內(nèi)星輸出堅持為低值時，網(wǎng)絡權矢量被學習的能夠性較小，甚至不能被學習。 如今來思索當不同的輸入矢量p1和p2分別出如今同一內(nèi)星時的情況。首先，為了訓練的需求，必需將每一輸入矢量都進展單位歸一化處置。當?shù)谝粋€矢量p1輸入給內(nèi)星后，網(wǎng)絡經(jīng)過訓練，最終到達W(p1)T。以后，給內(nèi)星輸入另一個輸入矢量p2，此時內(nèi)星

4、的加權輸入和為新矢量p2與已學習過矢量p1的點積，即： 由于輸入矢量的模已被單位化為1，所以內(nèi)星的加權輸入和等于輸入矢量p1和p2之間夾角的余弦。 根據(jù)不同的情況，內(nèi)星的加權輸入和可分為如下幾種情況：1) p2等于p1，即有120，此時，內(nèi)星加權輸入和為1；2) p2不等于p1，內(nèi)星加權輸入和為0；3)當p2-p1，即12180時，內(nèi)星加權輸入和到達最小值-1。 由此可見，對于一個已訓練過的內(nèi)星網(wǎng)絡，當輸入端再次出現(xiàn)該學習過的輸入矢量時，內(nèi)星產(chǎn)生1的加權輸入和；而與學習過的矢量不一樣的輸入出現(xiàn)時，所產(chǎn)生的加權輸入和總是小于1。 當多個類似輸入矢量輸入內(nèi)星，最終的訓練結果是使網(wǎng)絡的權矢量趨向于類

5、似輸入矢量的平均值。 內(nèi)星網(wǎng)絡中的類似度是由偏向b來控制，由設計者在訓練前選定，典型的類似度值為b-0.95，這意味著輸入矢量與權矢量之間的夾角小于1848。假設選b-0.9時，那么其夾角擴展為2548。一層具有s個神經(jīng)元的內(nèi)星，可以用類似的方式進展訓練，權值修正公式為： MATLAB神經(jīng)網(wǎng)絡工具箱中內(nèi)星學習規(guī)那么的執(zhí)行是用函數(shù)learnis.m來完成上述權矢量的修正過程：dW1earnis(W，P，A，lr)； W=W十dW； 例8.1 設計內(nèi)星網(wǎng)絡進展以下矢量的分類辨識：我們首先對網(wǎng)絡進展初始化處置： R，Qsize(P)；S，Qsize(T)；Wzeros(S，R)；B-0.95* on

6、es(S，1)；max-epoch10；lr0.7；so81.m812外星學習規(guī)那么外星網(wǎng)絡的激活函數(shù)是線性函數(shù)，它被用來學習回想一個矢量，其網(wǎng)絡輸入P也可以是另一個神經(jīng)元模型的輸出。外星被訓練來在一層s個線性神經(jīng)元的輸出端產(chǎn)生一個特別的矢量A。 對于一個外星，其學習規(guī)那么為： 與內(nèi)星不同，外星聯(lián)接強度的變化w是與輸入矢量P成正比的。這意味著當輸入矢量被堅持高值，比如接近1時，每個權值wij將趨于輸出ai值，假設pj1，那么外星使權值產(chǎn)生輸出矢量。 當輸入矢量pj為0時，網(wǎng)絡權值得不到任何學習與修正。 當有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星時，其權值修正方式為：其中：Ws

7、r權值列矢量；lr學習速率；Asq外星輸出；Prq外星輸入。MATLAB工具箱中實現(xiàn)外星學習與設計的函數(shù)為learnos.m，其調用過程如下：dWlearnos(W，A，P，lr)； WW十dW； 例82下面有兩元素的輸入矢量以及與它們相關的四元素目的矢量，試設計一個外星網(wǎng)絡實現(xiàn)有效的矢量的獲得，外星沒有偏向。 P1 0；T0.1826 0.6325； 0.36510.3162； 0.54770.3162； 0.73030.6325；813科荷倫學習規(guī)那么科荷倫學習規(guī)那么是由內(nèi)星規(guī)那么開展而來的。科荷倫規(guī)那么為：科荷倫學習規(guī)那么實踐上是內(nèi)星學習規(guī)那么的一個特例，但它比采用內(nèi)星規(guī)那么進展網(wǎng)絡設計

8、要節(jié)省更多的學習，因此經(jīng)常用來替代內(nèi)星學習規(guī)那么。 在MATLAB工具箱中，在調用科荷倫學習規(guī)那么函數(shù)learnk.m時，普統(tǒng)統(tǒng)過先尋覓輸出為1的行矢量i，然后僅對與i相連的權矩陣進展修正。運用方法如下： ifind(A=1)；dWlearnk(W，P，i，1r)；WW十dW；普通情況下科荷倫學習規(guī)那么比內(nèi)星學習規(guī)那么可以提高訓練速度1到2個數(shù)量級。 82自組織競爭網(wǎng)絡 821網(wǎng)絡構造競爭網(wǎng)絡由單層神經(jīng)元網(wǎng)絡組成，其輸入節(jié)點與輸出節(jié)點之間為全互結合。由于網(wǎng)絡在學習中的競爭特性也表如今輸出層上，所以在競爭網(wǎng)絡中把輸出層又稱為競爭層，而與輸入節(jié)點相連的權值及其輸入合稱為輸入層。 從網(wǎng)絡的構造圖中可

9、以看出，自組織競爭網(wǎng)絡的權值有兩類：一類是輸入節(jié)點j到i的權值wij(i1，2、s；j1，2、r)，這些權值是經(jīng)過訓練可以被調整的；另一類是競爭層中相互抑制的權值wik(k1，2、s)。這類權值是固定不變的，且它滿足一定的分布關系。 它們是一種對稱權值，即有wikwki，同時一樣神經(jīng)元之間的權值起加強的作用，即滿足w11w11wkk0，而不同神經(jīng)元之間的權值相互抑制，對于ki有wij0。 設網(wǎng)絡的輸入矢量為：Pp1 p2 prT；對應網(wǎng)絡的輸出矢量為：Aa1 a2 asT。由于競爭網(wǎng)絡中含有兩種權值，所以其激活函數(shù)的加權輸入和也分為兩部分：來自輸入節(jié)點的加權輸入和N與來自競爭層內(nèi)相互抑制的加權

10、輸入和G。對于第i個神經(jīng)元有：1)來自輸入節(jié)點的加權輸入和為： 2)來自競爭層內(nèi)相互抑制的加權輸入和為： a)假設在競爭后，第i個節(jié)點“贏了，那么有：而其他一切節(jié)點的輸出均為零，即： 此時 b)假設在競爭后，第i個節(jié)點“輸了，而“贏的節(jié)點為l，那么有： 此時所以對整個網(wǎng)絡的加權輸入總和有下式成立：sl=nl+wll 對于“贏的節(jié)點lsi=ni-|wii| 對于一切輸“的節(jié)點i1，2s，il由此可以看出，經(jīng)過競爭后只需獲勝的那個節(jié)點的加權輸入總和為最大。競爭網(wǎng)絡的輸出為： 在判別競爭網(wǎng)絡節(jié)點勝負的結果時，可直接采用ni，即：取偏向B為零是斷定競爭網(wǎng)絡獲勝節(jié)點時的典型情況，偶而也采用下式進展競爭結

11、果的斷定：經(jīng)過上面分析，可以將競爭網(wǎng)絡的任務原理總結如下：競爭網(wǎng)絡的激活函數(shù)使加權輸入和為最大的節(jié)點博得輸出為1，而其他神經(jīng)元的輸出皆為0。這個競爭過程可用MATLAB描畫如下： nW*P；S，Qsize(n)；xn+b*ones(1，Q)；ymax(x)；for q1：Q找出最大加權輸入和y(q)所在的行； sfind(x(:, q)y(q)；令元素a(z，q)1，其他值為零； a(z(1)，q)1； end這個競爭過程的程序已被包含在競爭激活函數(shù)compet.m之中， Acompet(W*P，B)； 822競爭學習規(guī)那么 競爭網(wǎng)絡在經(jīng)過競爭而求得獲勝節(jié)點后，那么對與獲勝節(jié)點相連的權值進展調

12、整，調整權值的目的是為了使權值與其輸入矢量之間的差別越來越小，從而使訓練后的競爭網(wǎng)絡的權值可以代表對應輸入矢量的特征，把類似的輸入矢量分成了同一類，并由輸出來指示所代表的類別。 競爭網(wǎng)絡修正權值的公式為： 式中l(wèi)r為學習速率，且0lr1，普通的取值范圍為0.01-0.3； pj為經(jīng)過歸一化處置后的輸入。 用MATLAB工具箱來實現(xiàn)上述公式的過程可以用內(nèi)星學習規(guī)那么：Acompet(W*P)；dWlearnis(P，A，lr，W)；WW十dW；更省時地是采用科荷倫學習規(guī)那么如下：Acompet(W*P)；ifind(A=1)；dWlearnis(P，i，lr，W)；WW十dW； 不論采用哪種學習

13、方法，層中每個最接近輸入矢量的神經(jīng)元，經(jīng)過每次權值調整而使權值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡經(jīng)過學習而識別了在網(wǎng)絡輸入端所出現(xiàn)的矢量，并將其分為某一類。 823競爭網(wǎng)絡的訓練過程競爭網(wǎng)絡的學習和訓練過程，實踐上是對輸入矢量的劃分聚類過程，使得獲勝節(jié)點與輸入矢量之間的權矢量代表獲勝輸入矢量。 這樣，當?shù)竭_最大循環(huán)的值后，網(wǎng)絡已反復多次訓練了P中的一切矢量，訓練終了后，對于用于訓練的方式P，其網(wǎng)絡輸出矢量中，其值為1的代表一種類型，而每類的典型方式值由該輸出節(jié)點與輸入節(jié)點相連的權矢量表示。 競爭網(wǎng)絡的輸入層節(jié)點r是由知輸入矢量決議的，但競爭層的神經(jīng)元數(shù)s是由設計者確定的，普通情況下，可以根

14、據(jù)輸入矢量的維數(shù)及其估計，再適當?shù)靥砑有?shù)目來確定。 另外還要事先確定的參數(shù)有：學習速率和最大循環(huán)次數(shù)。競爭網(wǎng)絡的訓練是在到達最大循環(huán)次數(shù)后停頓，這個數(shù)普通可取輸入矢量數(shù)組的1520倍，即使每組輸入矢量可以在網(wǎng)絡反復出現(xiàn)1520次。競爭網(wǎng)絡的權值要進展隨機歸一化的初始化處置，這個過程在MATLAB中用函數(shù)randnr.m實現(xiàn)：wrandnr(S，R)；然后網(wǎng)絡那么可以進入競爭以及權值的調整階段。 網(wǎng)絡的訓練全過程完全由計算機去做，工具箱中的競爭網(wǎng)絡訓練函數(shù)為trainc.m，它的用法如下： 競爭網(wǎng)絡比較適宜用于具有大批類似數(shù)組的分類問題。競爭學習網(wǎng)絡的局限性： 競爭網(wǎng)絡適用于當具有典型聚類特性

15、的大量數(shù)據(jù)的辨識，但當遇到大量的具有概率分布的輸入矢量時，競爭網(wǎng)絡就無能為力了，這時可以采用科荷倫網(wǎng)絡來處理。 83科荷倫自組織映射網(wǎng)絡 神經(jīng)細胞模型中還存在著一種細胞聚類的功能柱。它是由多個細胞聚合而成的，在接受外界刺激后，它們會自動構成。一個功能柱中的細胞完成同一種功能。 當外界輸入不同的樣本到科荷倫自組織映射網(wǎng)絡中，一開場時輸入樣本引起輸出興奮的位置各不一樣，但經(jīng)過網(wǎng)絡自組織后會構成一些輸出群，它們分別代表了輸入樣本的分布，反映了輸入樣本的圖形分布特征，所以科荷倫網(wǎng)絡經(jīng)常被稱為特性圖。 科荷倫網(wǎng)絡使輸入樣本經(jīng)過競爭學習后，功能一樣的輸入靠得比較近，不同的分得比較開，以此將一些無規(guī)那么的輸

16、入自動排開，在聯(lián)接權的調整過程中，使權的分布與輸入樣本的概率密度分布類似。所以科荷倫網(wǎng)絡可以作為一種樣本特征檢測器，在樣本排序、樣本分類以及樣本檢測方面有廣泛地運用。 普通可以這樣說，科荷倫網(wǎng)絡的權矢量收斂到所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計特性。當隨機樣本輸入到科荷倫網(wǎng)絡時，假設樣本足夠多，那么在權值分布上可近似于輸入隨機樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出空間的某一個區(qū)域或各個不同的區(qū)域。831科荷倫網(wǎng)絡拓撲構造科荷倫網(wǎng)絡構造也是兩層：輸入層和競爭層。與根本競爭網(wǎng)絡不同之處是其競爭層可以由一維或二維網(wǎng)絡矩陣方式組成，且權值修正的戰(zhàn)略也不

17、同。1)一維網(wǎng)絡構造與根本競爭學習網(wǎng)絡一樣；2)二維網(wǎng)絡構造：圖8.6 二維科荷倫網(wǎng)絡構造圖 圖8.7 二維神經(jīng)元層表示圖 科荷倫網(wǎng)絡的激活函數(shù)為二值型函數(shù)。普通情況下b值固定，其學習方法與普通的競爭學習算法一樣。在競爭層，每個神經(jīng)元都有本人的鄰域。一個直徑為1的鄰域包括主神經(jīng)元及它的直接周圍神經(jīng)元所組成的區(qū)域；直徑為2的鄰域包括直徑1的神經(jīng)元以及它們的鄰域。 圖88二維網(wǎng)絡鄰域外形 在MATLAB工具箱中有一個求獲勝神經(jīng)元的鄰域的函數(shù)：在二維競爭層中，鄰域函數(shù)為neighb2d.m。函數(shù)neighb2d.m的用法如下：Np=x y；inneighb2d(i, Np, N)； 對于一維競爭層，

18、其中的鄰層函數(shù)為叫neighb1d.m，確定競爭層大小的參數(shù)就是神經(jīng)元數(shù)S，即Np=S；inneighb1d(i，Np，N)； 832網(wǎng)絡的訓練過程 訓練設計步驟(適用于輸入矢量P具有某種概率分布的數(shù)組)： (1)初始化1) 由輸入矢量確定網(wǎng)絡構造：R, Qsize(P)；2) 設置網(wǎng)絡競爭層神經(jīng)元節(jié)點：一維S或二維的寬X和高Y，SX*Y；3) 將輸入方式P作歸一化處置：Pnormc(P);4) 歸一隨機化處置初始權值：Wrands(S, R)*0.1；并設置：5) 最大循環(huán)次數(shù)(此數(shù)根據(jù)輸入數(shù)據(jù)的數(shù)目而乘一個倍數(shù)所得)：max_cycle6) 根本學習速率lr：普通取0.010.3，視詳細情

19、況而定；7)最大鄰層數(shù)max_neighb: 一維max_neighbS-1；二維max_neighbmax(X Y)-1； (2)循環(huán)訓練for cycle=1:max_cycle1)學習速率是線性下降的：xcycle/max_cycle;LR(1x)*lr；這使得學習速率隨著循環(huán)次數(shù)的添加，從lr*(max_cycle-1)/max_cycle逐漸降至0；2)鄰層數(shù)也是遞減的：n=max(ceil(max_neighb*(1-x*4) 1)；3)計算輸入矢量加權和，并經(jīng)過競爭求出獲勝節(jié)點Acompet(W*P)；4)根據(jù)獲勝節(jié)點求出相鄰層(以二維為例)，并進展權值修正：i=find(A1)

20、；in=neighb2d(i, X, Y, n);dWlearn(W, P, in, LR)WW+dw；(3)輸出或顯示結果。MATLAB工具箱中用于訓練設計科荷倫網(wǎng)絡權矢量的函數(shù)為trainfm.m，它能執(zhí)行上述的訓練步驟的全過程。最大鄰域數(shù)應設置為層的最大直徑數(shù)減去l。例如，對一維特性圖max_neighb應為S-1；對二維特性圖，其層神經(jīng)元寬為X高為Y時，max_neighb該當?shù)扔趦烧咧械妮^大值減去1。函數(shù)trainfm.m的訓練開場于學習速度lr和最大鄰域max_neighb，然后，其學習速率線性地遞減，以致于最后的訓練周期里的學習速率為0。鄰域數(shù)也是線性地減少，但在到達四分之一訓練

21、周期后，其值堅持為最大值1直到最終訓練終了。 給定一個特性圖的權矩陣W，它的鄰域函數(shù)F(作為一個字符串)，以及競爭層大小Np，可以用函數(shù)plotmap.m畫出特性圖。8. 4對傳網(wǎng)絡 對傳網(wǎng)絡(Counter Propagation Network，簡稱CPN)是美國學者Hechi-Nielson在1987年初次提出的。從構造上看，CPN是一種層次構造的網(wǎng)絡，實踐上，CPN是把兩種著名的網(wǎng)絡算法：科荷倫自組織映射實際與格勞斯貝格外星算法組合起來而構成的網(wǎng)絡。 841網(wǎng)絡構造CPN網(wǎng)絡為兩層構造：第一層為科荷倫層，采用無指點的訓練方法對輸入數(shù)據(jù)進展自組織競爭的分類或緊縮，第二層稱為格勞斯貝格層。第一層的激活函數(shù)為二值型硬函數(shù)