第六講 自組織競爭網(wǎng)絡

1、人工神經(jīng)網(wǎng)絡及其應用第6講自組織網(wǎng)絡張浩然浙江師范大學信息學院2005年3月2一、自組織神經(jīng)網(wǎng)絡二、自組織競爭網(wǎng)絡三、科荷倫網(wǎng)絡四、自適應共振網(wǎng)絡五、內容小結六、考試事宜內容安排31.1 自組織網(wǎng)絡特點1.2 網(wǎng)絡類型1.3 網(wǎng)絡學習規(guī)則一、自組織神經(jīng)網(wǎng)絡41.1 自組織網(wǎng)絡特點特點 自組織神經(jīng)網(wǎng)絡可以自動向環(huán)境學習，不需要教師指導；而前面所講到的前向網(wǎng)絡、反饋網(wǎng)絡均需要教師指導學習 與BP網(wǎng)絡相比，這種自組織自適應的學習能力進一步拓寬了人工神經(jīng)網(wǎng)絡在模式識別、分類方面的應用思想基礎 生物的神經(jīng)網(wǎng)絡中，如人的視網(wǎng)膜中，存在著一種“側抑制”現(xiàn)象，即一個神經(jīng)細胞興奮后，通過它的分支會對周圍其他神經(jīng)

2、細胞產生抑制 借鑒上述思想，自組織網(wǎng)絡能夠對輸入模式進行自組織訓練和判斷，并將輸入模式分為不同的類型51.2 網(wǎng)絡類型需要訓練 自組織競爭網(wǎng)絡 適用與具有典型聚類特性的大量數(shù)據(jù)的辨識 Kohunen網(wǎng)絡 訓練學習后使網(wǎng)絡權值分布與輸入樣本概率密度分布相似 可以作為樣本特征檢測儀，在樣本排序、樣本分類及樣本檢測方面有廣泛應用 對傳網(wǎng)絡（Counter Propagation Network） 在功能上用作統(tǒng)計最優(yōu)化和概率密度函數(shù)分析 可用于圖像處理和統(tǒng)計分析 神經(jīng)認知機等不需要訓練 自適應共振理論（ART） 分類的類型數(shù)目可自適應增加61.3 網(wǎng)絡學習規(guī)則格勞斯貝格(SGrossberg)提出了

3、兩種類型的神經(jīng)元模型：內星與外星，用以來解釋人類及動物的學習現(xiàn)象 內星可以被訓練來識別矢量 外星可以被訓練來產生矢量基本學習規(guī)則 內星學習規(guī)則 外星學習規(guī)則 科荷倫學習規(guī)則71.3.1 內星與外星外星通過聯(lián)接權矢量向外輸出一組信號A內星通過聯(lián)接權矢量W接受一組輸入信號P 81.3.2 內星學習規(guī)則可以通過內星及其學習規(guī)則可訓練某一神經(jīng)元節(jié)點只響應特定的輸入矢量P，它借助于調節(jié)網(wǎng)絡權矢量W近似于輸入矢量P來實現(xiàn)的單內星中對權值修正的格勞斯貝格內星學習規(guī)則為內星神經(jīng)元聯(lián)接強度的變化w1j與輸出成正比的。 如果內星輸出a被某一外部方式而維護高值時，通過不斷反復地學習，趨使w1j逐漸減少，直至最終達到

4、w1jpj，從而使內星權矢量學習了輸入矢量P，達到了用內星來識別一個矢量的目的 另一方面，如果內星輸出保持為低值時，網(wǎng)絡權矢量被學習的可能性較小，甚至不能被學習91.3.3 外星學習規(guī)則外星網(wǎng)絡的激活函數(shù)是線性函數(shù)。它被用來學習回憶一個矢量，其網(wǎng)絡輸入P也可以是另一個神經(jīng)元模型的輸出外星被訓練來在一層s個線性神經(jīng)元的輸出端產生一個特別的矢量A對于一個外星，其學習規(guī)則為與內星不同，外星聯(lián)接強度的變化w是與輸入矢量P成正比的 當輸入矢量被保持高值，比如接近1時，每個權值wij將趨于輸出ai值，若pj1，則外星使權值產生輸出矢量 當輸入矢量pj為0時，網(wǎng)絡權值得不到任何學習與修正101.3.3 外星

5、學習規(guī)則當有r個外星相并聯(lián)，每個外星與s個線性神經(jīng)元相連組成一層外星時，其權值修正方式為 Wsr權值列矢量 lr學習速率 Asq外星輸出 Prq外星輸入111.3.4 科荷倫學習規(guī)則科荷倫學習規(guī)則是由內星規(guī)則發(fā)展而來的科荷倫規(guī)則科荷倫學習規(guī)則實際上是內星學習規(guī)則的一個特例，但它比采用內星規(guī)則進行網(wǎng)絡設計要節(jié)省更多的學習，因而常常用來替代內星學習規(guī)則12二、自組織網(wǎng)絡2.1 網(wǎng)絡模型2.2 競爭網(wǎng)絡原理2.3 網(wǎng)絡訓練132.1 網(wǎng)絡模型網(wǎng)絡結構 競爭網(wǎng)絡由單層神經(jīng)元網(wǎng)絡組成，其輸入節(jié)點與輸出節(jié)點之間為全互聯(lián)結。 因為網(wǎng)絡在學習中的競爭特性也表現(xiàn)在輸出層上，所以在競爭網(wǎng)絡中把輸出層又稱為競爭層，

6、而與輸入節(jié)點相連的權值及其輸入合稱為輸入層142.1 網(wǎng)絡模型網(wǎng)絡權值的類型 輸入節(jié)點j到i的權值wij(i1，2、s；j1，2、r)，這些權值是通過訓練可以被調整的 競爭層中互相抑制的權值wik(k1，2、s)。這類權值固定不變，且滿足一定的分布關系 是一種對稱權值，即有wikwki 相同神經(jīng)元之間的權值起加強的作用，即滿足w11w11wkk0，而不同神經(jīng)元之間的權值相互抑制，對于ki有wij0152.1 網(wǎng)絡模型網(wǎng)絡工作方式 輸入矢量經(jīng)過網(wǎng)絡前向傳遞 網(wǎng)絡競爭 激活函數(shù)為硬限制二值函數(shù) 競爭網(wǎng)絡的激活函數(shù)使加權輸入和為最大的節(jié)點贏得輸出為1，而其他神經(jīng)元的輸出皆為0(?) 權值調整（可以處

7、于訓練與工作期間） 競爭網(wǎng)絡在經(jīng)過競爭而求得獲勝節(jié)點后，則對與獲勝節(jié)點相連的權值進行調整 調整權值的目的是為了使權值與其輸入矢量之間的差別越來越小，從而使訓練后的競爭網(wǎng)絡的權值能夠代表對應輸入矢量的特征162.2 競爭網(wǎng)絡原理競爭網(wǎng)絡解釋 設網(wǎng)絡的輸入矢量為：P p1 p2 prT 對應網(wǎng)絡的輸出矢量為：Aa1 a2 asT 由于競爭網(wǎng)絡中含有兩種權值，所以其激活函數(shù)的加權輸入和也分為兩部分：來自輸入節(jié)點的加權輸入和N與來自競爭層內互相抑制的加權輸入和G。對于第i個神經(jīng)元有 來自輸入節(jié)點的加權輸入和為 來自競爭層內互相抑制的加權輸入和為172.2 競爭網(wǎng)絡原理對于第i個輸出神經(jīng)元 假設競爭獲勝

8、，則有 從而 如果競爭后第i個節(jié)點“輸”了，而“贏”的節(jié)點為l，則有182.2 競爭網(wǎng)絡原理所以對整個網(wǎng)絡的加權輸入總和有下式成立 sl=nl+wll 對于“贏”的節(jié)點l si=ni-|wii| 對于所有”輸“的節(jié)點i1，2s，il由此可以看出，經(jīng)過競爭后只有獲勝的那個節(jié)點的加權輸入總和為最大競爭網(wǎng)絡的輸出為因此判斷競爭網(wǎng)絡節(jié)點勝負的結果時，可直接采用ni192.3 網(wǎng)絡訓練競爭網(wǎng)絡修正權值的公式為 式中l(wèi)r為學習速率，且0lr1，一般的取值范圍為0.01-0.3； pj為經(jīng)過歸一化處理后的輸入層中每個最接近輸入矢量的神經(jīng)元，通過每次權值調整而使權值矢量逐漸趨于這些輸入矢量。從而競爭網(wǎng)絡通過學

9、習而識別了在網(wǎng)絡輸入端所出現(xiàn)的矢量，并將其分為某一類202.3 網(wǎng)絡訓練舉例 考慮當不同的輸入矢量p1和p2分別出現(xiàn)在同一內星時的情況 為了訓練的需要，必須將每一輸入矢量都進行單位歸一化處理 當?shù)谝粋€矢量p1輸入給內星后，網(wǎng)絡經(jīng)過訓練，最終達到W(p1)T。 給內星輸入另一個輸入矢量p2，此時內星的加權輸入和為新矢量p2與已學習過矢量p1的點積 輸入矢量的模已被單位化為1，所以內星的加權輸入和等于輸入矢量p1和p2之間夾角的余弦212.3 網(wǎng)絡訓練根據(jù)不同的情況，內星的加權輸入和可分為如下幾種情況 p2等于p1，即有120，此時，內星加權輸入和為1 p2不等于p1，內星加權輸入和為0,按照科荷

10、倫學習規(guī)則修改競爭層權值以使該類權值更加接近于新輸入模式 如果R=0,在網(wǎng)絡中設立一個新模式，用以代表和記憶新模式，并將其歸結為已有的代表類別，成為R層的一個新的輸出節(jié)點，作為以后可能輸入的代表模式 權值修正階段 當外界輸入P與所激活的外星權矢量充分相似時，網(wǎng)絡發(fā)生共振，本次學習與訓練結束 否則，進行特別的處理，直到共振現(xiàn)象發(fā)生時對本次輸入的訓練過程才最終結束34五、內容小結本次課程簡單介紹自組織神經(jīng)網(wǎng)絡的特點以及與其它類型神經(jīng)網(wǎng)絡的區(qū)別介紹了自組織神經(jīng)網(wǎng)絡的三種學習規(guī)則；四種神經(jīng)網(wǎng)絡類型對自組織競爭網(wǎng)絡、科荷倫網(wǎng)絡和ART網(wǎng)絡的原理、網(wǎng)絡結構和訓練與工作方式進行了介紹ART網(wǎng)絡相對其它自組織網(wǎng)絡之間有較大的優(yōu)勢，將學習與工作過程結合在一起，并較好地解決了學習與記憶的問題35五、內容小結本學期神經(jīng)網(wǎng)絡課程的全部內容至此結束主要的內容包括 簡單介紹人工神經(jīng)網(wǎng)絡與生物神經(jīng)系統(tǒng)、人工智能學科之間關系 介紹了神經(jīng)網(wǎng)絡的基本網(wǎng)絡結構和學習規(guī)則 以典型網(wǎng)絡模型為代表分別介紹了三種主要的神經(jīng)網(wǎng)絡，前向神經(jīng)網(wǎng)絡、反饋神經(jīng)網(wǎng)絡和自組織神經(jīng)網(wǎng)絡 介紹了學習和應用神經(jīng)網(wǎng)絡的基本方法 網(wǎng)絡設計