自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第1頁第五章自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)5.1概述5.2自組織特征映射網(wǎng)絡(luò)5.3自適應(yīng)共振理論模型5.4神經(jīng)認(rèn)知機(jī)自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第2頁5.1概述

在實(shí)際神經(jīng)網(wǎng)絡(luò)中，存在一個(gè)側(cè)抑制現(xiàn)象，即一個(gè)神經(jīng)細(xì)胞興奮后，經(jīng)過它分支會(huì)對(duì)周圍其它神經(jīng)細(xì)胞產(chǎn)生抑制這種側(cè)抑制在脊髓和海馬中存在，在人眼視網(wǎng)膜中也存在。另外，在認(rèn)知過程中除了從老師那兒得到知識(shí)外，還有一個(gè)不需要老師指導(dǎo)學(xué)習(xí)，這種直接依靠外界刺激，“無師自通”到達(dá)功效有時(shí)也稱為自學(xué)習(xí)、自組織學(xué)習(xí)方法。自組織競(jìng)爭(zhēng)人工神經(jīng)網(wǎng)絡(luò)就是基于上述兩種生物結(jié)構(gòu)和現(xiàn)象基礎(chǔ)上生成，它權(quán)是經(jīng)過Hebb規(guī)則或類似Hebb規(guī)則學(xué)習(xí)后得到。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第3頁5.2自組織特征映射網(wǎng)絡(luò)

5.2.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)及工作過程

5.2.2自組織映射學(xué)習(xí)算法

5.2.3自組織映射網(wǎng)絡(luò)工作原理

5.2.4網(wǎng)絡(luò)應(yīng)用實(shí)例

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第4頁

芬蘭學(xué)者Kohonen認(rèn)為一個(gè)神經(jīng)網(wǎng)絡(luò)接收外界輸入模式時(shí)，將會(huì)分成不一樣區(qū)域，各區(qū)域?qū)斎肽Ｊ綄?huì)有不一樣響應(yīng)特征，最臨近神經(jīng)元相互激勵(lì)，而較遠(yuǎn)神經(jīng)元之間相互抑制，而更遠(yuǎn)神經(jīng)元之間又有較弱激勵(lì)作用。在受到外界刺激時(shí)，刺激最強(qiáng)地方形成一個(gè)Bubble（墨西哥帽），在此Bubble區(qū)中，神經(jīng)元權(quán)向量會(huì)自動(dòng)調(diào)整，直到與輸入向量某一最大分量方向相重合為止。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第5頁圖5.1神經(jīng)元作用分布曲線圖5.2網(wǎng)絡(luò)結(jié)構(gòu)

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第6頁5.2.1網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)及工作過程

圖5.3Nj(t)形狀改變情況

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第7頁對(duì)于任意一個(gè)輸入節(jié)點(diǎn)i和輸出節(jié)點(diǎn)j有：

i{1,2,..,n},j{1,2,..,n}且：自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第8頁5.2.2自組織映射學(xué)習(xí)算法

①連接權(quán)值初始化。

t=0:0<Wij<1,i{1,2,…,n},j{1,2,…,m}

②對(duì)網(wǎng)絡(luò)輸入一個(gè)樣本模式。

XK=(X1,X2,…,Xn)

③計(jì)算與全部輸出節(jié)點(diǎn)間權(quán)值向量距離

j{1,2,…,m}(5.2.2)

④選擇有最小距離節(jié)點(diǎn)為競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)

j{1,2,…,m}

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第9頁

⑤調(diào)整權(quán)值 (5.2.3)其中，0<(t)<1，衰減函數(shù)，伴隨時(shí)間t而遞減；(Nj,Nj*)限界函數(shù)，伴隨Nj*距離遞減。

⑥若還有輸入樣本則轉(zhuǎn)②，當(dāng)全部樣本輸入完，且滿足：

i{1,2,..,n},j{1,2,…,m} (5.2.4)

或者完成指定學(xué)習(xí)次數(shù)后算法結(jié)束，不然轉(zhuǎn)②。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第10頁(t)和Nj*有普通化數(shù)學(xué)方法，憑經(jīng)驗(yàn)選取。初始時(shí)，Nj*選取較大，后逐步變小，(t)開始時(shí)較大，后逐步變?yōu)?。

從自組織映射網(wǎng)絡(luò)算法來看，該網(wǎng)絡(luò)有以下特點(diǎn)：

(1)網(wǎng)絡(luò)中權(quán)值是輸入樣本記憶。假如輸出節(jié)點(diǎn)j與輸入層n個(gè)節(jié)點(diǎn)連接權(quán)值向量用Wj表示，對(duì)應(yīng)某一類樣本XK輸入，使j節(jié)點(diǎn)到達(dá)匹配最大，那么Wj經(jīng)過學(xué)習(xí)以后十分靠近XK，所以以后當(dāng)XK再次輸入時(shí)，j節(jié)點(diǎn)必定興奮，j節(jié)點(diǎn)是樣本XK代表。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第11頁

(2)網(wǎng)絡(luò)學(xué)習(xí)時(shí)對(duì)權(quán)值調(diào)整，不只是對(duì)興奮節(jié)點(diǎn)所對(duì)應(yīng)權(quán)值進(jìn)行調(diào)整，而對(duì)其周圍區(qū)域Nj內(nèi)節(jié)點(diǎn)同時(shí)進(jìn)行調(diào)整，所以對(duì)于在Nj內(nèi)節(jié)點(diǎn)能夠代表不只是一個(gè)樣本XK，而是與XK比較相近樣本都能夠在Nj內(nèi)得到反應(yīng)，所以這種網(wǎng)絡(luò)對(duì)于樣本畸變和噪聲容限大。

(3)網(wǎng)絡(luò)學(xué)習(xí)結(jié)果使比較相近輸入樣本在輸出二維平面上位置也比較靠近。

(4)可實(shí)現(xiàn)在線學(xué)習(xí)，已修改權(quán)值將保留。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第12頁5.3自適應(yīng)共振理論模型5.3.1自適應(yīng)共振理論(ART)5.3.2ART1神經(jīng)網(wǎng)絡(luò)

5.3.3ART1網(wǎng)絡(luò)學(xué)習(xí)算法改進(jìn)

5.3.4ART2神經(jīng)網(wǎng)絡(luò)

5.3.5ART神經(jīng)網(wǎng)絡(luò)在人像識(shí)別中應(yīng)用

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第13頁5.3.1自適應(yīng)共振理論(ART)

自適應(yīng)共振理論(AdaptiveResonanceTheory，簡(jiǎn)稱)是由美國Boston大學(xué)S.Grossberg和A.Carpenter提出。這一理論包含ART1和ART2兩種模型，能夠?qū)θ我舛嗪腿我鈴?fù)雜二維模式進(jìn)行自組織、自穩(wěn)定和大規(guī)模并行處理。前者用于二進(jìn)制輸入，后者用于連續(xù)信號(hào)輸入。如圖5.8所表示，它由兩個(gè)相繼連接存放單元STM-F1和STM-F2組成，分成注意子系統(tǒng)和取向子系統(tǒng)。F1和F2之間連接通路為自適應(yīng)長(zhǎng)久記憶(LTM)。

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第14頁

圖5.8ART原理圖自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第15頁

ART主要優(yōu)點(diǎn)：

1、可完成實(shí)時(shí)學(xué)習(xí)，且可適應(yīng)非平穩(wěn)環(huán)境；

2、對(duì)已學(xué)習(xí)過對(duì)象含有穩(wěn)定快速識(shí)別能力，同時(shí)又能快速適應(yīng)學(xué)習(xí)新對(duì)象；

3、含有自歸一能力，依據(jù)一些特征在全體中所占百分比，有時(shí)作為關(guān)鍵特征，有時(shí)又被看成噪聲處理；

4、不需要事先已知樣本結(jié)果，可非監(jiān)督學(xué)習(xí)；

5、容量不受輸入通道數(shù)限制，存放對(duì)象也不要求是正交；

6、此系統(tǒng)能夠完全防止陷入局部極小點(diǎn)問題。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第16頁5.3.2ART1神經(jīng)網(wǎng)絡(luò)

一、ART1神經(jīng)網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)

圖5.9ART1網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第17頁

網(wǎng)絡(luò)基礎(chǔ)結(jié)構(gòu)由兩層神經(jīng)網(wǎng)節(jié)點(diǎn)組成兩個(gè)子系統(tǒng)，分別稱比較層(Compare，簡(jiǎn)稱C層)和識(shí)別(Recognition，簡(jiǎn)稱R層)。另外還有三種控制信號(hào)，即復(fù)位信號(hào)(簡(jiǎn)稱Reset)及兩種邏輯控制信號(hào)G1和G2。

1.C層結(jié)構(gòu)：含有n個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)接收來自三個(gè)方面信號(hào)。 信號(hào)1：輸入X第i個(gè)分量Xi。

信號(hào)2：R層第j個(gè)單元自上而下返回信號(hào)Rj。 信號(hào)3：G1控制信號(hào)。設(shè)C層第i個(gè)單元輸出為Ci。Ci依據(jù)“2/3規(guī)則”產(chǎn)生，即Ci含有三個(gè)信號(hào)中多數(shù)相同值。網(wǎng)絡(luò)開始運(yùn)行時(shí)，G1

=1，R層反饋信號(hào)為0。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第18頁

2.R層結(jié)構(gòu)：

R層功效結(jié)構(gòu)相當(dāng)于一個(gè)前向競(jìng)爭(zhēng)網(wǎng)絡(luò)，假設(shè)輸出層有m個(gè)節(jié)點(diǎn)，m類輸入模式。輸出層節(jié)點(diǎn)能動(dòng)態(tài)增加，以滿足設(shè)置新模式類需要。設(shè)由C層自下而上連接到R層第j個(gè)節(jié)點(diǎn)權(quán)向量用Wj={w1j,w2j,..,wnj}

表示。C層輸出向量C沿Wj向前饋送，經(jīng)過競(jìng)爭(zhēng)在R層輸出端產(chǎn)生獲勝節(jié)點(diǎn)，指示此次輸入向量類別。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第19頁

3.控制信號(hào)（1）G1：設(shè)輸入模式X各元素邏輯“或”為X0，R各元素邏輯“或非”為R0，則G1=X0R0，即只有在R層輸出向量R為全0，而輸入X不為全0時(shí)，G1=1，其它情況下G1=0。（2）G2是輸入模式X各元素邏輯“或”，即X為全0時(shí)，G2是0。其它情況下G2是1。（3）Reset：設(shè)預(yù)先設(shè)定相同性度量為。如按某種事先設(shè)定測(cè)量標(biāo)準(zhǔn)，C與X并非充分靠近且到達(dá)，則發(fā)出Reset信號(hào)，以使R層競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)無效。這表示此次選擇模式代表類不能滿足要求。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第20頁

二、ART1網(wǎng)絡(luò)運(yùn)行原理

1.識(shí)別階段：在網(wǎng)絡(luò)沒有輸入模式之前，網(wǎng)絡(luò)處于等候狀態(tài)。此時(shí)，輸入端X=0，并置控制信號(hào)G2=0。所以，R層單元輸出全為0，在競(jìng)爭(zhēng)中有同等獲勝機(jī)會(huì)。當(dāng)網(wǎng)絡(luò)輸入不全為0時(shí)，置G2=1。信息自下而上流動(dòng)。由“2/3規(guī)則”可知，此時(shí)C層輸出C=X，且C向上饋送，與向上權(quán)向量W進(jìn)行作用，產(chǎn)生向量T。T向上送入R層，使R層內(nèi)部開始競(jìng)爭(zhēng)。假設(shè)獲勝節(jié)點(diǎn)為j*，則R層輸Rj*=1而其它節(jié)點(diǎn)輸出為0。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第21頁2.比較階段：

R層輸出信息自上而下返回C層。Rj*=1使R層j*節(jié)點(diǎn)所連接自上而下W'j*被激活，并向下返回C層。此時(shí)，R層輸出不為全0，而且G1=0。所以，C層下一次輸出C'取決于由R層自上而下權(quán)向量W’j*及網(wǎng)絡(luò)輸入模式X。即：C'i=W'j*iXi。其中表示邏輯與。新狀態(tài)C'就反應(yīng)了輸入向量X與其所激活節(jié)點(diǎn)j*經(jīng)典向量之間相同度。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第22頁

用事先指定門限對(duì)相同度進(jìn)行測(cè)試，若C'給出了足夠相同信息，則表示競(jìng)爭(zhēng)結(jié)果正確。反之，則表示競(jìng)爭(zhēng)結(jié)果不符合要求，就發(fā)Reset信號(hào)以置上次獲勝節(jié)點(diǎn)無效，并使其在此次模式匹配過程中不能再獲勝。然后進(jìn)入搜索階段。 在比較階段，網(wǎng)絡(luò)信息流向是自上而下。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第23頁3.搜索階段：由Reset信號(hào)置獲勝階段無效開始，網(wǎng)絡(luò)進(jìn)入搜索階段。此時(shí)R為全0，G1=1

，在C層輸出端又得到了此次輸入模式X。所以，網(wǎng)絡(luò)又進(jìn)入識(shí)別及比較階段，得到新獲勝節(jié)點(diǎn)（以前獲勝節(jié)點(diǎn)不參加競(jìng)爭(zhēng)）。這么重復(fù)直至搜索到某一個(gè)獲勝節(jié)點(diǎn)K，它與輸入向量X充分匹配到達(dá)滿足要求為止。模式X編制到R層K節(jié)點(diǎn)所連模式類別中，即按一定方法修改K節(jié)點(diǎn)自下而上和自上而下權(quán)向量，使網(wǎng)絡(luò)以后再碰到X或與X相近模式時(shí)，R層K節(jié)點(diǎn)能很快取得競(jìng)爭(zhēng)勝利。若搜索了全部R層輸出節(jié)點(diǎn)而沒有發(fā)覺有與X充分靠近模式，則增設(shè)一個(gè)R層節(jié)點(diǎn)以表示X或與X相近模式。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第24頁

三、ART1網(wǎng)絡(luò)學(xué)習(xí)算法

ART1訓(xùn)練算法(ART1)：

①初始化。自下而上權(quán)向量W賦予較小且相同初值，自上而下權(quán)向量W‘賦予初值1。相同度門限0<<1。

②給網(wǎng)絡(luò)輸入模式X={x1,x2,…,xn},xi{0,1}

③

若X不為全0，由“2/3規(guī)則”可知C層輸出C=X。信息向上送，由自下而上權(quán)向量W進(jìn)行加權(quán)，得輸出為：uj=CWj,j{1,2,..,m}。

④R層競(jìng)爭(zhēng)開始運(yùn)行，若有uj*=max{uj,j{1,2,..,m}}，則R層j*節(jié)點(diǎn)取得競(jìng)爭(zhēng)勝利。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第25頁

⑤信息反送，由R層獲勝節(jié)點(diǎn)j*送回自上而下權(quán)向量W'j*。此時(shí)G1=0，由“2/3規(guī)則”可得到C層新輸出向量C'各個(gè)元素滿足：C'j=W'j*iXi

。

⑥警戒線檢測(cè)。設(shè)向量X中不為0個(gè)數(shù)用||X||表示，可有

(5.3.1) (5.3.2)

若||C||/||X||>成立，則接收j*為獲勝節(jié)點(diǎn)，轉(zhuǎn)⑦。不然發(fā)Reset信號(hào)，置j*為0（不允許其再參加競(jìng)爭(zhēng)），開始搜索階段，轉(zhuǎn)③。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第26頁⑦修改R層節(jié)點(diǎn)自下而上及自上而下權(quán)向量，使其以后對(duì)與X相同輸入更輕易獲勝，且含有更高相同性。

(5.3.3) (5.3.4)

其中l(wèi)為大于1常數(shù)。

⑧恢復(fù)由Reset信號(hào)抑制R層節(jié)點(diǎn)，轉(zhuǎn)到②以迎接下一次輸入。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第27頁5.3.5ART神經(jīng)網(wǎng)絡(luò)在人像識(shí)別中應(yīng)用

它包含五層和六個(gè)控制節(jié)點(diǎn)，其功效以下：第一層：輸入層，輸入信號(hào)X={x1,x2,…,xn}為n維向量，其輸出信號(hào)O1=X。O2為由“2/3規(guī)則”產(chǎn)生信號(hào)，記為n維向量S*，S*為記憶模式與輸入模式綜合模式：S*

=Z*X(Z在后面介紹)

第二層：歸一化層，輸入為第一層輸出O1

，輸出為n維向量S。該層作用是使輸入矢量規(guī)格化；

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第28頁

第二層和第三層之間為自下而上全互連前向網(wǎng)絡(luò)，其連接權(quán)矩陣為W，第三層輸入為S，輸出為m維向量T：第四層：競(jìng)爭(zhēng)網(wǎng)絡(luò)層。輸入為T，輸出為m維向量Y，經(jīng)過該層競(jìng)爭(zhēng)，產(chǎn)生出勝者，只有獲勝者輸出為1，其它為0：自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第29頁

圖5.11ART1人像識(shí)別神經(jīng)網(wǎng)絡(luò)

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第30頁

第四層到第五層為自上而下反饋層，其連接權(quán)矩陣為W'，第五層輸入為Y，輸出為n維向量Z：

因?yàn)閅只有獲勝者I輸出為1，其它為0，所以：

n維向量Z為該獲勝模式所記憶向量；控制節(jié)點(diǎn)G1：獲勝記憶模式Z“或非”。即只有當(dāng)Z全為0時(shí)，G1=1，其它情況為0；控制節(jié)點(diǎn)G2：輸入模式X“或”。即只有當(dāng)X全為0時(shí)，G2=0，其它情況為1；自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第31頁

控制節(jié)點(diǎn)SUMZ：計(jì)算獲勝記憶模式Z非零分量個(gè)數(shù)。控制節(jié)點(diǎn)SUMS’：計(jì)算綜合模式S*非零分量個(gè)數(shù)?？刂乒?jié)點(diǎn)SUMX：計(jì)算輸入模式X非零分量個(gè)數(shù)。自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第32頁

控制節(jié)點(diǎn)Reset：輸入為SUMZ、SUMS’、SUMX，輸出為R：

函數(shù)f如上式定義，當(dāng)R=1時(shí)，Reset向第四層發(fā)重置波。網(wǎng)絡(luò)訓(xùn)練及識(shí)別算法(FER)：

(1)

初始化輸入模式X=0、輸出模式Y(jié)=0、連接權(quán)值W、W'、控制信號(hào)G1=1、G2=0、Reset=0，已訓(xùn)練類別數(shù)為premode，網(wǎng)絡(luò)容量為summode；

(2)

輸入一新模式Xi={x0,x1,…,xN}，Reset=0，計(jì)算G2

；自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第33頁

(3)假如G2=0

，則轉(zhuǎn)(2)；

(4)

由公式計(jì)算S、T；

(5)

由公式計(jì)算I、Y、Z，計(jì)算G1；

(6)

假如G1=1，則轉(zhuǎn)(2)；

(7)

由公式計(jì)算S*、SUMZ、SUMX、SUMS’和Reset；

(8)

假如Reset=0，則轉(zhuǎn)(13)；

(9)搜索記數(shù)NUM+1，置YI、TI為0；

(10)NUM小于等于premode，則進(jìn)入搜索階段，轉(zhuǎn)(5)；

(11)

增加新類別premode+1，連接權(quán)值Wpremode,j

、W’premode,，0j<N，賦初值；自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第34頁

(12)

由公式重新計(jì)算T，轉(zhuǎn)(5)；

(13)由公式調(diào)整連接權(quán)值Wj、W'，NUM=0，轉(zhuǎn)(2)；自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)第35頁5.4神經(jīng)認(rèn)知機(jī)

認(rèn)知機(jī)及神經(jīng)認(rèn)知機(jī)是由日本學(xué)者Fukishima