神經(jīng)網(wǎng)絡(luò)-ART網(wǎng)絡(luò)

自適應(yīng)共振理論引言傳統(tǒng)神經(jīng)網(wǎng)絡(luò)遇到的問(wèn)題在樣本數(shù)據(jù)訓(xùn)練的過(guò)程中，無(wú)論是監(jiān)督式還是無(wú)監(jiān)督式的訓(xùn)練，均會(huì)出現(xiàn)對(duì)新模式的學(xué)習(xí)，時(shí)刻面臨著新知識(shí)的學(xué)習(xí)記憶荷對(duì)舊知識(shí)的退化忘卻的問(wèn)題在監(jiān)督式的訓(xùn)練情況下，使網(wǎng)絡(luò)逐漸達(dá)到穩(wěn)定的記憶需要通過(guò)反復(fù)訓(xùn)練，從而對(duì)已學(xué)習(xí)過(guò)的模式的部分甚至是全部的忘卻在無(wú)監(jiān)督情況下，對(duì)新的數(shù)據(jù)的學(xué)習(xí)同樣會(huì)產(chǎn)生對(duì)某種已經(jīng)記憶的典型矢量的修改，造成對(duì)已學(xué)習(xí)數(shù)據(jù)的部分忘卻理想情況能夠?qū)W會(huì)新的知識(shí)，同時(shí)對(duì)已學(xué)過(guò)的知識(shí)沒(méi)有不利影響在輸入矢量特別大的情況下，很難實(shí)現(xiàn)。通常只能在新舊知識(shí)的取舍上進(jìn)行某種折衷，最大可能地接受新的知識(shí)并較少地影響原有知識(shí)ART網(wǎng)絡(luò)簡(jiǎn)介自適應(yīng)共振理論(AdaptiveResonanceTheory,ART)網(wǎng)絡(luò)可以較好地解決前述問(wèn)題網(wǎng)絡(luò)和算法具有較大地靈活性，以適應(yīng)新輸入的模式，同時(shí)極力避免對(duì)網(wǎng)絡(luò)先前學(xué)習(xí)過(guò)地模式的修改記憶容量可以隨樣本的增加而自動(dòng)增加，可以在不破壞原記憶樣本的情況下學(xué)習(xí)新的樣本ART是美國(guó)波士頓大學(xué)的A.Carpenter和Grossberg提出。具有兩種形式ART1處理雙極性（或二進(jìn)制）數(shù)據(jù)ART2處理連續(xù)數(shù)據(jù)自適應(yīng)共振理論（ART）歷史1976年，美國(guó)Boston大學(xué)學(xué)者G.A.Carpenter提出自適應(yīng)共振理論(AdaptiveResonanceTheory，縮寫(xiě)為ART)，他多年來(lái)一直試圖為人類的心理和認(rèn)知活動(dòng)建立統(tǒng)一的數(shù)學(xué)理論，ART就是這一理論的核心部分。隨后G.A.Carpenter又與S.Grossberg提出了ATR網(wǎng)絡(luò)。共振現(xiàn)象的一些例子自適應(yīng)共振理論共振現(xiàn)象魚(yú)洗寺院無(wú)人敲而響的磬軍隊(duì)過(guò)橋雪崩人類認(rèn)知（圖像）當(dāng)雙手策動(dòng)力的頻率跟物體的固有頻率相等時(shí)，振幅最大，這種現(xiàn)象叫共振。水中發(fā)出的嗡鳴聲是銅盆腔內(nèi)的振動(dòng)和摩擦頻率振動(dòng)發(fā)生共振引起的。

自適應(yīng)共振理論ART網(wǎng)絡(luò)學(xué)習(xí)算法的基本流程環(huán)境輸入模式與儲(chǔ)存的典型向量模式進(jìn)行比較神經(jīng)網(wǎng)絡(luò)的連接權(quán)值選擇最相似的作為該模式的代表類，并調(diào)整與該類別相關(guān)的權(quán)值，以使以后與該模式相似的輸入再與該模式匹配時(shí)能得到更大的相似度。相似度的參考門(mén)限需要在網(wǎng)絡(luò)中設(shè)立一個(gè)新的模式類，同時(shí)建立與該模式類相連的權(quán)值，用以代表和存儲(chǔ)該模式以及后來(lái)輸入的所有同類模式。C——比較層R——識(shí)別層Reset

——復(fù)位信號(hào)G1和G2——邏輯控制信號(hào)4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1ARTⅠ型網(wǎng)絡(luò)4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)(1)C層結(jié)構(gòu)

該層有n個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)接受來(lái)自3個(gè)方面的信號(hào)：來(lái)自外界的輸入信號(hào)xi；來(lái)自R層獲勝神經(jīng)元的外星向量的返回信號(hào)Tj；來(lái)自G1的控制信號(hào)。C層節(jié)點(diǎn)的輸出ci是根據(jù)2/3的“多數(shù)表決”原則產(chǎn)生的，即輸出值ci與xi、tij、G13個(gè)信號(hào)中的多數(shù)信號(hào)值相同。G1=1，反饋回送信號(hào)為0，C層輸出應(yīng)由輸入信號(hào)決定，有C=X。反饋回送信號(hào)不為0，G1=0，C層輸出應(yīng)取決于輸入信號(hào)與反饋信號(hào)的比較情況，如果xi=tij，則ci=xi。否則ci=0。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1.1網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)（2）R層結(jié)構(gòu)R層有m個(gè)節(jié)點(diǎn)，用以表示m個(gè)輸入模式類。m可動(dòng)態(tài)增長(zhǎng)，以設(shè)立新模式類。由C層向上連接到R第j個(gè)節(jié)點(diǎn)的內(nèi)星權(quán)向量用Bj=（b1j，b2j，…,bnj）表示。C層的輸出向量C沿m個(gè)內(nèi)星權(quán)向量Bj(j=1,2,…,m)向前傳送，到達(dá)R層各個(gè)神經(jīng)元節(jié)點(diǎn)后經(jīng)過(guò)競(jìng)爭(zhēng)在產(chǎn)生獲勝節(jié)點(diǎn)j*，指示本次輸入模式的所屬類別。獲勝節(jié)點(diǎn)輸出=1，其余節(jié)點(diǎn)輸出為0。R層各模式類節(jié)點(diǎn)的典型向量。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)4.5.1.2網(wǎng)絡(luò)運(yùn)行原理相似程度可能出現(xiàn)的兩種情況：①相似度超過(guò)參考門(mén)限

選該模式類作為當(dāng)前輸入模式的代表類。權(quán)值調(diào)整規(guī)則是，相似度超過(guò)參考門(mén)限的模式類調(diào)整其相應(yīng)的內(nèi)外星權(quán)向量，以使其以后遇到與當(dāng)前輸入模式接近的樣本時(shí)能得到更大的相似度；對(duì)其它權(quán)值向量則不做任何變動(dòng)。②相似度不超過(guò)門(mén)限值需在網(wǎng)絡(luò)輸出端設(shè)立一個(gè)代表新模式類的節(jié)點(diǎn)，用以代表及存儲(chǔ)該模式，以便于參加以后的匹配過(guò)程。網(wǎng)絡(luò)運(yùn)行原理模式網(wǎng)絡(luò)運(yùn)行四個(gè)階段：匹配階段

網(wǎng)絡(luò)在沒(méi)有輸入模式之前處于等待狀態(tài)，此時(shí)輸入端X=0，因此信號(hào)G2=0，R0=0.當(dāng)輸入不全為0的模式X時(shí)，G2=1，R0=0，使G1=G2R0=1.G1為1時(shí)，允許輸入模式直接從C層輸出，并向前傳至R層，與R層節(jié)點(diǎn)對(duì)應(yīng)的所有內(nèi)星向量Bj進(jìn)行匹配計(jì)算：

4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法ARTⅠ網(wǎng)絡(luò)可以用學(xué)習(xí)算法實(shí)現(xiàn)，學(xué)習(xí)算法從軟件角度體現(xiàn)了網(wǎng)絡(luò)的運(yùn)行機(jī)制，與系統(tǒng)結(jié)構(gòu)圖并不一一對(duì)應(yīng)。訓(xùn)練可按以下步驟進(jìn)行：(1)網(wǎng)絡(luò)初始化

從C層向R層的內(nèi)星權(quán)向量Bj賦予相同的較小數(shù)值，如(4.25)從R層到C層的外星權(quán)向量Tj各分量均賦1(4.26)注:用C#實(shí)現(xiàn)時(shí),下標(biāo)從0開(kāi)始,i=0,1,2,…,n-1j=0,1,2,…,m-14.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法(2)網(wǎng)絡(luò)接受輸入

給定一個(gè)輸入模式，X＝(x1,x2,…，xn)，

xi(0,1)n。(3)匹配度計(jì)算

對(duì)R層所有內(nèi)星向量Bj計(jì)算與輸入模式X的匹配度：，j=1,2,…，m。(4)選擇最佳匹配節(jié)點(diǎn)

在R層有效輸出節(jié)點(diǎn)集合J*內(nèi)選擇競(jìng)爭(zhēng)獲勝的最佳匹配節(jié)點(diǎn)j*，使得(5)相似度計(jì)算

R層獲勝節(jié)點(diǎn)j*通過(guò)外星送回獲勝模式類的典型向量，C層輸出信號(hào)給出對(duì)向量和X的比較結(jié)果，i=1,2,…,n，由此結(jié)果可計(jì)算出兩向量的相似度為4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法(6)警戒門(mén)限檢驗(yàn)

如果N0/N1<ρ，表明X與的相似程度不滿足要求，本次競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)無(wú)效，因此從R層有效輸出節(jié)點(diǎn)集合J*中取消該節(jié)點(diǎn)并使，訓(xùn)練轉(zhuǎn)入步驟(7)；如果N0/N1>ρ，表明X應(yīng)歸為代表的模式類，轉(zhuǎn)向步驟(8)調(diào)整權(quán)值。4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法(8)調(diào)整網(wǎng)絡(luò)權(quán)值修改R層節(jié)點(diǎn)j*對(duì)應(yīng)的權(quán)向量，網(wǎng)絡(luò)的學(xué)習(xí)采用了兩種規(guī)則，外星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n；j*J*(4.27)(7)搜索匹配模式類若有效輸出節(jié)點(diǎn)集合J*不為空，轉(zhuǎn)向步驟(4)重選匹配模式類；若J*為空集，需在R層增加一個(gè)節(jié)點(diǎn)。設(shè)新增節(jié)點(diǎn)的序號(hào)為nc，應(yīng)使,i=1,2,…,n,此時(shí)有效輸出節(jié)點(diǎn)集合為J*={1,2,…,m,m+1,…,m+nc},轉(zhuǎn)向步驟(2)輸入新模式。內(nèi)星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n(4.28)4.5.1.3網(wǎng)絡(luò)的學(xué)習(xí)算法

ART網(wǎng)絡(luò)的特點(diǎn)：

非離線學(xué)習(xí)即不是對(duì)輸入集樣本反復(fù)訓(xùn)練后才開(kāi)始運(yùn)行，而是邊學(xué)習(xí)邊運(yùn)行實(shí)時(shí)方式。每次最多只有一個(gè)輸出節(jié)點(diǎn)為l每個(gè)輸出節(jié)點(diǎn)可看成一類相近樣本的代表，當(dāng)輸入樣本距某一個(gè)內(nèi)星權(quán)向量較近時(shí)，代表它的輸出節(jié)點(diǎn)才響應(yīng)。

通過(guò)調(diào)整警戒門(mén)限的大小可調(diào)整模式的類數(shù)

小，模式的類別少，大則模式的類別多。4個(gè)輸入模式向量為：設(shè)=0.7，取初始權(quán)值bij=1/(1+n)=1/26,tij=1.例一模式分類例一模式分類4.5.1.4

ARTⅠ網(wǎng)絡(luò)的應(yīng)用例一模式分類例一模式分類注意！ρ值的選擇對(duì)分類過(guò)程的影響很大。ρ值過(guò)大，導(dǎo)致分類劇增。ρ值太小，則不同的模式均劃為同一類別。例一模式分類例二帶噪聲模式分類例二帶噪聲模式分類ART網(wǎng)絡(luò)結(jié)構(gòu)從輸入矢量到輸出矢量的作用部分被稱為識(shí)別層或R層（R－Recognition）從輸出A作為輸入返回到輸入的層稱為比較層或C層（C－Comparison）從結(jié)構(gòu)上講R層為一個(gè)競(jìng)爭(zhēng)網(wǎng)絡(luò)，具有s個(gè)節(jié)點(diǎn)，它代表了對(duì)輸入模式的分類。該節(jié)點(diǎn)數(shù)能夠動(dòng)態(tài)地增長(zhǎng)，以滿足設(shè)立新模式地需要。C層為一個(gè)Grossberg網(wǎng)絡(luò)ART運(yùn)行過(guò)程將網(wǎng)絡(luò)的訓(xùn)練與工作與工作過(guò)程有機(jī)技結(jié)合在一起自C層流向R層的識(shí)別階段：輸入新的矢量P，通過(guò)競(jìng)爭(zhēng)得出輸出A自R層流向C層的比較階段按照一定地規(guī)則來(lái)確定這個(gè)新輸入是否屬于網(wǎng)絡(luò)衷已經(jīng)記憶地模式類別，判別標(biāo)準(zhǔn)為新輸入模式與所有已記憶模式之間相