自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)模型

自組織競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)模型第一頁(yè)，共二十九頁(yè)，編輯于2023年，星期三第一節(jié)自適應(yīng)共振理論第二頁(yè)，共二十九頁(yè)，編輯于2023年，星期三概述

1976年，美國(guó)Boston大學(xué)學(xué)者G.A.Carpenter提出自適應(yīng)共振理論(AdaptiveResonanceTheory，縮寫(xiě)為ART)，他多年來(lái)一直試圖為人類(lèi)的心理和認(rèn)知活動(dòng)建立統(tǒng)一的數(shù)學(xué)理論，ART就是這一理論的核心部分。隨后G.A.Carpenter又與S.Grossberg提出了ART網(wǎng)絡(luò)。解決了模式分類(lèi)的靈活性和穩(wěn)定性?xún)呻y問(wèn)題。

-它主要包含ART1、ART2兩種模型。ART1主要用于處理二值輸入模式，ART2是ART1的擴(kuò)展形式，主要用于處理連續(xù)信號(hào)輸入模式。本節(jié)主要介紹ART1，不過(guò)其基本概念對(duì)ART2也適用。自適應(yīng)共振理論第三頁(yè)，共二十九頁(yè)，編輯于2023年，星期三ART網(wǎng)絡(luò)學(xué)習(xí)算法的基本流程環(huán)境輸入模式與儲(chǔ)存的典型向量模式進(jìn)行比較神經(jīng)網(wǎng)絡(luò)的連接權(quán)值選擇最相似的作為該模式的代表類(lèi)，并調(diào)整與該類(lèi)別相關(guān)的權(quán)值，以使以后與該模式相似的輸入再與該模式匹配時(shí)能得到更大的相似度。相似度的參考門(mén)限需要在網(wǎng)絡(luò)中設(shè)立一個(gè)新的模式類(lèi)，同時(shí)建立與該模式類(lèi)相連的權(quán)值，用以代表和存儲(chǔ)該模式以及后來(lái)輸入的所有同類(lèi)模式。第四頁(yè)，共二十九頁(yè)，編輯于2023年，星期三C——

比較層R——

識(shí)別層Reset

——復(fù)位信號(hào)G1和G2——邏輯控制信號(hào)ARTⅠ型網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)第五頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(1)C層結(jié)構(gòu)

該層有n個(gè)節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)接受來(lái)自3個(gè)方面的信號(hào)：來(lái)自外界的輸入信號(hào)xi；來(lái)自R層獲勝神經(jīng)元的外星向量的返回信號(hào)tij；來(lái)自G1的控制信號(hào)。C層節(jié)點(diǎn)的輸出ci是根據(jù)2/3的“多數(shù)表決”原則產(chǎn)生的，即輸出值ci與xi、tij、G13個(gè)信號(hào)中的多數(shù)信號(hào)值相同。G1=1，反饋回送信號(hào)為0，C層輸出應(yīng)由輸入信號(hào)決定，有C=X。反饋回送信號(hào)不為0，G1=0，C層輸出應(yīng)取決于輸入信號(hào)與反饋信號(hào)的比較情況，,如果xi=1，則ci=xi。否則ci=0。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)第六頁(yè)，共二十九頁(yè)，編輯于2023年，星期三（2）R層結(jié)構(gòu)R層有m個(gè)節(jié)點(diǎn)，用以表示m個(gè)輸入模式類(lèi)。m可動(dòng)態(tài)增長(zhǎng)，以設(shè)立新模式類(lèi)。由C層向上連接到R第j個(gè)節(jié)點(diǎn)的內(nèi)星權(quán)向量用Bj=（b1j，b2j，…,bnj）表示。C層的輸出向量C沿m個(gè)內(nèi)星權(quán)向量Bj(j=1,2,…,m)向前傳送，到達(dá)R層各個(gè)神經(jīng)元節(jié)點(diǎn)后經(jīng)過(guò)競(jìng)爭(zhēng)再產(chǎn)生獲勝節(jié)點(diǎn)j*，指示本次輸入模式的所屬類(lèi)別。獲勝節(jié)點(diǎn)輸出=1，其余節(jié)點(diǎn)輸出為0。得到R層各模式類(lèi)節(jié)點(diǎn)的典型向量。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)第七頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(3)控制信號(hào)

控制信號(hào)G2的作用是檢測(cè)輸入模式X是否為0，它等于X各分量的邏輯“或”，如果xi(i=1,2,…,n)為全0，則G2=0，否則G2=1?？刂菩盘?hào)G1的作用是在網(wǎng)絡(luò)開(kāi)始運(yùn)行時(shí)為1，以使C=X，其后為0以使C值由輸入模式和反饋模式的比較結(jié)果決定。設(shè)R層輸出向量各分量的邏輯“或”用R0表示，則信號(hào)G1=，當(dāng)R層輸出向量R的各分量為全0而輸入向量X不是零向量時(shí)，G1=1，否則G1=0。控制信號(hào)Reset的作用是使R層競(jìng)爭(zhēng)獲勝神經(jīng)元無(wú)效，如果根據(jù)某種事先設(shè)定的測(cè)量標(biāo)準(zhǔn)，C與X未達(dá)到預(yù)先設(shè)定的相似度ρ，表明兩者未充分接近，于是系統(tǒng)發(fā)出Reset信號(hào)使競(jìng)爭(zhēng)獲勝神經(jīng)元無(wú)效。網(wǎng)絡(luò)系統(tǒng)結(jié)構(gòu)第八頁(yè)，共二十九頁(yè)，編輯于2023年，星期三網(wǎng)絡(luò)運(yùn)行原理相似程度可能出現(xiàn)的兩種情況：①相似度超過(guò)參考門(mén)限

選該模式類(lèi)作為當(dāng)前輸入模式的代表類(lèi)。權(quán)值調(diào)整規(guī)則是，相似度超過(guò)參考門(mén)限的模式類(lèi)調(diào)整其相應(yīng)的內(nèi)外星權(quán)向量，以使其以后遇到與當(dāng)前輸入模式接近的樣本時(shí)能得到更大的相似度；對(duì)其它權(quán)值向量則不做任何變動(dòng)。②相似度不超過(guò)參考門(mén)限值需在網(wǎng)絡(luò)輸出端設(shè)立一個(gè)代表新模式類(lèi)的節(jié)點(diǎn)，用以代表及存儲(chǔ)該模式，以便于參加以后的匹配過(guò)程。網(wǎng)絡(luò)運(yùn)行原理第九頁(yè)，共二十九頁(yè)，編輯于2023年，星期三對(duì)于每一個(gè)輸入，模式網(wǎng)絡(luò)運(yùn)行過(guò)程可歸納為四個(gè)階段：(1)匹配階段網(wǎng)絡(luò)在沒(méi)有輸入之前處于等待狀態(tài)，此時(shí)輸入端X＝0，因此信號(hào)G2＝0，R0=0。當(dāng)輸入不全為0的模式X時(shí)，G2＝1，R0=0，使得G1=1。G1為1時(shí)允許輸入模式直接從C層輸出，并向前傳至R層，與R層節(jié)點(diǎn)對(duì)應(yīng)的所有內(nèi)星向量Bj進(jìn)行匹配計(jì)算：

j=1,2,…，m選擇具有最大匹配度(即具有最大點(diǎn)積)的競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)：使獲勝節(jié)點(diǎn)輸出=1，其它節(jié)點(diǎn)輸出為0。網(wǎng)絡(luò)運(yùn)行原理第十頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(2)比較階段

R層輸出信息通過(guò)外星向量返回到C層。R層獲勝節(jié)點(diǎn)所連的外星權(quán)向量激活，從節(jié)點(diǎn)j*發(fā)出的n個(gè)權(quán)值信號(hào)返回到C層的n個(gè)節(jié)點(diǎn)。此時(shí)，R層輸出不全為零，R0=1，而G1=0，所以C層最新輸出狀態(tài)C’取決于由R層返回的外星權(quán)向量和網(wǎng)絡(luò)輸入模式X的比較結(jié)果，即，,i=1,2,…,n。比較結(jié)果C’反映了在匹配階段R層競(jìng)爭(zhēng)排名第一的模式類(lèi)的典型向量與當(dāng)前輸入模式X的相似程度。相似程度的大小可用相似度N0反映，定義為：設(shè)輸入模式樣本中的非零分量數(shù)為：網(wǎng)絡(luò)運(yùn)行原理第十一頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(2)比較階段

用于比較的參考門(mén)限為ρ，在0～1范圍取值。檢查輸入模式與模式類(lèi)典型向量之間的相似性是否低于參考門(mén)限，如果有N0/N1<=ρ則X與C的相似程度不滿(mǎn)足要求，網(wǎng)絡(luò)發(fā)出Reset

信號(hào)使第一階段的匹配失敗，競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)無(wú)效，網(wǎng)絡(luò)進(jìn)入搜索階段。如果有N0/N1>ρ表明X與獲勝節(jié)點(diǎn)對(duì)應(yīng)的類(lèi)別模式非常接近，稱(chēng)X與

發(fā)生“共振”，第一階段的匹配結(jié)果有效，網(wǎng)絡(luò)進(jìn)入學(xué)習(xí)階段。網(wǎng)絡(luò)運(yùn)行原理第十二頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(3)搜索階段

網(wǎng)絡(luò)發(fā)出Reset重置信號(hào)后即進(jìn)入搜索階段，重置信號(hào)的作用是使前面通過(guò)競(jìng)爭(zhēng)獲勝的神經(jīng)元受到抑制，并且在后續(xù)過(guò)程中受到持續(xù)的抑制，直到輸入一個(gè)新的模式為止。由于R層中的競(jìng)爭(zhēng)獲勝的神經(jīng)元被抑制，從而再度出現(xiàn)R0=0，G1=1，因此網(wǎng)絡(luò)又重新回到起始的匹配狀態(tài)。由于上次獲勝的節(jié)點(diǎn)受到持續(xù)的抑制，此次獲勝的必然是上次匹配程度排在第二的節(jié)點(diǎn)，將該節(jié)點(diǎn)對(duì)應(yīng)的外星權(quán)向量與輸入模式進(jìn)行匹配計(jì)算。如果對(duì)R層所有的模式類(lèi)，在比較階段的相似度檢查中相似度都不能滿(mǎn)足要求，說(shuō)明當(dāng)前輸入模式無(wú)類(lèi)可歸，需要在網(wǎng)絡(luò)輸出層增加一個(gè)節(jié)點(diǎn)來(lái)代表并存儲(chǔ)該模式類(lèi)，為此將其內(nèi)星向量設(shè)計(jì)成當(dāng)前輸入模式向量，外星向量各分量全設(shè)為1。網(wǎng)絡(luò)運(yùn)行原理第十三頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(4)學(xué)習(xí)階段

在學(xué)習(xí)階段要對(duì)發(fā)生共振的獲勝節(jié)點(diǎn)對(duì)應(yīng)的模式類(lèi)加強(qiáng)學(xué)習(xí)，使以后出現(xiàn)與該模式相似的輸入樣本時(shí)能獲得更大的共振。

網(wǎng)絡(luò)運(yùn)行原理第十四頁(yè)，共二十九頁(yè)，編輯于2023年，星期三網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練可按以下步驟進(jìn)行：(1)網(wǎng)絡(luò)初始化

從C層向R層的內(nèi)星權(quán)向量Bj賦予相同的較小數(shù)值，如

從R層到C層的外星權(quán)向量Tj各分量均賦1

第十五頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(2)網(wǎng)絡(luò)接受輸入

給定一個(gè)輸入模式，X＝(x1,x2,…，xn)，

xi(0,1)。(3)匹配度計(jì)算

對(duì)R層所有內(nèi)星向量Bj計(jì)算與輸入模式X的匹配度：

j=1,2,…，m。(4)選擇最佳匹配節(jié)點(diǎn)

在R層有效輸出節(jié)點(diǎn)集合J*內(nèi)選擇競(jìng)爭(zhēng)獲勝的最佳匹配節(jié)點(diǎn)j*，使得第十六頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(5)相似度計(jì)算

R層獲勝節(jié)點(diǎn)j*通過(guò)外星送回獲勝模式類(lèi)的典型向量，C層輸出信號(hào)給出對(duì)向量和X的比較結(jié)果，由此結(jié)果可計(jì)算出兩向量的相似度為(6)參考門(mén)限檢驗(yàn)

如果N0/N1<=ρ，表明X與C的相似程度不滿(mǎn)足要求，本次競(jìng)爭(zhēng)獲勝節(jié)點(diǎn)無(wú)效，因此從R層有效輸出節(jié)點(diǎn)集合J*中取消該節(jié)點(diǎn)并使，訓(xùn)練轉(zhuǎn)入步驟(7)；如果N0/N1>ρ，表明X應(yīng)歸為代表的模式類(lèi)，轉(zhuǎn)向步驟(8)調(diào)整權(quán)值。第十七頁(yè)，共二十九頁(yè)，編輯于2023年，星期三(8)調(diào)整網(wǎng)絡(luò)權(quán)值修改R層節(jié)點(diǎn)j*對(duì)應(yīng)的權(quán)向量，網(wǎng)絡(luò)的學(xué)習(xí)采用兩種規(guī)則，外星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n；j*J*(7)搜索匹配模式類(lèi)若有效輸出節(jié)點(diǎn)集合J*不為空，轉(zhuǎn)向步驟(4)重選匹配模式類(lèi)；若J*為空集，需在R層增加一個(gè)節(jié)點(diǎn)。設(shè)新增節(jié)點(diǎn)的序號(hào)為nc，應(yīng)使,i=1,2,…,n,此時(shí)有效輸出節(jié)點(diǎn)集合為J*={1,2,…,m,m+1,…,m+nc},轉(zhuǎn)向步驟(2)輸入新模式。內(nèi)星向量的調(diào)整按以下規(guī)則:

i=1,2,…,n第十八頁(yè)，共二十九頁(yè)，編輯于2023年，星期三ART網(wǎng)絡(luò)的特點(diǎn)

非離線(xiàn)學(xué)習(xí)即不是對(duì)輸入集樣本反復(fù)訓(xùn)練后才開(kāi)始運(yùn)行，而是邊學(xué)習(xí)邊運(yùn)行實(shí)時(shí)方式。每次最多只有一個(gè)輸出節(jié)點(diǎn)為l每個(gè)輸出節(jié)點(diǎn)可看成一類(lèi)相近樣本的代表，當(dāng)輸入樣本距某一個(gè)內(nèi)星權(quán)向量較近時(shí)，代表它的輸出節(jié)點(diǎn)才響應(yīng)。

通過(guò)調(diào)整參考門(mén)限的大小可調(diào)整模式的類(lèi)數(shù)

小，模式的類(lèi)別少，大則模式的類(lèi)別多。第十九頁(yè)，共二十九頁(yè)，編輯于2023年，星期三4個(gè)輸入模式向量為：設(shè)=0.7，取初始權(quán)值bij=1/(1+n)=1/26,tij=1.例一模式分類(lèi)例一模式分類(lèi)ARTⅠ網(wǎng)絡(luò)的應(yīng)用第二十頁(yè)，共二十九頁(yè)，編輯于2023年，星期三第1步：輸入模式XA，將R層的4個(gè)節(jié)點(diǎn)中輸出最大的一個(gè)命名為節(jié)點(diǎn)1，有j*=1。由于初始化后tij=1，所以相似度N0/N1=1，大于參考門(mén)限，故第一個(gè)模式被命名為第一類(lèi)模式。修改節(jié)點(diǎn)1的內(nèi)星權(quán)向量，得修改節(jié)點(diǎn)1的外星權(quán)向量，得其余仍為初始值1/26。對(duì)比輸入模式X

A，可以看出，以上調(diào)整結(jié)果將模式X

A存儲(chǔ)在神經(jīng)元1的內(nèi)外星權(quán)向量中。例一模式分類(lèi)第二十一頁(yè)，共二十九頁(yè)，編輯于2023年，星期三第2步：輸入模式X

B

時(shí)，R層只有一個(gè)已存儲(chǔ)模式，故不存在類(lèi)別歸屬的競(jìng)爭(zhēng)，只需判斷該模式與已存儲(chǔ)模式T1=X

A

的相似度，得N0/N1=5/9<=0.7。從相似度可以看出，模式XB有9個(gè)黑象素，而XA與XB只有5個(gè)黑象素完全重合，故相似度檢驗(yàn)不合格。由于R層已沒(méi)有其它已存儲(chǔ)模式類(lèi)可供選擇，需動(dòng)用一個(gè)新節(jié)點(diǎn)，命名為節(jié)點(diǎn)2，用以代表新模式X

B。節(jié)點(diǎn)2的外星權(quán)向量為T(mén)2=X

B，內(nèi)星權(quán)向量為其余分量均為初始值。例一模式分類(lèi)第二十二頁(yè)，共二十九頁(yè)，編輯于2023年，星期三第3步：輸入模式XC時(shí)，節(jié)點(diǎn)1和節(jié)點(diǎn)2進(jìn)行競(jìng)爭(zhēng)

節(jié)點(diǎn)1凈輸入為1.217>節(jié)點(diǎn)2凈輸入為1.101節(jié)點(diǎn)1獲勝。計(jì)算T1與X的相似度