神經(jīng)網(wǎng)絡(luò)模型理論專家講座

神經(jīng)網(wǎng)絡(luò)模型理論2吳凡蔡佳佳-4-151吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第1頁神經(jīng)網(wǎng)絡(luò)模型分類-4-152吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第2頁自組織神經(jīng)網(wǎng)絡(luò)自組織神經(jīng)網(wǎng)絡(luò)是一個無導(dǎo)師學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型，這類模型大都采取了競爭學(xué)習(xí)機(jī)制。它能夠?qū)ν饨鐦颖究臻g進(jìn)行學(xué)習(xí)或模擬，并對本身網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行調(diào)整，普通分為ART模型，SOM模型和CPN模型。ART(AdaptiveResonanceTheory)自適應(yīng)共振理論SOM(Self-OrganizingFeatureMap)自組織特征映射-4-153吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第3頁自組織神經(jīng)網(wǎng)絡(luò)CPN(CounterPropagationNetwork)反向傳輸網(wǎng)絡(luò)競爭學(xué)習(xí)是指同一層上神經(jīng)元進(jìn)行競爭，勝利神經(jīng)元修改與其相連連接權(quán)值。這種機(jī)制能夠進(jìn)行模式分類。在競爭學(xué)習(xí)中，網(wǎng)絡(luò)依據(jù)輸入樣本進(jìn)行自組織，并將其劃分到對應(yīng)模式類別中。-4-154吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第4頁競爭學(xué)習(xí)競爭網(wǎng)絡(luò)第一層是輸入層，接收樣本；第二層是競爭層，對輸入樣本分類。對于某個神經(jīng)元，連接權(quán)和為1。Wij是輸入層神經(jīng)元到競爭層神經(jīng)元權(quán)值。-4-155吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第5頁競爭學(xué)習(xí)輸入樣本為二值向量（0，1組成向量），競爭層單元j狀態(tài)按右邊第一個公式來計(jì)算。其中Xi為輸入樣本第i個元素。按照WTA(Winner-Takes-All)機(jī)制來調(diào)整，即競爭層上含有最大權(quán)值神經(jīng)元K勝利。輸出為右邊第2個式子競爭后權(quán)值按右面第3個式子修改-4-156吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第6頁競爭學(xué)習(xí)其中α為學(xué)習(xí)參數(shù)，普通0.01——0.3，m為輸入層上輸出值為1神經(jīng)元個數(shù)。當(dāng)Xi為1權(quán)值增加，為0則減小。所以當(dāng)?shù)趇個權(quán)值增加或減小時，其它權(quán)值都有可能改變。但全部改變量和一定是0。-4-157吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第7頁KOHONEN網(wǎng)絡(luò)模型該網(wǎng)絡(luò)也稱為Kohonen網(wǎng)絡(luò)，1981年由芬蘭Helsink大學(xué)Kohonen教授提出。該網(wǎng)絡(luò)是一個由全互連神經(jīng)元陣列形成無導(dǎo)師自組織自學(xué)習(xí)網(wǎng)絡(luò)。該模型生物理論是認(rèn)為處于人腦不一樣區(qū)域神經(jīng)元分工有所不一樣。當(dāng)神經(jīng)網(wǎng)絡(luò)在接收外界接收輸入模式時，將會分為不一樣對應(yīng)區(qū)域。SOM模型特征就是能在1維或2維單元上形成輸入信號特征拓?fù)浞植肌?4-158吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第8頁KOHONEN網(wǎng)絡(luò)模型SOM模型含有抽取輸入信號模式特征能力。它普通只包含一維或二維陣列，但能夠推廣到高維。-4-159吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第9頁KOHONEN網(wǎng)絡(luò)模型這種網(wǎng)絡(luò)最顯著特點(diǎn)是神經(jīng)元不像在感知器和層次神經(jīng)網(wǎng)絡(luò)中按層排列，而是排列在平面格子中。全部輸入連接到網(wǎng)格中每個神經(jīng)元，反饋約束表現(xiàn)在抑制鄰近神經(jīng)元，在格子中每個神經(jīng)元是輸出神經(jīng)元。各神經(jīng)元之間連接權(quán)之間有一定分布，鄰近神經(jīng)元相互激勵，而較遠(yuǎn)神經(jīng)元則相互抑制，更遠(yuǎn)一些又有較弱激勵作用。在受外界刺激最強(qiáng)地方形成一個BOBBLE區(qū)域。-4-1510吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第10頁KOHONEN網(wǎng)絡(luò)模型在這個BOBBLE區(qū)域中，神經(jīng)元權(quán)向量會自動調(diào)整，一直到與輸入向量某一最大主分量方向相重合為止。下列圖為激勵作用與距離關(guān)系。-4-1511吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第11頁KOHONEN網(wǎng)絡(luò)模型組成KOHONEN網(wǎng)絡(luò)模型由四個部分組成：1處理單元陣列：接收事件輸入，而且形成對這些信號判別函數(shù)。2比較選擇機(jī)制：比較判別函數(shù)并選擇一個含有最大函數(shù)輸出值輸出單元。3局部互連作用：同時激勵被選擇處理單元和最鄰近處理單元。4自適應(yīng)過程：修正被激勵處理單元參數(shù)，以增加其對應(yīng)于特定輸入判別函數(shù)輸出值。-4-1512吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第12頁KOHONEN網(wǎng)絡(luò)模型設(shè)網(wǎng)絡(luò)輸出X∈，輸出神經(jīng)元與輸入神經(jīng)元連接權(quán)Wi∈，則輸出神經(jīng)元輸出Oi=WiX.網(wǎng)絡(luò)實(shí)際含有響應(yīng)輸出單元k是經(jīng)過競爭得到，競爭方法是取全部輸出中最大值。KOHONEN對這些規(guī)則又進(jìn)行了改進(jìn)。詳細(xì)改進(jìn)這里不講，能夠參考楊建剛《人工神經(jīng)網(wǎng)絡(luò)實(shí)用教程》，浙江大學(xué)出版社，年6月出版。-4-1513吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第13頁KOHONEN網(wǎng)絡(luò)處理TSP問題在文件上見到了這種模型求解TSP問題，這里給出大致算法步驟：1將全部連接權(quán)值初始化為一個小于1隨機(jī)數(shù)。2隨機(jī)選擇一個城市，其坐標(biāo)（X，Y）送入到KOHONEN網(wǎng)絡(luò)輸入端。3初始化一個隨時間增加而下降增益α(t0)和鄰域大小NE(t0).-4-1514吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第14頁KOHONEN網(wǎng)絡(luò)處理TSP問題4計(jì)算各輸出節(jié)點(diǎn)j與輸入坐標(biāo)向量Euclid距離。其中Xi(t)是t時刻節(jié)點(diǎn)i輸入，Wij（t）是t時刻節(jié)點(diǎn)i和節(jié)點(diǎn)j之間連接權(quán)。5選擇輸入坐標(biāo)響應(yīng)節(jié)點(diǎn)j’,滿足右邊式子。-4-1515吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第15頁KOHONEN網(wǎng)絡(luò)處理TSP問題6選擇j’鄰域。7修改j’及其鄰域內(nèi)輸出節(jié)點(diǎn)連接權(quán)，離散形式修正公式在右邊。8修改鄰域9修改α(t).10若α(t)>0,轉(zhuǎn)第4步。-4-1516吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第16頁KOHONEN網(wǎng)絡(luò)處理TSP問題11若城市集不為空，轉(zhuǎn)第一步。12給定一個起始城市，并標(biāo)明所對應(yīng)輸出節(jié)點(diǎn)，從該節(jié)點(diǎn)開始按順時針（逆時針）方向轉(zhuǎn)一周，依次找出環(huán)上節(jié)點(diǎn)所對應(yīng)城市，就取得一個TSP問題解。能利用KOHONEN網(wǎng)絡(luò)模型解TSP問題基本思想是：將KOHONEN神經(jīng)網(wǎng)絡(luò)輸出層節(jié)點(diǎn)分布在一個封閉圓環(huán)上。輸入向量分別映射到輸出層中對應(yīng)節(jié)點(diǎn)，輸出層各節(jié)點(diǎn)是次序排列，于是就確定了城市間鄰近關(guān)系。-4-1517吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第17頁KOHONEN網(wǎng)絡(luò)處理TSP問題這里鄰域是伴隨時間推移而降低，初始時能夠覆蓋整個解空間，然后按一定規(guī)律降低，其中參數(shù)α(t)也是能夠按一定法則降低。-4-1518吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第18頁KOHONEN網(wǎng)絡(luò)處理TSP問題在使用上述算法時，可能出現(xiàn)兩個以上城市映射到一個輸出節(jié)點(diǎn)上情況，這時能夠采取裂變法和排除法。裂變法指當(dāng)一個城市所映射輸出節(jié)點(diǎn)已經(jīng)是另一個城市映射節(jié)點(diǎn)時，把該城市分配到與該輸出節(jié)點(diǎn)鄰近節(jié)點(diǎn)上，且該節(jié)點(diǎn)必須空閑。排除法指一個城市映射到一個輸出節(jié)點(diǎn)時，就將這個輸出節(jié)點(diǎn)排除在外。在下面映射計(jì)算中，只從剩下輸出節(jié)點(diǎn)中尋找城市映射節(jié)點(diǎn)。但排除節(jié)點(diǎn)依然參加權(quán)向量修正。-4-1519吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第19頁KOHONEN網(wǎng)絡(luò)處理TSP問題鄰域改變以下列圖所表示-4-1520吳凡蔡佳佳神經(jīng)網(wǎng)絡(luò)模型理論專家講座第20頁KOHONEN網(wǎng)絡(luò)處理TSP問題兩個SOM算法演示地址：