離散Hopfield神經(jīng)網(wǎng)絡(luò)及應(yīng)用舉例

WhatisArtificalNeuralNetwork?WhatcanANNdoforus?WhencanweuseANN?WhatkindofANNshouldweselect?關(guān)于人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（復(fù)習(xí)）●人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元有一個(gè)單一的輸出，它可以連接到很多其他的神經(jīng)元，其輸入有多個(gè)連接通路，每個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)?！袢斯ど窠?jīng)網(wǎng)絡(luò)系統(tǒng)是以工程技術(shù)手段來(lái)模擬人腦神經(jīng)元（包括細(xì)胞體，樹突，軸突）網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。主要從兩個(gè)方面進(jìn)行模擬：一是結(jié)構(gòu)和實(shí)現(xiàn)機(jī)理；二是從功能上加以模擬?！窀鶕?jù)神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。

網(wǎng)絡(luò)屬性感知器BP神經(jīng)網(wǎng)絡(luò)RBF神經(jīng)網(wǎng)絡(luò)SOM神經(jīng)網(wǎng)絡(luò)MATLAB函數(shù)newpnewffnewrbnewrbenewc

應(yīng)用領(lǐng)域分類逼近、預(yù)測(cè)、分類逼近、預(yù)測(cè)分類如何選擇神經(jīng)網(wǎng)絡(luò)

需要注意的兩點(diǎn)●雖然人工神經(jīng)網(wǎng)絡(luò)有學(xué)習(xí)、識(shí)別、控制、逼近、分類、預(yù)測(cè)等強(qiáng)大功能，但應(yīng)該明確的是它不是萬(wàn)能的。想要得到一個(gè)什么樣子的結(jié)果對(duì)于是否選擇神經(jīng)網(wǎng)絡(luò)非常重要，如果想要的結(jié)果要求非常精準(zhǔn)，那么最好不要選擇人工神經(jīng)網(wǎng)絡(luò)模型?！袢绻麑?duì)結(jié)果要求不嚴(yán)格，系統(tǒng)數(shù)學(xué)模型未知或者很復(fù)雜，比較合適選取人工神經(jīng)網(wǎng)絡(luò)。因?yàn)樯窠?jīng)網(wǎng)絡(luò)對(duì)于用戶來(lái)說(shuō)，只是一個(gè)“黑匣子”，用戶不需要知道內(nèi)部結(jié)構(gòu)，只需確定輸入輸出即可。反饋神經(jīng)網(wǎng)絡(luò)●反饋網(wǎng)絡(luò)(RecurrentNetwork)，又稱自聯(lián)想記憶網(wǎng)絡(luò)，其目的是為了設(shè)計(jì)一個(gè)網(wǎng)絡(luò)，儲(chǔ)存一組平衡點(diǎn)，使得當(dāng)給網(wǎng)絡(luò)一組初始值時(shí)，網(wǎng)絡(luò)通過(guò)自行運(yùn)行而最終收斂到這個(gè)設(shè)計(jì)的平衡點(diǎn)上。反饋神經(jīng)網(wǎng)絡(luò)是一種將輸出經(jīng)過(guò)一步時(shí)移再接入到輸入層的神經(jīng)網(wǎng)絡(luò)系統(tǒng)。●反饋網(wǎng)絡(luò)能夠表現(xiàn)出非線性動(dòng)力學(xué)系統(tǒng)的動(dòng)態(tài)特性。它所具有的主要特性為以下兩點(diǎn)：1.網(wǎng)絡(luò)系統(tǒng)具有若干個(gè)穩(wěn)定狀態(tài)。當(dāng)網(wǎng)絡(luò)從某一初始狀態(tài)開始運(yùn)動(dòng)，網(wǎng)絡(luò)系統(tǒng)總可以收斂到某一個(gè)穩(wěn)定的平衡狀態(tài)；2.系統(tǒng)穩(wěn)定的平衡狀態(tài)可以通過(guò)設(shè)計(jì)網(wǎng)絡(luò)的權(quán)值而被存儲(chǔ)到網(wǎng)絡(luò)中?！穹答伨W(wǎng)絡(luò)是一種動(dòng)態(tài)網(wǎng)絡(luò)，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。該網(wǎng)絡(luò)主要用于聯(lián)想記憶和優(yōu)化計(jì)算。在這種網(wǎng)絡(luò)中，每個(gè)神經(jīng)元同時(shí)將自身的輸出信號(hào)作為輸入信號(hào)反饋給其他神經(jīng)元，它需要工作一段時(shí)間才能達(dá)到穩(wěn)定。

Hopfield神經(jīng)網(wǎng)絡(luò)●Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield神經(jīng)網(wǎng)絡(luò)是反饋網(wǎng)絡(luò)中最簡(jiǎn)單且應(yīng)用廣泛的模型，它具有聯(lián)想記憶的功能?！?984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(快速尋優(yōu)問(wèn)題)。●根據(jù)網(wǎng)絡(luò)的輸出是離散量或是連續(xù)量，Hopfield網(wǎng)絡(luò)也分為離散和連續(xù)的兩種。Hello,I’mJohnHopfield

Hopfield神經(jīng)網(wǎng)絡(luò)Hopfield神經(jīng)網(wǎng)絡(luò)模型是一種循環(huán)神經(jīng)網(wǎng)絡(luò)，從輸出到輸入有反饋連接。在輸入的激勵(lì)下，會(huì)產(chǎn)生不斷的狀態(tài)變化。反饋網(wǎng)絡(luò)有穩(wěn)定的，也有不穩(wěn)定的，如何判別其穩(wěn)定性也是需要確定的。對(duì)于一個(gè)Hopfield網(wǎng)絡(luò)來(lái)說(shuō)，關(guān)鍵是在于確定它在穩(wěn)定條件下的權(quán)系數(shù)。右圖中，第0層是輸入，不是神經(jīng)元；第二層是神經(jīng)元。Hopfield神經(jīng)網(wǎng)絡(luò)有兩種：離散Hopfield網(wǎng)絡(luò)（DHNN）和連續(xù)Hopfield網(wǎng)絡(luò)（CHNN）

。1.離散Hopfield網(wǎng)絡(luò)（DHNN）：神經(jīng)元的輸出只取1和0，分別表示神經(jīng)元處于激活和抑制狀態(tài)。對(duì)于二值神經(jīng)元，它的計(jì)算公式如下

其中，xi為外部輸入。并且有：2.連續(xù)Hopfield網(wǎng)絡(luò)（CHNN）拓?fù)浣Y(jié)構(gòu)和DHNN的結(jié)構(gòu)相同。不同之處在于其函數(shù)g不是階躍函數(shù)，而是S形的連續(xù)函數(shù)。一般取G(u)=1/(1+eu)

離散Hopfield網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的結(jié)構(gòu)和工作方式離散Hopfield網(wǎng)絡(luò)是一個(gè)單層網(wǎng)絡(luò)，有n個(gè)神經(jīng)元節(jié)點(diǎn)，每個(gè)神經(jīng)元的輸出均接到其它神經(jīng)元的輸入。各節(jié)點(diǎn)沒(méi)有自反饋，每個(gè)節(jié)點(diǎn)都附有一個(gè)閥值。每個(gè)節(jié)點(diǎn)都可處于一種可能的狀態(tài)（1或－1），即當(dāng)該神經(jīng)元所受的刺激超過(guò)其閥值時(shí)，神經(jīng)元就處于一種狀態(tài)（比如1），否則神經(jīng)元就始終處于另一狀態(tài)（比如－1）。

一個(gè)DHNN的網(wǎng)絡(luò)狀態(tài)是輸出神經(jīng)元信息的集合。對(duì)于一個(gè)輸出層是n個(gè)神經(jīng)元的網(wǎng)絡(luò),其t時(shí)刻的狀態(tài)為一個(gè)n維向量：Y(t)=[y1(t),y2(t),…,yn(t)]T

因?yàn)閥i(t)可以取值為1或0，故n維向量Y(t)有2n種狀態(tài)，即網(wǎng)絡(luò)有2n種狀態(tài)。如圖所示：如果Hopfield網(wǎng)絡(luò)是一個(gè)穩(wěn)定網(wǎng)絡(luò)，有3個(gè)神經(jīng)元，則有8種狀態(tài)。右圖可直觀看出：若在網(wǎng)絡(luò)的輸入端上加入一個(gè)輸入向量，則網(wǎng)絡(luò)的狀態(tài)會(huì)產(chǎn)生變化，即從超立方體的一個(gè)頂點(diǎn)轉(zhuǎn)向另一個(gè)頂點(diǎn)，并且最終穩(wěn)定于一個(gè)特定的頂角。

●假設(shè)一個(gè)DHNN，其狀態(tài)為Y(t)：Y(t)=[y1(t),y2(t),…,yn(t)]T

如果對(duì)于任何△t，當(dāng)神經(jīng)網(wǎng)絡(luò)從t=0開始，有初始狀態(tài)Y(0)。經(jīng)過(guò)有限時(shí)刻t，有：Y(t+△t)=Y(t)

則稱網(wǎng)絡(luò)是穩(wěn)定的。

●Hopfield網(wǎng)絡(luò)穩(wěn)定的充分條件：權(quán)系數(shù)矩陣W是對(duì)稱矩陣，并且對(duì)角線元素為0。

●無(wú)自反饋的權(quán)系數(shù)對(duì)稱Hopfield網(wǎng)絡(luò)是穩(wěn)定的。

應(yīng)用舉例（數(shù)字識(shí)別）

問(wèn)題設(shè)計(jì)一個(gè)Hopfield網(wǎng)絡(luò)，使其具有聯(lián)想記憶功能，能正確識(shí)別阿拉伯?dāng)?shù)字，當(dāng)數(shù)字被噪聲污染后仍可以正確地識(shí)別。設(shè)計(jì)思路假設(shè)網(wǎng)絡(luò)由0-9共10個(gè)穩(wěn)態(tài)構(gòu)成，每個(gè)穩(wěn)態(tài)由10*10的矩陣構(gòu)成，該矩陣用于模擬阿拉伯?dāng)?shù)字點(diǎn)陣。即將每個(gè)數(shù)字劃分成10*10方陣，有數(shù)字的部分用1表示，空白處用-1表示。設(shè)計(jì)步驟（1）設(shè)計(jì)數(shù)字點(diǎn)陣（0-9）（2）創(chuàng)建Hopfield網(wǎng)絡(luò)（3）設(shè)計(jì)受到噪聲污染的數(shù)字點(diǎn)陣（4）數(shù)字識(shí)別（5）結(jié)果分析

應(yīng)用舉例（數(shù)字識(shí)別）%standardnumberarray；矩陣填充，數(shù)字模型建立one=[-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1;...-1-1-1-111-1-1-1-1;-1-1-1-111-1-1-1-1];two=[-111111111-1;-111111111-1;...-1-1-1-1-1-1-111-1;-1-1-1-1-1-1-111-1;...-111111111-1;-111111111-1;...-111-1-1-1-1-1-1-1;-111-1-1-1-1-1-1-1;...-111111111-1;-111111111-1];

%plotstandardnumberfigure畫出標(biāo)準(zhǔn)數(shù)字圖像-----------------ONE=imresize(one,20);subplot(3,2,1)imshow(ONE)title('standnumber')

TWO=imresize(two,20);subplot(3,2,2)imshow(TWO)title('standnumber')

%--createhopfieldnet創(chuàng)建Hopfield網(wǎng)絡(luò)--------------------------T=[one;two]';net=newhop(T);

%--noisearray(randnoise)-人為制造噪聲----------------rand('state',0);fori=1:100a=rand;ifa<0.1one(i)=-one(i);two(i)=-two(i);endendno1=one;no2=two;%--plotnoisyfigure---------------subplot(3,2,3)NO1=imresize(no1,20);imshow(NO1)title('noisynumber')

subplot(3,2,4)NO2=imresize(no2,20);imshow(NO2)title('noisynumber')%plotidentifyfigure—noise1={(no1)'}