hopfield神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法

Hopfield神經(jīng)網(wǎng)絡(luò)模型與學(xué)習(xí)算法

9/30/20231概述Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個(gè)重要的里程碑。由美國(guó)加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計(jì)并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計(jì)算難題(優(yōu)化問題)。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)。Hello,I’mJohnHopfield9/30/202322.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法一9/30/202332.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二9/30/202342.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說明任意神經(jīng)元與間的突觸權(quán)值為，神經(jīng)元之間連接是對(duì)稱的，神經(jīng)元自身無連接.每個(gè)神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號(hào)經(jīng)過其他神經(jīng)元又有可能反饋給自己設(shè)Hopfield網(wǎng)絡(luò)中有n個(gè)神經(jīng)元，其中任意神經(jīng)元的輸入用表示，輸出用表示，它們都是時(shí)間的函數(shù)，其中也稱為神經(jīng)元在時(shí)刻的狀態(tài)。9/30/202352.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)激勵(lì)函數(shù)9/30/202362.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式在任—時(shí)刻，只有某—神經(jīng)元(隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)并行(同步)工作方式在任一時(shí)刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時(shí)改變。

9/30/202372.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步對(duì)網(wǎng)絡(luò)進(jìn)行初始化； 第二步從網(wǎng)絡(luò)中隨機(jī)選取一個(gè)神經(jīng)元； 第三步按式(2-5)求出該神經(jīng)元i的輸出； 第四步按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時(shí)網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變； 第五步判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。

9/30/202382.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時(shí)刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對(duì)稱連接，即；神經(jīng)元自身無連接能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最后達(dá)到穩(wěn)定9/30/202392.9.1離散Hopfield神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量H