人工神經(jīng)網(wǎng)絡(luò)-連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)

1、連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò) Continuous Hopfield Neural NetworkCHNN 連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)是Hopfield于1984年在離散型Hopfield神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上提出的。Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種，都是對(duì)稱(chēng)互連網(wǎng)絡(luò)（Wij=Wji）,根據(jù)節(jié)點(diǎn)狀態(tài)的取值來(lái)劃分是離散型的還是連續(xù)型。離散網(wǎng)絡(luò)節(jié)點(diǎn)取-1，+1或0，+1，連續(xù)網(wǎng)絡(luò)節(jié)點(diǎn)狀態(tài)在某個(gè)隨機(jī)區(qū)間內(nèi)連續(xù)取值。 其原理與離散型Hopfield神經(jīng)網(wǎng)絡(luò)相似，它以模擬量作為網(wǎng)絡(luò)的輸入輸出量，各神經(jīng)元采用并行方式工作 所以它在信息處理的并行性、聯(lián)想性、實(shí)時(shí)性、分布存儲(chǔ)和協(xié)同性等方面比離散型H

2、opfield神經(jīng)網(wǎng)絡(luò)更接近于生物神經(jīng)網(wǎng)絡(luò)提出原理優(yōu)點(diǎn) 一、網(wǎng)絡(luò)結(jié)構(gòu) 二、穩(wěn)定性證明 三、CHNN的幾點(diǎn)結(jié)論連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò) Continuous Hopfield Neural NetworkCHNN連續(xù)型Hopfield網(wǎng)絡(luò)結(jié)構(gòu)及特點(diǎn) 連續(xù)型Hopfield網(wǎng)絡(luò)結(jié)構(gòu)如右圖所示，它是單層反饋非線(xiàn)性網(wǎng)絡(luò)，每一個(gè)節(jié)點(diǎn)的輸出均反饋至節(jié)點(diǎn)的輸入。 Hopfield網(wǎng)絡(luò)用模擬電路實(shí)現(xiàn)的神經(jīng)元節(jié)點(diǎn)如右圖。圖中電阻Rio和電容Ci并聯(lián)，模擬生物神經(jīng)元的延時(shí)特性，電阻Rij(j=1,2,n)模擬突觸特征，偏置電流Ii相當(dāng)于閾值，運(yùn)算放大器模擬神經(jīng)元的非線(xiàn)性飽和特性。 設(shè)模型中放大器為理想放大器

3、，其輸入端無(wú)電流輸入，則第i個(gè)放大器的輸入方程為：iiinjijioiiiIUVWRUdtdUC1ijijRW1ui：表示運(yùn)算放大器i的輸入電壓vi：表示運(yùn)算放大器i的輸出電壓 連續(xù)型Hopfield動(dòng)態(tài)神經(jīng)網(wǎng)絡(luò)模型如右圖所示。 取Wij=Wji ,Wii=0(無(wú)自反饋) Hopfield神經(jīng)網(wǎng)絡(luò)中每個(gè)神經(jīng)元都是由運(yùn)算放大器及其相關(guān)的電路組成的，其中任意一個(gè)運(yùn)算放大器i（或神經(jīng)元i）都有兩組輸入：第一組是恒定的外部輸入，用Ii表示，這相當(dāng)于放大器的電流輸入；第二組是來(lái)自其他運(yùn)算放大器的反饋連接，如其中的另一任意運(yùn)算放大器j（或神經(jīng)元j），用wij表示，這相當(dāng)于神經(jīng)元i與神經(jīng)元j之間的連接權(quán)值。

4、設(shè) 則有 一般設(shè)則有 njijioiWRR111CICRyVxUii/,injiijiiiiIVWRUdtdUC 1iiUfViiijjijiiixfyyWCxdtdx11 式中f(x)為S形激勵(lì)函數(shù)。一般有以下兩種形式： 非對(duì)稱(chēng)型Sigmoid函數(shù) 對(duì)稱(chēng)型Sigmoid函數(shù) xexf11 xxeexf11連續(xù)型Hopfield神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析能量函數(shù)的定義 dVVfRIVVVWEiVniiiniininjjiij011111121求取 dtdEdtdVVEdtdEiiiiiijjjijjijiURIVWVWVE12121其中： 由于Wij=Wji 則有：iiijjijiURIVWVE1由連

5、續(xù)Hopfield運(yùn)行方程可得 iiiiiiiiiiVfdVddtdVCdVdUCdtdUCVE1將上式代入原式可得： jiiiVfdtdVCdtdE12 由于Ci0, f(U)單調(diào)遞增，故f -1 (U)也單調(diào)遞增，可得：0dtdE當(dāng)且僅當(dāng)， 0dtdVi時(shí)，0dtdE結(jié)論：網(wǎng)絡(luò)是漸進(jìn)穩(wěn)定的，隨著時(shí)間的推移，網(wǎng)絡(luò)的狀態(tài)向E減小的方向運(yùn)動(dòng)，其穩(wěn)定平衡狀態(tài)就是E的極小點(diǎn)。 關(guān)于關(guān)于HopfieldHopfield能量函數(shù)的幾點(diǎn)說(shuō)明：能量函數(shù)的幾點(diǎn)說(shuō)明： 當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后，從任一初始當(dāng)對(duì)反饋網(wǎng)絡(luò)應(yīng)用能量函數(shù)后，從任一初始狀態(tài)開(kāi)始，因?yàn)樵诿看蔚蠖寄軡M(mǎn)足狀態(tài)開(kāi)始，因?yàn)樵诿看蔚蠖寄軡M(mǎn)足

6、 E0E0，所以網(wǎng)絡(luò)的能量將會(huì)越來(lái)越小，最后趨于穩(wěn)定所以網(wǎng)絡(luò)的能量將會(huì)越來(lái)越小，最后趨于穩(wěn)定點(diǎn)點(diǎn) E=0E=0。 HopfieldHopfield能量函數(shù)的能量函數(shù)的物理意義物理意義：在那些漸進(jìn)：在那些漸進(jìn)穩(wěn)定點(diǎn)的吸引域內(nèi)，離吸引點(diǎn)越遠(yuǎn)的狀態(tài)，所穩(wěn)定點(diǎn)的吸引域內(nèi)，離吸引點(diǎn)越遠(yuǎn)的狀態(tài)，所具有的能量越大，由于能量函數(shù)的單調(diào)下降特具有的能量越大，由于能量函數(shù)的單調(diào)下降特性，保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處，性，保證狀態(tài)的運(yùn)動(dòng)方向能從遠(yuǎn)離吸引點(diǎn)處，不斷地趨于吸引點(diǎn)，直到達(dá)到穩(wěn)定點(diǎn)。不斷地趨于吸引點(diǎn)，直到達(dá)到穩(wěn)定點(diǎn)。兩點(diǎn)說(shuō)明：兩點(diǎn)說(shuō)明： 1 1）能量函數(shù)為反饋網(wǎng)絡(luò)的重要概念。）能量函數(shù)為反饋網(wǎng)絡(luò)的重要

7、概念。根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定根據(jù)能量函數(shù)可以方便的判斷系統(tǒng)的穩(wěn)定性；性； 2 2）HopfieldHopfield選擇的能量函數(shù)，只是保選擇的能量函數(shù)，只是保證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件，而不證系統(tǒng)穩(wěn)定和漸進(jìn)穩(wěn)定的充分條件，而不是必要條件，其能量函數(shù)也不是唯一的。是必要條件，其能量函數(shù)也不是唯一的。 1 1）具有良好的收斂性；）具有良好的收斂性； 2 2）具有有限個(gè)平衡點(diǎn)；）具有有限個(gè)平衡點(diǎn)； 3 3）如果平衡點(diǎn)是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)）如果平衡點(diǎn)是穩(wěn)定的，那么它也一定是漸進(jìn)穩(wěn)定的；定的； 4 4）漸進(jìn)穩(wěn)定平衡點(diǎn)為其能量函數(shù)的局部極小點(diǎn)；）漸進(jìn)穩(wěn)定平衡點(diǎn)為其能量函數(shù)的局部極小點(diǎn)； 5 5）能將任意一組希望存儲(chǔ)的正交化矢量綜合為網(wǎng)）能將任意一組希望存儲(chǔ)的正交化矢量綜合為網(wǎng)絡(luò)的漸進(jìn)平衡點(diǎn)；絡(luò)的漸進(jìn)平衡點(diǎn)； 6 6）網(wǎng)絡(luò)的存儲(chǔ)信息表現(xiàn)為神經(jīng)元之間互連的分布）網(wǎng)絡(luò)的存儲(chǔ)信息