神經(jīng)信息學(xué)課件

1、神經(jīng)信息學(xué) 平行分布式理論框架史忠植shizzics.ict.ac中科院計算所9/25/20221神經(jīng)信息學(xué) 平行分布式理論框架9/24/20221目 錄1. 神經(jīng)計算2. 并行分布式理論框架3. 交互與競爭神經(jīng)網(wǎng)絡(luò)4. 誤差反向傳播神經(jīng)網(wǎng)絡(luò)5.Hopfield神經(jīng)網(wǎng)絡(luò)9/25/20222目 錄1. 神經(jīng)計算9/24/20222神經(jīng)網(wǎng)絡(luò)一個神經(jīng)網(wǎng)絡(luò)是由簡單處理元構(gòu)成的規(guī)模宏大的并行分布處理器。天然具有存儲經(jīng)驗知識和使之可用的特性。神經(jīng)網(wǎng)絡(luò)從兩個方面上模擬大腦： 神經(jīng)網(wǎng)絡(luò)獲取的知識是從外界環(huán)境中學(xué)習(xí)得來的。 內(nèi)部神經(jīng)元的連接強(qiáng)度，即突觸權(quán)值，用于儲存獲取的知識。9/25/20223神經(jīng)網(wǎng)絡(luò)一個神

2、經(jīng)網(wǎng)絡(luò)是由簡單處理元構(gòu)成的規(guī)模宏大的并行分布處發(fā)展歷史 萌芽期（20世紀(jì)40年代） 人工神經(jīng)網(wǎng)絡(luò)的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。 1943年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts建立起了著名的閾值加權(quán)和模型，簡稱為M-P模型。發(fā)表于數(shù)學(xué)生物物理學(xué)會刊Bulletin of Methematical Biophysics 949年，心理學(xué)家D. O. Hebb提出神經(jīng)元之間突觸聯(lián)系是可變的假說Hebb學(xué)習(xí)律。 9/25/20224發(fā)展歷史 萌芽期（20世紀(jì)40年代）9/24/20224發(fā)展歷史第一高潮期（19501968） 以Marvin Minsky，

3、Frank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器（Perceptron）。 可用電子線路模擬。 人們樂觀地認(rèn)為幾乎已經(jīng)找到了智能的關(guān)鍵。許多部門都開始大批地投入此項研究，希望盡快占領(lǐng)制高點。 9/25/20225發(fā)展歷史第一高潮期（19501968）9/24/20225發(fā)展歷史反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 異或”運(yùn)算不可表示 二十世紀(jì)70年代和80年代早期的研究結(jié)果 9/25/20226發(fā)展歷史反思期（19691982） 9/24/20226發(fā)展歷史第

4、二高潮期（19831990） 1982年，J. Hopfield提出Hopfield網(wǎng)絡(luò)用Lyapunov函數(shù)作為網(wǎng)絡(luò)性能判定的能量函數(shù)，建立ANN穩(wěn)定性的判別依據(jù)闡明了ANN與動力學(xué)的關(guān)系用非線性動力學(xué)的方法來研究ANN的特性指出信息被存放在網(wǎng)絡(luò)中神經(jīng)元的聯(lián)接上 9/25/20227發(fā)展歷史第二高潮期（19831990） 9/24/2022發(fā)展歷史第二高潮期（19831990） 1984年， J. Hopfield設(shè)計研制了后來被人們稱為Hopfield網(wǎng)-Tank 電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。 1985年，UCSD的Hinton、Sejnow

5、sky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網(wǎng)絡(luò)中引入了隨機(jī)機(jī)制，提出所謂的Boltzmann機(jī)。 9/25/20228發(fā)展歷史第二高潮期（19831990）9/24/20228發(fā)展歷史 1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)算法BP算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。（Paker1982和Werbos1974年） 自適應(yīng)共振理論（ART） 自組織特征映射理論9/25/20229發(fā)展歷史 1986年，并行分布處理小組的Rumelh發(fā)展歷史 Hinton 等人最近提出了 Helmboltz 機(jī) 徐雷提出的

6、 Ying-Yang 機(jī)理論模型 甘利俊一( S.Amari) 開創(chuàng)和發(fā)展的基于統(tǒng)計流形的方法應(yīng)用于人工神經(jīng)網(wǎng)絡(luò)的研究, 國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會是1990年12月在北京舉行的。9/25/202210發(fā)展歷史 Hinton 等人最近提出了 Helmbol并行分布式理論框架 1986年，美國加州大學(xué)圣地亞哥分校（UCSD）Rumellhart，McClelland，Hinton： Parallel and Distributed Processing, MIT Press, Cambridge9/25/202211并行分布式理論框架 1986年，美國加州大學(xué)圣地亞哥分校（并行分布式理論框架PDP模型

7、1） 一組處理單元（PE或AN）2） 處理單元的激活狀態(tài)（ai）3） 每個處理單元的輸出函數(shù)（fi）4） 處理單元之間的連接模式5） 傳遞規(guī)則（wijoi）6）把處理單元的輸入及當(dāng)前狀態(tài)結(jié)合起來產(chǎn)生激活值的激活規(guī)則（Fi）7） 通過經(jīng)驗修改連接強(qiáng)度的學(xué)習(xí)規(guī)則8） 系統(tǒng)運(yùn)行的環(huán)境（樣本集合）9/25/202212并行分布式理論框架PDP模型9/24/202212神經(jīng)網(wǎng)絡(luò)的維數(shù)Various types of neuronsVarious network architecturesVarious learning algorithmsVarious applications9/25/202213神

8、經(jīng)網(wǎng)絡(luò)的維數(shù)9/24/202213自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)交互與競爭IAC神經(jīng)網(wǎng)絡(luò)競爭層輸入層9/25/202214自組織神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)交互與競爭IAC神經(jīng)網(wǎng)絡(luò)競爭層輸入層競爭學(xué)習(xí)相似性測量歐式距離法9/25/202215競爭學(xué)習(xí)相似性測量歐式距離法9/24/202215相似性測量余弦法競爭學(xué)習(xí)9/25/202216相似性測量余弦法競爭學(xué)習(xí)9/24/202216競爭學(xué)習(xí)規(guī)則Winner-Take-All 網(wǎng)絡(luò)的輸出神經(jīng)元之間相互競爭以求被激活，結(jié)果在每一時刻只有一個輸出神經(jīng)元被激活。這個被激活的神經(jīng)元稱為競爭獲勝神經(jīng)元，而其它神經(jīng)元的狀態(tài)被抑制，故稱為Winner Take All。競爭學(xué)

9、習(xí)原理9/25/202217競爭學(xué)習(xí)規(guī)則Winner-Take-All 尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個輸入模式向量時，競爭層的所有神經(jīng)元對應(yīng)的內(nèi)星權(quán)向量均與其進(jìn)行相似性比較，并將最相似的內(nèi)星權(quán)向量判為競爭獲勝神經(jīng)元。欲使兩單位向量最相似，須使其點積最大。即：競爭學(xué)習(xí)原理9/25/202218尋找獲勝神經(jīng)元 當(dāng)網(wǎng)絡(luò)得到一個輸入模式向量時，競爭層的所有 從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩向量的點積最大。即：競爭學(xué)習(xí)原理9/25/202219 從上式可以看出，欲使兩單位向量的歐式距離最小，須使兩3.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 jj* 步驟3完成后回到步驟1繼續(xù)訓(xùn)練，直到學(xué)習(xí)率衰減到0。競爭

10、學(xué)習(xí)原理9/25/2022203.網(wǎng)絡(luò)輸出與權(quán)值調(diào)整 jj* 步驟3完單層感知器模型前饋神經(jīng)網(wǎng)絡(luò)j=1,2,m 9/25/202221單層感知器模型前饋神經(jīng)網(wǎng)絡(luò)j=1,2,m 9/24/20凈輸入：輸出：ojx1-1xn單層感知器9/25/202222凈輸入：輸出：ojx1-1xn單層感知器9/24/2022感知器的功能(1)設(shè)輸入向量X=(x1 ,x2)T輸出：則由方程 w1jx1+w2jx2-Tj=0 確定了二維平面上的一條分界線。ojx1-1x2單計算節(jié)點感知器單層感知器9/25/202223感知器的功能(1)設(shè)輸入向量X=(x1 ,x2)T輸出：則由感知器的功能單層感知器9/25/20

11、2224感知器的功能單層感知器9/24/202224感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程 w1jx1+w2jx2+w3j x3Tj=0 (3.4) 確定了三維空間上的一個分界平面。 x2ojx1x3-1單層感知器9/25/202225感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：感知器的功能單層感知器9/25/202226感知器的功能單層感知器9/24/202226多層感知器x1o1輸出層隱藏層輸入層x2o2omxnW(1)W(2)W(3)W(L)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)9/25/202227多層感知器x1o1輸出層隱藏層輸入層x2o2omxn雙層感知器“異

12、或”問題分類用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o001011100111多層感知器9/25/202228雙層感知器“異或”問題分類用兩計算層感知器解決“異或”問題。雙層感知器“異或”問題分類用兩計算層感知器解決“異或”問題“異或”的真值表x1x2y1y2o001010101111多層感知器9/25/202229雙層感知器“異或”問題分類用兩計算層感知器解決“異或”問題“雙層感知器“異或”問題分類用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o0011011010011111多層感知器9/25/202230雙層感知器“異或”問題分類用兩計算層感

13、知器解決“異或”問題。雙層感知器“異或”問題分類例四 用兩計算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o00110011011001111110多層感知器9/25/202231雙層感知器“異或”問題分類例四 用兩計算層感知器解決“異或具有不同隱層數(shù)的感知器的分類能力對比多層感知器9/25/202232具有不同隱層數(shù)的感知器的分類能力對比多層感知器9/24/20基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反向傳播（BP）網(wǎng)路9/25/202233基于BP算法的多層前饋網(wǎng)絡(luò)模型誤差反向傳播（BP）網(wǎng)路9/2基于BP算法的多層前饋網(wǎng)絡(luò)模型輸入向量： X=(x1,x2,xi,xn)T隱層輸出向

14、量： Y=(y1,y2,yj,ym)T輸出層輸出向量： O=(o1,o2,ok,ol)T期望輸出向量：d=(d1, d2,dk,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,Vj,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,Wk,Wl)誤差反向傳播（BP）網(wǎng)路9/25/202234基于BP算法的多層前饋網(wǎng)絡(luò)模型輸入向量： X=(x1,3.4.1 基于BP算法的多層前饋網(wǎng)絡(luò)模型對于輸出層：k=1,2,lk=1,2,l對于隱層：j=1,2,mj=1,2,m誤差反向傳播（BP）網(wǎng)路9/25/2022353.4.1 基于BP算法的多層前饋網(wǎng)絡(luò)模型對于輸出層：k=13.4.1 基于BP算

15、法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoid函數(shù)：單極性Sigmoid函數(shù)：誤差反向傳播（BP）網(wǎng)路9/25/2022363.4.1 基于BP算法的多層前饋網(wǎng)絡(luò)模型雙極性Sigmoi一、網(wǎng)絡(luò)誤差 定義與權(quán)值調(diào)整思路輸出誤差E定義：將以上誤差定義式展開至隱層：BP學(xué)習(xí)算法9/25/202237一、網(wǎng)絡(luò)誤差 定義與權(quán)值調(diào)整思路輸出誤差E定義：將以上誤差定一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層：BP學(xué)習(xí)算法9/25/202238一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層：BP學(xué)習(xí)算法9/2BP學(xué)習(xí)算法j=0,1,2,m; k=1,2,li=0,1,2,n; j=1,2,m式中負(fù)號表示梯度下降，常數(shù)(0,

16、1)表示比例系數(shù)。在全部推導(dǎo)過程中，對輸出層有j=0,1,2,m; k=1,2,l 對隱層有 i=0,1,2,n; j=1,2,mBP學(xué)習(xí)算法9/25/202239BP學(xué)習(xí)算法j=0,1,2,m; k=1,2,li對于輸出層，式(3.4.9a)可寫為對隱層，式(3.4.9b)可寫為對輸出層和隱層各定義一個誤差信號，令 (3.4.11a)yjxiBP算法推導(dǎo)9/25/202240對于輸出層，式(3.4.9a)可寫為對隱層，式(3.4.9b(1)初始化； (4)計算各層誤差信號； (5)調(diào)整各層權(quán)值； (6)檢查是否對所有樣本完成一次 輪訓(xùn)； (7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精 度要求。 (2)輸入訓(xùn)

17、練樣本對X Xp、d dp計算各層輸出；(3)計算網(wǎng)絡(luò)輸出誤差；BP算法的程序?qū)崿F(xiàn)9/25/202241(1)初始化； (4)計算各層誤差信號； (5)調(diào)整各層權(quán)然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值。 另一種方法是在所有樣本輸入之后，計算網(wǎng)絡(luò)的總誤差：BP算法的程序?qū)崿F(xiàn)9/25/202242然后根據(jù)總誤差計算各層的誤差信號并調(diào)整權(quán)值。 另一(1)非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)系，而無需事先了解描述這種映射關(guān)系的數(shù)學(xué)方程。只要能提供足夠多的樣本模式對供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。多層前饋網(wǎng)(感知器)的主要能力9/

18、25/202243(1)非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯(2)泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的非樣本數(shù)據(jù)時，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種能力稱為多層前饋網(wǎng)的泛化能力。(3)容錯能力 輸入樣本中帶有較大的誤差甚至個別錯誤對網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。多層前饋網(wǎng)(感知器)的主要能力9/25/202244(2)泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時未曾見過的 誤差函數(shù)的可調(diào)整參數(shù)的個數(shù) nw 等于各層權(quán)值數(shù)加上閾值數(shù)，即： 誤差 E 是 nw+1 維空間中一個形狀極為復(fù)雜的曲面，該曲面上的每個點的“高度”對應(yīng)于一個誤差值，每個點的坐標(biāo)向量對應(yīng)著 nw 個權(quán)值，因此稱這樣的空間為

19、誤差的權(quán)空間。BP算法的局限性9/25/202245 誤差函數(shù)的可調(diào)整參數(shù)的個數(shù) nw 等于各層權(quán)誤差曲面的分布有兩個特點：特點之一：存在平坦區(qū)域 BP算法的局限性9/25/202246誤差曲面的分布有兩個特點：特點之一：存在平坦區(qū)域 BP算法的特點之二：存在多個極小點 多數(shù)極小點都是局部極小，即使是全局極小往往也不是唯一的，但其特點都是誤差梯度為零。 誤差曲面的平坦區(qū)域會使訓(xùn)練次數(shù)大大增加，從而影響了收斂速度；而誤差曲面的多極小點會使訓(xùn)練陷入局部極小，從而使訓(xùn)練無法收斂于給定誤差。BP算法的局限性9/25/202247特點之二：存在多個極小點 多數(shù)極小點都是局部極標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出

20、不少內(nèi)在的缺陷： 易形成局部極小而得不到全局最優(yōu)； 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； 隱節(jié)點的選取缺乏理論指導(dǎo)； 訓(xùn)練時學(xué)習(xí)新樣本有遺忘舊樣本的趨勢。 針對上述問題，國內(nèi)外已提出不少有效的改進(jìn)算法，下面僅介紹其中3種較常用的方法。標(biāo)準(zhǔn)BP算法的改進(jìn)9/25/202248標(biāo)準(zhǔn)的BP算法在應(yīng)用中暴露出不少內(nèi)在的缺陷： 易形成局部極1 增加動量項為動量系數(shù)，一般有(0，1)2 自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使總誤差，則本次調(diào)整無效，且=(1 )。標(biāo)準(zhǔn)BP算法的改進(jìn)9/25/2022491 增加動量項為動量系數(shù)，一般有(0，1)2 自適應(yīng)調(diào)3 引入陡度因子 實現(xiàn)這一思路

21、的具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個陡度因子標(biāo)準(zhǔn)BP算法的改進(jìn)9/25/2022503 引入陡度因子 實現(xiàn)這一思路的具體作法是，在概述 Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個重要的里程碑。由美國加州理工學(xué)院物理學(xué)家J.J.Hopfield教授于1982年提出，是一種單層反饋神經(jīng)網(wǎng)絡(luò)。Hopfield網(wǎng)絡(luò)是一種由非線性元件構(gòu)成的反饋系統(tǒng)，其穩(wěn)定狀態(tài)的分析比前向神經(jīng)網(wǎng)絡(luò)要復(fù)雜得多。1984年，Hopfield設(shè)計并研制了網(wǎng)絡(luò)模型的電路，并成功地解決了旅行商(TSP)計算難題(優(yōu)化問題)。 Hopfield網(wǎng)絡(luò)分為離散型和連續(xù)型兩種網(wǎng)絡(luò)模型，分別記作DHNN (Discrete Hopfie

22、ld Neural Network) 和CHNN (Continues Hopfield Neural Network) 。 Hello,Im John Hopfield9/25/202251概述 Hopfield網(wǎng)絡(luò)是神經(jīng)網(wǎng)絡(luò)發(fā)展歷史上的一個重離散Hopfield 神經(jīng)網(wǎng)絡(luò)9/25/202252離散Hopfield 神經(jīng)網(wǎng)絡(luò)9/24/202252離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二9/25/202253離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型表示法二9/24/20離散Hopfield 神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說明任意神經(jīng)元 i與 j間的突觸權(quán)值為 ，神經(jīng)元之間連接是對稱的，神經(jīng)元自身無連接.

23、 每個神經(jīng)元都同其他的神經(jīng)元相連,其輸出信號經(jīng)過其他神經(jīng)元又有可能反饋給自己 設(shè)Hopfield網(wǎng)絡(luò)中有n個神經(jīng)元，其中任意神經(jīng)元的輸入用 表示，輸出 用表示，它們都是時間的函數(shù)，其中 也稱為神經(jīng)元在時刻t 的狀態(tài)。 9/25/202254離散Hopfield 神經(jīng)網(wǎng)絡(luò)相關(guān)參數(shù)說明9/24/2022離散Hopfield 神經(jīng)網(wǎng)絡(luò)激勵函數(shù)9/25/202255離散Hopfield 神經(jīng)網(wǎng)絡(luò)激勵函數(shù)9/24/202255離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行規(guī)則(1)串行(異步)工作方式 在任時刻，只有某神經(jīng)元 (隨機(jī)的或確定的選擇)依上式變化，而其他神經(jīng)元的狀態(tài)不變。(2)

24、并行(同步)工作方式 在任一時刻，部分神經(jīng)元或全部神經(jīng)元的狀態(tài)同時改變。9/25/202256離散Hopfield 神經(jīng)網(wǎng)絡(luò)離散Hopfield網(wǎng)絡(luò)的運(yùn)行離散Hopfield 神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟第一步 對網(wǎng)絡(luò)進(jìn)行初始化；第二步 從網(wǎng)絡(luò)中隨機(jī)選取一個神經(jīng)元；第三步 按式(2-5)求出該神經(jīng)元i的輸出；第四步 按式(2-6)求出該神經(jīng)元經(jīng)激活函數(shù)處理后的輸出，此時網(wǎng)絡(luò)中的其他神經(jīng)元的輸出保持不變；第五步 判斷網(wǎng)絡(luò)是否達(dá)到穩(wěn)定狀態(tài)，若達(dá)到穩(wěn)定狀態(tài)或滿足給定條件則結(jié)束；否則轉(zhuǎn)到第二步繼續(xù)運(yùn)行。 9/25/202257離散Hopfield 神經(jīng)網(wǎng)絡(luò)串行(異步)工作方式運(yùn)行步驟9離散Ho

25、pfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)若網(wǎng)絡(luò)從某一時刻以后，狀態(tài)不再發(fā)生變化，則稱網(wǎng)絡(luò)處于穩(wěn)定狀態(tài)網(wǎng)絡(luò)為對稱連接，即；神經(jīng)元自身無連接 能量函數(shù)在網(wǎng)絡(luò)運(yùn)行中不斷降低，最后達(dá)到穩(wěn)定9/25/202258離散Hopfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定狀態(tài)9/24/202258離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量Hopfield網(wǎng)絡(luò)狀態(tài)向著能量函數(shù)減小的方向演化。由于能量函數(shù)有界，所以系統(tǒng)必然會趨于穩(wěn)定狀態(tài) 。9/25/202259離散Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)中神經(jīng)元能量函數(shù)變化量Ho連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型9/25/202260連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)網(wǎng)絡(luò)模型9/24/2

26、02260連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析將下式代入得：因為連續(xù)Hopfield網(wǎng)絡(luò)模型是穩(wěn)定的9/25/202261連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)穩(wěn)定性分析因為連連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型的主要特性1)連續(xù)Hopfield網(wǎng)絡(luò)的神經(jīng)元作為I/O轉(zhuǎn)換，其傳輸特性具有Sigmoid特性；2)具有時空整合作用；3)在神經(jīng)元之間存在著大量的興奮性和抑制性連接，這種聯(lián)接主要是通過反饋來實現(xiàn)。4)具有既代表產(chǎn)生動作電位的神經(jīng)元，又有代表按漸進(jìn)方式工作的神經(jīng)元，即保留了動態(tài)和非線性兩個最重要的計算特性。 Hopfield神經(jīng)網(wǎng)絡(luò)設(shè)計的目標(biāo)就是使得網(wǎng)絡(luò)存儲一些特定的平

27、衡點，當(dāng)給定網(wǎng)絡(luò)一個初始條件時，網(wǎng)絡(luò)最后會在這樣的點上停下來 9/25/202262連續(xù)Hopfield 神經(jīng)網(wǎng)絡(luò)連續(xù)Hopfield網(wǎng)絡(luò)模型的Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn)函 數(shù) 名功 能satlin( )飽和線性傳遞函數(shù)satlins( )對稱飽和線性傳遞函數(shù)newhop( )生成一個Hopfield回歸網(wǎng)絡(luò)nnt2hop( )更新NNT 2.0 Hopfield回歸網(wǎng)絡(luò)MATLAB中Hopfield網(wǎng)絡(luò)的重要函數(shù)和功能 9/25/202263Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn)函 數(shù) 名功 Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn) MATLAB中與Hopfiel

28、d網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能 newhop( )功能 生成一個Hopfield回歸網(wǎng)絡(luò)。格式 net = newhop(T)說明 net為生成的神經(jīng)網(wǎng)絡(luò)，具有在T中的向量上穩(wěn)定的點；T是具有Q個目標(biāo)向量的R*Q矩陣（元素必須為-1或1）。Hopfield神經(jīng)網(wǎng)絡(luò)經(jīng)常被應(yīng)用于模式的聯(lián)想記憶中。Hopfield神經(jīng)網(wǎng)絡(luò)僅有一層，其激活函數(shù)用satlins( )函數(shù)，層中的神經(jīng)元有來自它自身的連接權(quán)和閾值。 9/25/202264Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn) MATLAB中Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn)MATLAB中與Hopfield網(wǎng)絡(luò)有關(guān)的重要函數(shù)和功能satlins

29、( )功能 對稱飽和線性傳遞函數(shù)格式 A = satlins(N)A輸出向量矩陣；N是由網(wǎng)絡(luò)的輸入向量組成的S*Q矩陣，返回的矩陣A與N的維數(shù)大小一致，A的元素取值位于區(qū)間0，1內(nèi)。當(dāng)N中的元素介于-1和1之間時，其輸出等于輸入；當(dāng)輸入值小于-1時返回-1；當(dāng)輸入值大于1時返回1。 9/25/202265Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn)MATLAB中與Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn)設(shè)印刷體數(shù)字由10 10點陣構(gòu)成，就是將數(shù)字分成很多小方塊，每個方塊就對應(yīng)數(shù)字的一部分，構(gòu)成數(shù)字本部分的方塊用1表示，空白處用-1表示。試設(shè)計一個Hopfield網(wǎng)絡(luò)，能夠正確識別印刷體的數(shù)

30、字。 由點陣構(gòu)成的數(shù)字1由點陣構(gòu)成的數(shù)字29/25/202266Hopfield 神經(jīng)網(wǎng)絡(luò)的MATLAB實現(xiàn)設(shè)印刷體數(shù)字由1程序9/25/202267程序9/24/202267穩(wěn)定性分析 網(wǎng)絡(luò)的穩(wěn)定性是與收斂性不同的問題 Cohen和Grossberg1983年:Hopfield網(wǎng)絡(luò)的穩(wěn)定性定理 如果Hopfield網(wǎng)絡(luò)的聯(lián)接權(quán)矩陣是對角線為0的對稱矩陣，則它是穩(wěn)定的 用著名的Lyapunov函數(shù)作為Hopfield網(wǎng)絡(luò)的能量函數(shù) 9/25/202268穩(wěn)定性分析 網(wǎng)絡(luò)的穩(wěn)定性是與收斂性不同的問題 9/24/20Lyapunov函數(shù)能量函數(shù) 作為網(wǎng)絡(luò)的穩(wěn)定性度量wijoioj：網(wǎng)絡(luò)的一致性測度

31、。xjoj：神經(jīng)元的輸入和輸出的一致性測度。joj：神經(jīng)元自身的穩(wěn)定性的測度。 9/25/202269Lyapunov函數(shù)能量函數(shù) 作為網(wǎng)絡(luò)的穩(wěn)定性度量9/2當(dāng)ANk的狀態(tài)從ok變成ok 1、ANk是輸入神經(jīng)元 9/25/202270當(dāng)ANk的狀態(tài)從ok變成ok 1、ANk是輸入神經(jīng)元 9/當(dāng)ANk的狀態(tài)從ok變成okwkk=09/25/202271當(dāng)ANk的狀態(tài)從ok變成okwkk=09/24/20227=-(netk-k)okANk狀態(tài)的變化：ok=(ok-ok)ok=0， =0ok0，ok=1& ok=0，ok由0變到1，netkk，netk-k0所以，-(netk-k)ok0故0結(jié)論：

32、網(wǎng)絡(luò)的目標(biāo)函數(shù)總是下降ok0, ok=0& ok=1，ok由1變到0netkk，netk-k0-(netk-k)ok0故0yi= 0if neti1121/29/25/202278激活函數(shù)閾值函數(shù)隨著的增加，該函數(shù)趨近于閾值為0的閾值基本BAM的穩(wěn)定Kosko(1987)：基本的雙聯(lián)存儲器無條件穩(wěn)定聯(lián)接權(quán)矩陣是互為轉(zhuǎn)置矩陣。當(dāng)輸入向量的維數(shù)與輸出向量的維數(shù)相同時，W為方陣，此時如果聯(lián)接矩陣W是對稱的，則基本的雙聯(lián)存儲器退化成一個Hopfield網(wǎng) 9/25/202279基本BAM的穩(wěn)定Kosko(1987)：9/24/20227異聯(lián)想記憶 樣本集：S=(X1,Y1)，(X2,Y2),(Xs,Y

33、s)權(quán)矩陣網(wǎng)絡(luò)需要對輸入向量進(jìn)行循環(huán)處理的情況當(dāng)輸入向量中含有“噪音”樣本集所含的信息超出網(wǎng)絡(luò)的容量 9/25/202280異聯(lián)想記憶 樣本集：S=(X1,Y1)，(X2,Y2),容量 Kosko（1987），一般情況下，相聯(lián)存儲器的容量不會超過網(wǎng)絡(luò)最小層神經(jīng)元的個數(shù)min Haines和Hecht-Nielson（1988），“非均勻”網(wǎng)絡(luò)的容量最多可以達(dá)到2min R. J. McEliece、E. C. Posner、E. R. Rodemich用戶隨機(jī)地選擇L個狀態(tài)每個向量中有4+log2min個分量為1，其它為-198%的向量成為穩(wěn)定狀態(tài) 9/25/202281容量 Kosko（1987），一