人工神經(jīng)網(wǎng)絡(luò)課件

1、5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 5.1.1 發(fā)展歷史 5.1.2 McCulloch-Pitts神經(jīng)元 5.1.3 網(wǎng)絡(luò)結(jié)構(gòu)的確定 5.1.4 關(guān)聯(lián)權(quán)值的確定 5.1.5 工作階段 5.2 多層前向神經(jīng)網(wǎng)絡(luò) 5.2.1 一般結(jié)構(gòu) 5.2.2 反向傳播算法 5.3 反饋型神經(jīng)網(wǎng)絡(luò) 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò) 5.3.2 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用智能算法導(dǎo)論浙江大學(xué)5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué)“神經(jīng)網(wǎng)絡(luò)”與“人工神經(jīng)網(wǎng)絡(luò)”1943年，Warren McCulloch和Walter Pitts建立了第一個(gè)

2、人工神經(jīng)網(wǎng)絡(luò)模型；1969年，Minsky和Papert發(fā)表Perceptrons；20世紀(jì)80年代，Hopfield將人工神經(jīng)網(wǎng)絡(luò)成功應(yīng)用在組合優(yōu)化問題。 5.1.1 發(fā)展歷史5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué)重要意義 現(xiàn)代的神經(jīng)網(wǎng)絡(luò)開始于McCulloch, Pitts(1943)的先驅(qū)工作； 他們的神經(jīng)元模型假定遵循有-無模型律； 如果如此簡單的神經(jīng)元數(shù)目足夠多和適當(dāng)設(shè)置連接權(quán)值并且同步操作, McCulloch & Pitts證明這樣構(gòu)成的網(wǎng)絡(luò)原則上可以計(jì)算任何可計(jì)算函數(shù)； 標(biāo)志著神經(jīng)網(wǎng)絡(luò)和人工智能的誕生。 5.1.2 McCulloch-Pitts神經(jīng)元5.1 人工

3、神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué)結(jié)構(gòu) McCulloch-Pitts輸出 函數(shù)定義為： 5.1.2 McCulloch-Pitts神經(jīng)元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué)線性網(wǎng)絡(luò)激活函數(shù)滿足f(cz) = cf(z), f(x+y)=f(x)+f(y)確定權(quán)數(shù)的常用規(guī)則 hebb規(guī)則 McCulloch-Pitts輸出 函數(shù)定義為： 5.* 單層網(wǎng)絡(luò)5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué)網(wǎng)絡(luò)的構(gòu)建

4、Y=F(X) 5.1.2 McCulloch-Pitts神經(jīng)元x1y1輸出層隱藏層輸入層x2y2ymxn網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 前向型、反饋型等神經(jīng)元激活函數(shù) 階躍函數(shù) 線性函數(shù) Sigmoid函數(shù)5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué) 5.1.3 網(wǎng)絡(luò)結(jié)構(gòu)的確定f(x)x0+12022/8/219 激活函數(shù)(Activation Function) 激活函數(shù)執(zhí)行對該神經(jīng)元所獲得的網(wǎng)絡(luò)輸入的變換，也可以稱為激勵(lì)函數(shù)、活化函數(shù)： o=f（net） 1、線性函數(shù)（Liner Function） f（net）=k*net+c netooc2022/8/21102、非線性斜面函數(shù)(Ramp Fu

5、nction) if netf（net）= k*netif |net|0為一常數(shù)，被稱為飽和值，為該神經(jīng)元的最大輸出。 2022/8/21112、非線性斜面函數(shù)（Ramp Function） - - net o 2022/8/21123、閾值函數(shù)（Threshold Function）階躍函數(shù)if netf（net）=-if net 、均為非負(fù)實(shí)數(shù)，為閾值二值形式：1if netf（net）=0if net 雙極形式：1if netf（net）=-1if net 2022/8/21133、閾值函數(shù)（Threshold Function）階躍函數(shù) -onet02022/8/21144、S形函數(shù)

6、壓縮函數(shù)（Squashing Function）和邏輯斯特函數(shù)（Logistic Function）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數(shù)。它的飽和值為a和a+b。最簡單形式為：f（net）= 1/(1+exp(-d*net) 函數(shù)的飽和值為0和1。S形函數(shù)有較好的增益控制 2022/8/21154、S形函數(shù) a+b o(0,c)netac=a+b/22022/8/2116無導(dǎo)師學(xué)習(xí) 無導(dǎo)師學(xué)習(xí)(Unsupervised Learning)與無導(dǎo)師訓(xùn)練(Unsupervised Training)相對應(yīng) 抽取樣本集合中蘊(yùn)含的統(tǒng)計(jì)特性，并以神經(jīng)元之間的聯(lián)接權(quán)的形式存

7、于網(wǎng)絡(luò)中。2022/8/2117 有導(dǎo)師學(xué)習(xí) 有導(dǎo)師學(xué)習(xí)(Supervised Learning)與有導(dǎo)師訓(xùn)練(Supervised Training)相對應(yīng)。輸入向量與其對應(yīng)的輸出向量構(gòu)成一訓(xùn)練。有導(dǎo)師學(xué)習(xí)的訓(xùn)練算法的主要步驟包括：1） 從樣本集合中取一個(gè)樣本（Ai，Bi）；2） 計(jì)算出網(wǎng)絡(luò)的實(shí)際輸出O； 3） 求D=Bi-O；4） 根據(jù)D調(diào)整權(quán)矩陣W； 5） 對每個(gè)樣本重復(fù)上述過程，直到對整個(gè)樣本集來說，誤差不超過規(guī)定范圍。 2022/8/2118Delta規(guī)則 Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+(yj- aj(t)oi(t)也可以寫成：Wij(t+1)=Wij

8、(t)+Wij(t)Wij(t)=joi(t)j=yj- aj(t)Grossberg的寫法為： Wij(t)=ai(t)(oj(t)-Wij(t)更一般的Delta規(guī)則為： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)確定的內(nèi)容 權(quán)值wi和確定的方式 學(xué)習(xí)（訓(xùn)練） 有指導(dǎo)的學(xué)習(xí)：已知一組正確的輸入輸出結(jié)果的條件下，神經(jīng)網(wǎng)絡(luò)依據(jù)這些數(shù)據(jù)，調(diào)整并確定權(quán)值； 無指導(dǎo)的學(xué)習(xí)：只有輸入數(shù)據(jù)，沒有正確的輸出結(jié)果情況下，確定權(quán)值。 5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué) 5.1.4 關(guān)聯(lián)權(quán)值的確定學(xué)習(xí)與工作的關(guān)系 先學(xué)習(xí)再工作5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大

9、學(xué) 5.1.5 工作階段前饋型網(wǎng)絡(luò)（BP網(wǎng)絡(luò)）：一類單方向?qū)哟涡途W(wǎng)絡(luò)模塊，它包括輸入層、輸出層和中間隱蔽層。從學(xué)習(xí)的觀點(diǎn)看，前饋型網(wǎng)絡(luò)是一類強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡單且易于編程。而從信息處理觀點(diǎn)看，它主要是一類信息“映射”處理系統(tǒng)，可使網(wǎng)絡(luò)實(shí)現(xiàn)特定的刺激反應(yīng)式的感知、識別和推理等。（萬能函數(shù)逼近器）反饋型動(dòng)態(tài)網(wǎng)絡(luò)（Hopfield網(wǎng)絡(luò))：一類可實(shí)現(xiàn)聯(lián)想記憶及聯(lián)想映射的網(wǎng)絡(luò)，這一頗具吸引力的特性使得它在智能模擬中被廣泛關(guān)注。反饋型動(dòng)態(tài)網(wǎng)絡(luò)可用于信息處理系統(tǒng)在于它具有穩(wěn)定吸引子。(可用于優(yōu)化計(jì)算領(lǐng)域）5.1 人工神經(jīng)網(wǎng)絡(luò)的基本概念 智能算法導(dǎo)論浙江大學(xué) 5.1.5 主要兩種神經(jīng)網(wǎng)絡(luò)5.2 多層前

10、向神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)多層 兩層以上前向 無反饋 5.2.1 一般結(jié)構(gòu)輸出層隱藏層輸入層y1y2ymx1x2xn5.2 多層前向神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.2.1 確定權(quán)數(shù)方法5.2 多層前向神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)學(xué)習(xí)規(guī)則 最小二乘原則 5.2.1 確定權(quán)數(shù)方法5.2 多層前向神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)目的 確定權(quán)值方法 反向推導(dǎo) 5.2.2 反向傳播算法5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)一般結(jié)構(gòu) 各神經(jīng)元之間存在相互聯(lián)系分類 連續(xù)系統(tǒng)：激活函數(shù)為連續(xù)函數(shù) 離散系統(tǒng)：激活函數(shù)為階躍函數(shù) 5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)Hopfield神經(jīng)網(wǎng)絡(luò) 1982年

11、提出Hopfield反饋神經(jīng)網(wǎng)絡(luò)（HNN），證明在高強(qiáng)度連接下的神經(jīng)網(wǎng)絡(luò)依靠集體協(xié)同作用能自發(fā)產(chǎn)生計(jì)算行為。 是典型的全連接網(wǎng)絡(luò)，通過引入能量函數(shù)，使網(wǎng)絡(luò)的平衡態(tài)與能量函數(shù)極小值解相對應(yīng)。 5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)網(wǎng)絡(luò)結(jié)構(gòu) N為網(wǎng)絡(luò)節(jié)點(diǎn)總數(shù)。 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)s1(t+1)s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn25.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)網(wǎng)絡(luò)結(jié)構(gòu) 一般認(rèn)為vj(t)=0時(shí)神經(jīng)元保持不變sj(t+1)=sj(t); 一般情況下網(wǎng)絡(luò)是對稱的（wij=wji）且無自反饋（wjj=0）; 整

12、個(gè)網(wǎng)絡(luò)的狀態(tài)可用向量s表示： 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)工作方式 串行（異步，asynchronous）:任一時(shí)刻只有一個(gè)單元改變狀態(tài)，其余單元保持不變； 并行（同步，synchronous）：某一時(shí)刻所有神經(jīng)元同時(shí)改變狀態(tài)。穩(wěn)定狀態(tài) 如果從t=0的任一初始態(tài)s(0)開始變化，存在某一有限時(shí)刻t，從此以后網(wǎng)絡(luò)狀態(tài)不再變化，即s(t+1)=s(t)，則稱網(wǎng)絡(luò)達(dá)到穩(wěn)定狀態(tài)。 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù)的定義 異步方式： 同步方式： 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)5.3

13、反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù) 能量是有界的： 從任一初始狀態(tài)開始，若在每次迭代時(shí)都滿足E0，則網(wǎng)絡(luò)的能量將越來越小，最后趨向于穩(wěn)定狀態(tài)E0 。 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù) 分析異步（且網(wǎng)絡(luò)對稱wij=wji）情況下： 假設(shè)只有神經(jīng)元i改變狀態(tài) 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù) 分析異步（且網(wǎng)絡(luò)對稱wij=wji）情況下： 假設(shè)只有神經(jīng)元i改變狀態(tài) 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)同號5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù) 分析同步（且網(wǎng)絡(luò)對

14、稱wij=wji）情況下： 5.3.1 離散Hopfield神經(jīng)網(wǎng)絡(luò)同號5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)網(wǎng)絡(luò)結(jié)構(gòu) 與電子線路對應(yīng)： 放大器神經(jīng)元 電阻、電容神經(jīng)元的時(shí)間常數(shù) 電導(dǎo)權(quán)系數(shù) 5.3.2 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)網(wǎng)絡(luò)的微分方程能量函數(shù) 可證明，若g-1為單調(diào)增且連續(xù)，Cj0，Tji=Tij，則有dE/dt0，當(dāng)且僅當(dāng)dvi/dt=0時(shí)dE/dt=0。 5.3.2 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù) 隨著時(shí)間的增長，神經(jīng)網(wǎng)絡(luò)在狀態(tài)空間中的解軌跡總是向能量函數(shù)減小的方向變化，且網(wǎng)絡(luò)的穩(wěn)定點(diǎn)

15、就是能量函數(shù)的極小點(diǎn)。 5.3.2 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù) 將動(dòng)力系統(tǒng)方程 簡單記為： 如果 ，則稱ve是動(dòng)力系統(tǒng)的平衡點(diǎn)，也稱ve為吸引子。 5.3.2 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)能量函數(shù) 當(dāng)從某一初始狀態(tài)變化時(shí)，網(wǎng)絡(luò)的演變是使E下降，達(dá)到某一局部極小時(shí)就停止變化。這些能量的局部極小點(diǎn)就是網(wǎng)絡(luò)的穩(wěn)定點(diǎn)或稱吸引子。 5.3.2 連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)Hopfield網(wǎng)絡(luò)設(shè)計(jì) 當(dāng)Hopfield用于優(yōu)化計(jì)算時(shí)，網(wǎng)絡(luò)的權(quán)值是確定的，應(yīng)將目標(biāo)函數(shù)與能量函

16、數(shù)相對應(yīng)，通過網(wǎng)絡(luò)的運(yùn)行使能量函數(shù)不斷下降并最終達(dá)到最小，從而得到問題對應(yīng)的極小解。 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)Hopfield網(wǎng)絡(luò)設(shè)計(jì) 通常需要以下幾方面的工作： （1）選擇合適的問題表示方法，使神經(jīng)網(wǎng)絡(luò)的輸出與問題的解相對應(yīng)； （2）構(gòu)造合適的能量函數(shù)，使其最小值對應(yīng)問題的最優(yōu)解； 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)Hopfield網(wǎng)絡(luò)設(shè)計(jì) 通常需要以下幾方面的工作： （3）由能量函數(shù)和穩(wěn)定條件設(shè)計(jì)網(wǎng)絡(luò)參數(shù)，如連接權(quán)值和偏置參數(shù)等； （4）構(gòu)造相應(yīng)的神經(jīng)網(wǎng)絡(luò)和動(dòng)態(tài)

17、方程； （5）用硬件實(shí)現(xiàn)或軟件模擬。 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué)TSP問題的表示 將TSP問題用一個(gè)nn矩陣表示，矩陣的每個(gè)元素代表一個(gè)神經(jīng)元。 代表商人行走順序?yàn)椋?124 每一行、每一列的和各為1。 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用1為是，0為否第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函數(shù)的構(gòu)建 每個(gè)神經(jīng)元接收到的值為zij，其輸出值為yij，激活函數(shù)采用Sigmoid函數(shù)，記兩個(gè)城市x和y的距離是dxy。 1）希望每一行的和為1，即 最小，每一行最多有一個(gè)1

18、時(shí)，E10。5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函數(shù)的構(gòu)建 2）希望每一列的和為1，即 最小，每一列最多有一個(gè)1時(shí)，E20。 3）希望每一行每一列正好有一個(gè)1，則 為零。5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函數(shù)的構(gòu)建 4）E1，E2，E3只能保證TSP的一個(gè)可行解，為了得到TSP的最小路徑，當(dāng)duv=dvu時(shí)，

19、希望 最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之間的距離（i代表行走順序）。5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用第1站第2站第3站第4站城市10100城市20010城市31000城市40001能量函數(shù)的構(gòu)建 5）根據(jù)連續(xù)Hopfield神經(jīng)網(wǎng)絡(luò)能量函數(shù)， 最后，能量函數(shù)表示為： A，B，C，D，為非負(fù)常數(shù)。5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用能量函數(shù)的構(gòu)建 由動(dòng)力學(xué)方程， 5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.

20、3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用能量函數(shù)的構(gòu)建 整理后得到：5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用10城市TSP問題（d*=2.691） 0.4 0.4439; 0.2439 0.1463; 0.1707 0.2293; 0.2293 0.761; 0.5171 0.9414; 0.8732 0.6536; 0.6878 0.5219; 0.8488 0.3609; 0.6683 0.2536; 0.6195 0.26345.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用10城市

21、TSP問題（d*=2.691） 流程圖： 5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用10城市TSP問題（d*=2.691） 初始參數(shù)： 1 ABD500，C200 激勵(lì)函數(shù)為Sigmoid 其中，00.025.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用10城市TSP問題（d*=2.691） 初始參數(shù)： 初始的yui 初始的zui =0.000015.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用10城市TSP問題（d*=2.691） 5.3 反饋型神經(jīng)網(wǎng)絡(luò)智能算法導(dǎo)論浙江大學(xué) 5.3.3 Hopfield神經(jīng)網(wǎng)絡(luò)在TSP中的應(yīng)用10城市TSP問題（d*