第五章 神經(jīng)網(wǎng)絡優(yōu)化計算課件

第五章神經(jīng)網(wǎng)絡優(yōu)化計算

智能優(yōu)化計算第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.1人工神經(jīng)網(wǎng)絡的基本概念

5.1.1發(fā)展歷史

5.1.2McCulloch-Pitts神經(jīng)元

5.1.3網(wǎng)絡結(jié)構(gòu)的確定

5.1.4關聯(lián)權(quán)值的確定

5.1.5工作階段5.2多層前向神經(jīng)網(wǎng)絡

5.2.1一般結(jié)構(gòu)

5.2.2反向傳播算法

5.3反饋型神經(jīng)網(wǎng)絡

5.3.1離散Hopfield神經(jīng)網(wǎng)絡

5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡

5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用智能優(yōu)化計算第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.1人工神經(jīng)網(wǎng)絡的基本概念

智能優(yōu)化計算“神經(jīng)網(wǎng)絡”與“人工神經(jīng)網(wǎng)絡”1943年，WarrenMcCulloch和WalterPitts建立了第一個人工神經(jīng)網(wǎng)絡模型；1969年，Minsky和Papert發(fā)表Perceptrons；20世紀80年代，Hopfield將人工神經(jīng)網(wǎng)絡成功應用在組合優(yōu)化問題。5.1.1發(fā)展歷史第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.1人工神經(jīng)網(wǎng)絡的基本概念

智能優(yōu)化計算重要意義現(xiàn)代的神經(jīng)網(wǎng)絡開始于McCulloch,Pitts(1943)的先驅(qū)工作；他們的神經(jīng)元模型假定遵循有-無模型律；如果如此簡單的神經(jīng)元數(shù)目足夠多和適當設置連接權(quán)值并且同步操作,McCulloch&Pitts證明這樣構(gòu)成的網(wǎng)絡原則上可以計算任何可計算函數(shù)；標志著神經(jīng)網(wǎng)絡和人工智能的誕生。5.1.2McCulloch-Pitts神經(jīng)元第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.1人工神經(jīng)網(wǎng)絡的基本概念

智能優(yōu)化計算結(jié)構(gòu)

McCulloch-Pitts輸出函數(shù)定義為：5.1.2McCulloch-Pitts神經(jīng)元InputsignalSynapticweightsSummingfunctionActivationfunctionOutputyx1x2xnw2wnw1-θ第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.1人工神經(jīng)網(wǎng)絡的基本概念

智能優(yōu)化計算網(wǎng)絡的構(gòu)建Y=F(X)

5.1.2McCulloch-Pitts神經(jīng)元x1y1輸出層隱藏層輸入層x2y2ymxn…………第五章神經(jīng)網(wǎng)絡優(yōu)化計算網(wǎng)絡的拓撲結(jié)構(gòu)前向型、反饋型等神經(jīng)元激活函數(shù)階躍函數(shù)線性函數(shù)

Sigmoid函數(shù)5.1人工神經(jīng)網(wǎng)絡的基本概念

智能優(yōu)化計算5.1.3網(wǎng)絡結(jié)構(gòu)的確定f(x)x0+1第五章神經(jīng)網(wǎng)絡優(yōu)化計算確定的內(nèi)容

權(quán)值wi和θ確定的方式學習（訓練）有指導的學習：已知一組正確的輸入輸出結(jié)果的條件下，神經(jīng)網(wǎng)絡依據(jù)這些數(shù)據(jù)，調(diào)整并確定權(quán)值；無指導的學習：只有輸入數(shù)據(jù)，沒有正確的輸出結(jié)果情況下，確定權(quán)值。

5.1人工神經(jīng)網(wǎng)絡的基本概念

智能優(yōu)化計算5.1.4關聯(lián)權(quán)值的確定第五章神經(jīng)網(wǎng)絡優(yōu)化計算學習與工作的關系先學習→再工作5.1人工神經(jīng)網(wǎng)絡的基本概念

智能優(yōu)化計算5.1.5工作階段第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.2多層前向神經(jīng)網(wǎng)絡智能優(yōu)化計算多層兩層以上前向無反饋5.2.1一般結(jié)構(gòu)輸出層隱藏層輸入層y1y2ym…x1x2xn………………第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.2多層前向神經(jīng)網(wǎng)絡智能優(yōu)化計算目的確定權(quán)值方法反向推導5.2.2反向傳播算法第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算一般結(jié)構(gòu)各神經(jīng)元之間存在相互聯(lián)系分類連續(xù)系統(tǒng)：激活函數(shù)為連續(xù)函數(shù)離散系統(tǒng)：激活函數(shù)為階躍函數(shù)

第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算Hopfield神經(jīng)網(wǎng)絡

1982年提出Hopfield反饋神經(jīng)網(wǎng)絡（HNN），證明在高強度連接下的神經(jīng)網(wǎng)絡依靠集體協(xié)同作用能自發(fā)產(chǎn)生計算行為。是典型的全連接網(wǎng)絡，通過引入能量函數(shù)，使網(wǎng)絡的平衡態(tài)與能量函數(shù)極小值解相對應。

第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算網(wǎng)絡結(jié)構(gòu)

N為網(wǎng)絡節(jié)點總數(shù)。5.3.1離散Hopfield神經(jīng)網(wǎng)絡s1(t+1)……s2(t+1)sn(t+1)s1(t)s2(t)sn(t)w12w1nw21w2nwn1wn2ΣΣΣΔ第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算網(wǎng)絡結(jié)構(gòu)一般認為vj(t)=0時神經(jīng)元保持不變sj(t+1)=sj(t);

一般情況下網(wǎng)絡是對稱的（wij=wji）且無自反饋（wjj=0）;

整個網(wǎng)絡的狀態(tài)可用向量s表示：5.3.1離散Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算工作方式串行（異步，asynchronous）:任一時刻只有一個單元改變狀態(tài)，其余單元保持不變；并行（同步，synchronous）：某一時刻所有神經(jīng)元同時改變狀態(tài)。穩(wěn)定狀態(tài)如果從t=0的任一初始態(tài)s(0)開始變化，存在某一有限時刻t，從此以后網(wǎng)絡狀態(tài)不再變化，即s(t+1)=s(t)，則稱網(wǎng)絡達到穩(wěn)定狀態(tài)。5.3.1離散Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)的定義異步方式：同步方式：5.3.1離散Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)能量是有界的：從任一初始狀態(tài)開始，若在每次迭代時都滿足ΔE≤0，則網(wǎng)絡的能量將越來越小，最后趨向于穩(wěn)定狀態(tài)ΔE＝0。5.3.1離散Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)分析異步（且網(wǎng)絡對稱wij=wji）情況下：假設只有神經(jīng)元i改變狀態(tài)5.3.1離散Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)分析異步（且網(wǎng)絡對稱wij=wji）情況下：假設只有神經(jīng)元i改變狀態(tài)5.3.1離散Hopfield神經(jīng)網(wǎng)絡同號第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)分析同步（且網(wǎng)絡對稱wij=wji）情況下：

5.3.1離散Hopfield神經(jīng)網(wǎng)絡同號第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算網(wǎng)絡結(jié)構(gòu)與電子線路對應：

放大器——神經(jīng)元電阻、電容——神經(jīng)元的時間常數(shù)電導——權(quán)系數(shù)5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算網(wǎng)絡的微分方程能量函數(shù)

可證明，若g-1為單調(diào)增且連續(xù)，Cj>0，Tji=Tij，則有dE/dt≤0，當且僅當dvi/dt=0時dE/dt=0。5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)隨著時間的增長，神經(jīng)網(wǎng)絡在狀態(tài)空間中的解軌跡總是向能量函數(shù)減小的方向變化，且網(wǎng)絡的穩(wěn)定點就是能量函數(shù)的極小點。5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)將動力系統(tǒng)方程

簡單記為：

如果，則稱ve是動力系統(tǒng)的平衡點，也稱ve為吸引子。5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算能量函數(shù)當從某一初始狀態(tài)變化時，網(wǎng)絡的演變是使E下降，達到某一局部極小時就停止變化。這些能量的局部極小點就是網(wǎng)絡的穩(wěn)定點或稱吸引子。5.3.2連續(xù)Hopfield神經(jīng)網(wǎng)絡第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算Hopfield網(wǎng)絡設計當Hopfield用于優(yōu)化計算時，網(wǎng)絡的權(quán)值是確定的，應將目標函數(shù)與能量函數(shù)相對應，通過網(wǎng)絡的運行使能量函數(shù)不斷下降并最終達到最小，從而得到問題對應的極小解。5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算Hopfield網(wǎng)絡設計通常需要以下幾方面的工作：（1）選擇合適的問題表示方法，使神經(jīng)網(wǎng)絡的輸出與問題的解相對應；（2）構(gòu)造合適的能量函數(shù)，使其最小值對應問題的最優(yōu)解；

5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算Hopfield網(wǎng)絡設計通常需要以下幾方面的工作：（3）由能量函數(shù)和穩(wěn)定條件設計網(wǎng)絡參數(shù)，如連接權(quán)值和偏置參數(shù)等；（4）構(gòu)造相應的神經(jīng)網(wǎng)絡和動態(tài)方程；（5）用硬件實現(xiàn)或軟件模擬。5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算TSP問題的表示將TSP問題用一個n×n矩陣表示，矩陣的每個元素代表一個神經(jīng)元。

代表商人行走順序為：3→1→2→4

每一行、每一列的和各為1。5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用1為是，0為否第1站第2站第3站第4站城市10100城市20010城市31000城市40001第五章神經(jīng)網(wǎng)絡優(yōu)化計算能量函數(shù)的構(gòu)建每個神經(jīng)元接收到的值為zij，其輸出值為yij，激活函數(shù)采用Sigmoid函數(shù)，記兩個城市x和y的距離是dxy。

1）希望每一行的和為1，即

最小，每一行最多有一個1時，E1＝0。5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第1站第2站第3站第4站城市10100城市20010城市31000城市40001第五章神經(jīng)網(wǎng)絡優(yōu)化計算能量函數(shù)的構(gòu)建

2）希望每一列的和為1，即

最小，每一列最多有一個1時，E2＝0。

3）希望每一行每一列正好有一個1，則為零。5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第1站第2站第3站第4站城市10100城市20010城市31000城市40001第五章神經(jīng)網(wǎng)絡優(yōu)化計算能量函數(shù)的構(gòu)建

4）E1，E2，E3只能保證TSP的一個可行解，為了得到TSP的最小路徑，當duv=dvu時，希望

最小，其中，yu0=yun，yu(n+1)=yu1。duvyuiyv(i+1)表示城市u和v之間的距離（i代表行走順序）。5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第1站第2站第3站第4站城市10100城市20010城市31000城市40001第五章神經(jīng)網(wǎng)絡優(yōu)化計算能量函數(shù)的構(gòu)建

5）根據(jù)連續(xù)Hopfield神經(jīng)網(wǎng)絡能量函數(shù)，

最后，能量函數(shù)表示為：

A，B，C，D，α為非負常數(shù)。5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算能量函數(shù)的構(gòu)建由動力學方程，

5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算能量函數(shù)的構(gòu)建整理后得到：5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）

0.40.4439;0.24390.1463;0.17070.2293;0.22930.761;0.51710.9414;0.87320.6536;0.68780.5219;0.84880.3609;0.66830.2536;0.61950.26345.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）流程圖：

5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）初始參數(shù)：

α＝1A＝B＝D＝500，C＝200

激勵函數(shù)為Sigmoid

其中，μ0＝0.025.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）初始參數(shù)：

初始的yui

初始的zui

λ=0.000015.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）

5.3反饋型神經(jīng)網(wǎng)絡智能優(yōu)化計算5.3.3Hopfield神經(jīng)網(wǎng)絡在TSP中的應用第五章神經(jīng)網(wǎng)絡優(yōu)化計算10城市TSP問題（d*=2.691）