《人工智能基礎(chǔ)》第四章課件

第4章經(jīng)典人工神經(jīng)網(wǎng)絡(luò)經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

人工神經(jīng)網(wǎng)絡(luò)從信息處理角度對生物神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立神經(jīng)元模型基本模型，根據(jù)不同的神經(jīng)元連接方式和學(xué)習(xí)策略來組成不同功能的人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)具備的主要功能包括：模式分類、函數(shù)擬合、聯(lián)想記憶、優(yōu)化問題求解、模式匹配、模式聚類。人工神經(jīng)網(wǎng)絡(luò)的基本概念

x=[x1，x2,...，xn]是輸入向量，w=[w1，w2，...，wn]是權(quán)值向量，

o是神經(jīng)元的輸出。

f是響應(yīng)函數(shù)。

通用的人工神經(jīng)網(wǎng)絡(luò)模型響應(yīng)函數(shù)通常選用:閾值函數(shù)、連續(xù)sigmoid函數(shù)單極閾值函數(shù)雙極閾值函數(shù)單極sigmoid函數(shù)

雙極sigmoid函數(shù)

神經(jīng)網(wǎng)絡(luò)根據(jù)神經(jīng)元的連接方式分為前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。前向網(wǎng)絡(luò)由輸入層的輸入得到輸出層的響應(yīng)，輸出層與輸入層節(jié)點不存在反饋。反饋網(wǎng)絡(luò)輸入層的初始輸入得到輸出層的初始響應(yīng)，然后輸出層的響應(yīng)作為下一時刻輸入層的輸入。對于反饋網(wǎng)絡(luò)最終收斂的平衡狀態(tài)稱為吸引子。

對于神經(jīng)網(wǎng)絡(luò)的設(shè)計，除了神經(jīng)元的連接結(jié)構(gòu)，更重要的是學(xué)習(xí)。對于分類或函數(shù)擬合的神經(jīng)網(wǎng)絡(luò)，它是通過一組訓(xùn)練例子的輸入與輸出之間的映射關(guān)系進(jìn)行學(xué)習(xí)，學(xué)習(xí)過程可看作是一種逼近過程。對于函數(shù)擬合，H(W,X)作為函數(shù)h(X)的近似，學(xué)習(xí)過程就是不斷逼近h(X)，即

其中

是H(W,X)與h(X)之間逼近距離的度量。

對于聯(lián)想記憶網(wǎng)絡(luò)，學(xué)習(xí)過程可看作是平衡態(tài)編碼，權(quán)值矩陣的計算將聯(lián)想記憶的模式編碼在聯(lián)想記憶網(wǎng)絡(luò)的平衡態(tài)，從而實現(xiàn)從退化的模式聯(lián)想記憶到平衡態(tài)，即：聯(lián)想記憶的模式。

學(xué)習(xí)還可以分為：

有監(jiān)督學(xué)習(xí)是指神經(jīng)網(wǎng)絡(luò)的輸出有教師指導(dǎo)信息，即有期望輸出。無監(jiān)督學(xué)習(xí)是指神經(jīng)網(wǎng)絡(luò)的輸出無教師指導(dǎo)信息，即無期望輸出。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程通常按學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，以下是一通用的學(xué)習(xí)規(guī)則：其中c是學(xué)習(xí)常數(shù)；r是學(xué)習(xí)信號，與當(dāng)前的權(quán)值和當(dāng)前的輸入有關(guān)，對于有監(jiān)督學(xué)習(xí)還與期望輸出d有關(guān)。通用的人工神經(jīng)網(wǎng)絡(luò)模型

單層前向網(wǎng)絡(luò)分類器可以實現(xiàn)任意維數(shù)的多類模式的線性可分的分類。對于R類模式的判別函數(shù)g1(x),g2(x),…,gR(x),模式x分類到第i類必須滿足以下條件經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解對于n維輸入樣本的R類離散型分類器的網(wǎng)絡(luò)結(jié)構(gòu)

R類離散型分類器的網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的輸入y是n+1維，包括n維的輸入樣本，1維的固定輸入，其權(quán)重wn+1代表所連接的神經(jīng)元的激活閾值。R組n+1維的權(quán)值矩陣，R個輸出節(jié)點。對于雙極閾值函數(shù)TLU，屬于第i類的輸出節(jié)點oi，其期望輸出di為1，其他輸出節(jié)點的期望輸出均為-1。

R類離散型分類器的算法流程圖

經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

對于連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器與離散型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器主要差別是響應(yīng)函數(shù)改為sigmoid函數(shù)。圖4-3是連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器的示意圖：連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器

對于連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器的權(quán)值學(xué)習(xí)規(guī)則可以通過推導(dǎo)得出，權(quán)值學(xué)習(xí)過程按公式所示的誤差函數(shù)梯度下降來調(diào)整，以便通過權(quán)值調(diào)整使得分類誤差盡快梯度收斂至局部最小。連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器的算法流程圖

多層前向網(wǎng)絡(luò)

單層前向網(wǎng)絡(luò)分類器可以實現(xiàn)任意維數(shù)的多類模式的線性可分的分類，但對于線性不可分的分類，可以采用多層前向網(wǎng)絡(luò)來實現(xiàn)線性不可分的分類，其中誤差反向傳播（簡稱BP算法）學(xué)習(xí)策略和規(guī)則十分重要，對于人工神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用作出了很重要貢獻(xiàn)。經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

通常多層前向網(wǎng)絡(luò)選擇一個或二個隱層，圖4-4是一個雙隱層的多層前向網(wǎng)絡(luò)的示意圖圖4-4一個雙隱層的多層前向網(wǎng)絡(luò)

由于只有輸出層有期望輸出，因此先由輸出層期望輸出與實際輸出的誤差來調(diào)整隱層2與輸出層之間的權(quán)值。然后推算出隱層2的誤差，再調(diào)整隱層1與隱層2之間的權(quán)值。最好推算出隱層1的誤差，再調(diào)整輸入層與隱層1之間的權(quán)值。這就是誤差反向傳播的學(xué)習(xí)策略的含義，由后逐層向前進(jìn)行學(xué)習(xí)來權(quán)值調(diào)整。單隱層的多層前向網(wǎng)絡(luò)的誤差反向傳播的訓(xùn)練算法

結(jié)合一簡單的符號識別例子來說明神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計和數(shù)據(jù)表達(dá)：

采用3x3的黑白二值表達(dá)待分類識別的三個符號：C、I、T。符號C的模式表達(dá)為：【111100111】；符號I的模式表達(dá)為：【010010010】；符號T模式表達(dá)為：【111010010】；字符C、I、T

退化的字符C

因此選擇輸入層的節(jié)點數(shù)為10，其中1個的節(jié)點是固定的輸入值-1。待分類識別三個符號因此輸出節(jié)點數(shù)是3。第一個輸出節(jié)點代表符號C，其期望輸出為100；第二個輸出節(jié)點代表符號I，其期望輸出為010；第三個輸出節(jié)點代表符號T，其期望輸出為001。單隱層的節(jié)點數(shù)設(shè)定為7。

通過上述代表C、I、T的三個樣本采用誤差反向傳播學(xué)習(xí)算法來訓(xùn)練所設(shè)計的多層前向網(wǎng)絡(luò)。待識別的符號輸入到該訓(xùn)練好的分類網(wǎng)絡(luò)，輸入待識別符號C的退化模式，加上1個的節(jié)點是固定的輸入值-1。通過訓(xùn)練好的權(quán)值矩陣計算出輸出層三個節(jié)點的輸出，根據(jù)三個輸出節(jié)點的期望輸出值決定該待識別的符號屬于符號C。經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解單層反饋網(wǎng)絡(luò)單層反饋網(wǎng)絡(luò)輸入層的初始輸入得到輸出層的初始響應(yīng)，然后輸出層的響應(yīng)作為下一時刻輸入層的輸入。對于反饋網(wǎng)絡(luò)最終收斂的平衡狀態(tài)稱為吸引子。吸引到某吸引子的狀態(tài)范圍稱為該吸引子的吸引域。無論是連續(xù)型還是離散型的單層反饋網(wǎng)絡(luò)可看作是一動態(tài)系統(tǒng)，狀態(tài)沿著計算能量（Computationalenergy）減少的方向移動，最終收斂到計算能量局部最低點。

離散型單層Hopfield反饋網(wǎng)絡(luò)的示意圖，它的特點是：①每個輸出節(jié)點沒有自反饋，即權(quán)值矩陣的對角線為0；②權(quán)值矩陣是對稱矩陣；③異步調(diào)整模式離散型單層Hopfield反饋網(wǎng)絡(luò)的示意圖

離散型單層Hopfield反饋網(wǎng)絡(luò)第i個神經(jīng)元的狀態(tài)變化依據(jù)異步調(diào)整的原則以及以下規(guī)則調(diào)整：Sgn是雙極閾值函數(shù)。網(wǎng)絡(luò)的計算能量函數(shù)定義為：經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

利用離散型的單層反饋網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移到吸引子的特點，來實現(xiàn)自聯(lián)想記憶。將待自聯(lián)想記憶的模式存儲在離散型的單層反饋網(wǎng)絡(luò)中離散型的自聯(lián)想反饋網(wǎng)絡(luò)的算法流程圖：

聯(lián)想記憶網(wǎng)絡(luò)

聯(lián)想記憶檢索：對于異聯(lián)想網(wǎng)絡(luò)，存儲的是p個異聯(lián)想模式對網(wǎng)絡(luò)結(jié)構(gòu)變?yōu)閳D4-7：圖4-7異聯(lián)想網(wǎng)絡(luò)當(dāng)異聯(lián)想網(wǎng)絡(luò)的計算能量函數(shù)定義為該異聯(lián)想網(wǎng)絡(luò)在異聯(lián)想迭代過程可同樣證明是計算能量遞減直至收斂到計算能量局部最低點（吸引至某異聯(lián)想模式對）。存儲異聯(lián)想模式對的權(quán)值矩陣編碼的公式為異聯(lián)想網(wǎng)絡(luò)的聯(lián)想記憶迭代過程不需要異步調(diào)整模式，可以同步調(diào)整模式，即：每次迭代可以調(diào)整各節(jié)點

對于時空模式的聯(lián)想記憶，由模式S(1)聯(lián)想到S(2)，由S(2)聯(lián)想到S(3)，直至由S(p)再聯(lián)想回到S(1)。時空模式的聯(lián)想記憶可以看作是一種特殊的異聯(lián)想，S(i+1)S(i)異聯(lián)想模式對，存儲時空模式的聯(lián)想記憶模式對的權(quán)值矩陣編碼的公式為公式其中S(p+1)設(shè)定為S(0)經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解對于連續(xù)型的反饋網(wǎng)絡(luò)，可采用電阻、電容來構(gòu)建連續(xù)型的反饋網(wǎng)絡(luò)?？衫闷錆u進(jìn)穩(wěn)定收斂到能量局部低點的特性，來求解優(yōu)化問題。基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解采用連續(xù)型的反饋網(wǎng)絡(luò)求解優(yōu)化問題的原理圖例如，旅行商問題（訪問n個城市，每個須訪問一次，總的訪問路徑最短）。我們用5個城市來介紹如何將優(yōu)化問題表達(dá)成能量函數(shù)形式，見圖4-9：CEADB圖4-95個城市旅行商問題通過上述的表達(dá)，可巧妙地將旅行商問題的約束條件表達(dá)成能量函數(shù)表達(dá)了每個城市只被訪問一次時能量值最?。?）；表達(dá)了每次只能訪問1個城市時能量值最?。?）；表達(dá)了每次只能訪問1個城市時能量值最小（為0）；

表達(dá)了n個城市均訪問過時能量值最小（為0）；為連續(xù)型反饋網(wǎng)絡(luò)的能量函數(shù)。利用與連續(xù)型反饋網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)取等E=E1