《人工智能基礎(chǔ)》第四章課件

第4章經(jīng)典人工神經(jīng)網(wǎng)絡(luò)經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

人工神經(jīng)網(wǎng)絡(luò)從信息處理角度對生物神經(jīng)元網(wǎng)絡(luò)進(jìn)行抽象，建立神經(jīng)元模型基本模型，根據(jù)不同的神經(jīng)元連接方式和學(xué)習(xí)策略來組成不同功能的人工神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)具備的主要功能包括：模式分類、函數(shù)擬合、聯(lián)想記憶、優(yōu)化問題求解、模式匹配、模式聚類。人工神經(jīng)網(wǎng)絡(luò)的基本概念

x=[x1，x2,...，xn]是輸入向量，w=[w1，w2，...，wn]是權(quán)值向量，

o是神經(jīng)元的輸出。

f是響應(yīng)函數(shù)。

通用的人工神經(jīng)網(wǎng)絡(luò)模型響應(yīng)函數(shù)通常選用:閾值函數(shù)、連續(xù)sigmoid函數(shù)單極閾值函數(shù)雙極閾值函數(shù)單極sigmoid函數(shù)

雙極sigmoid函數(shù)

神經(jīng)網(wǎng)絡(luò)根據(jù)神經(jīng)元的連接方式分為前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)。前向網(wǎng)絡(luò)由輸入層的輸入得到輸出層的響應(yīng)，輸出層與輸入層節(jié)點(diǎn)不存在反饋。反饋網(wǎng)絡(luò)輸入層的初始輸入得到輸出層的初始響應(yīng)，然后輸出層的響應(yīng)作為下一時(shí)刻輸入層的輸入。對于反饋網(wǎng)絡(luò)最終收斂的平衡狀態(tài)稱為吸引子。

對于神經(jīng)網(wǎng)絡(luò)的設(shè)計(jì)，除了神經(jīng)元的連接結(jié)構(gòu)，更重要的是學(xué)習(xí)。對于分類或函數(shù)擬合的神經(jīng)網(wǎng)絡(luò)，它是通過一組訓(xùn)練例子的輸入與輸出之間的映射關(guān)系進(jìn)行學(xué)習(xí)，學(xué)習(xí)過程可看作是一種逼近過程。對于函數(shù)擬合，H(W,X)作為函數(shù)h(X)的近似，學(xué)習(xí)過程就是不斷逼近h(X)，即

其中

是H(W,X)與h(X)之間逼近距離的度量。

對于聯(lián)想記憶網(wǎng)絡(luò)，學(xué)習(xí)過程可看作是平衡態(tài)編碼，權(quán)值矩陣的計(jì)算將聯(lián)想記憶的模式編碼在聯(lián)想記憶網(wǎng)絡(luò)的平衡態(tài)，從而實(shí)現(xiàn)從退化的模式聯(lián)想記憶到平衡態(tài)，即：聯(lián)想記憶的模式。

學(xué)習(xí)還可以分為：

有監(jiān)督學(xué)習(xí)是指神經(jīng)網(wǎng)絡(luò)的輸出有教師指導(dǎo)信息，即有期望輸出。無監(jiān)督學(xué)習(xí)是指神經(jīng)網(wǎng)絡(luò)的輸出無教師指導(dǎo)信息，即無期望輸出。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過程通常按學(xué)習(xí)規(guī)則來調(diào)整權(quán)值，以下是一通用的學(xué)習(xí)規(guī)則：其中c是學(xué)習(xí)常數(shù)；r是學(xué)習(xí)信號，與當(dāng)前的權(quán)值和當(dāng)前的輸入有關(guān)，對于有監(jiān)督學(xué)習(xí)還與期望輸出d有關(guān)。通用的人工神經(jīng)網(wǎng)絡(luò)模型

單層前向網(wǎng)絡(luò)分類器可以實(shí)現(xiàn)任意維數(shù)的多類模式的線性可分的分類。對于R類模式的判別函數(shù)g1(x),g2(x),…,gR(x),模式x分類到第i類必須滿足以下條件經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解對于n維輸入樣本的R類離散型分類器的網(wǎng)絡(luò)結(jié)構(gòu)

R類離散型分類器的網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)的輸入y是n+1維，包括n維的輸入樣本，1維的固定輸入，其權(quán)重wn+1代表所連接的神經(jīng)元的激活閾值。R組n+1維的權(quán)值矩陣，R個(gè)輸出節(jié)點(diǎn)。對于雙極閾值函數(shù)TLU，屬于第i類的輸出節(jié)點(diǎn)oi，其期望輸出di為1，其他輸出節(jié)點(diǎn)的期望輸出均為-1。

R類離散型分類器的算法流程圖

經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

對于連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器與離散型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器主要差別是響應(yīng)函數(shù)改為sigmoid函數(shù)。圖4-3是連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器的示意圖：連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器

對于連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器的權(quán)值學(xué)習(xí)規(guī)則可以通過推導(dǎo)得出，權(quán)值學(xué)習(xí)過程按公式所示的誤差函數(shù)梯度下降來調(diào)整，以便通過權(quán)值調(diào)整使得分類誤差盡快梯度收斂至局部最小。連續(xù)型響應(yīng)函數(shù)的單層前向網(wǎng)絡(luò)分類器的算法流程圖

多層前向網(wǎng)絡(luò)

單層前向網(wǎng)絡(luò)分類器可以實(shí)現(xiàn)任意維數(shù)的多類模式的線性可分的分類，但對于線性不可分的分類，可以采用多層前向網(wǎng)絡(luò)來實(shí)現(xiàn)線性不可分的分類，其中誤差反向傳播（簡稱BP算法）學(xué)習(xí)策略和規(guī)則十分重要，對于人工神經(jīng)網(wǎng)絡(luò)的發(fā)展和應(yīng)用作出了很重要貢獻(xiàn)。經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

通常多層前向網(wǎng)絡(luò)選擇一個(gè)或二個(gè)隱層，圖4-4是一個(gè)雙隱層的多層前向網(wǎng)絡(luò)的示意圖圖4-4一個(gè)雙隱層的多層前向網(wǎng)絡(luò)

由于只有輸出層有期望輸出，因此先由輸出層期望輸出與實(shí)際輸出的誤差來調(diào)整隱層2與輸出層之間的權(quán)值。然后推算出隱層2的誤差，再調(diào)整隱層1與隱層2之間的權(quán)值。最好推算出隱層1的誤差，再調(diào)整輸入層與隱層1之間的權(quán)值。這就是誤差反向傳播的學(xué)習(xí)策略的含義，由后逐層向前進(jìn)行學(xué)習(xí)來權(quán)值調(diào)整。單隱層的多層前向網(wǎng)絡(luò)的誤差反向傳播的訓(xùn)練算法

結(jié)合一簡單的符號識別例子來說明神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計(jì)和數(shù)據(jù)表達(dá)：

采用3x3的黑白二值表達(dá)待分類識別的三個(gè)符號：C、I、T。符號C的模式表達(dá)為：【111100111】；符號I的模式表達(dá)為：【010010010】；符號T模式表達(dá)為：【111010010】；字符C、I、T

退化的字符C

因此選擇輸入層的節(jié)點(diǎn)數(shù)為10，其中1個(gè)的節(jié)點(diǎn)是固定的輸入值-1。待分類識別三個(gè)符號因此輸出節(jié)點(diǎn)數(shù)是3。第一個(gè)輸出節(jié)點(diǎn)代表符號C，其期望輸出為100；第二個(gè)輸出節(jié)點(diǎn)代表符號I，其期望輸出為010；第三個(gè)輸出節(jié)點(diǎn)代表符號T，其期望輸出為001。單隱層的節(jié)點(diǎn)數(shù)設(shè)定為7。

通過上述代表C、I、T的三個(gè)樣本采用誤差反向傳播學(xué)習(xí)算法來訓(xùn)練所設(shè)計(jì)的多層前向網(wǎng)絡(luò)。待識別的符號輸入到該訓(xùn)練好的分類網(wǎng)絡(luò)，輸入待識別符號C的退化模式，加上1個(gè)的節(jié)點(diǎn)是固定的輸入值-1。通過訓(xùn)練好的權(quán)值矩陣計(jì)算出輸出層三個(gè)節(jié)點(diǎn)的輸出，根據(jù)三個(gè)輸出節(jié)點(diǎn)的期望輸出值決定該待識別的符號屬于符號C。經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解單層反饋網(wǎng)絡(luò)單層反饋網(wǎng)絡(luò)輸入層的初始輸入得到輸出層的初始響應(yīng)，然后輸出層的響應(yīng)作為下一時(shí)刻輸入層的輸入。對于反饋網(wǎng)絡(luò)最終收斂的平衡狀態(tài)稱為吸引子。吸引到某吸引子的狀態(tài)范圍稱為該吸引子的吸引域。無論是連續(xù)型還是離散型的單層反饋網(wǎng)絡(luò)可看作是一動態(tài)系統(tǒng)，狀態(tài)沿著計(jì)算能量（Computationalenergy）減少的方向移動，最終收斂到計(jì)算能量局部最低點(diǎn)。

離散型單層Hopfield反饋網(wǎng)絡(luò)的示意圖，它的特點(diǎn)是：①每個(gè)輸出節(jié)點(diǎn)沒有自反饋，即權(quán)值矩陣的對角線為0；②權(quán)值矩陣是對稱矩陣；③異步調(diào)整模式離散型單層Hopfield反饋網(wǎng)絡(luò)的示意圖

離散型單層Hopfield反饋網(wǎng)絡(luò)第i個(gè)神經(jīng)元的狀態(tài)變化依據(jù)異步調(diào)整的原則以及以下規(guī)則調(diào)整：Sgn是雙極閾值函數(shù)。網(wǎng)絡(luò)的計(jì)算能量函數(shù)定義為：經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解

利用離散型的單層反饋網(wǎng)絡(luò)狀態(tài)轉(zhuǎn)移到吸引子的特點(diǎn)，來實(shí)現(xiàn)自聯(lián)想記憶。將待自聯(lián)想記憶的模式存儲在離散型的單層反饋網(wǎng)絡(luò)中離散型的自聯(lián)想反饋網(wǎng)絡(luò)的算法流程圖：

聯(lián)想記憶網(wǎng)絡(luò)

聯(lián)想記憶檢索：對于異聯(lián)想網(wǎng)絡(luò)，存儲的是p個(gè)異聯(lián)想模式對網(wǎng)絡(luò)結(jié)構(gòu)變?yōu)閳D4-7：圖4-7異聯(lián)想網(wǎng)絡(luò)當(dāng)異聯(lián)想網(wǎng)絡(luò)的計(jì)算能量函數(shù)定義為該異聯(lián)想網(wǎng)絡(luò)在異聯(lián)想迭代過程可同樣證明是計(jì)算能量遞減直至收斂到計(jì)算能量局部最低點(diǎn)（吸引至某異聯(lián)想模式對）。存儲異聯(lián)想模式對的權(quán)值矩陣編碼的公式為異聯(lián)想網(wǎng)絡(luò)的聯(lián)想記憶迭代過程不需要異步調(diào)整模式，可以同步調(diào)整模式，即：每次迭代可以調(diào)整各節(jié)點(diǎn)

對于時(shí)空模式的聯(lián)想記憶，由模式S(1)聯(lián)想到S(2)，由S(2)聯(lián)想到S(3)，直至由S(p)再聯(lián)想回到S(1)。時(shí)空模式的聯(lián)想記憶可以看作是一種特殊的異聯(lián)想，S(i+1)S(i)異聯(lián)想模式對，存儲時(shí)空模式的聯(lián)想記憶模式對的權(quán)值矩陣編碼的公式為公式其中S(p+1)設(shè)定為S(0)經(jīng)典人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)的基本概念R類離散型單層前向網(wǎng)絡(luò)連續(xù)型單層前向網(wǎng)絡(luò)多層前向網(wǎng)絡(luò)離散型單層Hopfield反饋網(wǎng)絡(luò)聯(lián)想記憶網(wǎng)絡(luò)基于連續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解對于連續(xù)型的反饋網(wǎng)絡(luò)，可采用電阻、電容來構(gòu)建連續(xù)型的反饋網(wǎng)絡(luò)。可利用其漸進(jìn)穩(wěn)定收斂到能量局部低點(diǎn)的特性，來求解優(yōu)化問題?；谶B續(xù)型反饋網(wǎng)絡(luò)的優(yōu)化問題求解采用連續(xù)型的反饋網(wǎng)絡(luò)求解優(yōu)化問題的原理圖例如，旅行商問題（訪問n個(gè)城市，每個(gè)須訪問一次，總的訪問路徑最短）。我們用5個(gè)城市來介紹如何將優(yōu)化問題表達(dá)成能量函數(shù)形式，見圖4-9：CEADB圖4-95個(gè)城市旅行商問題通過上述的表達(dá)，可巧妙地將旅行商問題的約束條件表達(dá)成能量函數(shù)表達(dá)了每個(gè)城市只被訪問一次時(shí)能量值最?。?）；表達(dá)了每次只能訪問1個(gè)城市時(shí)能量值最?。?）；表達(dá)了每次只能訪問1個(gè)城市時(shí)能量值最?。?）；

表達(dá)了n個(gè)城市均訪問過時(shí)能量值最?。?）；為連續(xù)型反饋網(wǎng)絡(luò)的能量函數(shù)。利用與連續(xù)型反饋網(wǎng)絡(luò)的標(biāo)準(zhǔn)能量函數(shù)取等E=E1