神經(jīng)網(wǎng)絡-周志華西瓜書

高斌斌第五章神經(jīng)網(wǎng)絡神經(jīng)網(wǎng)絡發(fā)展史第一階段1943年,McCulloch和Pitts提出第一個神經(jīng)元數(shù)學模型,即M-P模型,并從原理上證明了人工神經(jīng)網(wǎng)絡能夠計算任何算數(shù)和邏輯函數(shù)1949年,Hebb發(fā)表《TheOrganizationofBehavior》一書,提出生物神經(jīng)元學習的機理,即Hebb學習規(guī)則1958年,Rosenblatt提出感知機網(wǎng)絡（Perceptron）模型和其學習規(guī)則1960年,Widrow和Hoff提出自適應線性神經(jīng)元（Adaline）模型和最小均方學習算法1969年,Minsky和Papert發(fā)表《Perceptrons》一書,指出單層神經(jīng)網(wǎng)路不能解決非線性問題,多層網(wǎng)絡的訓練算法尚無希望.這個論斷導致神經(jīng)網(wǎng)絡進入低谷神經(jīng)網(wǎng)絡發(fā)展史第二階段1982年,物理學家Hopfield提出了一種具有聯(lián)想記憶、優(yōu)化計算能力的遞歸網(wǎng)絡模型,即Hopfield網(wǎng)絡1986年,Rumelhart等編輯的著作《ParallelDistributedProceesing:ExplorationsintheMicrostructuresofCognition》報告了反向傳播算法1987年,IEEE在美國加州圣地亞哥召開第一屆神經(jīng)網(wǎng)絡國際會議（ICNN）90年代初,伴隨統(tǒng)計學習理論和SVM的興起,神經(jīng)網(wǎng)絡由于理論不夠清楚,試錯性強,難以訓練,再次進入低谷神經(jīng)網(wǎng)絡發(fā)展史第三階段2006年,Hinton提出了深度信念網(wǎng)絡(DBN),通過“預訓練+微調(diào)”使得深度模型的最優(yōu)化變得相對容易2012年,Hinton組參加ImageNet競賽,使用CNN模型以超過第二名10個百分點的成績奪得當年競賽的冠軍伴隨云計算、大數(shù)據(jù)時代的到來，計算能力的大幅提升，使得深度學習模型在計算機視覺、自然語言處理、語音識別等眾多領(lǐng)域都取得了較大的成功神經(jīng)網(wǎng)絡發(fā)展史第五章神經(jīng)網(wǎng)絡主要內(nèi)容5.1神經(jīng)元模型5.2感知機與多層網(wǎng)絡5.3

誤差逆?zhèn)鞑ニ惴?.4全局最小與局部最小5.5其他常見神經(jīng)網(wǎng)絡5.6深度學習第五章神經(jīng)網(wǎng)絡主要內(nèi)容5.1神經(jīng)元模型5.2感知機與多層網(wǎng)絡5.3

誤差逆?zhèn)鞑ニ惴?.4全局最小與局部最小5.5其他常見神經(jīng)網(wǎng)絡5.6深度學習5.1神經(jīng)元模型神經(jīng)網(wǎng)絡的定義“神經(jīng)網(wǎng)絡是由具有適應性的簡單單元組成的廣泛并行互聯(lián)的網(wǎng)絡,它的組織能夠模擬生物神經(jīng)系統(tǒng)對真實世界物體所作出的反應”

[Kohonen,1988]機器學習中的神經(jīng)網(wǎng)絡通常是指“神經(jīng)網(wǎng)絡學習”

或者機器學習與神經(jīng)網(wǎng)絡兩個學科的交叉部分神經(jīng)元模型即上述定義中的“簡單單元”是神經(jīng)網(wǎng)絡的基本成分生物神經(jīng)網(wǎng)絡：每個神經(jīng)元與其他神經(jīng)元相連,當它“興奮”時,就會向相連的神經(jīng)云發(fā)送化學物質(zhì),從而改變這些神經(jīng)元內(nèi)的電位；如果某神經(jīng)元的電位超過一個“閾值”,那么它就會被激活,即“興奮”起來,向其它神經(jīng)元發(fā)送化學物質(zhì)

M-P神經(jīng)元模型[McCullochandPitts,1943]輸入：來自其他

個神經(jīng)云傳遞過來的輸入信號處理：輸入信號通過帶權(quán)重的連接進行傳遞,神經(jīng)元接受到總輸入值將與神經(jīng)元的閾值進行比較輸出：通過激活函數(shù)的處理以得到輸出5.1神經(jīng)元模型5.1神經(jīng)元模型激活函數(shù)理想激活函數(shù)是階躍函數(shù),0表示抑制神經(jīng)元而1表示激活神經(jīng)元階躍函數(shù)具有不連續(xù)、不光滑等不好的性質(zhì),常用的是Sigmoid函數(shù)

第五章神經(jīng)網(wǎng)絡主要內(nèi)容5.1神經(jīng)元模型5.2感知機與多層網(wǎng)絡5.3

誤差逆?zhèn)鞑ニ惴?.4全局最小與局部最小5.5其他常見神經(jīng)網(wǎng)絡5.6深度學習5.2感知機與多層網(wǎng)絡感知機感知機由兩層神經(jīng)元組成,輸入層接受外界輸入信號傳遞給輸出層,輸出層是M-P神經(jīng)元（閾值邏輯單元）

感知機能夠容易地實現(xiàn)邏輯與、或、非運算

“與”:令,則,僅在時,

.“或”:令,則

,僅在或者

時,

.“非”:令

,

則

當時,；當,

.5.2感知機與多層網(wǎng)絡感知機學習給定訓練數(shù)據(jù)集,權(quán)重與閾值可以通過學習得到感知機學習規(guī)則

對訓練樣例,若當前感知機的輸出為

,則感知機權(quán)重調(diào)整規(guī)則為：其中稱為學習率

若感知機對訓練樣例預測正確,則感知機不發(fā)生變化；否則根據(jù)錯誤程度進行權(quán)重的調(diào)整.5.2感知機與多層網(wǎng)絡感知機求解異、或、非問題5.2感知機與多層網(wǎng)絡感知機求解異、或、非問題5.2感知機與多層網(wǎng)絡感知機學習能力若兩類模式線性可分,則感知機的學習過程一定會收斂；否感知機的學習過程將會發(fā)生震蕩

[MinskyandPapert,1969]單層感知機的學習能力非常有限,只能解決線性可分問題事實上,與、或、非問題是線性可分的,因此感知機學習過程能夠求得適當?shù)臋?quán)值向量.而異或問題不是線性可分的,感知機學習不能求得合適解

對于非線性可分問題,如何求解？

多層感知機5.2感知機與多層網(wǎng)絡多層感知機解決異或問題的兩層感知機輸出層與輸入層之間的一層神經(jīng)元,被稱之為隱層或隱含層,隱含層和輸出層神經(jīng)元都是具有激活函數(shù)的功能神經(jīng)元5.2感知機與多層網(wǎng)絡多層前饋神經(jīng)網(wǎng)絡定義：每層神經(jīng)元與下一層神經(jīng)元全互聯(lián),神經(jīng)元之間不存在同層連接也不存在跨層連接前饋：輸入層接受外界輸入,隱含層與輸出層神經(jīng)元對信號進行加工,最終結(jié)果由輸出層神經(jīng)元輸出學習：根據(jù)訓練數(shù)據(jù)來調(diào)整神經(jīng)元之間的“連接權(quán)”以及每個功能神經(jīng)元的“閾值”多層網(wǎng)絡：包含隱層的網(wǎng)絡

第五章神經(jīng)網(wǎng)絡主要內(nèi)容5.1神經(jīng)元模型5.2感知機與多層網(wǎng)絡5.3

誤差逆?zhèn)鞑ニ惴?.4全局最小與局部最小5.5其他常見神經(jīng)網(wǎng)絡5.6深度學習5.3誤差逆?zhèn)鞑ニ惴ㄕ`差逆?zhèn)鞑ニ惴ǎ‥rrorBackPropagation,簡稱BP）是最成功的訓練多層前饋神經(jīng)網(wǎng)絡的學習算法.給定訓練集 ,即輸入示例由

個屬性描述,輸出

維實值向量. 為方便討論,給定一個擁有

個輸入神經(jīng)元,個輸出神經(jīng)元,個隱層神經(jīng)元的多層前向前饋網(wǎng)絡結(jié)構(gòu).記號：

：輸出層第

個神經(jīng)元閾值；

：隱含層第

個神經(jīng)元閾值；

：輸入層與隱層神經(jīng)元之間的連接權(quán)重；

：隱層與輸出層神經(jīng)元之間的連接權(quán)重；

5.3誤差逆?zhèn)鞑ニ惴?/p>

對于樣例,假設(shè)網(wǎng)絡的實際輸出為前向計算

step1:step2:

step3:參數(shù)數(shù)目權(quán)重：,閾值：,

因此網(wǎng)絡中需要個參數(shù)需要優(yōu)化參數(shù)優(yōu)化

BP是一個迭代學習算法,在迭代的每一輪中采用廣義的感知機學習規(guī)則對參數(shù)進行更新估計,任意的參數(shù)的更新估計式為5.3誤差逆?zhèn)鞑ニ惴˙P學習算法

BP算法基于梯度下降策略,以目標的負梯度方向?qū)?shù)進行調(diào)整.對誤差,給定學習率5.3誤差逆?zhèn)鞑ニ惴˙P學習算法類似的可以推導出：其中學習率控制著算法每一輪迭代中的更新步長,若太長則讓容易震蕩,太小則收斂速度又會過慢.5.3誤差逆?zhèn)鞑ニ惴˙P學習算法5.3誤差逆?zhèn)鞑ニ惴˙P算法實驗5.3誤差逆?zhèn)鞑ニ惴藴蔅P算法每次針對單個訓練樣例更新權(quán)值與閾值.參數(shù)更新頻繁,不同樣例可能抵消,需要多次迭代.累計BP算法其優(yōu)化的目標是最小化整個訓練集上的累計誤差讀取整個訓練集一遍才對參數(shù)進行更新,參數(shù)更新頻率較低.實際應用但在很多任務中,累計誤差下降到一定程度后,進一步下降會非常緩慢,這時標準BP算法往往會獲得較好的解,尤其當訓練集非常大時效果更明顯.5.3誤差逆?zhèn)鞑ニ惴ǘ鄬忧梆伨W(wǎng)絡表示能力只需要一個包含足夠多神經(jīng)元的隱層,多層前饋神經(jīng)網(wǎng)絡就能以任意精度逼近任意復雜度的連續(xù)函數(shù)

[Horniketal.,1989]多層前饋網(wǎng)絡局限神經(jīng)網(wǎng)絡由于強大的表示能力,經(jīng)常遭遇過擬合.表現(xiàn)為：訓練誤差持續(xù)降低,但測試誤差卻可能上升如何設(shè)置隱層神經(jīng)元的個數(shù)仍然是個未決問題.實際應用中通常使用“試錯法”調(diào)整緩解過擬合的策略早停：在訓練過程中,若訓練誤差降低,但驗證誤差升高,則停止訓練

正則化：在誤差目標函數(shù)中增加一項描述網(wǎng)絡復雜程度的部分,例如連接權(quán)值與閾值的平方和第五章神經(jīng)網(wǎng)絡主要內(nèi)容5.1神經(jīng)元模型5.2感知機與多層網(wǎng)絡5.3

誤差逆?zhèn)鞑ニ惴?.4全局最小與局部最小5.5其他常見神經(jīng)網(wǎng)絡5.6深度學習5.4全局最小與局部極小對和,若存在使得都有成立,則為局部極小解；若度參數(shù)空間中任意的,都有,則為全局最小解.兩者對應的

分別稱為誤差函數(shù)的局部最小解和全局最小值.顯然參數(shù)空間梯度為零的點,只要氣誤差函數(shù)值小于鄰點的誤差函數(shù)值,就是局部極小點可能存在多個局部極小值,但卻只會有一個全局極最小值5.4全局最小與局部極小“跳出”局部最小的策略基于梯度的搜索是使用最為廣泛的參數(shù)尋優(yōu)方法.如果誤差函數(shù)僅有一個局部極小,那么此時找到的局部極小就是全局最小;然而,如果誤差函數(shù)具有多個局部極小,則不能保證找到的解是全局最小.在現(xiàn)實任務中,通常采用以下策略“跳出”局部極小,從而進一步達到全局最小.多組不同的初始參數(shù)優(yōu)化神經(jīng)網(wǎng)絡,選取誤差最小的解作為最終參數(shù).模擬退火技術(shù)[AartsandKorst,1989].每一步都以一定的概率接受比當前解更差的結(jié)果,從而有助于跳出局部極小.隨機梯度下降.與標準梯度下降法精確計算梯度不同,隨機梯度下降法在計算梯度時加入了隨機因素.遺傳算法[Goldberg,1989].遺傳算法也常用來訓練神經(jīng)網(wǎng)絡以更好地逼近全局極小.第五章神經(jīng)網(wǎng)絡主要內(nèi)容5.1神經(jīng)元模型5.2感知機與多層網(wǎng)絡5.3

誤差逆?zhèn)鞑ニ惴?.4全局最小與局部最小5.5其他常見神經(jīng)網(wǎng)絡5.6深度學習5.5其他常見神經(jīng)網(wǎng)絡RBF網(wǎng)絡[BroomheadandLowe,1988]RBF網(wǎng)絡是一種單隱層前饋神經(jīng)網(wǎng)絡,它使用徑向基函數(shù)作為隱層神經(jīng)元激活函數(shù),而輸出層則是隱層神經(jīng)元輸出的線性組合.RBF網(wǎng)絡模型假定輸入為維的向量,輸出為實值,則RBF網(wǎng)絡可以表示為其中為隱層神經(jīng)元的個數(shù),和分別是第神經(jīng)元對應的中心和權(quán)重,是徑向基函數(shù).常用的高斯徑向基函數(shù)形如5.5其他常見神經(jīng)網(wǎng)絡RBF網(wǎng)絡RBF網(wǎng)絡性質(zhì)具有足夠多隱層神經(jīng)元RBF神經(jīng)網(wǎng)絡能以任意精度逼近任意連續(xù)函數(shù).

[ParkandSandberg,1991]RBF網(wǎng)絡訓練Step1:確定神經(jīng)元中心，常用的方式包括隨機采樣、聚類等

Step2:利用BP算法等確定參數(shù)5.5其他常見神經(jīng)網(wǎng)絡ART網(wǎng)絡競爭學習競爭學習是神經(jīng)網(wǎng)絡中一種常用的無監(jiān)督學習策略,在使用該策略時,網(wǎng)絡的輸出神經(jīng)元相互競爭,每一時刻僅有一個神經(jīng)元被激活,其他神經(jīng)元的狀態(tài)被抑制.ART網(wǎng)絡[CarpenterandGrossberg,1987]ART網(wǎng)絡是競爭學習的重要代表ART網(wǎng)絡由比較層、識別層、識別閾值和重置模塊構(gòu)成

比較層負責接收輸入樣本,并將其傳送給識別層神經(jīng)元識別層每個神經(jīng)元對應一個模式類,神經(jīng)元的數(shù)目可在訓練過程中動態(tài)增長以增加新的模式類5.5其他常見神經(jīng)網(wǎng)絡ART網(wǎng)絡ART網(wǎng)絡性能依賴于識別閾值識別閾值高時,輸入樣本將會分成比較多、得到較精細分類識別閾值低時,輸入樣本將會分成比較少、產(chǎn)生較粗略分類ART網(wǎng)絡的優(yōu)勢ART較好的解決了競爭學習中的“可塑性-穩(wěn)定性窘境”,可塑性是指神經(jīng)網(wǎng)絡要有學習新知識的能力；穩(wěn)定性是指神經(jīng)網(wǎng)絡在學習新知識時要保持對舊知識的記憶.ART網(wǎng)絡可以增量學習或在線學習ART網(wǎng)絡的發(fā)展

ART2網(wǎng)絡、FuzzyART網(wǎng)絡、ARTMAP網(wǎng)絡5.5其他常見神經(jīng)網(wǎng)絡SOM網(wǎng)絡[Kohonen,1982]SOM網(wǎng)絡是一種競爭型的無監(jiān)督神經(jīng)網(wǎng)絡,它能將高維數(shù)據(jù)映射到低維空間（通常為2維）,同時保持輸入數(shù)據(jù)在高維空間的拓撲結(jié)構(gòu),即將高維空間中相似的樣本點映射到網(wǎng)絡輸出層中鄰近神經(jīng)元.如圖，SOM網(wǎng)絡中的輸出層神經(jīng)元以矩陣方式排列在二維空間中,每個神經(jīng)元都擁有一個權(quán)值向量,網(wǎng)絡在接收輸入向量后,將會確定輸出層獲勝神經(jīng)元,它決定了該輸入向量在低維空間中的位置.5.5其他常見神經(jīng)網(wǎng)絡SOM網(wǎng)絡[Kohonen,1982]SOM網(wǎng)絡訓練Step1:接受到一個訓練樣本后,每個輸出層神經(jīng)元計算該樣本與自身攜帶的權(quán)向量之間的距離,距離最近的神經(jīng)元成為競爭獲勝者Step2:最佳匹配單元及其近鄰神經(jīng)元的權(quán)值將被調(diào)整,使得這些權(quán)向量與當前輸入樣本的距離縮小5.5其他常見神經(jīng)網(wǎng)絡級聯(lián)相關(guān)網(wǎng)絡[FahlmanandLebiere1990]級聯(lián)相關(guān)網(wǎng)絡不僅利用訓練樣本優(yōu)化連接權(quán)值,閾值參數(shù),將網(wǎng)絡的結(jié)構(gòu)也當做學習的目標之一,希望在訓練過程中找到適合數(shù)據(jù)的網(wǎng)絡結(jié)構(gòu).級聯(lián)與相關(guān)級聯(lián)：建立層次連接的層級結(jié)構(gòu)相關(guān)：最大化神經(jīng)元的輸出與網(wǎng)絡誤差時間的相關(guān)性來訓練相關(guān)參數(shù)網(wǎng)絡優(yōu)化演示5.5其他常見神經(jīng)網(wǎng)絡Elman網(wǎng)絡[Elman1990]遞歸神經(jīng)網(wǎng)絡允許網(wǎng)絡中出現(xiàn)環(huán)形結(jié)構(gòu),使得神經(jīng)元的輸出反饋回來作為輸入信號t

時刻網(wǎng)絡的輸出狀態(tài)：由

t

時刻的輸入狀態(tài)和t-1時刻的網(wǎng)絡狀態(tài)決定Elman網(wǎng)絡Elamn網(wǎng)絡是最常用的遞歸神經(jīng)網(wǎng)絡之一,結(jié)構(gòu)如圖所示,這種結(jié)構(gòu)與前饋神經(jīng)網(wǎng)絡很相似,但是隱層神經(jīng)元的輸出被反饋回來,與下一時刻輸入層神經(jīng)元提供的信號一起,作為隱層神經(jīng)元在下一時刻的輸入訓練算法推廣的BP算法.

[Pineda,1987]5.5其他常見神經(jīng)網(wǎng)絡Boltzmann機能量模型神經(jīng)網(wǎng)絡中有一類模型為網(wǎng)絡定義一個“能量”,能量最小化時網(wǎng)絡達到理想狀態(tài),而網(wǎng)絡的訓練就是在最小化這個能量函數(shù).Boltzmann機Boltzmann

機就是一種基于能量的模型結(jié)構(gòu)：顯層與隱層顯層：數(shù)據(jù)的輸入輸出隱層：數(shù)據(jù)的內(nèi)在表達神經(jīng)元布爾型,即只能取0和1兩種狀態(tài),其中1表示激活,0表示抑制.5.5其他常見神經(jīng)網(wǎng)絡Boltzmann機[Ackleyetal.,1985]Boltzmann機能量令狀態(tài)向量,則其對應的Boltzmann機能量定義為其中表示兩個神經(jīng)元之間的連接權(quán)值,表示神經(jīng)元的閾值.Boltzmann分布網(wǎng)絡中的神經(jīng)元以任意不依賴與輸入值得順序進行更新,則網(wǎng)絡最終將達到

Boltzmann分布,此時狀態(tài)向量出現(xiàn)的概率將僅由其能量與所有可能狀態(tài)向量的能量確定：5.5其他常見神經(jīng)網(wǎng)絡Boltzmann機[Ackleyetal.,1985]Boltzmann

機訓練將每個訓練樣本視為一個狀態(tài)向量,使其出現(xiàn)的概率盡可能大

標準的Boltzmann

機是一個全連接圖,訓練網(wǎng)絡的復雜度很高,這使其難以用于解決現(xiàn)實任務現(xiàn)實中常用受限Boltzmann

機,簡稱RBM.RBM僅保留顯層與隱層之間的連接,從而將Boltzmann機結(jié)構(gòu)有完全圖簡化為二部圖

5.5其他常見神經(jīng)網(wǎng)絡受限Boltzmann機[Ackleyetal.,1985]受限Boltzmann機常用“對比散度”(簡稱:CD)算法

[Hinton,2010]來進行訓練

假定網(wǎng)絡中有個顯層神經(jīng)元個隱層神經(jīng)元,令和分別是顯層與隱層的狀態(tài)向量,由于同一層內(nèi)不存在連接,有CD算法對每個訓練樣本,先計算出隱層神經(jīng)元狀態(tài)的概率分布,然后根據(jù)這個概率分布采樣得到；類似的方法從中產(chǎn)生,再從

中產(chǎn)生；連接權(quán)重的更新公式為：第五章神經(jīng)網(wǎng)絡主要內(nèi)容5.1神經(jīng)元模型5.2感知機與多層網(wǎng)絡5.3

誤差逆?zhèn)鞑ニ惴?.4全局最小與局部最小5.5其他常見神經(jīng)網(wǎng)絡5.6深度學習5.6深度學習深度學習模型典型的深度學習模型就是很深層的神經(jīng)網(wǎng)絡.模型復雜度增加隱層神經(jīng)元的數(shù)目(模型寬度)增加隱層數(shù)目（模型深度）從增加模型復雜度的角度看,增加隱層的數(shù)目比增加隱層神經(jīng)元的數(shù)目更有效.這是因為增加隱層數(shù)不僅增加額擁有激活函數(shù)的神經(jīng)元數(shù)目,還增加了激活函數(shù)嵌套的層數(shù).復雜模型難點多隱層網(wǎng)絡難以直接用經(jīng)典算法（例如標準BP算法）進行訓練,因為誤差在多隱層內(nèi)逆?zhèn)鞑r,往往會”發(fā)散”而不能收斂到穩(wěn)定狀態(tài).5.6深度學習復雜模型訓練方法預訓練+微調(diào)預訓練:監(jiān)督逐層訓練是多隱層網(wǎng)絡訓練的有效手段,每次訓練一層隱層結(jié)點,訓練時將上一層隱層結(jié)點的輸出作為輸入,而本層隱結(jié)點的輸出作為下一層隱結(jié)點的輸入,這稱為”預訓練”.微調(diào)：在預訓練全部完成后,再對整個網(wǎng)絡進行微調(diào)訓練.微調(diào)一般使用BP算法.例子：深度信念網(wǎng)絡[Hintonetal.,2006]結(jié)構(gòu)：每一層都是一個受限Boltzmann機訓練方法：無監(jiān)督預訓練+BP微調(diào)分析預訓練+微調(diào)的做法可以視為將大量參數(shù)分組,對每組先找到局部看起來比較好的設(shè)置,然后再基于這些局部較優(yōu)的結(jié)果聯(lián)合起來進行全局尋優(yōu).5.6深度學習復雜模型訓練方法權(quán)共享一組神經(jīng)元使用相同的連接權(quán)值.權(quán)共享策略在卷積神經(jīng)網(wǎng)絡(CNN)[Le