神經(jīng)網(wǎng)絡(luò) 第五章

神經(jīng)網(wǎng)絡(luò)第五章第一頁，共五十五頁，編輯于2023年，星期三5.1隨機(jī)型神經(jīng)網(wǎng)絡(luò)的基本思想誤差反向傳播算法的基本思想:

通過對(duì)網(wǎng)絡(luò)參數(shù)(連接權(quán)、輸出閾值)的逐步調(diào)整實(shí)現(xiàn)網(wǎng)絡(luò)學(xué)習(xí)的。它是在提供給網(wǎng)絡(luò)的學(xué)習(xí)模式集合的全局誤差按梯度下降的條件下達(dá)到網(wǎng)絡(luò)記憶目的。當(dāng)學(xué)習(xí)過程進(jìn)行到全局誤差開始有上升的趨勢(shì)時(shí)就停止了，這往往導(dǎo)致網(wǎng)絡(luò)誤差陷入局部極小值，而達(dá)不到全局最小點(diǎn)。這種算法被形象地稱為“貪心”算法，即急于找到最小解．結(jié)果則是欲速則不達(dá)。第二頁，共五十五頁，編輯于2023年，星期三

對(duì)于Hopfield網(wǎng)絡(luò)，其工作規(guī)則也是使網(wǎng)絡(luò)的能量函數(shù)朝梯度下降的力向變化，即隨著網(wǎng)絡(luò)狀態(tài)的不斷更新，網(wǎng)絡(luò)能能量函數(shù)單調(diào)下降，其結(jié)果也往往是是使網(wǎng)絡(luò)陷入局部極小值，最終得不到網(wǎng)絡(luò)的最優(yōu)解。分析以上兩種網(wǎng)絡(luò)結(jié)構(gòu)與算法的特點(diǎn)：導(dǎo)致網(wǎng)絡(luò)學(xué)習(xí)過程陷入局部極小點(diǎn)的原因主要有：①結(jié)構(gòu)上:存在著輸入與輸出之間的非線性函數(shù)關(guān)系,

從而使網(wǎng)絡(luò)誤差或能量函數(shù)所構(gòu)成的空間是一個(gè)含有多極點(diǎn)的非線性空間；第三頁，共五十五頁，編輯于2023年，星期三②算法上:網(wǎng)絡(luò)的誤差或能量函數(shù)只能按單方向減

小而不能有絲毫的上升趨勢(shì)。對(duì)于第一點(diǎn)，是為保證、網(wǎng)絡(luò)具有非線性映襯能力而必不可少的。解決網(wǎng)絡(luò)收斂問題的途徑就只能從第二點(diǎn)入手，即不但讓網(wǎng)絡(luò)的誤差或能量函數(shù)向減小的方向變化，而且，還可按某種方式向增大的方向變化，目的是使網(wǎng)絡(luò)有可能跳出局部極小值而向全局最小點(diǎn)收斂。這就是隨機(jī)型神經(jīng)網(wǎng)絡(luò)算法的基本思想。第四頁，共五十五頁，編輯于2023年，星期三第五頁，共五十五頁，編輯于2023年，星期三4.2模擬退火算法模擬退火算法(SimulatedAnnealingAlgorithm)，就是模擬金屬構(gòu)件退火過程的一種算法。第六頁，共五十五頁，編輯于2023年，星期三金屬或某類固體物質(zhì)退火處理過程是：先用高溫將其加熱熔化，使其中的粒子可以自由運(yùn)動(dòng)；逐漸降低溫度，粒子的自由運(yùn)動(dòng)趨勢(shì)也逐漸減弱，并逐漸形成低能態(tài)晶格。若在凝結(jié)點(diǎn)附近溫度下降的速度足夠慢，則金屬或固體物質(zhì)一定會(huì)形成最低能量的基態(tài)，即最穩(wěn)定結(jié)構(gòu)狀態(tài)。

實(shí)際上，在整個(gè)降溫的過程中，各個(gè)粒子都可能經(jīng)歷了由高能態(tài)向低能態(tài)、有時(shí)又暫時(shí)由低能態(tài)向高能態(tài)最終趨向低能態(tài)的變化過程。

第七頁，共五十五頁，編輯于2023年，星期三啟發(fā)：如果把神經(jīng)網(wǎng)絡(luò)的狀態(tài)看作金屬內(nèi)部的“粒子”，把網(wǎng)絡(luò)在各個(gè)狀態(tài)下的能量函數(shù)E看作是粒子所處的能態(tài)；在算法中設(shè)置一種控制參數(shù)T，當(dāng)T較大時(shí)，網(wǎng)絡(luò)能量由低向高變化的可能性也較大；隨著T的減小，這種可能性也減小。如果把這個(gè)參數(shù)看作溫度，讓其由高慢慢地下降，則整個(gè)網(wǎng)絡(luò)狀態(tài)變化過程就完全模擬了金屬的退火過程，當(dāng)參數(shù)了下降到一定程度時(shí)，網(wǎng)絡(luò)將收斂于能量的最小值。第八頁，共五十五頁，編輯于2023年，星期三在模擬退火算法中，有兩點(diǎn)是算法的關(guān)鍵：①控制參數(shù)T；②能量由低向高變化的可能性。這兩點(diǎn)必須結(jié)合起來考慮，當(dāng)T大時(shí)，可能性也大，T小時(shí)，可能性也小，把“可能性”當(dāng)作參數(shù)T的函數(shù)。

“可能性”用數(shù)學(xué)模型來表示就是概率。由此可以得到模擬退火算法如下：第九頁，共五十五頁，編輯于2023年，星期三第十頁，共五十五頁，編輯于2023年，星期三上式表明：在模擬退火算法中，某神經(jīng)元的輸出不象Hopfield算法中那樣，是由以內(nèi)部狀態(tài)Hi為輸入的非線性函數(shù)的輸出(階躍函數(shù))所決定的，而是由Hi為變量的概率PHi(1)或PHi(0)所決定的。不同的Hi，對(duì)應(yīng)不同的概率)PHi(1)或PHi(0)。第十一頁，共五十五頁，編輯于2023年，星期三以上各式體現(xiàn)了模擬退火算法的兩個(gè)關(guān)鍵點(diǎn)。將Hopfield網(wǎng)絡(luò)能量函數(shù)的變化式重寫:第十二頁，共五十五頁，編輯于2023年，星期三這在Hopfield算法中是不允許的。而這里卻允許比較小的概率(負(fù)橫軸所對(duì)應(yīng)的概率)接受這種變化。從圖還可以看出：當(dāng)溫度T較高時(shí)，PHi(1)相對(duì)于Hi的變化反應(yīng)遲鈍，曲線趨于平坦，特別是當(dāng)時(shí)．曲線變?yōu)橐粭l恒為0．5的直線。此時(shí)ui取1和0的概率相等，這意味著在T較高的期間，網(wǎng)絡(luò)各神經(jīng)元有更多的機(jī)會(huì)進(jìn)行狀態(tài)選擇，相當(dāng)于金屬內(nèi)部的粒子作激烈的自由運(yùn)動(dòng)；當(dāng)溫度降低時(shí)，PHi(1)曲線變陡．PHi(1)相對(duì)于Hi的變化相當(dāng)敏感。當(dāng)時(shí)，曲線退化為一階躍函數(shù)，則算法也從模擬退火算法過渡到Hopfield算法?？梢哉f：Hopfield算法是模擬退火算法在時(shí)

的特例。第十三頁，共五十五頁，編輯于2023年，星期三反復(fù)進(jìn)行網(wǎng)絡(luò)的狀態(tài)更新，且更新次數(shù)N足夠大以后，網(wǎng)絡(luò)某狀態(tài)出現(xiàn)的概率將服從分布：

式中，Ei為狀態(tài){ui}所對(duì)應(yīng)的網(wǎng)絡(luò)能量。第十四頁，共五十五頁，編輯于2023年，星期三這一概率分布就是由統(tǒng)計(jì)力學(xué)家LudwigBoltzmann(1844—1906年)提出的Boltzmann分布。式中的Z是為使分布規(guī)一化而設(shè)置的常數(shù)(網(wǎng)絡(luò)所有狀態(tài)的能量之和為常數(shù))。由這一分布可以看出:狀態(tài)的能量越小，這一狀態(tài)出現(xiàn)的概率就越大。這是Boltzmann分布的一大特點(diǎn)，即“最小能量狀態(tài)以最大的概率出現(xiàn)”。第十五頁，共五十五頁，編輯于2023年，星期三5.3Boltzmann機(jī)與Boltzmann機(jī)工作規(guī)則按模擬退火算法實(shí)現(xiàn)網(wǎng)絡(luò)狀態(tài)的更新時(shí)，網(wǎng)絡(luò)各狀態(tài)出現(xiàn)的概率將服從Boltzmann分布。實(shí)際上，模擬退火算法的提出并不是針對(duì)神經(jīng)網(wǎng)絡(luò)的，它最早是由Metrpolis于1953年針對(duì)模擬統(tǒng)計(jì)物理中液體結(jié)晶問題而提出的一種算法思想。1985年，Hinton等人把模擬退火算法引入神經(jīng)網(wǎng)絡(luò)中，提出了Boltzman機(jī)模型，簡稱BM網(wǎng)絡(luò)(BoltzmannMachine)。

第十六頁，共五十五頁，編輯于2023年，星期三

Boltzmann機(jī)網(wǎng)絡(luò)結(jié)構(gòu)基本上與離散型Hopfield網(wǎng)絡(luò)結(jié)構(gòu)相似，由N個(gè)神經(jīng)元構(gòu)成，每個(gè)神經(jīng)元取0、1二值輸出，且神經(jīng)元之間以對(duì)稱連接權(quán)相互連接。與Hopfield網(wǎng)絡(luò)所不同的是:Boltzmann機(jī)網(wǎng)絡(luò)一般把整個(gè)神經(jīng)元分為可視層與隱含層兩大部分，可視層又可分為輸入部分和輸出部分。但它與一般的階層網(wǎng)絡(luò)結(jié)構(gòu)不同之處是網(wǎng)絡(luò)沒有明顯的層次界限，且神經(jīng)元之間不是單向連接而是雙向連接的，如圖所示。第十七頁，共五十五頁，編輯于2023年，星期三第十八頁，共五十五頁，編輯于2023年，星期三Bo1tzmann機(jī)網(wǎng)絡(luò)的算法根據(jù)其兩大用途分為：

工作規(guī)則：也就是網(wǎng)絡(luò)的狀態(tài)更新規(guī)則，主要用于優(yōu)化組合問題。

學(xué)習(xí)規(guī)則：也就是網(wǎng)絡(luò)連接權(quán)和輸出閾值的修正規(guī)則，主要用于以網(wǎng)絡(luò)作為一種外界概率分布的模擬機(jī)。這也是Boltzmann機(jī)網(wǎng)絡(luò)的一個(gè)獨(dú)特的用途。第十九頁，共五十五頁，編輯于2023年，星期三

Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則與Hopfield網(wǎng)絡(luò)工作規(guī)則十分相似，只是以概率方式取代階躍函數(shù)方式來決定網(wǎng)絡(luò)根據(jù)其神經(jīng)元的內(nèi)部狀態(tài)而進(jìn)行的狀態(tài)更新，并且網(wǎng)絡(luò)的溫度參數(shù)隨著網(wǎng)絡(luò)狀態(tài)更新的進(jìn)行而逐漸減小。實(shí)際上，可以說Boltzmann機(jī)網(wǎng)絡(luò)工作規(guī)則就是模擬退火算法的具體體現(xiàn)?，F(xiàn)將其步驟歸納如下：第二十頁，共五十五頁，編輯于2023年，星期三第二十一頁，共五十五頁，編輯于2023年，星期三第二十二頁，共五十五頁，編輯于2023年，星期三第二十三頁，共五十五頁，編輯于2023年，星期三4)關(guān)于降溫策略，由于在Boltzmann機(jī)工作規(guī)則中引入了概率，所以網(wǎng)絡(luò)不是收斂于1個(gè)狀態(tài)而是收斂于平衡狀態(tài)。即在N次網(wǎng)絡(luò)狀態(tài)更新過程中，網(wǎng)絡(luò)各個(gè)狀態(tài)出現(xiàn)的概率分布保持不變，符合Boltzmann分布。由這一分布可知，溫度參數(shù)T對(duì)收斂概率分布有很大影響。當(dāng)溫度參數(shù)時(shí)，最小能量的狀態(tài)實(shí)現(xiàn)概率為1，這也正是我們所期望的。第二十四頁，共五十五頁，編輯于2023年，星期三但是如果開始就以T＝0進(jìn)行狀態(tài)更新，則網(wǎng)絡(luò)狀態(tài)很可能陷入局部極小點(diǎn)。因此需采用逐漸降溫法實(shí)現(xiàn)狀態(tài)更新，而且只有降溫速度合適才能保證網(wǎng)絡(luò)狀態(tài)收斂于全局最小點(diǎn)。

現(xiàn)己證明：按所示降溫方案．能夠保證網(wǎng)絡(luò)收斂于全局最小值。但用此方法也存在著一個(gè)很大缺陷，即網(wǎng)絡(luò)的收斂時(shí)間太長。為此，也可用下式所示方法實(shí)施降溫這種降溫方法稱為快速降溫方案。第二十五頁，共五十五頁，編輯于2023年，星期三

同Hopfield網(wǎng)絡(luò)在優(yōu)化組合中的應(yīng)用一樣，當(dāng)把問題的約束條件及目標(biāo)函數(shù)轉(zhuǎn)化為網(wǎng)絡(luò)的目標(biāo)函數(shù)之后，按Boltzmann工作規(guī)則進(jìn)行網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移，最終能得到問題的最優(yōu)解。由于Boltzmann機(jī)網(wǎng)絡(luò)的工作規(guī)則可使網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移，無論從任何初始狀態(tài)出發(fā)，都可以收斂到網(wǎng)絡(luò)能量函數(shù)的最小值，能量函數(shù)的各個(gè)局部極小值無法被利用來作為記憶模式的存貯點(diǎn)。所以Boltzmann機(jī)網(wǎng)絡(luò)不能充當(dāng)一般意義上的多記憶模式的聯(lián)想記憶器使用。第二十六頁，共五十五頁，編輯于2023年，星期三5.4Boltzmann機(jī)學(xué)習(xí)規(guī)則

Boltzmann機(jī)網(wǎng)絡(luò)除了可以解決優(yōu)化組合問題外，還可以通過網(wǎng)絡(luò)訓(xùn)練模擬外界給出的概率分布，Boltzmann網(wǎng)絡(luò)訓(xùn)練模擬外界給出的概率分布，實(shí)現(xiàn)概率意義上的聯(lián)想記憶。第二十七頁，共五十五頁，編輯于2023年，星期三什么是概率意義上的聯(lián)想記憶呢?

簡單地講,就是網(wǎng)絡(luò)所記憶的并不是記憶模式本身，而是記憶模式出現(xiàn)的概率。提供給網(wǎng)絡(luò)訓(xùn)練的也不僅僅是學(xué)習(xí)模式，而且還有學(xué)習(xí)模式出現(xiàn)的概率。在上節(jié)中曾經(jīng)指出，Boltzmann機(jī)網(wǎng)絡(luò)可劃分為可視層與隱含層兩大部分?？梢晫樱褐饕鳛榫W(wǎng)絡(luò)記憶的外部表現(xiàn)，即學(xué)習(xí)模式及用于回想的輸入棋式都是通過可視層提供給網(wǎng)絡(luò)的；隱含層：主要用于網(wǎng)絡(luò)記憶的內(nèi)部運(yùn)算。第二十八頁，共五十五頁，編輯于2023年，星期三當(dāng)把一組記憶模式及這組記憶模式中每一個(gè)模式應(yīng)出現(xiàn)的概率(即這組記模式的概率分布函數(shù))提供給網(wǎng)絡(luò)的可視層之后，讓網(wǎng)絡(luò)按將介紹的學(xué)習(xí)規(guī)則進(jìn)行學(xué)習(xí)；學(xué)習(xí)結(jié)束之后，當(dāng)網(wǎng)絡(luò)按上節(jié)介紹的工作規(guī)則進(jìn)行不斷地狀態(tài)轉(zhuǎn)移時(shí)，網(wǎng)絡(luò)的各個(gè)狀態(tài)將按記億的學(xué)習(xí)模式的概率分布出現(xiàn)，即概率大的狀態(tài)出現(xiàn)的頻率高，概率小的狀態(tài)出現(xiàn)的頻率低。這時(shí)的網(wǎng)絡(luò)相當(dāng)于一個(gè)按既定概率分布輸出的“概率發(fā)生器”。這種概率意義上的聯(lián)想記憶稱為自聯(lián)想記憶。第二十九頁，共五十五頁，編輯于2023年，星期三進(jìn)一步分析互聯(lián)記憶方式，把網(wǎng)絡(luò)的可視層分為輸入部分和輸出部分，且按下述方式提供給網(wǎng)絡(luò)學(xué)習(xí)模式：把某個(gè)記憶模式加到網(wǎng)絡(luò)的輸入部分。同時(shí)，在網(wǎng)絡(luò)的輸出部分按一給定概率分布給出一組希望輸出模式。此時(shí)所給出的概率分布函數(shù)實(shí)際上是輸出模式相對(duì)于輸入模式的條件概率分布。網(wǎng)絡(luò)正是通過記憶這種條件概率分布函數(shù)來完成互聯(lián)想記憶。第三十頁，共五十五頁，編輯于2023年，星期三

例如，一個(gè)由Boltzmann機(jī)網(wǎng)絡(luò)組成的柴油機(jī)故障診斷系統(tǒng)，當(dāng)給網(wǎng)絡(luò)提供一個(gè)表示排氣筒有黑煙的故障輸入模式后，在網(wǎng)絡(luò)的輸出部分(即故障診斷系統(tǒng)的診斷輸出端)按產(chǎn)生這種故障現(xiàn)象的原因的概率的大小提供一系列輸出模式，如汽缸點(diǎn)火位置不準(zhǔn)、油料中含有雜質(zhì)等等。從此構(gòu)成網(wǎng)絡(luò)的學(xué)習(xí)模式對(duì)。第三十一頁，共五十五頁，編輯于2023年，星期三無論是自聯(lián)想記億還是互聯(lián)想記憶，其實(shí)質(zhì)就是：網(wǎng)絡(luò)通過學(xué)習(xí)目標(biāo)概率分布函數(shù)，將其記憶并在以后的回想過程中將這一概率分布再現(xiàn)出來。應(yīng)該注意的是，Boltzmann機(jī)網(wǎng)絡(luò)與一般的階層網(wǎng)絡(luò)不同，它沒有明顯的層次界限。一般是根據(jù)問題的需要，在全互連接的各個(gè)神經(jīng)元中選擇一些作為可視層，另一些作為隱含層?？梢晫樱荷窠?jīng)元的個(gè)數(shù)可以根據(jù)記憶模式的形式確定；隱含層：神經(jīng)元的個(gè)數(shù)目前則需憑經(jīng)驗(yàn)確定。

第三十二頁，共五十五頁，編輯于2023年，星期三

Boltzmann機(jī)網(wǎng)絡(luò)是怎樣記憶目標(biāo)分布函數(shù)的呢?

按Boltzmann機(jī)工作規(guī)則進(jìn)行網(wǎng)絡(luò)的狀態(tài)轉(zhuǎn)移，當(dāng)轉(zhuǎn)移的次數(shù)足夠大時(shí)，網(wǎng)絡(luò)的狀態(tài)出現(xiàn)將服從于Boltzmann分布。

Boltzmann分布函數(shù)是由網(wǎng)絡(luò)狀態(tài)的能量函數(shù)決定的，而狀態(tài)的能量函數(shù)又是由網(wǎng)絡(luò)的連接權(quán)和輸出閾值所決定的。因此，通過適當(dāng)?shù)卣{(diào)整網(wǎng)絡(luò)的連接權(quán)和輸出閥值，就可實(shí)現(xiàn)所希望的Boltzmann概率分布。連接權(quán)和閾值的調(diào)整過程也就是網(wǎng)絡(luò)的學(xué)習(xí)過程。第三十三頁，共五十五頁，編輯于2023年，星期三第三十四頁，共五十五頁，編輯于2023年，星期三第三十五頁，共五十五頁，編輯于2023年，星期三第三十六頁，共五十五頁，編輯于2023年，星期三第三十七頁，共五十五頁，編輯于2023年，星期三式中表示網(wǎng)絡(luò)的可視層各神經(jīng)元的輸出按所希望的概率分布固定在某一狀態(tài)下，僅讓隱含層的各神經(jīng)元按Boltzmann工作規(guī)則進(jìn)行狀態(tài)更新，當(dāng)更新次數(shù)足夠大并認(rèn)為網(wǎng)絡(luò)已達(dá)到平衡狀態(tài)之后神經(jīng)元i和j同時(shí)輸出為1的概率(也稱ui與uj之間的對(duì)稱概率)。式中表示當(dāng)整個(gè)神經(jīng)元按Boltzmann工作規(guī)則進(jìn)行狀態(tài)更新、并達(dá)到平衡狀態(tài)之后，神經(jīng)元i與j同時(shí)輸出為l的概率。

第三十八頁，共五十五頁，編輯于2023年，星期三第三十九頁，共五十五頁，編輯于2023年，星期三第四十頁，共五十五頁，編輯于2023年，星期三第四十一頁，共五十五頁，編輯于2023年，星期三第四十二頁，共五十五頁，編輯于2023年，星期三第四十三頁，共五十五頁，編輯于2023年，星期三學(xué)習(xí)結(jié)束后的網(wǎng)絡(luò)在進(jìn)行回想時(shí)，可使網(wǎng)絡(luò)從任何初始狀態(tài)出發(fā)，技工作規(guī)則進(jìn)行若干次狀態(tài)轉(zhuǎn)移，則網(wǎng)絡(luò)可視層各個(gè)狀態(tài)的出現(xiàn)概率分布將符合網(wǎng)絡(luò)學(xué)習(xí)時(shí)所希望的概率分布。下面介紹Boltzmann機(jī)網(wǎng)絡(luò)的互聯(lián)想記憶學(xué)習(xí)規(guī)則。這一規(guī)則與自聯(lián)想記憶學(xué)習(xí)規(guī)則十分相似。第四十四頁，共五十五頁，編輯于2023年，星期三第四十五頁，共五十五頁，編輯于2023年，星期三第四十六頁，共五十五頁，編輯于2023年，星期三第四十七頁，共五十五頁，編輯于2023年，星期三第四十八頁，共五十五頁，編輯于2023年，星期三在對(duì)每一組學(xué)習(xí)模式進(jìn)行訓(xùn)練時(shí)，輸入部分的狀念總是固定在某個(gè)輸入模式的狀態(tài)。學(xué)習(xí)結(jié)束后的網(wǎng)絡(luò)在進(jìn)行回想時(shí)，當(dāng)給網(wǎng)絡(luò)的輸入部分提供一輸入模式后，對(duì)網(wǎng)絡(luò)除輸入部分按網(wǎng)絡(luò)工作規(guī)則進(jìn)行狀態(tài)更新，在網(wǎng)絡(luò)的輸出部分各狀態(tài)出現(xiàn)的概率分布將符合學(xué)習(xí)過的希望概率分布。第四十九頁，共五十五頁，編輯于2023年，星期三5.5網(wǎng)絡(luò)小結(jié)

介紹模擬退火算法及Boltzmann機(jī)網(wǎng)絡(luò)的工作和學(xué)習(xí)規(guī)則時(shí)曾多次指出：這一算法可使網(wǎng)絡(luò)的能量函數(shù)收斂于全局最小值，從而可以得到應(yīng)用問題的最優(yōu)解。但是實(shí)際情況有時(shí)并不是這樣，所得到的解是近似的最優(yōu)解。這是什么原因呢?第五十頁，共五十五頁，編輯于2023年，星期三只不過前兩種出現(xiàn)的概率較小而已。