隨機(jī)神經(jīng)網(wǎng)絡(luò)

隨機(jī)神經(jīng)網(wǎng)絡(luò)內(nèi)容提要模擬退火算法

Boltzmann機(jī)第2頁,共24頁，2024年2月25日，星期天第一節(jié)模擬退火算法第3頁,共24頁，2024年2月25日，星期天神經(jīng)計(jì)算中面臨的問題

利用神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算時(shí)，我們總是期望能通過系統(tǒng)狀態(tài)的改變，使系統(tǒng)的能量函數(shù)E朝其減小的方向遞減，然而這個(gè)遞減過程最終所達(dá)到的一個(gè)穩(wěn)定狀態(tài)，往往是能量函數(shù)E的一個(gè)局部極小點(diǎn)，而達(dá)不到全局最優(yōu)。如果利用神經(jīng)網(wǎng)絡(luò)計(jì)算求解具有多個(gè)限制條件的組合優(yōu)化問題時(shí)，這個(gè)局部極小點(diǎn)所能滿足的只是其中一些限制條件，只是達(dá)到了局部最優(yōu)而不是全局最優(yōu)，這當(dāng)然不是我們所期望的結(jié)果，但是我們又怎樣才能尋求到滿足多數(shù)限制條件的全局最優(yōu)點(diǎn)（或次優(yōu)點(diǎn)）呢？第4頁,共24頁，2024年2月25日，星期天物理中的退火過程

在物理學(xué)中，對固體物質(zhì)進(jìn)行退火處理時(shí)，通常先將它加溫溶化，使其中的粒子可自由地運(yùn)動(dòng)，然后隨著物質(zhì)溫度的下降，粒子也形成了低能態(tài)的晶格。若在凝結(jié)點(diǎn)附近的溫度下降速度足夠慢，則固體物質(zhì)一定會(huì)形成最低能量的基態(tài)。對于組合優(yōu)化問題來說，它也有類似的過程，也就是說物理中固體物質(zhì)的退火過程與組合優(yōu)化問題具有相似性。組合優(yōu)化問題也是在解空間尋求花費(fèi)函數(shù)最?。ɑ蜃畲螅┑慕?。第5頁,共24頁，2024年2月25日，星期天模擬退火算法的直觀解釋能量曲線AB全局極小局部極小第6頁,共24頁，2024年2月25日，星期天模擬退火算法基本思想在神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，設(shè)系統(tǒng)所有可能狀態(tài)為V={ｖ1，v2，…，vn}，與系統(tǒng)相對應(yīng)有一能量E，它是系統(tǒng)狀態(tài)的函數(shù)，即E(V)。設(shè)控制參數(shù)為溫度Ｔ，我們的目的便是找到某一系統(tǒng)狀態(tài)V*，使：第7頁,共24頁，2024年2月25日，星期天模擬退火算法的基本思想模擬退火思想是：

讓T從一個(gè)足夠高的值慢慢下降，對每個(gè)T，用Metropolis抽樣法在計(jì)算機(jī)上模擬該系統(tǒng)在此Ｔ下的熱平衡狀態(tài)，即對當(dāng)前狀態(tài)Vi經(jīng)過隨機(jī)擾動(dòng)產(chǎn)生一個(gè)新狀態(tài)Vj，計(jì)算系統(tǒng)的能量增量:ΔE=E（Vj）-E（Vi），并以概率接受Vj作為新的當(dāng)前狀態(tài)。當(dāng)重復(fù)地如此隨機(jī)擾動(dòng)數(shù)次后，狀態(tài)Vi又重新作為當(dāng)前狀態(tài)的概率將服從Boltzmann分布。

第8頁,共24頁，2024年2月25日，星期天模擬退火算法的基本思想其中：k為Boltzmann常數(shù)。第9頁,共24頁，2024年2月25日，星期天模擬退火算法基本思想若Ｔ下降足夠慢，且T→０,從上式可知，系統(tǒng)所處的當(dāng)前狀態(tài)Vi將具有最小的能量值E(Vi)。第10頁,共24頁，2024年2月25日，星期天模擬退火算法描述1、初始化。任給一初始狀態(tài)V0，Vi=V0，計(jì)算E(V0)，將參數(shù)Ｔ置一初始溫度值。2、產(chǎn)生一隨機(jī)擾動(dòng)ΔV，按下式計(jì)算ΔE：3、若ΔE＜０,則轉(zhuǎn)5,否則在(0,1)區(qū)間上產(chǎn)生一個(gè)均勻分布的隨機(jī)數(shù)ξ。第11頁,共24頁，2024年2月25日，星期天模擬退火算法描述4、若,則轉(zhuǎn)2。5、用Vi+ΔV來取代原來的Vi，并令E=E+ΔE。6、在該T下,檢驗(yàn)系統(tǒng)是否穩(wěn)定，若不穩(wěn)定則轉(zhuǎn)2。7、以某一方式取T*＜T，令T=T*。8、退火過程是否基本結(jié)束,是就停止,不是則轉(zhuǎn)2。第12頁,共24頁，2024年2月25日，星期天對模擬退火算法的一些說明在上述過程中，模擬退火是否能達(dá)到能量E的最小值，取決于T0是否足夠高和T下降得是否充分慢，以及對每個(gè)T時(shí)系統(tǒng)是否穩(wěn)定。第13頁,共24頁，2024年2月25日，星期天對模擬退火算法的一些說明T0初始選取1、均勻地隨機(jī)抽樣V，取E(V)的方差為T0。2、在所有可能狀態(tài)下，選取兩個(gè)狀態(tài)Vi和Vj，使差｜ΔE｜＝｜E(Vi)-E(Vj)｜最大，取T0為該量大值的若干倍。3、由經(jīng)驗(yàn)給出。第14頁,共24頁，2024年2月25日，星期天對模擬退火算法的一些說明檢驗(yàn)系統(tǒng)是否穩(wěn)定的方法1、檢查E的均值是否穩(wěn)定。2、檢查是否連續(xù)若干步中E的變化都比較小。3、按一固定步數(shù)抽樣。第15頁,共24頁，2024年2月25日，星期天對模擬退火算法的一些說明T減小方式令T=λT，０＜λ＜１，常數(shù)λ∈［0.8，0.99］。算法終止方式1、取t小于某一閾值。2、檢驗(yàn)系統(tǒng)的熵是否已達(dá)最小。第16頁,共24頁，2024年2月25日，星期天第二節(jié)Boltzmann機(jī)第17頁,共24頁，2024年2月25日，星期天Boltzmann機(jī)簡介

Boltzmann機(jī)是由Hinton和Sejnowski提出來的一種統(tǒng)計(jì)神經(jīng)網(wǎng)絡(luò)模型，是在Hopfield網(wǎng)絡(luò)基礎(chǔ)之上引入了隨機(jī)性機(jī)制而形成的。與Hopfield神經(jīng)網(wǎng)絡(luò)不同的是Boltzmann機(jī)具有學(xué)習(xí)能力，即其權(quán)值通過學(xué)習(xí)來調(diào)整，而不是預(yù)先設(shè)置。Boltzmann機(jī)是一種約束滿足神經(jīng)網(wǎng)絡(luò)模型。第18頁,共24頁，2024年2月25日，星期天Boltzmann機(jī)的結(jié)構(gòu)第19頁,共24頁，2024年2月25日，星期天Boltzmann機(jī)的學(xué)習(xí)當(dāng)樣本送入Boltzmann機(jī)的可見單元后，Boltzmann機(jī)就開始學(xué)習(xí)。Boltzmann機(jī)中的隱含單元是用來形成內(nèi)部表示，以描述輸入樣本的規(guī)律。由于內(nèi)部表達(dá)的構(gòu)造過程是在無任何附加信息的狀態(tài)下完成的，因而這個(gè)學(xué)習(xí)過程也稱為無監(jiān)督學(xué)習(xí)。設(shè)所有的權(quán)值初始值都為0。第20頁,共24頁，2024年2月25日，星期天Boltzmann機(jī)的學(xué)習(xí)過程描述輸入期學(xué)習(xí)樣本送入Boltzmann機(jī)的可見神經(jīng)元，并且對每一個(gè)輸入樣本使用當(dāng)前權(quán)值建立平衡。也就是說，從訓(xùn)練集合中隨機(jī)挑選一樣本送入可見神經(jīng)元，然后讓隱含神經(jīng)元自由動(dòng)作，這時(shí)，如果兩個(gè)神經(jīng)元的狀態(tài)同時(shí)為1，統(tǒng)計(jì)它們之間連接的權(quán)值活躍的次數(shù)L1。第21頁,共24頁，2024年2月25日，星期天Boltzmann機(jī)的學(xué)習(xí)過程描述自由運(yùn)行期這時(shí)Boltzmann機(jī)中所有的神經(jīng)元都自由地調(diào)整它們的狀態(tài)，采用模擬退火算法達(dá)到一個(gè)平衡態(tài)，統(tǒng)計(jì)神經(jīng)元之間連接權(quán)值活躍的次數(shù)L2。第22頁,共24頁，