玻爾茲曼機(jī)網(wǎng)絡(luò)

1、Boltzmann機(jī)網(wǎng)絡(luò)1.網(wǎng)絡(luò)結(jié)構(gòu)伯爾茲曼機(jī)網(wǎng)絡(luò)（Boltzmann machines, BM）在網(wǎng)絡(luò)結(jié)構(gòu)方面與 Hopfield 神經(jīng)網(wǎng)絡(luò)類(lèi)似，網(wǎng)絡(luò)采取有教師的學(xué)習(xí)方法，每一個(gè)神經(jīng)元之間對(duì)稱(chēng)的反饋互聯(lián)， 即各對(duì)神經(jīng)元之間的傳輸權(quán)重系數(shù)是對(duì)稱(chēng)的：七=七,，w =0。但是，兩者之 間在運(yùn)行原理方面有根本區(qū)別。（1）Hopfield網(wǎng)絡(luò)的神經(jīng)元的結(jié)構(gòu)功能，及其在網(wǎng)絡(luò)中的地位是一樣的。BM 中一部分神經(jīng)元與外部相連，可以起到網(wǎng)絡(luò)的輸入、輸出功能，或者嚴(yán)格的說(shuō)可 以受到外部條件的約束；而另一部分神經(jīng)元?jiǎng)t不與外部相連，因而屬于隱單元； BM是具有隱單元的反饋互聯(lián)網(wǎng)絡(luò)。（2）神經(jīng)元的狀態(tài)為0或1的概率取

2、決于相應(yīng)的輸入。（3）學(xué)習(xí)與工作原理有其獨(dú)特之處。BM網(wǎng)絡(luò)的神經(jīng)元特性取概率閾值模型，如圖1所示。對(duì)于第i號(hào)神經(jīng)元， 它的全部輸入信號(hào)的總和為，可表示如下（1）（2）I =區(qū)1w -0ij=0,怦 il 1或者I =區(qū)1i=0,也神經(jīng)元i的輸出為x. , X.只能取1或0，X取1的概率p由下式?jīng)Q定（3）p（x = 0 ）= 1 - p（x = 1）=_）（4）式（3）就是我們熟悉的Sigmoid形式，但是前面分析中常用的參數(shù)改用了字 母T，并且稱(chēng)之為溫度，這與在BM的分析中將與熱力學(xué)類(lèi)比有關(guān)，在不同的溫 度下p隨I的變化如圖2所示，溫度參數(shù)T在BM神經(jīng)網(wǎng)絡(luò)的搜索過(guò)程中起重 要的作用。圖2 BM

3、神經(jīng)元的特性2 .訓(xùn)練方法2.1狀態(tài)更新算法（1）網(wǎng)絡(luò)初始化給初始狀態(tài)賦-1，1之間的隨機(jī)數(shù)，設(shè)定起始溫度金和目標(biāo)溫度值Tfnna。（2）求解內(nèi)部狀態(tài)從N個(gè)神經(jīng)元中隨機(jī)選取一個(gè)神經(jīng)元，根據(jù)下式求解出神經(jīng)元的輸入總和， 即內(nèi)部狀態(tài)。(t)+ bj（5）u(t)= 2 w v + bi j = 1 ij j（6）（3）更新神經(jīng)元狀態(tài)根據(jù)下面的公式更新神經(jīng)元的狀態(tài):pv G+i)=i=i（7）p(v G+1)= 1)=1iu&)1 + e - t除i外的神經(jīng)元的輸出狀態(tài)保持不變，即除i外的神經(jīng)元的狀態(tài)由下面 公式求解得出：v.(t +1)= v.G) j = 1,2,.,N; j。i。令t = t

4、+1，按照下式計(jì)算出新的溫度參數(shù)：u;(8)(9)(10)T G +1)=o lo G +1)(6)第(5)步計(jì)算出的溫度參數(shù)是否小于目標(biāo)溫度，小于目標(biāo)溫度則算法 結(jié)束，否則返回(2)，進(jìn)入下一輪計(jì)算。2.2注意事項(xiàng)概率閥值的確定方法在網(wǎng)絡(luò)初始化時(shí)按經(jīng)驗(yàn)確定，或在運(yùn)行過(guò)程中選取一個(gè)0，0.5之間均勻分 布的隨機(jī)數(shù)。網(wǎng)絡(luò)權(quán)值的確定方法在每一溫度下達(dá)到熱平衡的條件降溫方法通常采用指數(shù)降溫，即丁 G+1)=上為加快網(wǎng)絡(luò)收斂速度，也可采用一個(gè)倍乘小于1的降溫系數(shù)的辦法。相關(guān)問(wèn)題算法BM神經(jīng)元網(wǎng)絡(luò)的運(yùn)行：最佳解的模擬退火法搜索模擬退火算法是最優(yōu)化處理理論和方法的一個(gè)方面，并不是在BM網(wǎng)絡(luò)中所 專(zhuān)有的，恰

5、恰相反，正是由于上述的網(wǎng)絡(luò)概率狀態(tài)對(duì)參數(shù)T的強(qiáng)烈依賴(lài)使我們自 然地想到，在網(wǎng)絡(luò)的運(yùn)行過(guò)程中T應(yīng)先高后低以便能夠在搜索速度和搜索精度兩 個(gè)方面得到好處，快熟而又精確地獲得全局最優(yōu)解。就像在所有的自適應(yīng)運(yùn)算中 對(duì)迭代步長(zhǎng)a的處理那樣。而作為熱處理工藝的模擬退火方法也將工件高溫加 熱，然后慢慢冷卻，所追求的物理目的就是將工件的微觀(guān)物質(zhì)結(jié)構(gòu)在高溫下進(jìn)行 充分的擾動(dòng)、而在降溫的進(jìn)程中生成微觀(guān)晶格有序化的低能量狀態(tài)，共同的理論 思想使二者走到了一起，也是熱力學(xué)理論引入信息處理領(lǐng)域的最初嘗試和成功范 例。模擬退火算法(Simulated Annealing， SA)它由 Metropolis 于 1953

6、年提出， 是最優(yōu)化處理算法中的一種改進(jìn)的蒙特一卡羅方法、包括Metropolis算法和退火 過(guò)程(Annealing Procedure，AP)組成。S Kirkpatrick (1983)和 V Cerny (1985) 進(jìn)一步發(fā)展和應(yīng)用了這一方法。方法的概要是，首先在高溫下進(jìn)行搜索，由于此 時(shí)各狀態(tài)出現(xiàn)概率相差不大，系統(tǒng)可以很快進(jìn)入“熱平衡狀態(tài)”，是一種快速找 到系統(tǒng)概率的低能區(qū)的“粗搜索”過(guò)程。隨著溫度逐漸降低，各狀態(tài)出現(xiàn)概率的 差距逐漸被擴(kuò)大，搜索精度不斷提高。最后以一較高置信度達(dá)到網(wǎng)絡(luò)能量函數(shù)的 全局最小點(diǎn)。簡(jiǎn)要說(shuō)明如下。Metropolis 抽樣過(guò)程Metropolis算法是模擬退

7、火算法的基礎(chǔ)。它假定隨機(jī)變量在某一時(shí)刻的狀態(tài) 為。，在另一時(shí)刻狀態(tài)為七。假設(shè)這種狀態(tài)的轉(zhuǎn)移滿(mǎn)足對(duì)稱(chēng)條件 pv I v )= pv IV)。令A(yù)E表示系統(tǒng)從狀態(tài)v轉(zhuǎn)移至狀態(tài)v所引起的能量差。i jj iiij如果AE0，算法按概率操作結(jié)果隨機(jī)決定兌現(xiàn)或放棄這一轉(zhuǎn)移。概率操作 的方法很多，其中取隨機(jī)數(shù)的方法很簡(jiǎn)單。隨機(jī)生成一個(gè)在0,1區(qū)間內(nèi)均勻分布 的隨機(jī)數(shù)&，如果& 0即能量差A(yù)E 0，由前述分析知，x取1降低網(wǎng)絡(luò)能量，故兌現(xiàn)之u，取 x (k +1)= 1。若I 0即能量差A(yù)E p取 x (k +1)=1，若 p (k) p，取 x (k +1) = x (k)。然后，判斷網(wǎng)絡(luò)是否是一個(gè)局部穩(wěn)

8、態(tài)，若是，則轉(zhuǎn)入第三步，降低溫度，實(shí) 施退火；若不是一個(gè)局部穩(wěn)態(tài)，則反復(fù)隨機(jī)選取另一個(gè)神經(jīng)元重復(fù)本步過(guò)程，直 到達(dá)到一個(gè)局部穩(wěn)態(tài)。第三步：模擬退火。重新逐一調(diào)整每一神經(jīng)元的狀態(tài)。按T(k +1)=人T(k)人 T，算法結(jié)束。BM機(jī)的應(yīng)用介紹BM網(wǎng)絡(luò)的應(yīng)用結(jié)果的文獻(xiàn)相對(duì)其它類(lèi)型的網(wǎng)絡(luò)少得多，其原因在前面 已經(jīng)提及，主要就是計(jì)算工作量太大，限制了應(yīng)用者的興趣。但是許多研究者致 力于網(wǎng)絡(luò)模型和計(jì)算方法改進(jìn)的研究，還取得了一些重要進(jìn)展，在各個(gè)技術(shù)領(lǐng)域 的最優(yōu)化處理應(yīng)用也相當(dāng)?shù)膹V泛。目前BM機(jī)已經(jīng)廣泛應(yīng)用到圖像、聲納、雷達(dá)等模式識(shí)別領(lǐng)域。下面結(jié)合一 些實(shí)際的應(yīng)用來(lái)具體介紹一下。4.1 BM在最優(yōu)化計(jì)算方

9、面的應(yīng)用目前已有許多利用BM進(jìn)行一類(lèi)復(fù)雜決策問(wèn)題的BM求解實(shí)例。本節(jié)重點(diǎn)介紹 用遺傳算法優(yōu)化的BM機(jī)。由于人工神經(jīng)網(wǎng)絡(luò)自身具有并行性、魯棒性等特點(diǎn)，附以一些其他算法，有 可能解決目前優(yōu)化設(shè)計(jì)領(lǐng)域中存在的一些問(wèn)題。國(guó)內(nèi)外已有很多學(xué)者對(duì)此進(jìn)行了 研究，也取得了令人滿(mǎn)意的結(jié)果。目前BM機(jī)已經(jīng)廣泛應(yīng)用到圖像、聲納、雷達(dá) 等模式識(shí)別領(lǐng)域。但是BM機(jī)運(yùn)用模擬退火算法學(xué)習(xí)理論上能跳出局部最優(yōu)值而 獲得全局最優(yōu)值或者全局最優(yōu)值的近似值，是一種功能比較強(qiáng)大的網(wǎng)絡(luò)。但是其 各個(gè)節(jié)點(diǎn)狀態(tài)的變化是個(gè)異步的過(guò)程，并且在權(quán)值調(diào)整時(shí)調(diào)整量的大小不容易確 定。遺傳算法是一種并行計(jì)算的智能優(yōu)化算法，并且對(duì)于待尋優(yōu)的函數(shù)無(wú)連續(xù)性

10、、 可微性等限制，因而應(yīng)用范圍較廣。將遺傳算法應(yīng)用于BM機(jī)的學(xué)習(xí)中，用其并 行尋優(yōu)能力調(diào)整BM機(jī)的權(quán)值變化，實(shí)現(xiàn)了不通過(guò)復(fù)雜的概率統(tǒng)計(jì)調(diào)整BM機(jī)的權(quán) 值，同樣訓(xùn)練出來(lái)符合要求的網(wǎng)絡(luò)。4.1 .1算法原理BM機(jī)學(xué)習(xí)過(guò)程中，在正向?qū)W習(xí)階段和反向?qū)W習(xí)階段，網(wǎng)絡(luò)中的自由活動(dòng)的 節(jié)點(diǎn)的輸出狀態(tài)按概率：1,、P = （4-1）i 1 + e-業(yè)i / t進(jìn)行改變。式中，T為網(wǎng)絡(luò)的溫度，AR.為由節(jié)點(diǎn)狀態(tài)的變化而引起的網(wǎng)絡(luò)能量 的變化值。并且經(jīng)過(guò)模擬退火算法不斷降低網(wǎng)絡(luò)的溫度，最終使網(wǎng)絡(luò)達(dá)到熱平衡 狀態(tài)。當(dāng)正向?qū)W習(xí)階段的網(wǎng)絡(luò)和反向?qū)W習(xí)階段的網(wǎng)絡(luò)都達(dá)到熱平衡狀態(tài)時(shí)，統(tǒng)計(jì) 網(wǎng)絡(luò)中的任意兩個(gè)節(jié)點(diǎn)同時(shí)為1的平均概率

11、，根據(jù)概率統(tǒng)i為由節(jié)點(diǎn)狀態(tài)的變化 而引起的網(wǎng)絡(luò)能量的變化值。并且經(jīng)過(guò)模擬退火算法不斷降低網(wǎng)絡(luò)的溫度，最終 使網(wǎng)絡(luò)達(dá)到熱平衡狀態(tài)。當(dāng)正向?qū)W習(xí)階段的網(wǎng)絡(luò)和反向?qū)W習(xí)階段的網(wǎng)絡(luò)都達(dá)到熱 平衡狀態(tài)時(shí)，統(tǒng)計(jì)網(wǎng)絡(luò)中的任意兩個(gè)節(jié)點(diǎn)同時(shí)為1的平均概率，根據(jù)概率統(tǒng)計(jì)對(duì) 網(wǎng)絡(luò)的權(quán)值進(jìn)行調(diào)整，其調(diào)整公式為：偵廠(chǎng)=門(mén) -P*）門(mén) 0（4-2）BM法中只規(guī)定了門(mén)的值大于0，但是沒(méi)有給出具體值的求法，同時(shí)統(tǒng)率Pij和P*也相當(dāng)繁瑣。遺傳算法是一個(gè)迭代過(guò)程，首先在每次迭代中都保留一候選 ij解，按其解的優(yōu)劣進(jìn)行排序，再利用一些遺傳算子如交叉和變異等對(duì)其進(jìn)行運(yùn)算， 產(chǎn)生一組新一代的候選解，重復(fù)此過(guò)程，直到滿(mǎn)足某種收斂指標(biāo)為止。

12、由這個(gè)定 義可以看出遺傳算法的核心所在。因此用遺傳法中種群個(gè)體之間的競(jìng)爭(zhēng)尋優(yōu)的方 法調(diào)整BM機(jī)的權(quán)值。4.1 .2算法的各子步驟的說(shuō)明（1）編碼應(yīng)用遺傳算法求解的首要問(wèn)題是對(duì)所求問(wèn)題解的編碼。編碼表示機(jī)制也是進(jìn) 化神經(jīng)網(wǎng)絡(luò)的核心問(wèn)題。在遺傳算法中編碼方式有多種，各種方式各有利弊，但 是二進(jìn)制編碼是一種常用的、方便的編碼方式。由于BM機(jī)節(jié)點(diǎn)的輸出狀態(tài)只 有0和1兩種形式，因此用二進(jìn)制編碼方式十分方便。所以在編碼時(shí)選擇以各個(gè) 網(wǎng)絡(luò)節(jié)點(diǎn)狀態(tài)的輸出值為基因值的二進(jìn)制編碼方式。例如，一個(gè)染色體的編碼方 式為01000100，表示一個(gè)有8個(gè)節(jié)點(diǎn)的BM機(jī)，其節(jié)點(diǎn)的輸出狀態(tài)分別為染色體 上的基因值。同時(shí)，在對(duì)

13、每個(gè)染色體編碼時(shí)產(chǎn)生一個(gè)與每一個(gè)染色體相對(duì)應(yīng)的神 經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣，用以存儲(chǔ)該神經(jīng)網(wǎng)絡(luò)的值時(shí)，遺傳算法結(jié)束。（2）適應(yīng)度函數(shù)適應(yīng)度函數(shù)表示子個(gè)體適應(yīng)環(huán)境的能力，反應(yīng)個(gè)體在競(jìng)爭(zhēng)中生存能力的大 小。在BM機(jī)的學(xué)習(xí)過(guò)程中，自由運(yùn)行期結(jié)束后所得的實(shí)際輸出值和期望的輸出 值的差別越小，表明該網(wǎng)絡(luò)越符合要求。因此，取適應(yīng)度函數(shù)值為實(shí)際輸出值和 期望輸出值之差絕對(duì)值的倒數(shù)。當(dāng)然，實(shí)際輸出值和期望輸出值之差可能為0， 這時(shí)，根據(jù)實(shí)際情況取其適應(yīng)度函數(shù)值為一個(gè)比其他情況適應(yīng)度函數(shù)值都大的數(shù) 值。例如實(shí)際輸出值為0,1,0，期望輸出值為0,0,1，則實(shí)際輸出值 |0-0| + |1-0| = |0-1|=2，則其

14、適應(yīng)度函數(shù)值為 1/2= 0.5。（3）選擇操作采用什么選擇方法對(duì)遺傳算法的性能有很大的影響。在本節(jié)中，采取輪盤(pán)賭 復(fù)制法進(jìn)行選擇操作。首先求出目前群體中所有數(shù)字串的適應(yīng)度值尸，個(gè)體依 概率：P =-（4-3）i i=1被復(fù)制到下一代式中為第Ft為第i個(gè)染色體的適應(yīng)度函數(shù)值，F(xiàn)t代表該整體 i=1中所有個(gè)體的適應(yīng)度函數(shù)值的和。這樣適應(yīng)度高的染色體將有更大的可能進(jìn)入下 一代，適應(yīng)度低的個(gè)體將逐漸被淘汰。（4）交叉操作交叉是遺傳算法中最主要的算子，尋優(yōu)的過(guò)程主要是通過(guò)交叉來(lái)實(shí)現(xiàn)的， 因而其發(fā)生的概率應(yīng)該定得比較大。采用單點(diǎn)交叉的方法，選擇兩個(gè)染色體作為 雙親染色體，隨機(jī)地選擇染色體中的一個(gè)位置作為

15、交叉點(diǎn)進(jìn)行交叉，生成兩個(gè)新 的子個(gè)體。同時(shí)對(duì)參與交換個(gè)體網(wǎng)絡(luò)中相應(yīng)的權(quán)值矩陣做交換，產(chǎn)生兩個(gè)新的絡(luò) 的權(quán)值矩陣。例如，兩個(gè)染色體編碼為01001101和01110001，在第4個(gè)等位基 因處進(jìn)行交叉操作，交叉后兩個(gè)染色體分別為01010001和01101101，同時(shí)在第 4個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)處交換兩個(gè)網(wǎng)絡(luò)對(duì)應(yīng)的權(quán)值。例如兩個(gè)網(wǎng)絡(luò)的權(quán)值矩陣為在第4個(gè)節(jié)點(diǎn)處交換后兩個(gè)網(wǎng)絡(luò)的對(duì)應(yīng)的權(quán)值矩陣變?yōu)間 H和E BC D。（5）變異操作變異操作的作用主要是在選擇操作和交叉操作這兩個(gè)過(guò)程中，對(duì)種群中的個(gè) 體可能丟失的一些有用的遺傳因子進(jìn)行修復(fù)和補(bǔ)充，恢復(fù)群體基因的多樣性，避 免種群陷入局部最優(yōu)解。本文中變異操作是在B

16、M網(wǎng)絡(luò)達(dá)到熱平衡狀態(tài)后以較小 的概率隨機(jī)地改變?nèi)旧w中某一位的基因的值。如隨機(jī)地選擇一個(gè)基因位使其基 因值由0變?yōu)?或由1變?yōu)?。但是，本算法最終的目的是調(diào)節(jié)網(wǎng)絡(luò)的權(quán)值， 使網(wǎng)絡(luò)能達(dá)到符合期望要求的模式。在交叉操作中只是通過(guò)權(quán)值矩陣交換操作來(lái) 改變已有權(quán)值矩陣的值，并不能產(chǎn)生新的不同于已有的權(quán)值矩陣的值。為了能在 遺傳算法中引入一些新的權(quán)值矩陣的值，對(duì)產(chǎn)生變異的染色體的等位基因，調(diào)節(jié) 其對(duì)應(yīng)的網(wǎng)絡(luò)節(jié)點(diǎn)輸入輸出的權(quán)值，例如對(duì)所有和該節(jié)點(diǎn)相連的邊，全部隨機(jī)地 增加一個(gè)或者減少一個(gè)調(diào)整量（的值隨實(shí)際的情況而定）。（6）結(jié)束條件當(dāng)達(dá)到進(jìn)化的規(guī)定代數(shù)或者適應(yīng)度函數(shù)值達(dá)到一個(gè)滿(mǎn)意的值時(shí)，遺傳算法結(jié) 束。4

17、.1 .3算法的步驟以相互回憶型網(wǎng)絡(luò)為例，其算法步驟如下：步驟1產(chǎn)生一個(gè)種群個(gè)數(shù)為N的BM機(jī)網(wǎng)絡(luò)群體。群體中每個(gè)個(gè)體染色體 的基因由兩部分組成，一部分是由確定的輸入節(jié)點(diǎn)狀態(tài)值，剩余部分的基因值隨 機(jī)確定。同時(shí)每個(gè)染色體都有一個(gè)所對(duì)應(yīng)的網(wǎng)絡(luò)的連接權(quán)值矩陣，同時(shí)設(shè)定網(wǎng)絡(luò) 的初始溫度金和終止溫度廣，以及遺傳算法的終止條件。步驟2讓群體中的每個(gè)個(gè)體的網(wǎng)絡(luò)進(jìn)入自由運(yùn)行期。在該階段，隨機(jī)地選 取各個(gè)非輸入的節(jié)點(diǎn)，如果節(jié)點(diǎn)的輸出狀態(tài)改變后，網(wǎng)絡(luò)的能量變化人小于0， 則改變?cè)摼W(wǎng)絡(luò)節(jié)點(diǎn)的狀態(tài)，否則按照公式（4-1）中的概率選擇是否改變?cè)摴?jié)點(diǎn) 狀態(tài)的值，若公式（4-1）中的概率小于隨機(jī)產(chǎn)生的概率，則改變網(wǎng)絡(luò)節(jié)點(diǎn)的

18、狀 態(tài)輸出值，否則狀態(tài)輸出值不改變。重復(fù)進(jìn)行該步驟若干次，保證每個(gè)網(wǎng)絡(luò)的節(jié) 點(diǎn)都被選取過(guò)至少一次。步驟3按照一定的方式降低網(wǎng)絡(luò)的溫度值，如T（t）= T（4-4）1 +1式（4-4）中T代表網(wǎng)絡(luò)降溫前的溫度，T（t）代表網(wǎng)絡(luò)降溫后的溫度，t代表迭代 的次數(shù)，重復(fù)步驟2。步驟4重復(fù)步驟3,直到網(wǎng)絡(luò)的溫度由初始溫度降到規(guī)定的一個(gè)極小溫度， 這時(shí)停止模擬退火，網(wǎng)絡(luò)達(dá)到一個(gè)熱平衡狀態(tài)。步驟5對(duì)達(dá)到熱平衡狀態(tài)的群體中的個(gè)體按其適應(yīng)度值的大小進(jìn)行上述選 擇、交叉、變異操作。步驟6重復(fù)步驟2、步驟3和步驟4，直至網(wǎng)絡(luò)達(dá)到了規(guī)定的學(xué)習(xí)代數(shù)或者 適應(yīng)度函數(shù)的值滿(mǎn)足要求為止。這時(shí)的網(wǎng)絡(luò)為訓(xùn)練好的符合實(shí)際期望值的網(wǎng)

19、絡(luò)。步驟7對(duì)于一組輸入值，用訓(xùn)練好的網(wǎng)絡(luò)進(jìn)行預(yù)測(cè)其輸出值的工作。4.1 .4總結(jié)將遺傳算法運(yùn)用到BM機(jī)的學(xué)習(xí)過(guò)程中，通過(guò)遺傳算法的個(gè)體之間的競(jìng)爭(zhēng)尋 優(yōu)來(lái)調(diào)節(jié)權(quán)值的變化，最終尋找到符合要求的網(wǎng)絡(luò)權(quán)值，訓(xùn)練出符合期望的網(wǎng)絡(luò)。 通過(guò)實(shí)例驗(yàn)證，可以看到按本文所提算法學(xué)習(xí)所得到的網(wǎng)絡(luò)預(yù)測(cè)天氣的準(zhǔn)確率并 不一定高于BM機(jī)，但是可以省略掉BM機(jī)在學(xué)習(xí)時(shí)統(tǒng)計(jì)實(shí)際輸入輸出模式和進(jìn)行 權(quán)值調(diào)整時(shí)系數(shù)的確定等過(guò)程。本方法經(jīng)過(guò)足夠多代的進(jìn)化過(guò)程能確定符合要求 的網(wǎng)絡(luò)的權(quán)值。當(dāng)然由于引入種群，增加了一定的計(jì)算量，這是本方法的一個(gè)不 足之處。4.2BM在語(yǔ)音識(shí)別方面的應(yīng)用本節(jié)重點(diǎn)介紹BM網(wǎng)絡(luò)識(shí)別英語(yǔ)中包含11個(gè)穩(wěn)定元音i

20、 :目u : U等的單詞和短語(yǔ)。元音識(shí)別建立在前文介紹的典型BM網(wǎng)絡(luò)結(jié)構(gòu)和典型學(xué)習(xí)方法之上， 由于對(duì)短語(yǔ)的識(shí)別要考慮前后文之間的約束，因此進(jìn)一步構(gòu)建了有限狀態(tài)機(jī)環(huán) 節(jié)。我們僅對(duì)元音識(shí)別的BM的基本情況作一簡(jiǎn)要介紹。輸入語(yǔ)音的預(yù)處理和特征提取。依據(jù)人的元音發(fā)音時(shí)的聲頻參數(shù)，輸入語(yǔ) 音的采樣率fsam= 10KH , 12 bit量化；語(yǔ)音信號(hào)幀長(zhǎng)為10 ms；對(duì)每一幀語(yǔ)音 左FFT，得到128點(diǎn)的信號(hào)離散功率譜A.對(duì)各A.進(jìn)行高頻家重、對(duì)數(shù)壓縮、幅 度歸一化，最終變成4 bit量化的128維輸入權(quán)向量。對(duì)于模式識(shí)別類(lèi)的應(yīng)用，特征提取和特征向量的構(gòu)建是基礎(chǔ)，必須仔細(xì)進(jìn)行， 因?yàn)樗鼘?duì)網(wǎng)絡(luò)工作能力的發(fā)

21、揮具有關(guān)鍵意義，對(duì)BM網(wǎng)絡(luò)也不例外。網(wǎng)絡(luò)結(jié)構(gòu)方案。第一種方案是取128個(gè)輸入神經(jīng)元，每個(gè)神經(jīng)元4 bit離散取值，對(duì)應(yīng)128 維4 bit量化的輸入空間；第二種方案是取16行X 128列=2048個(gè)神經(jīng)元，每個(gè)神經(jīng)元0/1取值，每 列對(duì)應(yīng)128維輸入向量，依據(jù)輸入向量每一維的取值，置對(duì)應(yīng)神經(jīng)元狀態(tài)為“1”。 注意，兩種方案都能有效表達(dá)128維4 bit量化輸入向量對(duì)BM輸入層的約束， 但是第一方案偏離了 BM網(wǎng)絡(luò)神經(jīng)元為閾值模型的基本假設(shè)，因此對(duì)p +，p-的 ij 司 計(jì)算要作修正；第二方案的輸入層變成方陣，網(wǎng)絡(luò)連接要復(fù)雜許多。因此兩種方 案的識(shí)別能力有明顯差異。隱層神經(jīng)元為40個(gè)神經(jīng)元。接

22、收來(lái)自輸入神經(jīng)元的輸出并向每一個(gè)輸出神 經(jīng)元提供輸入。隱層自身各對(duì)神經(jīng)元充分互連接。學(xué)習(xí)算法128個(gè)輸入神經(jīng)元始終受到輸入矢量的鉗制。8個(gè)輸出神經(jīng)元的狀態(tài)在學(xué)習(xí)態(tài)中受到每個(gè)元音對(duì)應(yīng)編碼的鉗制；在 自由態(tài)則不受鉗制。網(wǎng)絡(luò)在工作態(tài)，只有128個(gè)輸入神經(jīng)元受鉗制。無(wú)論是學(xué)習(xí)還是工作，BM網(wǎng)絡(luò)采用同步方式，這就是說(shuō)在每一個(gè)運(yùn)行 節(jié)拍上網(wǎng)絡(luò)中所有不受鉗制的神經(jīng)元同時(shí)進(jìn)行狀態(tài)轉(zhuǎn)移，以節(jié)省運(yùn)行時(shí)間。下面介紹學(xué)習(xí)算法的其它一些細(xì)節(jié)考慮。模擬退火程序。網(wǎng)絡(luò)從一個(gè)初始溫度7；開(kāi)始進(jìn)行搜索，然后以0.85 的因子進(jìn)行降溫，即依次取T (k + 1)=X T (k ) k = 1,2 人=0.85的溫度進(jìn)行搜索，直到降溫至Ted = T0/3時(shí)，認(rèn)為網(wǎng)絡(luò)進(jìn)入穩(wěn)態(tài)。系數(shù)w的調(diào)整。調(diào)整算法采取固定步幅方案。當(dāng) (+-p-) 0時(shí)，j ij ijAw =+C，當(dāng)(p +-p -) 0 時(shí)，Aw =-C。C 是一個(gè)小的正數(shù)。ijij ijijp +和p-統(tǒng)計(jì)。為了得到比較精確地p +和p-統(tǒng)計(jì)，需要有較長(zhǎng)的統(tǒng)計(jì)ij ijij ij時(shí)間，當(dāng)然統(tǒng)計(jì)時(shí)間過(guò)長(zhǎng)將使學(xué)習(xí)速度過(guò)于緩慢。