深度學(xué)習(xí)與信號處理：原理與實(shí)踐 課件 第9章 深度置信網(wǎng)絡(luò).完成

PPT模板下載：/moban/行業(yè)PPT模板：/hangye/節(jié)日PPT模板：/jieri/PPT素材下載：/sucai/PPT背景圖片：/beijing/PPT圖表下載：/tubiao/優(yōu)秀PPT下載：/xiazai/PPT教程：/powerpoint/Word教程：/word/Excel教程：/excel/資料下載：/ziliao/PPT課件下載：/kejian/范文下載：/fanwen/試卷下載：/shiti/教案下載：/jiaoan/PPT論壇：

9.1深度置信網(wǎng)絡(luò)9.2Gamma深度置信網(wǎng)絡(luò)9.3自適應(yīng)深度信念網(wǎng)絡(luò)9.4KPCA深度信念網(wǎng)絡(luò)模型9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)9.6深度信念網(wǎng)絡(luò)優(yōu)化算法9.7基于貪婪方法的深度置信網(wǎng)絡(luò)診斷注意缺陷多動障礙第九章深度置信網(wǎng)絡(luò)9.1深度置信網(wǎng)絡(luò)以3層隱含層結(jié)構(gòu)的深度置信神經(jīng)網(wǎng)絡(luò)(DBN-DNN)為例，網(wǎng)絡(luò)一共由3個(gè)受限玻爾茲曼機(jī)(RBM)單元堆疊而成。RBM一共有兩層，上層為隱層，下層為顯層。堆疊成DNN時(shí)，前一個(gè)RBM的輸出層(隱層)作為下一個(gè)RBM單元的輸入層(顯層)，依次堆疊，便構(gòu)成了基本的DBN結(jié)構(gòu)，最后再添加一層輸出層，就是最終的DBN-DNN結(jié)構(gòu)。9.1.1常規(guī)DBM網(wǎng)絡(luò)9.1深度置信網(wǎng)絡(luò)圖中是基于RBM構(gòu)建的DBN和DBM模型。DBN模型通過疊加RBM逐層預(yù)訓(xùn)練時(shí)，某層的分布只由上一層決定。

例如，DBN的v層依賴于h1的分布，h1只依賴于h2的分布，也就是說h1的分布不受v的影響；確定了v的分布，h1的分布只由h2來確定。DBM模型為無向圖結(jié)構(gòu)，也就是說，DBM的h1層是由h2層和v層共同決定的，是雙向的。1.DBM網(wǎng)絡(luò)結(jié)構(gòu)9.1深度置信網(wǎng)絡(luò)從效果來看，DBM結(jié)構(gòu)會比DBN結(jié)構(gòu)具有更好的魯棒性，但其求解的復(fù)雜度太大，需要將所有的層一起訓(xùn)練，不利于應(yīng)用。從借用RBM逐層預(yù)訓(xùn)練方法看，DBN結(jié)構(gòu)就方便快捷了很多，便于廣泛應(yīng)用。9.1深度置信網(wǎng)絡(luò)1）基于RBM的無監(jiān)督預(yù)訓(xùn)練利用對比散度算法(ContrastiveDivergenceK,CD-k)進(jìn)行權(quán)值初始化，Hinton發(fā)現(xiàn)k取為1時(shí)，就可以有不錯(cuò)的學(xué)習(xí)效果。2）基于RBM的有監(jiān)督反向調(diào)參有監(jiān)督的調(diào)優(yōu)訓(xùn)練時(shí)，需要先利用前向傳播算法，從輸入得到一定的輸出值，然后再利用反向傳播算法來更新網(wǎng)絡(luò)的權(quán)重值和偏置值。2.DBN訓(xùn)練與反向調(diào)優(yōu)9.1深度置信網(wǎng)絡(luò)1.常規(guī)稀疏深度信念網(wǎng)絡(luò)稀疏深度信念網(wǎng)絡(luò)(稀疏DBNs)由多層稀疏RBM模型構(gòu)成，每一層從上一層的隱單元中捕獲高度相關(guān)的關(guān)聯(lián)。稀疏DBNs模型學(xué)習(xí)主要分為兩步：第一步：預(yù)訓(xùn)練。根據(jù)CD算法逐層訓(xùn)練每個(gè)稀疏RBM模型獲得可見層和隱含層間的連接權(quán)值。第二步：微調(diào)。在預(yù)訓(xùn)練之后,為了使模型具有更好的特征表示能力,用帶標(biāo)簽的數(shù)據(jù)利用共軛梯度法對模型的判別性能作優(yōu)化調(diào)整。9.1.2稀疏深度信念網(wǎng)絡(luò)9.1深度置信網(wǎng)絡(luò)2.改進(jìn)稀疏DBNs堆疊多層改進(jìn)的稀疏RBM模型，構(gòu)成一種新的稀疏深度信念網(wǎng)絡(luò)(sparseDBNs)。在對網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，采用改進(jìn)稀疏RBM算法對底層的稀疏RBM模型進(jìn)行訓(xùn)練，得到一組參數(shù)、和

。用這組參數(shù)作為下一層稀疏RBM的輸入進(jìn)行訓(xùn)練。一個(gè)L層稀疏深度信念網(wǎng)絡(luò)的訓(xùn)練架構(gòu)如下：步驟1：訓(xùn)練第一層稀疏RBM并得到的權(quán)值矩陣

。步驟2：用上一層的隱含層數(shù)據(jù)以相同的方法訓(xùn)練下一層稀疏RBM并固定連接權(quán)值

，重復(fù)到第L-1層。步驟3：初始化權(quán)值，用數(shù)據(jù)的標(biāo)簽值作為輸出層。步驟4：用共軛梯度方法對得到的權(quán)值9.2Gamma深度置信網(wǎng)絡(luò)Gamma深度信念網(wǎng)絡(luò)由底層至頂層分別為觀測層，第1層隱含層、…、第L-1層隱含層，第L層頂層。最底層為觀測層，由觀測單元組成，利用Poisson因子分析，可將其表示為連接權(quán)重與下一層隱含單元的乘積：9.2.1Gamma深度信念網(wǎng)絡(luò)結(jié)構(gòu)式中，為連接權(quán)重，為第1層隱含層，表示服從參數(shù)的Poisson分布。9.2Gamma深度置信網(wǎng)絡(luò)由觀測層至頂層依次為第1,…,l,…L層隱含層，第1,…,l,…,L-1層可表示為式中，為連接權(quán)重，為第l層隱含層，為概率參數(shù)，滿足9.2Gamma深度置信網(wǎng)絡(luò)表示服從形狀參數(shù)為，尺度參數(shù)為的Gamma分布。其概率密度函數(shù)為類似地，第L層可表示為對于頂層，為共享的Gamma分布形狀參數(shù)；為尺度參數(shù)。9.2Gamma深度置信網(wǎng)絡(luò)為限制網(wǎng)絡(luò)復(fù)雜度、便于參數(shù)推斷，對的毎一列基于L1正則化，對于，使式中，表示服從參數(shù)為的Dirichlet分布。其概率密度函數(shù)為表示Dirichlet分布的歸一化常數(shù)9.2Gamma深度置信網(wǎng)絡(luò)式中，為的第i列，，服從Gamma分布：對于，有因此，行各隱含單元的關(guān)系可由的列向量

表示。式中，表示服從參數(shù)為的Beta分布，概率密度函數(shù)為9.2Gamma深度置信網(wǎng)絡(luò)由于網(wǎng)絡(luò)中Gamma分布形狀參數(shù)的共軛先驗(yàn)未知，計(jì)算條件后驗(yàn)推導(dǎo)網(wǎng)絡(luò)結(jié)構(gòu)存在困難，因此利用文獻(xiàn)中的數(shù)據(jù)增強(qiáng)算法簡化計(jì)算進(jìn)行推導(dǎo)，得在的單層網(wǎng)絡(luò)中，每層的隱含單元獨(dú)立于先驗(yàn)，的深度網(wǎng)絡(luò)可以捕獲隱含單元的關(guān)聯(lián)性。對，有然后，（時(shí)為觀測層，時(shí)為隱含層）可由與的乘積在層Poisson概率為上述公式式對成立，時(shí)，有9.2Gamma深度置信網(wǎng)絡(luò)令表示k層中因子出現(xiàn)在觀察單元n的次數(shù)，。然后邊緣化，得由以上Poisson概率中邊緣化Gamma分布，得9.2Gamma深度置信網(wǎng)絡(luò)Gibbs采樣難以直接對樣本采樣時(shí)，從某一個(gè)多分量概率分布中近似抽樣樣本序列的算法。深度信念網(wǎng)絡(luò)中，受限玻爾茲曼機(jī)使用二維Gibbs采樣近似估計(jì)參數(shù)，將可見向量的值映射到隱含單元，再基于隱含單元重建可見單元，不斷重復(fù)以上步驟進(jìn)行逐層訓(xùn)練。

類似地，Gamma信念網(wǎng)絡(luò)，可以采用N維Gibbs算法估計(jì)隱變量，聯(lián)合訓(xùn)練網(wǎng)絡(luò)所有層，在每次迭代中對一層網(wǎng)絡(luò)進(jìn)行采樣，向上采樣服從Dirichlet分布的連接權(quán)重，向下采樣服從Gamma分布的隱含單元，將其記作Gibbs向上向下采樣。9.2.2Gibbs向上向下采樣9.2Gamma深度置信網(wǎng)絡(luò)對Gamma深度信念網(wǎng)絡(luò)中的每一層，迭代采樣如下：對采樣：由式(9.2.17)，在所有層中對進(jìn)行采樣，但對第1層隱含層，可以將觀察單元看作是第n個(gè)狀態(tài)中第m個(gè)特征的序列，將逐個(gè)分配給隱含因子，并將與邊緣化，對

，有式中，是的特征標(biāo)簽，符號表示對應(yīng)標(biāo)簽的求和，如，

表示不考慮第n個(gè)狀態(tài)中特征j的計(jì)數(shù)序列。為簡化模型，加入截?cái)嗖襟E，即如果，則限制隱含單元數(shù)量為，并令。對采樣：9.2Gamma深度置信網(wǎng)絡(luò)對采樣:對采樣，將替換為。對采樣：由式(9.2.13)及Gamma分布與Poisson分布的共軛性，對采樣：對a采樣：對

采樣：先對采樣，即再由式(9.2.17)，得式中，9.3自適應(yīng)深度信念網(wǎng)絡(luò)經(jīng)典動量將以前梯度的衰減和(與衰變常數(shù))累積成動量向量，并用它代替真正的梯度，具有加速梯度下降學(xué)習(xí)沿著尺寸的優(yōu)點(diǎn)，其中梯度在訓(xùn)練步驟中保持相對一致。其更新公式為9.3.1動量更新規(guī)則式中，為梯度向量；為目標(biāo)函數(shù)。m為動量向量(初始值為0)；為衰變常數(shù)；為學(xué)習(xí)率；k代表更新次數(shù)。將式(9.3.1)-式(9.3.3)展開，得可以看到，動量沿著先前的動量向量和當(dāng)前的梯度方向邁出一步。9.3自適應(yīng)深度信念網(wǎng)絡(luò)Nadam類似于帶有Nesterov動量項(xiàng)的Adam算法。這里給Adam添加Nesterov動量，類似采用前一個(gè)動量向量代替以前的動量向量。因此，在Adam算法中更新公式為9.3.2Nadam算法優(yōu)化DBN式中，、分別為梯度的一階矩估計(jì)和二階矩估計(jì)，可視為對

和期望的估計(jì)；、和為修正參數(shù)。9.3自適應(yīng)深度信念網(wǎng)絡(luò)大量實(shí)驗(yàn)表明，測試的機(jī)器學(xué)習(xí)問題參數(shù)的良好默認(rèn)設(shè)置為：，

，

，的作用是防止分母為0。展開得括號內(nèi)第1項(xiàng)只是前一時(shí)間步的動量向量的偏差校正估計(jì)值，用代替。添加Nesterov動量，直接應(yīng)用前瞻動量向量來更新參數(shù)，只需將上一個(gè)時(shí)間步的動量向量的偏差校正估計(jì)值替換為當(dāng)前動量向量的偏差校正估計(jì)，所以Nadam更新公式為9.3自適應(yīng)深度信念網(wǎng)絡(luò)傳統(tǒng)的隨機(jī)梯度下降保持單一學(xué)習(xí)率更新所有權(quán)重，學(xué)習(xí)率在訓(xùn)練過程中并不會改變。而Nadam通過計(jì)算梯度的一階矩估計(jì)和二階矩估計(jì)而為不同的參數(shù)設(shè)計(jì)獨(dú)立的自適應(yīng)性學(xué)習(xí)率。

可以看出，Nadam對學(xué)習(xí)率有了更強(qiáng)的約束，同時(shí)對梯度的更新也有更直接的影響。一般而言，在使用帶動量的RMSprop或者Adam的地方，大多可以使用Nadam并取得更好的效果。

由于Nadam考慮了目標(biāo)函數(shù)的二階導(dǎo)數(shù)信息，相對于傳統(tǒng)的動量方法，多了一個(gè)本次梯度相對上次梯度的變化量，這個(gè)變化量本質(zhì)上是目標(biāo)函數(shù)二階導(dǎo)數(shù)的近似，從而具有強(qiáng)大的自適應(yīng)性。9.4KPCA深度信念網(wǎng)絡(luò)模型核主成分分析法(kernelprincipalcomponentanalyses,KPCA)能有效減少樣本數(shù)據(jù)維度、消除數(shù)據(jù)間的非線性關(guān)聯(lián)。

將經(jīng)KPCA分析提取后的數(shù)據(jù)以及對應(yīng)的數(shù)據(jù)類型輸入到DBN網(wǎng)絡(luò)模型中，充分學(xué)習(xí)提取出樣本特征。9.4.1核主成分分析法

1.統(tǒng)計(jì)平滑法統(tǒng)計(jì)平滑法是建立在數(shù)理統(tǒng)計(jì)基礎(chǔ)上的一種平滑方法，用該方法可以減少測量的誤差。統(tǒng)計(jì)平滑法的定義為式中，為k時(shí)刻經(jīng)平滑法處理后的數(shù)據(jù)；為k時(shí)刻的觀測值。在一組原始數(shù)據(jù)集中，與其他點(diǎn)存在較大程度差異的點(diǎn)記作為離群點(diǎn)。由于離群點(diǎn)與其他點(diǎn)存在顯著區(qū)別，其中可能會包含有重要的信息，所以不對離群點(diǎn)進(jìn)行平滑處理。9.4KPCA深度信念網(wǎng)絡(luò)模型將N個(gè)觀測數(shù)據(jù)按照測量時(shí)間先后順序進(jìn)行排列，構(gòu)成一個(gè)符合正態(tài)分布的隨機(jī)數(shù)據(jù)集。樣本的標(biāo)準(zhǔn)方差為根據(jù)置信準(zhǔn)則，若隨機(jī)序列中第個(gè)數(shù)據(jù)落在99.7％的置信區(qū)間內(nèi)，則對數(shù)據(jù)進(jìn)行平滑處理；若數(shù)據(jù)不在內(nèi)，則該數(shù)據(jù)為離群點(diǎn)，保留原始數(shù)據(jù)不變。9.4KPCA深度信念網(wǎng)絡(luò)模型2.歸一化處理實(shí)際中，不同觀測參數(shù)單位不同，為了消除各個(gè)參數(shù)不同量綱的影響，需要對經(jīng)平滑法處理后的數(shù)據(jù)歸一化為式中，為原始測量值；和分別為樣本數(shù)據(jù)中的最大和最小測量值；為經(jīng)歸一化處理后的值，的取值范圍為。3.核主成分分析法在復(fù)雜多變的實(shí)驗(yàn)環(huán)境中，參數(shù)觀測值之間會存在著非線性相關(guān)性。為消除數(shù)據(jù)之間的非線性關(guān)聯(lián)性，降低數(shù)據(jù)維度，提出KPCA分析法。KPCA方法關(guān)鍵在于利用非線性映射函數(shù)將有關(guān)聯(lián)性的數(shù)據(jù)集映射到高維特征空間中，然后再進(jìn)行傳統(tǒng)的主成分分析，并用核矩陣替代高維特征空間中內(nèi)積矩陣。9.4KPCA深度信念網(wǎng)絡(luò)模型1)核函數(shù)設(shè)函數(shù)是將有關(guān)聯(lián)性的低維監(jiān)測數(shù)據(jù)映射到高維特征空間中的非線性函數(shù)，低維特征空間中的向量經(jīng)過函數(shù)映射后的向量為。若在低維空間中存在函數(shù)符合要求，則稱該函數(shù)為核函數(shù)。如果高維空間中的矩陣

滿足式(9.4.3)，即矩陣K中的元素均使用核函數(shù)表示，則稱矩陣K為核矩陣。式中，為核函數(shù)；為映射到高維空間中的樣本矩陣；N表示樣本個(gè)數(shù)。9.4KPCA深度信念網(wǎng)絡(luò)模型由于不知道函數(shù)的具體形式，在對高維特征空間中的數(shù)據(jù)進(jìn)行主成分提取時(shí)，通過核矩陣來替換高維特征空間中的內(nèi)積矩陣，只需要對K進(jìn)行分析。目前主要使用的核函數(shù)如下：①線性核函數(shù)②高斯核函數(shù)③多項(xiàng)式核函數(shù)④拉普拉斯核函數(shù)9.4KPCA深度信念網(wǎng)絡(luò)模型⑤Sigmoid型核函數(shù)式中，，和為函數(shù)表達(dá)式中的參數(shù)；為冪指數(shù)。(3)核主元計(jì)算核主元計(jì)算就是把核主成分的提取轉(zhuǎn)變成計(jì)算核矩陣特征值及其特征向量相關(guān)的問題。核主成分分析計(jì)算流程如下：步驟1：觀測參數(shù)進(jìn)行N次觀測得到的樣本矩陣。通過分析選擇符合要求的核函數(shù)，并根據(jù)核函數(shù)和樣本矩陣求得對應(yīng)的核矩陣K，即9.4KPCA深度信念網(wǎng)絡(luò)模型步驟2：將核主元分析是在假設(shè)向量為零均值的前提條件下進(jìn)行的，由于函數(shù)的具體表現(xiàn)形式?jīng)]有給出，因此，不能對核矩陣直接進(jìn)行中心化處理。通過公式中心化矩陣。式中,為維的數(shù)值全為１的矩陣，為經(jīng)過式(9.4.10)處理后的核矩陣。步驟3：求的特征值及相應(yīng)的特征向量。步驟4：求的核主元向量9.4KPCA深度信念網(wǎng)絡(luò)模型步驟5：計(jì)算方差貢獻(xiàn)率和累計(jì)貢獻(xiàn)率式中，為主元的方差；為主元的方差貢獻(xiàn)率；為個(gè)主元累計(jì)方差貢獻(xiàn)率。9.4KPCA深度信念網(wǎng)絡(luò)模型對觀測的原始數(shù)據(jù)進(jìn)行歸一化預(yù)處理后，再利用KPCA提取數(shù)據(jù)主要特征進(jìn)行降維，再將數(shù)據(jù)依次輸入第一個(gè)RBM的顯層中，利用訓(xùn)練RBM，通過貪婪逐層學(xué)習(xí)，逐步地完成所有RBM的學(xué)習(xí)訓(xùn)練。9.4.2基于KPCA分析的DBN模型最后在DBN的頂層設(shè)置一個(gè)神經(jīng)網(wǎng)絡(luò)來完成分類，使用反向傳播算法，結(jié)合有標(biāo)簽的樣本對整體DBN網(wǎng)絡(luò)進(jìn)行參數(shù)的微調(diào)。基于KPCA分析的深度信念網(wǎng)絡(luò)模型，如圖所示。9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)對DBN進(jìn)行訓(xùn)練的過程主要有兩步：第一，使用無監(jiān)督學(xué)習(xí)方法訓(xùn)練每一層RBM，且每個(gè)RBM的輸入為上一個(gè)RBM的輸出，即每一層RBM都要單獨(dú)訓(xùn)練，確保特征向量映射到不同的特征空間時(shí)，盡可能多的保留特征信息；第二，使用最后一層的BP網(wǎng)絡(luò)接收最后一個(gè)RBM的輸出，用有監(jiān)督的方式訓(xùn)練整個(gè)網(wǎng)絡(luò)，對其進(jìn)行微調(diào)。對一個(gè)典型的由三個(gè)RBM堆疊成的DBN結(jié)構(gòu)模型（圖9.1），在無監(jiān)督前向堆疊RBM學(xué)習(xí)中，首先在可見層生成一個(gè)向量，將輸入數(shù)據(jù)從可見層傳到隱層。在這個(gè)過程中，可見層的輸入會被隨機(jī)選擇，用來嘗試重構(gòu)原始的輸入信號；接著，新得到的可見層神經(jīng)元激活單元將繼續(xù)前向傳遞，來重構(gòu)隱層神經(jīng)元激活單元獲得；這些重復(fù)后退和前進(jìn)的步驟就是Gibbs采樣[186183]。整個(gè)過程中，權(quán)值更新的主要依據(jù)就是隱層激活單元與可見輸入信號之間的相關(guān)性差別。9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)對所有的隱含層單元計(jì)算式中，。對所有的隱含層單元計(jì)算式中，。對所有的隱含層單元計(jì)算式中，。9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)參數(shù)更新公式為按上述步驟完成迭代更新，并依次訓(xùn)練下一個(gè)RBM，最終得到DBN網(wǎng)絡(luò)的最后更新參數(shù)。9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)無監(jiān)督前向堆疊RBM學(xué)習(xí)完成后可以初始化RBM每層的參數(shù)，相當(dāng)于為后續(xù)的監(jiān)督學(xué)習(xí)提供了輸入數(shù)據(jù)的先驗(yàn)知識，然后使用有監(jiān)督后向微調(diào)算法對DBN的權(quán)值進(jìn)行微調(diào)，接著利用輸出誤差值進(jìn)行輸出層與前一層之間的誤差估計(jì)。

同理，經(jīng)過逐層的反向傳播訓(xùn)練，來獲取其余各層之間的誤差，最后使用批梯度下降法計(jì)算并更新各節(jié)點(diǎn)權(quán)值，直到輸出誤差滿足要求。后向微調(diào)是從DBN網(wǎng)絡(luò)的最后一層出發(fā)的，微調(diào)公式為9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)DBN的BP算法只需要對權(quán)值參數(shù)空間進(jìn)行一個(gè)局部的搜索，這樣的權(quán)值微調(diào)算法克服了傳統(tǒng)BP神經(jīng)網(wǎng)絡(luò)因隨機(jī)初始化權(quán)值參數(shù)而容易陷入局部最小和訓(xùn)練時(shí)間過長的缺點(diǎn)，只需在已知權(quán)值空間內(nèi)進(jìn)行微調(diào)即可，大大縮減了參數(shù)尋優(yōu)的收斂時(shí)間。其次，使用CD算法可進(jìn)行快速訓(xùn)練，將DBN整體框架簡化為多個(gè)RBM結(jié)構(gòu)，這樣避免了直接從整體上訓(xùn)練DBN的復(fù)雜度。采用這種方式進(jìn)行網(wǎng)絡(luò)訓(xùn)練，再使用傳統(tǒng)反向傳播算法進(jìn)行網(wǎng)絡(luò)微調(diào)，大大提升了網(wǎng)絡(luò)的建模能力，使模型快速收斂到最優(yōu)。DBN模型中有兩個(gè)過程使用了學(xué)習(xí)率：RBM前向堆疊和后向微調(diào)過程。學(xué)習(xí)率能夠影響網(wǎng)絡(luò)的學(xué)習(xí)進(jìn)度，合適的學(xué)習(xí)速率是保證參數(shù)學(xué)習(xí)到最佳狀態(tài)的必要條件。9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)DBN模型中參數(shù)優(yōu)化，即權(quán)重與偏置的一般更新公式為式中，為迭代次的參數(shù)值；為迭代次的參數(shù)值，為學(xué)習(xí)率(步長)；為定義在數(shù)據(jù)集上的損失函數(shù)的梯度。根據(jù)連接權(quán)重和偏置的不同特點(diǎn)和作用，這里給出一種全參數(shù)動態(tài)學(xué)習(xí)策略，數(shù)學(xué)表達(dá)式如下：(1)RBM前向堆疊過程中參數(shù)的學(xué)習(xí)策略9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)式中，為連接權(quán)重下一回合的學(xué)習(xí)率；為當(dāng)前回合連接權(quán)重的學(xué)習(xí)率；取1；為一定比例的上一梯度和當(dāng)前梯度的平方和，為衰減因子，取值為0.9;和分別為迭代第次可見單元和隱含單元偏置的學(xué)習(xí)率；和分別為迭代第

次可見單元和隱含單元偏置的學(xué)習(xí)率;使用呈下降趨勢的冪指數(shù)函數(shù)；為最大迭代次數(shù)；q取0.75。(2)后向微調(diào)過程中參數(shù)的學(xué)習(xí)策略式中，為后向微調(diào)過程中連接權(quán)重下一回合的學(xué)習(xí)率；為當(dāng)前回合連接權(quán)重的學(xué)習(xí)率9.5全參數(shù)動態(tài)學(xué)習(xí)深度信念網(wǎng)絡(luò)該學(xué)習(xí)策略的思想是：對于權(quán)重而言，利用當(dāng)前學(xué)習(xí)率與最近兩個(gè)梯度平方和，自適應(yīng)調(diào)節(jié)下一回合的學(xué)習(xí)率。只使用最近兩個(gè)梯度的平方和，減少了歷史梯度的冗長計(jì)算;同時(shí)學(xué)習(xí)率隨著迭代次數(shù)動態(tài)變化，這樣都使模型的收斂速度有所加快。對于偏置而言，從減少計(jì)算量的角度出發(fā)，為其設(shè)置了只與當(dāng)前學(xué)習(xí)率有關(guān)的冪指數(shù)函數(shù)，這樣可以加快模型的收斂速度。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法傳統(tǒng)的深度信念網(wǎng)絡(luò)（DBN）參數(shù)訓(xùn)練方法存在一定的缺陷，在一定程度上影響了其特征提取能力和收斂速度。首先，網(wǎng)絡(luò)參數(shù)的隨機(jī)初始化使其淺層網(wǎng)絡(luò)在學(xué)習(xí)訓(xùn)練過程易陷入局部搜索，影響了DBN的特征提取能力。

其次，DBN在提取高維數(shù)據(jù)的底層特征時(shí)，需將高維數(shù)據(jù)直接作為網(wǎng)絡(luò)的輸入，導(dǎo)致網(wǎng)絡(luò)參數(shù)大幅度增加，從而使網(wǎng)絡(luò)訓(xùn)練的收斂速度變慢。

為克服這些缺點(diǎn)，可使用粒子群優(yōu)化算法確定DBN的最優(yōu)結(jié)構(gòu)、網(wǎng)絡(luò)連接權(quán)值和偏置；也可使用dropout技術(shù)訓(xùn)練DBN結(jié)構(gòu)，在DBN訓(xùn)練過程中每次隨機(jī)去掉一部分隱含層節(jié)點(diǎn)，避免了訓(xùn)練過程中可能出現(xiàn)的過擬合現(xiàn)象，但隨機(jī)去掉節(jié)點(diǎn)的過程中可能會造成一定的誤差。9.6.1混沌免疫算法優(yōu)化深度信念網(wǎng)絡(luò)9.6深度信念網(wǎng)絡(luò)優(yōu)化算法DBN的優(yōu)勢在于具有強(qiáng)大的特征提取能力，而其特征提取能力取決于網(wǎng)絡(luò)參數(shù)。DBN的網(wǎng)絡(luò)參數(shù)包括超參數(shù)和可訓(xùn)練獲得參數(shù)。超參數(shù)包括隱含層層數(shù)及節(jié)點(diǎn)數(shù)、學(xué)習(xí)率和動量等；可訓(xùn)練獲得參數(shù)是指通過網(wǎng)絡(luò)學(xué)習(xí)訓(xùn)練獲得的DBN連接權(quán)值和偏置。人工免疫算法具有搜索能力強(qiáng)、尋優(yōu)速度快等特點(diǎn)，被廣泛應(yīng)用于優(yōu)化神經(jīng)網(wǎng)絡(luò)，以提高網(wǎng)絡(luò)的收斂速度和泛化性能。本節(jié)介紹一種利用改進(jìn)的混沌免疫算法進(jìn)行DBN參數(shù)優(yōu)化的方法。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法1．克隆選擇算法克隆選擇算法(cloneselectionalgorithm,CSA)借鑒了人工免疫系統(tǒng)中抗體克隆選擇的免疫機(jī)理，具有全局搜索能力強(qiáng)、尋優(yōu)速度快等優(yōu)點(diǎn)，與其它智能算法相比能夠產(chǎn)生更有利于復(fù)雜優(yōu)化問題的最優(yōu)解。

將CSA應(yīng)用于復(fù)雜優(yōu)化問題時(shí)，待優(yōu)化問題的解映射為抗體，待優(yōu)化問題的目標(biāo)函數(shù)映射為親和力，優(yōu)化解與目標(biāo)函數(shù)的匹配程度映射為抗原和抗體親和力，對具有較高親和力的抗體進(jìn)行克隆選擇，通過高頻變異和濃度抑制保持抗體多樣性，實(shí)現(xiàn)流程如圖所示。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法2．改進(jìn)的混沌免疫算法基本的CSA算法在抗體變異時(shí)由于變異的隨機(jī)性、無向性，尋優(yōu)過程中易陷入局部最優(yōu)值，影響算法的收斂速度。本節(jié)利用自適應(yīng)變異改善算法的全局搜索能力和局部搜索能力，利用螢火蟲優(yōu)化變異對抗體種群進(jìn)行定向搜索，混沌變異進(jìn)行全局搜索，邊界變異控制種群的搜索范圍。此外，CSA算法的時(shí)間復(fù)雜度為(T為進(jìn)化代數(shù),Ab為抗體規(guī)模)，因此，對于低維解的優(yōu)化問題，抗體規(guī)模小，算法很快收斂；而對于高維參數(shù)的優(yōu)化問題，所需抗體規(guī)模異常龐大，算法收斂減慢。這里給出可變選擇算子，抗體選擇規(guī)模隨著進(jìn)化代數(shù)逐漸減小，加快算法的尋優(yōu)速度。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法（1）混沌初始化。引入混沌算法，用于初始化CSA抗體種群。采用Logistic映射的混沌公式，對抗體進(jìn)行快速搜索，混沌公式為（2）親和力計(jì)算?？乖涂贵w親和力通過DBN的輸出誤差來衡量，DBN輸出誤差越小，親和力越小，抗原和抗體的匹配程度越高，計(jì)算公式為式中，為第n個(gè)訓(xùn)練樣本的網(wǎng)絡(luò)實(shí)際輸出，為第n個(gè)訓(xùn)練樣本的期望輸出，N為訓(xùn)練樣本數(shù)。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法（3）自適應(yīng)變異。螢火蟲優(yōu)化變異、混沌變異和邊界變異的自適應(yīng)變異在避免整個(gè)算法陷入局部最優(yōu)的同時(shí)，能保證抗體向有益的方向進(jìn)化。

螢火蟲算法將每個(gè)個(gè)體視為一個(gè)具有一定感知能力的螢火蟲，在搜索范圍內(nèi)根據(jù)螢火蟲的熒光亮度和相互吸引度更新螢火蟲位置，熒光亮度弱的螢火蟲會被熒光亮強(qiáng)的螢火蟲所吸引，尋找最優(yōu)解的過程就是尋找最亮的螢火蟲的過程。

這里在變異過程中引入螢火蟲算法，首先，將每個(gè)抗體看作一個(gè)螢火蟲，抗原和抗體的親和力看作螢火蟲的熒光亮度，通過各螢火蟲的位置尋優(yōu)實(shí)現(xiàn)抗體的定向變異，其抗體更新公式為9.6深度信念網(wǎng)絡(luò)優(yōu)化算法式中，和分別為第i個(gè)抗體在第k+1代和第k代的位置，ζ為的隨機(jī)數(shù)，為上服從正態(tài)分布的隨機(jī)因子，為最大吸引度，為吸收系數(shù)，為抗體i與抗體j之間的距離。在螢火蟲優(yōu)化變異過程中，增加局部搜索計(jì)數(shù)器

，提出新的抗體更新機(jī)制如下：

計(jì)算每次迭代得到的抗體親和力與原抗體親和力差值，若大于設(shè)定閾值，則更新當(dāng)前抗體，否則，局部搜索計(jì)數(shù)器

。當(dāng)連續(xù)幾代抗體都沒有改變或改變很小，局部搜索計(jì)數(shù)器達(dá)到一定值，說明算法陷入了局部搜索，此時(shí)采用混沌變異，快速跳出局部最優(yōu)。同時(shí)，為了避免尋優(yōu)過程中抗體偏離搜索范圍，引入邊界變異，當(dāng)抗體越過邊界時(shí)，進(jìn)行邊界變異，抗體更新公式為式中，為搜索范圍最大值，為搜索范圍最小值，c=0.01。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法改進(jìn)的自適應(yīng)變異算法如下：算法9.1：//自適應(yīng)變異算法輸入：初始抗體種群N0，抗體種群大小M，最大吸引度，吸收系數(shù)，抗體搜索范圍x，局部搜索閾值和臨界值。輸出：變異后抗體種群T9.6深度信念網(wǎng)絡(luò)優(yōu)化算法9.6深度信念網(wǎng)絡(luò)優(yōu)化算法（4）可變選擇算子采用自適應(yīng)變異時(shí)，抗體尋優(yōu)范圍會不斷向最優(yōu)抗體縮進(jìn)，此時(shí)繼續(xù)保留固定值選擇抗體，不僅對尋優(yōu)無益，而且會減慢算法的收斂速度。

現(xiàn)對選擇算子進(jìn)行改進(jìn)，將固定值改為可變值，進(jìn)化初期選擇算子較大，抗體被選擇規(guī)模大，隨著進(jìn)化逐漸達(dá)到收斂，選擇算子變小，抗體被選擇規(guī)模小。這樣做的好處是，降低了算法的時(shí)間復(fù)雜度，加快了算法的尋優(yōu)速度。選擇算子的調(diào)整公式如下式中，k和分別為當(dāng)前進(jìn)化代數(shù)和最大進(jìn)化代數(shù)，為初始選擇規(guī)模。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法3.改進(jìn)的混沌免疫算法優(yōu)化DBN參數(shù)在傳統(tǒng)的DBN訓(xùn)練方法基礎(chǔ)上，加入改進(jìn)的混沌免疫算法優(yōu)化DBN參數(shù)。利用改進(jìn)的混沌免疫算法先對預(yù)訓(xùn)練得到的DBN參數(shù)進(jìn)行全局優(yōu)化，然后再進(jìn)行傳統(tǒng)的BP算法局部微調(diào)獲得最優(yōu)參數(shù)。

改進(jìn)混沌免疫算法的主體框架為克隆選擇算法，首先，將預(yù)訓(xùn)練得到的DBN連接權(quán)值和偏置作為抗體，并利用混沌公式初始化抗體種群。然后，每個(gè)抗體作為網(wǎng)絡(luò)參數(shù)確定一個(gè)唯一的DBN，得到其輸出響應(yīng)值，進(jìn)而計(jì)算各抗體親和力。根據(jù)各抗體的親和力，對抗體進(jìn)行不同程度的克隆變異，不斷得到新的抗體種群。最后，根據(jù)最優(yōu)抗體更新DBN參數(shù)。改進(jìn)的混沌免疫算法優(yōu)化DBN參數(shù)算法如下：9.6深度信念網(wǎng)絡(luò)優(yōu)化算法算法9.2：//改進(jìn)的混沌免疫算法優(yōu)化DBN參數(shù)算法輸入：DBN連接權(quán)值和偏置，訓(xùn)練數(shù)據(jù)x，訓(xùn)練期望輸出y，改進(jìn)的混沌免疫算法參數(shù)k輸出：DBN全局最優(yōu)參數(shù)9.6深度信念網(wǎng)絡(luò)優(yōu)化算法9.6深度信念網(wǎng)絡(luò)優(yōu)化算法9.6深度信念網(wǎng)絡(luò)優(yōu)化算法深度置信網(wǎng)絡(luò)(DBN)網(wǎng)絡(luò)結(jié)構(gòu)、隱含層數(shù)量以及學(xué)習(xí)速率等，都會對DBN的分類結(jié)果產(chǎn)生很大的影響。目前，DBN大多是憑借經(jīng)驗(yàn)或者通過耗費(fèi)大量時(shí)間多次調(diào)參來確定網(wǎng)絡(luò)結(jié)構(gòu)?；诖?，本節(jié)給出一種基于粒子群優(yōu)化(ParticleSwarmOptimization，PSO)的DBN算法。

該模型利用PSO對DBN的幾個(gè)重要參數(shù)進(jìn)行學(xué)習(xí)訓(xùn)練，然后將訓(xùn)練得到的最優(yōu)參數(shù)賦給DBN網(wǎng)絡(luò)，利用最優(yōu)結(jié)構(gòu)的DBN網(wǎng)絡(luò)對數(shù)據(jù)進(jìn)行特征提取。該模型采用自適應(yīng)時(shí)刻估計(jì)法(Adam)對所有連接權(quán)值進(jìn)行有效的微調(diào)，進(jìn)一步提高了DBN的分類精度?；趦?yōu)化DBN算法主要包括兩部分：①DBN網(wǎng)絡(luò)初始化；②PSO優(yōu)化DBN網(wǎng)絡(luò)結(jié)構(gòu)。9.6.2粒子群算法優(yōu)化深度置信網(wǎng)絡(luò)9.6深度信念網(wǎng)絡(luò)優(yōu)化算法1.DBN網(wǎng)絡(luò)初始化DBN是由多個(gè)RBM堆疊而成，DBN的訓(xùn)練過程就是通過每一個(gè)RBM的依次順序訓(xùn)練完成，可以分為兩個(gè)階段：第一階段為前向堆疊RBM學(xué)習(xí)過程；第二階段為DBN的后向微調(diào)學(xué)習(xí)過程。第一階段學(xué)習(xí)過程每次只考慮單一RBM層進(jìn)行無監(jiān)督的訓(xùn)練，而第二階段有監(jiān)督的自適應(yīng)時(shí)刻估計(jì)法(AdaptiveMomentEstimation，Adam)對參數(shù)的微調(diào)卻同時(shí)考慮了所有的層。為了使RBM結(jié)構(gòu)下的概率分布盡可能的與訓(xùn)練樣本一致，文獻(xiàn)給出一種進(jìn)行參數(shù)微調(diào)來最大化RBM訓(xùn)練過程當(dāng)中產(chǎn)生的對數(shù)似然函數(shù)的方法，從而獲得合適的參數(shù)θ。在不失一般性的情況下，可見層的概率為9.6深度信念網(wǎng)絡(luò)優(yōu)化算法式中，θ可以根據(jù)求最大似然函數(shù)最大值得到合適的值，損失函數(shù)及其梯度為式中，代表偏導(dǎo)數(shù)在分布下的期望值。不容易求取，只能通過一些采樣方法來得到其近似值。正向是樣本數(shù)據(jù)可見狀態(tài)的期望，而反相由于配分函數(shù)的線性無法計(jì)算。此時(shí)通常會采用Gibbs抽樣來估計(jì)負(fù)相位。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法綜上，RBM訓(xùn)練可以歸結(jié)如下：首先將訓(xùn)練數(shù)據(jù)提供給可見層神經(jīng)元，然后由求得隱含層當(dāng)中某個(gè)單元被激活的概率。再次重復(fù)這個(gè)過程來更新可見層的神經(jīng)元，然后隱含層神經(jīng)元會進(jìn)一步“重構(gòu)”和的狀態(tài)。隨著數(shù)據(jù)的聯(lián)合似然函數(shù)的梯度變化，對可見層和隱含層之間的權(quán)重的更新規(guī)則為式中，表示訓(xùn)練數(shù)據(jù)的期望；表示重構(gòu)后模型分布下數(shù)據(jù)期望；η表示學(xué)習(xí)率，。學(xué)習(xí)率較大時(shí)，算法收斂較快，但有可能引起算法的不穩(wěn)定；學(xué)習(xí)率較小時(shí)，可避免不穩(wěn)定情況，但收斂變慢，影響計(jì)算時(shí)間。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法為解決這一問題，一般采用小批量梯度下降(MinBatchGradientDescent，MSGD)方法進(jìn)行參數(shù)更新。這種算法將本輪訓(xùn)練過程和上輪訓(xùn)練中的參數(shù)關(guān)聯(lián)起來，該算法能夠帶來很好的訓(xùn)練速度，一定程度上解決了收斂不穩(wěn)定的問題，但容易收斂到局部極小值，并且有可能被困在鞍點(diǎn)。因此，文獻(xiàn)采用Adam方法進(jìn)行參數(shù)更新。Adam的優(yōu)點(diǎn)主要在于經(jīng)過偏置校正后，每一次迭代學(xué)習(xí)率都有個(gè)確定范圍，使得參數(shù)比較平穩(wěn)。算法公式為(9.3.5)-(9.3.9)。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法2.PSO訓(xùn)練DBN網(wǎng)絡(luò)結(jié)構(gòu)大量研究表明，包含多層隱含層的DBN網(wǎng)絡(luò)比只有一層的要好很多；深度神經(jīng)網(wǎng)絡(luò)模型隨著隱含層數(shù)的增加，分類錯(cuò)誤率會下降，但當(dāng)隱含層數(shù)增加至四層及以上時(shí)，模型的分類錯(cuò)誤率會上升而且泛化性能下降。粒子群優(yōu)化算法(ParticleSwarmOptimization，PSO)是一種基于種群的隨機(jī)優(yōu)化算法。在PSO算法中，每個(gè)優(yōu)化問題的解都是搜索空間中的一個(gè)粒子。所有的粒子都有一個(gè)被優(yōu)化的函數(shù)決定的適應(yīng)度值，每個(gè)粒子還有一個(gè)速度V決定它們飛行的方向和距離。PSO初始化一群粒子，然后根據(jù)粒子群中當(dāng)前的最優(yōu)粒子在解空間中搜索最優(yōu)解。每次迭代中，粒子都是通過追蹤兩個(gè)“極值”來更新自己，一個(gè)是粒子自身找到的最優(yōu)解，稱為個(gè)體極值(pbest)；另一個(gè)極值是整個(gè)群體找到的最優(yōu)解，稱為全局極值(gbest)。PSO算法需要調(diào)節(jié)的參數(shù)少，且簡單易于實(shí)現(xiàn)，適合在動態(tài)、多目標(biāo)優(yōu)化環(huán)境中尋優(yōu)，與傳統(tǒng)算法相比具有更快的計(jì)算速度和更好的全局搜索能力。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法對一個(gè)3層隱含層DBN，每層分別有、和個(gè)神經(jīng)元，學(xué)習(xí)率。對粒子群進(jìn)行編碼時(shí)，設(shè)定PSO中的每一個(gè)粒子為一個(gè)四維向量。粒子種群數(shù)量為N，N一般取10～20。PSO的最大迭代次數(shù)為。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法步驟1：數(shù)據(jù)預(yù)處理對采集信號進(jìn)行預(yù)處理。為了保證原始數(shù)據(jù)相對不變形，采用進(jìn)行歸一化。如果采集的原始信號為高維信號，直接進(jìn)行訓(xùn)練的時(shí)間和收斂性都受到很大的影響，所以需要進(jìn)行降維。在預(yù)處理時(shí)，需用主成分分析法(PCA)進(jìn)行降維處理。步驟2：劃分?jǐn)?shù)據(jù)集將PCA降維后的數(shù)據(jù)集D劃分為兩個(gè)互斥的集合，其中一個(gè)集合作為訓(xùn)練集，另一個(gè)作為測試集。在訓(xùn)練集上訓(xùn)練出模型后，用測試集來評估其測試誤差，作為泛化誤差的估計(jì)。步驟3：初始化粒子群根據(jù)DBNs網(wǎng)絡(luò)的參數(shù)（連接權(quán)值和隱藏節(jié)點(diǎn)值）生成粒子群，并初始化這些粒子的位置和速度，即初始化粒子的位置、速度。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法步驟4：適應(yīng)度值計(jì)算根據(jù)初始化的粒子位置和速度，得到DBNs網(wǎng)絡(luò)的輸出響應(yīng)值后，按適應(yīng)度函數(shù)計(jì)算粒子群的適應(yīng)度值。式中，N為訓(xùn)練樣本，M為輸出神經(jīng)元個(gè)數(shù)，和分別表示第i個(gè)樣本的第j個(gè)分量的輸出值和期望輸出值。步驟5：更新粒子的速度和位置根據(jù)步驟4計(jì)算得到粒子群的適應(yīng)度值，找到本輪粒子群最優(yōu)的粒子和搜索歷史上的最優(yōu)粒子。粒子的速度和位置的更新公式為9.6深度信念網(wǎng)絡(luò)優(yōu)化算法式中，ω表示慣性權(quán)重，取值介于[0,1]，一般取ω=0.9；表示加速參數(shù)，一般限定相等且取值范圍為[0,4]，Shi和Eberhart經(jīng)過多次試驗(yàn)，建議為了平衡隨機(jī)因素的作用，設(shè)置

最好；是兩個(gè)在[0,1]范圍變化的隨機(jī)值。步驟6：如果訓(xùn)練樣本的誤分類率滿足設(shè)定條件或者迭代次數(shù)等于M，則PSO優(yōu)化結(jié)束，否則轉(zhuǎn)到步驟4，k=k+1，重復(fù)執(zhí)行步驟5和步驟6，直到滿足判別條件。步驟7：利用訓(xùn)練好的DBN網(wǎng)絡(luò)訓(xùn)練測試數(shù)據(jù)，輸出信號分類結(jié)果。9.7實(shí)例10：基于貪婪方法的深度置信網(wǎng)絡(luò)診斷注意缺陷多動障礙1.深度置信網(wǎng)絡(luò)DBN實(shí)際上是由幾個(gè)受限玻爾茲曼機(jī)(RBMs)自底向上連接在一起的網(wǎng)絡(luò)。RBM是一種生成式隨機(jī)人工神經(jīng)網(wǎng)絡(luò)，它可以學(xué)習(xí)其輸入集合上的概率分布。RBM是一種玻爾茲曼機(jī)，其約束條件是神經(jīng)元必須形成二分圖，兩組神經(jīng)元分別構(gòu)成“可見”和“隱藏”層，并且一組內(nèi)的節(jié)點(diǎn)之間沒有任何連接。為了提高訓(xùn)練效率，采用了基于梯度的對比發(fā)散算法。RBM網(wǎng)絡(luò)結(jié)構(gòu)，如圖所示。與傳統(tǒng)網(wǎng)絡(luò)相比，神經(jīng)元的可見層與隱含層之間的連接具有更高的可靠性。9.7.1基于貪婪方法的深度置信網(wǎng)絡(luò)和分別表示輸入向量和輸出向量。DBN由一堆RBM組成，如圖所示。圖中解釋了網(wǎng)絡(luò)的訓(xùn)練階段。9.7實(shí)例10：基于貪婪方法的深度置信網(wǎng)絡(luò)診斷注意缺陷多動障礙用于生成輸出的RBM的概率分布為和分別稱為標(biāo)準(zhǔn)化因子和能量函數(shù)，且9.6深度信念網(wǎng)絡(luò)優(yōu)化算法式中，函數(shù)定義為式中，和是可見和不可見的閾值變量；和是可見的和隱藏的變量，矩陣為節(jié)點(diǎn)間連接的權(quán)重。根據(jù)log梯度計(jì)算RBM網(wǎng)絡(luò)權(quán)值的更新準(zhǔn)則為式中，為訓(xùn)練樣本的期望值，為模型的期望值。9.6深度信念網(wǎng)絡(luò)優(yōu)化算法2.一種貪婪訓(xùn)練算法為了用RBMs建立一個(gè)深層次模型，現(xiàn)用貪婪算法來訓(xùn)練一個(gè)多層的深網(wǎng)絡(luò)。首先，學(xué)習(xí)一個(gè)RBM作為DBN的第一層，權(quán)值矩陣為。然后，初始化第二層的權(quán)重（）以確保DBN的兩個(gè)隱含層至少與RBM相等。通過生成第一層輸出，可以通過修改權(quán)重矩陣來改進(jìn)DBN，也可以用第二個(gè)RBM得到的向量來學(xué)習(xí)RBM的第三層。通過初始化，它保證了對數(shù)似然函數(shù)的下限得到改善。在迭代過程中，建立的深度層次模型實(shí)施步驟，如下所示。算法9.1步驟：步驟1：確定第一隱藏層的參數(shù)，從而確定CD訓(xùn)練算法。步驟2：固定參數(shù)并使用作為輸入向量，以訓(xùn)練下一層的特征。步驟3：固定參數(shù)，該參數(shù)定義屬性的第二層，并使用來自

的第個(gè)樣本作為第三層訓(xùn)練特征的數(shù)據(jù)。9.6深度信念網(wǎng)絡(luò)優(yōu)