深度學習的深度信念網(wǎng)絡(luò)DBN

1、PPT模板下載： 深度置信網(wǎng)絡(luò)BDN學習報告自編碼算法自編碼神經(jīng)網(wǎng)絡(luò)嘗試學習一個 的函數(shù)，也就是說，它嘗試逼近一個恒等函數(shù)，從而使得輸出接近于輸入。恒等函數(shù)雖然看上去不太有學習的意義，但是當我們?yōu)樽跃幋a神經(jīng)網(wǎng)絡(luò)加入某些限制，比如限定隱藏神經(jīng)元的數(shù)量，我們就可以從輸入數(shù)據(jù)中發(fā)現(xiàn)一些有趣的結(jié)構(gòu)。,( )w bhxx自編碼神經(jīng)網(wǎng)絡(luò)示例如果輸入數(shù)據(jù)中隱含著一些特定的結(jié)構(gòu)，比如某些輸入特征是彼此相關(guān)的，那么這一算法就可以發(fā)現(xiàn)輸入數(shù)據(jù)中的這些相關(guān)性。事實上，這一簡單的自編碼神經(jīng)網(wǎng)絡(luò)通?？梢詫W習出一個跟主元分析(PCA)結(jié)果非常相似的輸入數(shù)據(jù)的低維表示?！邦A訓練”方法限制玻爾茲曼機（RBM）RBMRBM網(wǎng)絡(luò)

2、共有網(wǎng)絡(luò)共有2 2層，其中第一層稱為可視層，一般來說是輸入層，另一層層，其中第一層稱為可視層，一般來說是輸入層，另一層是隱含層，也就是我們一般指的特征提取層。是隱含層，也就是我們一般指的特征提取層。 是可視層與隱藏層之間是可視層與隱藏層之間的權(quán)重矩陣，的權(quán)重矩陣， 是可視節(jié)點的偏移量，是可視節(jié)點的偏移量， 是隱藏節(jié)點的偏移量。是隱藏節(jié)點的偏移量。隱含層隱含層可視層可視層n mWbc“預訓練”方法限制玻爾茲曼機（RBM）1(1| )()mjjiijip hvw vc1(1| )()nijijijp vhw hb定義能量函數(shù)：,( , )iijjijijiji jE v hvbh cv h w 聯(lián)

3、合概率分布：Z為歸一化系數(shù)，其定義為：輸入層的邊緣概率為：( , )1( , )E v hp v heZ( , ),E v hv hZe( , )1( )E v hhp veZ限制玻爾茲曼機（RBM）計算方法權(quán)值更新網(wǎng)絡(luò)學習的目的是最大可能的擬合輸入數(shù)據(jù)，即最大化 。Hinton提出了一種快速算法，稱作contrastive divergence（對比分歧）算法。這種算法只需迭代k次，就可以獲得對模型的估計，而通常k等于1. CD算法在開始是用訓練數(shù)據(jù)去初始化可見層，然后用條件分布計算隱層；然后，再根據(jù)隱層，同樣，用條件分布來計算可見層。這樣產(chǎn)生的結(jié)果是對輸入的一個重構(gòu)。根據(jù)CD算法：其中，

4、是學習率， 是樣本數(shù)據(jù)的期望， 是重構(gòu)后可視層數(shù)據(jù)的期望( )p vijijijdatareconwv hv hijdatav hijreconv h深度學習深度學習的實質(zhì)，是通過構(gòu)建具有很多隱層的機器學習模型組合低層特征形成更加抽象的高層來表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征。其動機在于建立模擬人腦進行分析學習的神經(jīng)網(wǎng)絡(luò)，模仿人腦的機制來解釋數(shù)據(jù)，例如圖像，聲音和文本。因此，“深度模型”是手段，“特征學習”是目的。深度學習的核心思路如下：無監(jiān)督學習用于每一層網(wǎng)絡(luò)的pre-train；每次用無監(jiān)督學習只訓練一層，將其訓練結(jié)果作為其高一層的輸入；用自頂而下的監(jiān)督算法去調(diào)整所有層。多層置信網(wǎng)

5、絡(luò)結(jié)構(gòu)首先，你需要用原始輸入 x(k) 訓練第一個自編碼器，它能夠?qū)W習得到原始輸入的一階特征表示 h(1)(k)。多層置信網(wǎng)絡(luò)結(jié)構(gòu)接著，你需要把原始數(shù)據(jù)輸入到上述訓練好的稀疏自編碼器中，對于每一個輸入 x(k)，都可以得到它對應的一階特征表示 h(1)(k)。然后你再用這些一階特征作為另一個稀疏自編碼器的輸入，使用它們來學習二階特征 h(2)(k)。多層置信網(wǎng)絡(luò)結(jié)構(gòu)再把一階特征輸入到剛訓練好的第二層稀疏自編碼器中，得到每個h(1)(k) 對應的二階特征激活值 h(2)(k)。接下來，你可以把這些二階特征作為softmax分類器的輸入，訓練得到一個能將二階特征映射到數(shù)字標簽的模型。多層置信網(wǎng)絡(luò)結(jié)構(gòu)最終，你可以將這三層結(jié)合起來構(gòu)建一個包含兩個隱藏層和一個最終softmax分類器層的棧式自編碼網(wǎng)絡(luò)，這個網(wǎng)絡(luò)能夠如你所愿地對MNIST數(shù)字進行分類。多層置信網(wǎng)絡(luò)結(jié)構(gòu) DBNs由多個限制玻爾茲曼機（Restricted Boltzmann Machines）層組成，一個典型的神經(jīng)網(wǎng)絡(luò)類型如圖所示。多層置信網(wǎng)絡(luò)結(jié)構(gòu)最終在構(gòu)筑好整個網(wǎng)絡(luò)后，相當于進行了一次完整的無監(jiān)督學習。在確定了網(wǎng)絡(luò)的權(quán)值后，再次根據(jù)樣本，以BP神經(jīng)網(wǎng)絡(luò)的算法，進行一次有監(jiān)督的學習過程。這一過程被