深度學(xué)習(xí)深度信念網(wǎng)絡(luò)

1、深度學(xué)習(xí)-深度信念網(wǎng)絡(luò)(Deep Belief Network)概述深度信念網(wǎng)絡(luò)(Deep Belief Network, DBN)由 Geoffrey Hinton 在 2006 年 提出。它是一種生成模型，通過訓(xùn)練其神經(jīng)元間的權(quán)重，咱們能夠讓整個神經(jīng)網(wǎng) 絡(luò)依照最可能率來生成訓(xùn)練數(shù)據(jù)。咱們不僅能夠利用DBN識別特征、分類數(shù)據(jù)，還能夠用它來生成數(shù)據(jù)。下面的圖片展示的是用DBN識別手寫數(shù)字:圖1用深度信念網(wǎng)絡(luò)識別手寫數(shù)字。圖中右下角是待識別數(shù)字的黑白位圖，它的上方有三層隱性神經(jīng)元。每一個黑色矩形代表一層神經(jīng)元，白點代表處于開啟 狀態(tài)的神經(jīng)元，黑色代表處于關(guān)閉狀態(tài)的神經(jīng)元。注意頂層神經(jīng)元的左下方即

2、便 別結(jié)果，與畫面左上角的對應(yīng)表比對，得知那個DBN正確地識別了該數(shù)字。下面是展示了一個學(xué)習(xí)了大量英文維基百科文章的DBN所生成的自然語 言段落：In 1974 Northern Denver had been overshadowed by CNL, and several Irish intelligence agencies in the Mediterranean region.However, on the Victoria, Kings Hebrew stated that Charles decided to escape during analliance. The mansi

3、on house was completed in 1882, the second in its bridge are omitted, while closing is the proton reticulum composed below it aims, such that it is the blurring of appearing on any well-paid type of box printer.DBN由多層神經(jīng)元組成，這些神經(jīng)元又分為顯性神經(jīng)元和隱性神經(jīng)元(以下簡稱顯元和隱元)。顯元用于同意輸入，隱元用于提取特征。因此隱元也有個 別名，叫特征檢測器(feature de

4、tectors)。最頂上的兩層間的連接是無向的， 組成聯(lián)合內(nèi)存(associative memory).較低的其他層之間有連接上下的有向 連接。最底層代表了數(shù)據(jù)向量(data vectors),每一個神經(jīng)元朝表數(shù)據(jù)向量的 一維。DBN的組成元件是受限玻爾茲曼機(Restricted BoltzmannMachines, RBM)。訓(xùn)練DBN的進程是一層一層地進行的。在每一層中，用數(shù)據(jù)向量來推斷隱層，再把這一隱層看成下一層(高一層)的數(shù)據(jù)向量。受限玻爾茲曼機如前所述，RBM是DBN的組成元件。事實上，每一個RBM都能夠單獨 用作聚類器。RBM只有兩層神經(jīng)元，一層叫做顯層(visible laye

5、r)，由顯元(visible units) 組成，用于輸入訓(xùn)練數(shù)據(jù)。另一層叫做隱層(Hidden layer)，相應(yīng)地， 由隱兀(hidden units)組成，用作特征檢測器(feature detectors)。hidden unitsvisible units圖2受限玻爾茲曼機的結(jié)構(gòu)。圖中的較上一層神經(jīng)元組成隱層，較下的神經(jīng)元組成顯元。每一層都能夠用一個向量來表示，每一維表示每一個神經(jīng)元。注意這 兩層間的對稱(雙向)連接。神經(jīng)元之間的條件獨立性應(yīng)注意到，顯層和隱層內(nèi)部的神經(jīng)元都沒有互連，只有層間的神經(jīng)元有對稱的連 接線。如此的益處是，在給定所有顯元的值的情形下，每一個隱元取什么值是互 不

6、相關(guān)的。也就是說，尸(v I h) = nI h)有了那個重要性質(zhì)，咱們在計算每一個神經(jīng)元的取值情形時就沒必要每次計算一 個，而是同時并行地計算整層神經(jīng)元。利用RBM的進程假設(shè)咱們此刻已經(jīng)取得一個訓(xùn)練好的RBM，每一個隱元與顯元間的權(quán)重用矩陣W表示，且:其中Wij代表從第i個顯元到第j個隱元的權(quán)重，M代表顯元的個數(shù)，N代表X隱元的個數(shù)。那么，當(dāng)咱們把一條新來的數(shù)據(jù) 給(clamp to)顯層后，RBM將會依照權(quán)值W來決定開啟或關(guān)閉隱元。具體 的操作如下： 第一，將每一個隱元的鼓勵值(activation)計算出來：h = Wx注意，這里用到了前面提到的神經(jīng)元之間的條件獨立性。然后，將每一個隱元

7、的鼓勵值都用S形函數(shù)進行標(biāo)準(zhǔn)化，變成它們處于開啟狀(用1表示)的概率值：p眼=1) = (婦=k此處的S形函數(shù)咱們采用的是Logistic函數(shù)：至此，每一個隱元hj開啟的概率被計算出來了。其處于關(guān)閉狀態(tài)(用O表示)的概率自然也就是那么到底那個元開啟仍是關(guān)閉，咱們需要將開啟的概率與一個從O, 1均勻散布中抽取的隨機值進行如下比較Ih _ 4 的居=1)# j = |o, P(hr = 1) ）按卜式更新W W + P（h。）= 1 | vl0）v,0）r - P（htl） = 1| vul）v（tT如此訓(xùn)練以后的RBM就可以較為準(zhǔn)確地提取顯層的特征，或按照隱層所代表 的特征還原顯層了。深度信念網(wǎng)

8、絡(luò)前文咱們已經(jīng)介紹了 RBM的大體結(jié)構(gòu)和其訓(xùn)練、利用進程，接下來咱們介紹 DBN的相關(guān)內(nèi)容。DBN是由多層RBM組成的一個神經(jīng)網(wǎng)絡(luò)，它既能夠被看做一個生成模型，也能夠看成判別模型，其訓(xùn)練進程是：利用非監(jiān)督貪婪逐層方式去預(yù)訓(xùn)練取得權(quán) 值。訓(xùn)練進程：第一充分訓(xùn)練第一個RBM；固定第一個RBM的權(quán)重和偏移量，然后利用其隱性神經(jīng)元的狀態(tài)，作為 第二個RBM的輸入向量;3.充分訓(xùn)練第二個RBM后，將第二個RBM堆疊在第一個RBM的上方；重復(fù)以上三個步驟任意多次；若是訓(xùn)練集中的數(shù)據(jù)有標(biāo)簽，那么在頂層的RBM訓(xùn)練時，那個RBM的顯層中除顯性神經(jīng)元，還需要有代表分類標(biāo)簽的神經(jīng)元，一路進行訓(xùn)練：a）假設(shè)頂層RB

9、M的顯層有500個顯性神經(jīng)元，訓(xùn)練數(shù)據(jù)的分類一共分成了 10 類；b）那么頂層RBM的顯層有510個顯性神經(jīng)元，對每一訓(xùn)練訓(xùn)練數(shù)據(jù)，相應(yīng)的標(biāo)簽神經(jīng)元被打開設(shè)為1，而其他的則被關(guān)閉設(shè)為0。6. DBN被訓(xùn)練好后如下圖：（示意）圖3訓(xùn)練好的深度信念網(wǎng)絡(luò)。圖中的綠色部份就是在最頂層RBM中參與訓(xùn)練的標(biāo)簽。注意調(diào)優(yōu)（FINE-TUNING）進程是一個判別模型另:P（h|v）HhOO oo oo vCo6 006 * 000Data Reconstructed P（vh）調(diào)優(yōu)進程（Fine-Tuning）:生成模型利用Contrastive Wake-Sleep算法進行調(diào)優(yōu)，其算法進程是：1.除頂層RBM，其他層RBM的權(quán)重被分成向上的認知權(quán)重和向下的生成 權(quán)重；2. Wake階段：認知進程，通過外界的特征和向上的權(quán)重（認知權(quán)重）產(chǎn)生每 一層的抽象表示（結(jié)點狀態(tài)），而且利用梯度下降修改層間的下行權(quán)重（生成 權(quán)重）。也就是“若是現(xiàn)實跟我想象的不一樣，改變我的權(quán)重使得我想象的東西就是如此的”。Sleep階段：生成