深度學(xué)習(xí)-深度信念網(wǎng)絡(luò)

【轉(zhuǎn)】深度學(xué)習(xí)一深度信念網(wǎng)絡(luò)(DeepBeliefNetwork)深度學(xué)習(xí)學(xué)習(xí)筆記之深度信念網(wǎng)絡(luò)本篇非常簡要地介紹了深度信念網(wǎng)絡(luò)的基本概念。文章先簡要介紹了深度信念網(wǎng)絡(luò)(包括其應(yīng)用實(shí)例)。接著分別講述了：(1)其基本組成結(jié)構(gòu)——受限玻爾茲曼機(jī)的的基本情況，以及，(2)這個(gè)基本結(jié)構(gòu)如何組成深度信念網(wǎng)絡(luò)。本文僅僅能使讀者了解深度信念網(wǎng)絡(luò)這一概念，內(nèi)容非常淺顯，甚至有許多不嚴(yán)密的地方。如果有愿意深入了解受限玻爾茲曼機(jī)、深度信念網(wǎng)絡(luò)的，想對深度學(xué)習(xí)有更多了解的，請?jiān)L問深度學(xué)習(xí)官方網(wǎng)站?；蛘咦x者可以參考文末的推薦閱讀一節(jié)。深度學(xué)習(xí)學(xué)習(xí)筆記之深度信念網(wǎng)絡(luò)本篇非常簡要地介紹了深度信念網(wǎng)絡(luò)的基本概念。文章先簡要介紹了深度信念網(wǎng)絡(luò)(包括其應(yīng)用實(shí)例)。接著分別講述了：(1)其基本組成結(jié)構(gòu)——受限玻爾茲曼機(jī)的的基本情況，以及，(2)這個(gè)基本結(jié)構(gòu)如何組成深度信念網(wǎng)絡(luò)。本文僅僅能使讀者了解深度信念網(wǎng)絡(luò)這一概念，內(nèi)容非常淺顯，甚至有許多不嚴(yán)密的地方。如果有愿意深入了解受限玻爾茲曼機(jī)、深度信念網(wǎng)絡(luò)的，想對深度學(xué)習(xí)有更多了解的，請?jiān)L問深度學(xué)習(xí)官方網(wǎng)站?；蛘咦x者可以參考文末的推薦閱讀一節(jié)。目錄TOC\o"1-5"\h\z\o"CurrentDocument"概述 2\o"CurrentDocument"受限玻爾茲曼機(jī) 3\o"CurrentDocument"神經(jīng)元之間的條件獨(dú)立性 3\o"CurrentDocument"使用RBM的過程 4\o"CurrentDocument"訓(xùn)練RBM 5\o"CurrentDocument"深度信念網(wǎng)絡(luò) 5\o"CurrentDocument"訓(xùn)練過程： 6\o"CurrentDocument"調(diào)優(yōu)過程(Fine-Tuning)： 6\o"CurrentDocument"使用過程 7\o"CurrentDocument"推薦閱讀 8論文 8博文和網(wǎng)絡(luò)教程 8概述深度信念網(wǎng)絡(luò)(DeepBeliefNetwork,DBN)由GeoffreyHinton在2006年提出。它是一種生成模型，通過訓(xùn)練其神經(jīng)元間的權(quán)重，我們可以讓整個(gè)神經(jīng)網(wǎng)絡(luò)按照最大概率來生成訓(xùn)練數(shù)據(jù)。我們不僅可以使用DBN識別特征、分類數(shù)據(jù)，還可以用它來生成數(shù)據(jù)。下面的圖片展示的是用DBN識別手寫數(shù)字：圖1用深度信念網(wǎng)絡(luò)識別手寫數(shù)字。圖中右下角是待識別數(shù)字的黑白位圖，它的上方有三層隱性神經(jīng)元。每一個(gè)黑色矩形代表一層神經(jīng)元，白點(diǎn)代表處于開啟狀態(tài)的神經(jīng)元，黑色代表處于關(guān)閉狀態(tài)的神經(jīng)元。注意頂層神經(jīng)元的左下方即使別結(jié)果，與畫面左上角的對應(yīng)表比對，得知這個(gè)DBN正確地識別了該數(shù)字。下面是展示了一個(gè)學(xué)習(xí)了大量英文維基百科文章的DBN所生成的自然語言段落：In1974NorthernDenverhadbeenovershadowedbyCNL,andseveralIrishintelligenceagenciesintheMediterraneanregion.However,ontheVictoria,KingsHebrewstatedthatCharlesdecidedtoescapeduringanalliance.Themansionhousewascompletedin1882,thesecondinitsbridgeareomitted,whileclosingistheprotonreticulumcomposedbelowitaims,suchthatitistheblurringofappearingonanywell-paidtypeofboxprinter.DBN由多層神經(jīng)元構(gòu)成這些神經(jīng)元又分為顯性神經(jīng)兀和隱性神經(jīng)兀(以下簡稱顯元和隱元)。顯元用于接受輸入，隱元用于提取特征。因此隱元也有個(gè)別名，叫特征檢測器(featuredetectors)。最頂上的兩層間的連接是無向的，組成聯(lián)合內(nèi)存(associativememory)。較低的其他層之間有連接上下的有向連接。最底層代表了數(shù)據(jù)向量(datavectors)，每一個(gè)神經(jīng)元代表數(shù)據(jù)向量的一維。

DBN的組成亓件是受限玻爾茲曼機(jī).(RestrictedBoltzmannMachines,RBM)。訓(xùn)練DBN的過程是一層一層地進(jìn)行的。在每一層中，用數(shù)據(jù)向量來推斷隱層，再把這一隱層當(dāng)作下一層(高一層)的數(shù)據(jù)向量。受限玻爾茲曼機(jī)如前所述，RBM是DBN的組成元件。事實(shí)上，每一個(gè)RBM都可以單獨(dú)用作聚類器。RBM只有兩層神經(jīng)元，一層叫做顯層(visiblelayer)，由顯元(visibleunits)組成，用于輸入訓(xùn)練數(shù)(featuredetectors)□據(jù)。另一層叫做(featuredetectors)□據(jù)。另一層叫做隱層(Hiddenlayer)，相應(yīng)地，由隱兀(hiddenunits)組成，用作特征檢/測器圖2受限玻爾茲曼機(jī)的結(jié)構(gòu)。一個(gè)向量來表示，圖中的較上一層神經(jīng)元組成隱層，較下的神經(jīng)元組成顯元。每一層都可以用每一維表示每個(gè)神經(jīng)元。注意這兩層間的對稱(圖2受限玻爾茲曼機(jī)的結(jié)構(gòu)。一個(gè)向量來表示，神經(jīng)元之間的條件獨(dú)立性應(yīng)注意到，顯層和隱層內(nèi)部的神經(jīng)元都沒有互連，只有層間的神經(jīng)元有對稱的連接線。這樣的好處是，在給定所有顯元的值的情況下，每一個(gè)隱元取什么值是互不相關(guān)的。也就是說，p(h|v)=T/s,|v)同樣，在給定隱層時(shí)，所有顯元的取值也互不相關(guān):

尸（V?h）=n3p?」h）有了這個(gè)重要性質(zhì)，我們在計(jì)算每個(gè)神經(jīng)元的取值情況時(shí)就不必每次計(jì)算一個(gè)，而是同時(shí)并行地計(jì)算整層神經(jīng)元。使用RBM的過程假設(shè)我們現(xiàn)在已經(jīng)得到一個(gè)訓(xùn)練好的RBM，每個(gè)隱元與顯元間的權(quán)重用矩陣W表示，且：X=一條新來的數(shù)據(jù)X=一條新來的數(shù)據(jù)其中Wij代表從第i個(gè)顯元到第j個(gè)隱元的權(quán)重，M代表顯元的個(gè)數(shù)，N代表隱元的個(gè)數(shù)。那么，當(dāng)我們把附給(clampto)顯層后，RBM將會依照權(quán)值將每個(gè)隱元的激勵(lì)值(activation)計(jì)算出來:首先，注意，這里用到了前面提到的神經(jīng)元之間的條件獨(dú)立性。然后，將每個(gè)隱元的激勵(lì)值都用S形函數(shù)進(jìn)行標(biāo)準(zhǔn)化，變成它們處于開啟狀(用將每個(gè)隱元的激勵(lì)值(activation)計(jì)算出來:首先，注意，這里用到了前面提到的神經(jīng)元之間的條件獨(dú)立性。然后，將每個(gè)隱元的激勵(lì)值都用S形函數(shù)進(jìn)行標(biāo)準(zhǔn)化，變成它們處于開啟狀(用1表示)的概率值:此處的S形函數(shù)我們采用的是Logistic函數(shù):至此，每個(gè)隱元hj開啟的概率被計(jì)算出來了。其處于關(guān)閉狀態(tài)(用0表示)的概率自然也就是p帆=o)=i—p(hj=D那么到底這個(gè)元開啟還是關(guān)閉，我們需要將開啟的概率與一個(gè)從0,1均勻分布中抽取的隨機(jī)值進(jìn)行如下比較LP(h1=1)>tz0,尸(4=1)<乜然后開啟或關(guān)閉相應(yīng)的隱元。給定隱層，計(jì)算顯層的方法是一樣的。訓(xùn)練RBMRBM的訓(xùn)練過程，實(shí)際上是求出一個(gè)最能產(chǎn)生訓(xùn)練樣本的概率分布。也就是說，要求一個(gè)分布，在這個(gè)分布里，訓(xùn)練樣本的概率最大。由于這個(gè)分布的決定性因素在于權(quán)值W，所以我們訓(xùn)練RBM的目標(biāo)就是尋找最佳的權(quán)值。為了保持讀者的興趣，這里我們不給出最大化對數(shù)似然函數(shù)的推導(dǎo)過程，直接說明如何訓(xùn)練RBM。G.Hinton提出了名為對比散度(ContrastiveDivergence)的學(xué)習(xí)算法。下面我們來詳述它的具體過程。我們沿用前文的符號記法。算法1.對比散度對于訓(xùn)練集中的每一條記錄算法L對比散度對于訓(xùn)練集中的每L條《錄X有：將X的紿顯層小，i餅它使隱層神經(jīng)元被開啟的概率式中的上標(biāo)用于區(qū)別不同向量.下標(biāo)用于區(qū)別同向后中的不同維，然航，從比算出的概率分布h審n收一個(gè)樣本h網(wǎng)?尸（h網(wǎng)I5”用h網(wǎng)重構(gòu)顯層尸（1尸=11h（0））=仃｛W『%同樣，抽取出品層的T■樣本v⑴??（V⑴|江⑼）再次用顯層神經(jīng)元（重構(gòu)之S的”1第出隱層神經(jīng)元被開后的概率P（邛）=1|V"，）=￡7（W/W）按下式更新權(quán)重； ' 'w—W+乂尸儂網(wǎng)=1I —/（h⑴=1,1V⑴）￥。仃如此訓(xùn)練之后的RBM就能較為準(zhǔn)確地提取顯層的特征，或者根據(jù)隱層所代表的特征還原顯層了。深度信念網(wǎng)絡(luò)前文我們已經(jīng)介紹了RBM的基本結(jié)構(gòu)和其訓(xùn)練、使用過程，接下來我們介紹DBN的相關(guān)內(nèi)容。DBN是由多層RBM組成的一個(gè)神經(jīng)網(wǎng)絡(luò)，它既可以被看作一個(gè)生成模型，也可以當(dāng)作判別模型，其訓(xùn)練過程是：使用非監(jiān)督貪婪逐層方法去預(yù)訓(xùn)練獲得權(quán)值。訓(xùn)練過程：.首先充分訓(xùn)練第一個(gè)RBM；.固定第一個(gè)RBM的權(quán)重和偏移量，然后使用其隱性神經(jīng)元的狀態(tài)，作為第二個(gè)RBM的輸入向量；.充分訓(xùn)練第二個(gè)RBM后，將第二個(gè)RBM堆疊在第一個(gè)RBM的上方；.重復(fù)以上三個(gè)步驟任意多次；.如果訓(xùn)練集中的數(shù)據(jù)有標(biāo)簽，那么在頂層的RBM訓(xùn)練時(shí)，這個(gè)RBM的顯層中除了顯性神經(jīng)元，還需要有代表分類標(biāo)簽的神經(jīng)元，一起進(jìn)行訓(xùn)練：a）假設(shè)頂層RBM的顯層有500個(gè)顯性神經(jīng)元，訓(xùn)練數(shù)據(jù)的分類一共分成了10類；b）那么頂層RBM的顯層有510個(gè)顯性神經(jīng)元，對每一訓(xùn)練訓(xùn)練數(shù)據(jù)相應(yīng)的標(biāo)簽神經(jīng)元被打開設(shè)為1,而其他的則被關(guān)閉設(shè)為0。.DBN被訓(xùn)練好后如下圖：（示意）

圖3訓(xùn)練好的深度信念網(wǎng)絡(luò)。圖中的綠色部分就是在最頂層RBM中參與訓(xùn)練的標(biāo)簽。注意調(diào)優(yōu)（FINE-TUNING）過程是一個(gè)判別模型另：P(h|v)hQOOO0(voo^ob^^odoDataReconstructedP(V|11)調(diào)優(yōu)過程（Fine-Tuning）：生成模型使用ContrastiveWake-Sleep算法進(jìn)行調(diào)優(yōu)，其算法過程是：除了頂層RBM，其他層RBM的權(quán)重被分成向上的認(rèn)知權(quán)重和向下的生成權(quán)重；Wake階段認(rèn)知過程通過外界的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點(diǎn)狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是如果現(xiàn)實(shí)跟我想象的不一樣，改變我的權(quán)重使得我想象的東西就是這樣的。Sleep階段：生成過程，通過頂層表示（醒時(shí)學(xué)得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時(shí)修改層間向上的權(quán)重。也就是如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個(gè)概念。使用過程：.使用隨機(jī)隱性神經(jīng)元狀態(tài)值，在頂層RBM中進(jìn)行足夠多次的吉布斯抽樣；.向下傳播，得到每層的狀態(tài)。推薦閱讀論文RepresentationLearning:AReviewandNewPerspectives,YoshuaBengio,AaronCourville,PascalVincent,Arxiv,2012.ThemonographorreviewpaperLearningDeepArchitecturesforAI(Foundations&TrendsinMachineLearning,2009).DeepMachineLearning-ANewFrontierinArtificialIntelligenceResearch-asurveypaperbyItamarArel,DerekC.Rose,andThomasP.Karnowski.AFastLearningAlgorithmforDe