Deep Learning深度學(xué)習(xí)總結(jié)

1、Deep Learning深度學(xué)習(xí)總結(jié)  一、Deep Learning的基本思想       假設(shè)我們有一個(gè)系統(tǒng)S，它有n層（S1,Sn），它的輸入是I，輸出是O，形象地表示為： I =>S1=>S2=>.=>Sn => O，如果輸出O等于輸入I，即輸入I經(jīng)過這個(gè)系統(tǒng)變化之后沒有任何的信息損失（呵呵，大牛說，這是不可能的。信息論中有個(gè)“信息逐層丟失”的說法（信息處理不等式），設(shè)處理a信息得到b，再對b處理得到c，那么可以證明：a和c的互信息不會(huì)超過a和b的互信息。這表明信息處理不會(huì)增加信息，大

2、部分處理會(huì)丟失信息。當(dāng)然了，如果丟掉的是沒用的信息那多好?。?，保持了不變，這意味著輸入I經(jīng)過每一層Si都沒有任何的信息損失，即在任何一層Si，它都是原有信息（即輸入I）的另外一種表示?，F(xiàn)在回到我們的主題Deep Learning，我們需要自動(dòng)地學(xué)習(xí)特征，假設(shè)我們有一堆輸入I（如一堆圖像或者文本），假設(shè)我們設(shè)計(jì)了一個(gè)系統(tǒng)S（有n層），我們通過調(diào)整系統(tǒng)中參數(shù)，使得它的輸出仍然是輸入I，那么我們就可以自動(dòng)地獲取得到輸入I的一系列層次特征，即S1，, Sn。       對于深度學(xué)習(xí)來說，其思想就是對堆疊多個(gè)層，也就是說這一層的輸出

3、作為下一層的輸入。通過這種方式，就可以實(shí)現(xiàn)對輸入信息進(jìn)行分級表達(dá)了。       另外，前面是假設(shè)輸出嚴(yán)格地等于輸入，這個(gè)限制太嚴(yán)格，我們可以略微地放松這個(gè)限制，例如我們只要使得輸入與輸出的差別盡可能地小即可，這個(gè)放松會(huì)導(dǎo)致另外一類不同的Deep Learning方法。上述就是Deep Learning的基本思想。 二、Deep learning與Neural Network        深度學(xué)習(xí)是機(jī)器學(xué)習(xí)研究中的一個(gè)新的領(lǐng)域，其動(dòng)機(jī)在于建立、模擬人腦進(jìn)

4、行分析學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，它模仿人腦的機(jī)制來解釋數(shù)據(jù)，例如圖像，聲音和文本。深度學(xué)習(xí)是無監(jiān)督學(xué)習(xí)的一種。        深度學(xué)習(xí)的概念源于人工神經(jīng)網(wǎng)絡(luò)的研究。含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)。深度學(xué)習(xí)通過組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。       Deep learning本身算是machine learning的一個(gè)分支，簡單可以理解為neural network的發(fā)展。大約二三十年前，neural networ

5、k曾經(jīng)是ML領(lǐng)域特別火熱的一個(gè)方向，但是后來確慢慢淡出了，原因包括以下幾個(gè)方面：1）比較容易過擬合，參數(shù)比較難tune，而且需要不少trick；2）訓(xùn)練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；       所以中間有大約20多年的時(shí)間，神經(jīng)網(wǎng)絡(luò)被關(guān)注很少，這段時(shí)間基本上是SVM和boosting算法的天下。但是，一個(gè)癡心的老先生Hinton，他堅(jiān)持了下來，并最終（和其它人一起B(yǎng)engio、Yann.lecun等）提成了一個(gè)實(shí)際可行的deep learning框架。   

6、60;    Deep learning與傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)之間有相同的地方也有很多不同。        二者的相同在于deep learning采用了神經(jīng)網(wǎng)絡(luò)相似的分層結(jié)構(gòu)，系統(tǒng)由包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個(gè)logistic regression模型；這種分層結(jié)構(gòu)，是比較接近人類大腦的結(jié)構(gòu)的。         而為了克服

7、神經(jīng)網(wǎng)絡(luò)訓(xùn)練中的問題，DL采用了與神經(jīng)網(wǎng)絡(luò)很不同的訓(xùn)練機(jī)制。傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中，采用的是back propagation的方式進(jìn)行，簡單來講就是采用迭代的算法來訓(xùn)練整個(gè)網(wǎng)絡(luò)，隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和label之間的差去改變前面各層的參數(shù)，直到收斂（整體是一個(gè)梯度下降法）。而deep learning整體上是一個(gè)layer-wise的訓(xùn)練機(jī)制。這樣做的原因是因?yàn)?，如果采用back propagation的機(jī)制，對于一個(gè)deep network（7層以上），殘差傳播到最前面的層已經(jīng)變得太小，出現(xiàn)所謂的gradient diffusion（梯度擴(kuò)散）。這個(gè)問題我們接下來討論。

8、 三、Deep learning訓(xùn)練過程3.1、傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法為什么不能用在深度神經(jīng)網(wǎng)絡(luò)       BP算法作為傳統(tǒng)訓(xùn)練多層網(wǎng)絡(luò)的典型算法，實(shí)際上對僅含幾層網(wǎng)絡(luò)，該訓(xùn)練方法就已經(jīng)很不理想。深度結(jié)構(gòu)（涉及多個(gè)非線性處理單元層）非凸目標(biāo)代價(jià)函數(shù)中普遍存在的局部最小是訓(xùn)練困難的主要來源。BP算法存在的問題：（1）梯度越來越稀疏：從頂層越往下，誤差校正信號越來越小；（2）收斂到局部最小值：尤其是從遠(yuǎn)離最優(yōu)區(qū)域開始的時(shí)候（隨機(jī)值初始化會(huì)導(dǎo)致這種情況的發(fā)生）；（3）一般，我們只能用有標(biāo)簽的數(shù)據(jù)來訓(xùn)練：但大部分的數(shù)據(jù)是沒標(biāo)簽的，

9、而大腦可以從沒有標(biāo)簽的的數(shù)據(jù)中學(xué)習(xí)； 3.2、deep learning訓(xùn)練過程       如果對所有層同時(shí)訓(xùn)練，時(shí)間復(fù)雜度會(huì)太高；如果每次訓(xùn)練一層，偏差就會(huì)逐層傳遞。這會(huì)面臨跟上面監(jiān)督學(xué)習(xí)中相反的問題，會(huì)嚴(yán)重欠擬合（因?yàn)樯疃染W(wǎng)絡(luò)的神經(jīng)元和參數(shù)太多了）。       2006年，hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個(gè)有效方法，簡單的說，分為兩步，一是每次訓(xùn)練一層網(wǎng)絡(luò)，二是調(diào)優(yōu)，使原始表示x向上生成的高級表示r和該高級表示r向下生成的x'盡可

10、能一致。方法是：1）首先逐層構(gòu)建單層神經(jīng)元，這樣每次都是訓(xùn)練一個(gè)單層網(wǎng)絡(luò)。2）當(dāng)所有層訓(xùn)練完后，Hinton使用wake-sleep算法進(jìn)行調(diào)優(yōu)。       將除最頂層的其它層間的權(quán)重變?yōu)殡p向的，這樣最頂層仍然是一個(gè)單層神經(jīng)網(wǎng)絡(luò)，而其它層則變?yōu)榱藞D模型。向上的權(quán)重用于“認(rèn)知”，向下的權(quán)重用于“生成”。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓認(rèn)知和生成達(dá)成一致，也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點(diǎn)。比如頂層的一個(gè)結(jié)點(diǎn)表示人臉，那么所有人臉的圖像應(yīng)該激活這個(gè)結(jié)點(diǎn)，并且這個(gè)結(jié)果向下生成的圖像應(yīng)該能夠表現(xiàn)為一個(gè)

11、大概的人臉圖像。Wake-Sleep算法分為醒（wake）和睡（sleep）兩個(gè)部分。1）wake階段：認(rèn)知過程，通過外界的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點(diǎn)狀態(tài)），并且使用梯度下降修改層間的下行權(quán)重（生成權(quán)重）。也就是“如果現(xiàn)實(shí)跟我想象的不一樣，改變我的權(quán)重使得我想象的東西就是這樣的”。2）sleep階段：生成過程，通過頂層表示（醒時(shí)學(xué)得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時(shí)修改層間向上的權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個(gè)概念”。deep learning訓(xùn)練過程具體如下：1）使用自下上升非監(jiān)督學(xué)習(xí)（就是從底層

12、開始，一層一層的往頂層訓(xùn)練）：       采用無標(biāo)定數(shù)據(jù)（有標(biāo)定數(shù)據(jù)也可）分層訓(xùn)練各層參數(shù)，這一步可以看作是一個(gè)無監(jiān)督訓(xùn)練過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分（這個(gè)過程可以看作是feature learning過程）：       具體的，先用無標(biāo)定數(shù)據(jù)訓(xùn)練第一層，訓(xùn)練時(shí)先學(xué)習(xí)第一層的參數(shù)（這一層可以看作是得到一個(gè)使得輸出和輸入差別最小的三層神經(jīng)網(wǎng)絡(luò)的隱層），由于模型capacity的限制以及稀疏性約束，使得得到的模型能夠?qū)W習(xí)到數(shù)據(jù)本身的結(jié)構(gòu)，從而得到比輸入更具有表示能力的

13、特征；在學(xué)習(xí)得到第n-1層后，將n-1層的輸出作為第n層的輸入，訓(xùn)練第n層，由此分別得到各層的參數(shù)；2）自頂向下的監(jiān)督學(xué)習(xí)（就是通過帶標(biāo)簽的數(shù)據(jù)去訓(xùn)練，誤差自頂向下傳輸，對網(wǎng)絡(luò)進(jìn)行微調(diào)）：       基于第一步得到的各層參數(shù)進(jìn)一步fine-tune整個(gè)多層模型的參數(shù)，這一步是一個(gè)有監(jiān)督訓(xùn)練過程；第一步類似神經(jīng)網(wǎng)絡(luò)的隨機(jī)初始化初值過程，由于DL的第一步不是隨機(jī)初始化，而是通過學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果；所以deep learning效果好很大程度上歸功于第一步的feature lear

14、ning過程。四、Deep Learning的常用模型或者方法4.1、AutoEncoder自動(dòng)編碼器        Deep Learning最簡單的一種方法是利用人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)，人工神經(jīng)網(wǎng)絡(luò)（ANN）本身就是具有層次結(jié)構(gòu)的系統(tǒng)，如果給定一個(gè)神經(jīng)網(wǎng)絡(luò)，我們假設(shè)其輸出與輸入是相同的，然后訓(xùn)練調(diào)整其參數(shù)，得到每一層中的權(quán)重。自然地，我們就得到了輸入I的幾種不同表示（每一層代表一種表示），這些表示就是特征。自動(dòng)編碼器就是一種盡可能復(fù)現(xiàn)輸入信號的神經(jīng)網(wǎng)絡(luò)。為了實(shí)現(xiàn)這種復(fù)現(xiàn)，自動(dòng)編碼器就必須捕捉可以代表輸入數(shù)據(jù)的最重要的因素，就

15、像PCA那樣，找到可以代表原信息的主要成分。       具體過程簡單的說明如下：1）給定無標(biāo)簽數(shù)據(jù)，用非監(jiān)督學(xué)習(xí)學(xué)習(xí)特征：        在我們之前的神經(jīng)網(wǎng)絡(luò)中，如第一個(gè)圖，我們輸入的樣本是有標(biāo)簽的，即（input, target），這樣我們根據(jù)當(dāng)前輸出和target（label）之間的差去改變前面各層的參數(shù)，直到收斂。但現(xiàn)在我們只有無標(biāo)簽數(shù)據(jù)，也就是右邊的圖。那么這個(gè)誤差怎么得到呢？      

16、0; 如上圖，我們將input輸入一個(gè)encoder編碼器，就會(huì)得到一個(gè)code，這個(gè)code也就是輸入的一個(gè)表示，那么我們怎么知道這個(gè)code表示的就是input呢？我們加一個(gè)decoder解碼器，這時(shí)候decoder就會(huì)輸出一個(gè)信息，那么如果輸出的這個(gè)信息和一開始的輸入信號input是很像的（理想情況下就是一樣的），那很明顯，我們就有理由相信這個(gè)code是靠譜的。所以，我們就通過調(diào)整encoder和decoder的參數(shù)，使得重構(gòu)誤差最小，這時(shí)候我們就得到了輸入input信號的第一個(gè)表示了，也就是編碼code了。因?yàn)槭菬o標(biāo)簽數(shù)據(jù)，所以誤差的來源就是直接重構(gòu)后與原輸入相比得到。2）通

17、過編碼器產(chǎn)生特征，然后訓(xùn)練下一層。這樣逐層訓(xùn)練：       那上面我們就得到第一層的code，我們的重構(gòu)誤差最小讓我們相信這個(gè)code就是原輸入信號的良好表達(dá)了，或者牽強(qiáng)點(diǎn)說，它和原信號是一模一樣的（表達(dá)不一樣，反映的是一個(gè)東西）。那第二層和第一層的訓(xùn)練方式就沒有差別了，我們將第一層輸出的code當(dāng)成第二層的輸入信號，同樣最小化重構(gòu)誤差，就會(huì)得到第二層的參數(shù)，并且得到第二層輸入的code，也就是原輸入信息的第二個(gè)表達(dá)了。其他層就同樣的方法炮制就行了（訓(xùn)練這一層，前面層的參數(shù)都是固定的，并且他們的decoder已經(jīng)沒用了，都不需要了）

18、。3）有監(jiān)督微調(diào)：      經(jīng)過上面的方法，我們就可以得到很多層了。至于需要多少層（或者深度需要多少，這個(gè)目前本身就沒有一個(gè)科學(xué)的評價(jià)方法）需要自己試驗(yàn)調(diào)了。每一層都會(huì)得到原始輸入的不同的表達(dá)。當(dāng)然了，我們覺得它是越抽象越好了，就像人的視覺系統(tǒng)一樣。       到這里，這個(gè)AutoEncoder還不能用來分類數(shù)據(jù)，因?yàn)樗€沒有學(xué)習(xí)如何去連結(jié)一個(gè)輸入和一個(gè)類。它只是學(xué)會(huì)了如何去重構(gòu)或者復(fù)現(xiàn)它的輸入而已?；蛘哒f，它只是學(xué)習(xí)獲得了一個(gè)可以良好代表輸入的特征，這個(gè)特征可以最大程度上代表原輸

19、入信號。那么，為了實(shí)現(xiàn)分類，我們就可以在AutoEncoder的最頂?shù)木幋a層添加一個(gè)分類器（例如羅杰斯特回歸、SVM等），然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法（梯度下降法）去訓(xùn)練。        也就是說，這時(shí)候，我們需要將最后層的特征code輸入到最后的分類器，通過有標(biāo)簽樣本，通過監(jiān)督學(xué)習(xí)進(jìn)行微調(diào)，這也分兩種，一個(gè)是只調(diào)整分類器（黑色部分）：       另一種：通過有標(biāo)簽樣本，微調(diào)整個(gè)系統(tǒng)：（如果有足夠多的數(shù)據(jù)，這個(gè)是最好的。end-to-end learn

20、ing端對端學(xué)習(xí)）       一旦監(jiān)督訓(xùn)練完成，這個(gè)網(wǎng)絡(luò)就可以用來分類了。神經(jīng)網(wǎng)絡(luò)的最頂層可以作為一個(gè)線性分類器，然后我們可以用一個(gè)更好性能的分類器去取代它。       在研究中可以發(fā)現(xiàn)，如果在原有的特征中加入這些自動(dòng)學(xué)習(xí)得到的特征可以大大提高精確度，甚至在分類問題中比目前最好的分類算法效果還要好！      4.2、Restricted Boltzmann Machine (RBM)限制波爾茲曼機(jī) 

21、     假設(shè)有一個(gè)二部圖，每一層的節(jié)點(diǎn)之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是隨機(jī)二值變量節(jié)點(diǎn)（只能取0或者1值），同時(shí)假設(shè)全概率分布p(v,h)滿足Boltzmann 分布，我們稱這個(gè)模型是Restricted BoltzmannMachine (RBM)。       下面我們來看看為什么它是Deep Learning方法。首先，這個(gè)模型因?yàn)槭嵌繄D，所以在已知v的情況下，所有的隱藏節(jié)點(diǎn)之間是條件獨(dú)立的（因?yàn)楣?jié)點(diǎn)之間不存在連接），即p(h|v)=p(h1|v)p(hn|

22、v)。同理，在已知隱藏層h的情況下，所有的可視節(jié)點(diǎn)都是條件獨(dú)立的。同時(shí)又由于所有的v和h滿足Boltzmann 分布，因此，當(dāng)輸入v的時(shí)候，通過p(h|v) 可以得到隱藏層h，而得到隱藏層h之后，通過p(v|h)又能得到可視層，通過調(diào)整參數(shù)，我們就是要使得從隱藏層得到的可視層v1與原來的可視層v如果一樣，那么得到的隱藏層就是可視層另外一種表達(dá)，因此隱藏層可以作為可視層輸入數(shù)據(jù)的特征，所以它就是一種Deep Learning方法。       如何訓(xùn)練呢？也就是可視層節(jié)點(diǎn)和隱節(jié)點(diǎn)間的權(quán)值怎么確定呢？我們需要做一些數(shù)學(xué)分析。也就是模型了。 

23、60;     聯(lián)合組態(tài)（jointconfiguration）的能量可以表示為：        而某個(gè)組態(tài)的聯(lián)合概率分布可以通過Boltzmann 分布（和這個(gè)組態(tài)的能量）來確定：      因?yàn)殡[藏節(jié)點(diǎn)之間是條件獨(dú)立的（因?yàn)楣?jié)點(diǎn)之間不存在連接），即：      然后我們可以比較容易（對上式進(jìn)行因子分解Factorizes）得到在給定可視層v的基礎(chǔ)上，隱層第j個(gè)節(jié)點(diǎn)為1或者為0的概率：       同理，在給定隱層h的基礎(chǔ)上，可視層第

24、i個(gè)節(jié)點(diǎn)為1或者為0的概率也可以容易得到：       給定一個(gè)滿足獨(dú)立同分布的樣本集：D=v(1), v(2), v(N)，我們需要學(xué)習(xí)參數(shù)=W,a,b。       我們最大化以下對數(shù)似然函數(shù)（最大似然估計(jì)：對于某個(gè)概率模型，我們需要選擇一個(gè)參數(shù)，讓我們當(dāng)前的觀測樣本的概率最大）：        也就是對最大對數(shù)似然函數(shù)求導(dǎo)，就可以得到L最大時(shí)對應(yīng)的參數(shù)W了。        如果，我們把隱藏層的層數(shù)增加，我們可以得到Dee

25、p Boltzmann Machine(DBM)；如果我們在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò)（即有向圖模型，當(dāng)然這里依然限制層中節(jié)點(diǎn)之間沒有鏈接），而在最遠(yuǎn)離可視層的部分使用Restricted Boltzmann Machine，我們可以得到DeepBelief Net（DBN）。 4.3、Deep Belief Networks深信度網(wǎng)絡(luò)        DBNs是一個(gè)概率生成模型，與傳統(tǒng)的判別模型的神經(jīng)網(wǎng)絡(luò)相對，生成模型是建立一個(gè)觀察數(shù)據(jù)和標(biāo)簽之間的聯(lián)合分布，對P(Observation|Label)和 P(Label|Observati

26、on)都做了評估，而判別模型僅僅而已評估了后者，也就是P(Label|Observation)。對于在深度神經(jīng)網(wǎng)絡(luò)應(yīng)用傳統(tǒng)的BP算法的時(shí)候，DBNs遇到了以下問題：（1）需要為訓(xùn)練提供一個(gè)有標(biāo)簽的樣本集；（2）學(xué)習(xí)過程較慢；（3）不適當(dāng)?shù)膮?shù)選擇會(huì)導(dǎo)致學(xué)習(xí)收斂于局部最優(yōu)解。       DBNs由多個(gè)限制玻爾茲曼機(jī)（Restricted Boltzmann Machines）層組成，一個(gè)典型的神經(jīng)網(wǎng)絡(luò)類型如圖三所示。這些網(wǎng)絡(luò)被“限制”為一個(gè)可視層和一個(gè)隱層，層間存在連接，但層內(nèi)的單元間不存在連接。隱層單元被訓(xùn)練去捕捉在可視層表現(xiàn)出來的高階數(shù)據(jù)的相關(guān)性。&

27、#160;      首先，先不考慮最頂構(gòu)成一個(gè)聯(lián)想記憶（associative memory）的兩層，一個(gè)DBN的連接是通過自頂向下的生成權(quán)值來指導(dǎo)確定的，RBMs就像一個(gè)建筑塊一樣，相比傳統(tǒng)和深度分層的sigmoid信念網(wǎng)絡(luò)，它能易于連接權(quán)值的學(xué)習(xí)。       最開始的時(shí)候，通過一個(gè)非監(jiān)督貪婪逐層方法去預(yù)訓(xùn)練獲得生成模型的權(quán)值，非監(jiān)督貪婪逐層方法被Hinton證明是有效的，并被其稱為對比分歧（contrastive divergence）。       在這個(gè)訓(xùn)練階段，在可視層會(huì)

28、產(chǎn)生一個(gè)向量v，通過它將值傳遞到隱層。反過來，可視層的輸入會(huì)被隨機(jī)的選擇，以嘗試去重構(gòu)原始的輸入信號。最后，這些新的可視的神經(jīng)元激活單元將前向傳遞重構(gòu)隱層激活單元，獲得h（在訓(xùn)練過程中，首先將可視向量值映射給隱單元；然后可視單元由隱層單元重建；這些新可視單元再次映射給隱單元，這樣就獲取新的隱單元。執(zhí)行這種反復(fù)步驟叫做吉布斯采樣）。這些后退和前進(jìn)的步驟就是我們熟悉的Gibbs采樣，而隱層激活單元和可視層輸入之間的相關(guān)性差別就作為權(quán)值更新的主要依據(jù)。       訓(xùn)練時(shí)間會(huì)顯著的減少，因?yàn)橹恍枰獑蝹€(gè)步驟就可以接近最大似然學(xué)習(xí)。增加進(jìn)網(wǎng)絡(luò)的每一層都會(huì)改進(jìn)訓(xùn)練數(shù)

29、據(jù)的對數(shù)概率，我們可以理解為越來越接近能量的真實(shí)表達(dá)。這個(gè)有意義的拓展，和無標(biāo)簽數(shù)據(jù)的使用，是任何一個(gè)深度學(xué)習(xí)應(yīng)用的決定性的因素。       在最高兩層，權(quán)值被連接到一起，這樣更低層的輸出將會(huì)提供一個(gè)參考的線索或者關(guān)聯(lián)給頂層，這樣頂層就會(huì)將其聯(lián)系到它的記憶內(nèi)容。而我們最關(guān)心的，最后想得到的就是判別性能，例如分類任務(wù)里面。       在預(yù)訓(xùn)練后，DBN可以通過利用帶標(biāo)簽數(shù)據(jù)用BP算法去對判別性能做調(diào)整。在這里，一個(gè)標(biāo)簽集將被附加到頂層（推廣聯(lián)想記憶），通過一個(gè)自下向上的，學(xué)習(xí)到的識(shí)別權(quán)值獲得一個(gè)網(wǎng)絡(luò)的分類面。這個(gè)

30、性能會(huì)比單純的BP算法訓(xùn)練的網(wǎng)絡(luò)好。這可以很直觀的解釋，DBNs的BP算法只需要對權(quán)值參數(shù)空間進(jìn)行一個(gè)局部的搜索，這相比前向神經(jīng)網(wǎng)絡(luò)來說，訓(xùn)練是要快的，而且收斂的時(shí)間也少。       DBNs的靈活性使得它的拓展比較容易。一個(gè)拓展就是卷積DBNs（Convolutional Deep Belief Networks(CDBNs)）。DBNs并沒有考慮到圖像的2維結(jié)構(gòu)信息，因?yàn)檩斎胧呛唵蔚膹囊粋€(gè)圖像矩陣一維向量化的。而CDBNs就是考慮到了這個(gè)問題，它利用鄰域像素的空域關(guān)系，通過一個(gè)稱為卷積RBMs的模型區(qū)達(dá)到生成模型的變換不變性，而且可以容易得變換到高

31、維圖像。DBNs并沒有明確地處理對觀察變量的時(shí)間聯(lián)系的學(xué)習(xí)上，雖然目前已經(jīng)有這方面的研究，例如堆疊時(shí)間RBMs，以此為推廣，有序列學(xué)習(xí)的dubbed temporal convolutionmachines，這種序列學(xué)習(xí)的應(yīng)用，給語音信號處理問題帶來了一個(gè)讓人激動(dòng)的未來研究方向。       目前，和DBNs有關(guān)的研究包括堆疊自動(dòng)編碼器，它是通過用堆疊自動(dòng)編碼器來替換傳統(tǒng)DBNs里面的RBMs。這就使得可以通過同樣的規(guī)則來訓(xùn)練產(chǎn)生深度多層神經(jīng)網(wǎng)絡(luò)架構(gòu)，但它缺少層的參數(shù)化的嚴(yán)格要求。與DBNs不同，自動(dòng)編碼器使用判別模型，這樣這個(gè)結(jié)構(gòu)就很難采樣輸入采樣空間

32、，這就使得網(wǎng)絡(luò)更難捕捉它的內(nèi)部表達(dá)。但是，降噪自動(dòng)編碼器卻能很好的避免這個(gè)問題，并且比傳統(tǒng)的DBNs更優(yōu)。它通過在訓(xùn)練過程添加隨機(jī)的污染并堆疊產(chǎn)生場泛化性能。訓(xùn)練單一的降噪自動(dòng)編碼器的過程和RBMs訓(xùn)練生成模型的過程一樣。五、總結(jié)與展望1）Deep learning總結(jié)      深度學(xué)習(xí)是關(guān)于自動(dòng)學(xué)習(xí)要建模的數(shù)據(jù)的潛在（隱含）分布的多層（復(fù)雜）表達(dá)的算法。換句話來說，深度學(xué)習(xí)算法自動(dòng)的提取分類需要的低層次或者高層次特征。高層次特征，一是指該特征可以分級（層次）地依賴其他特征，例如：對于機(jī)器視覺，深度學(xué)習(xí)算法從原始圖像去學(xué)習(xí)得到它的一個(gè)低層次表

33、達(dá)，例如邊緣檢測器，小波濾波器等，然后在這些低層次表達(dá)的基礎(chǔ)上再建立表達(dá)，例如這些低層次表達(dá)的線性或者非線性組合，然后重復(fù)這個(gè)過程，最后得到一個(gè)高層次的表達(dá)。       Deep learning能夠得到更好地表示數(shù)據(jù)的feature，同時(shí)由于模型的層次、參數(shù)很多，capacity足夠，因此，模型有能力表示大規(guī)模數(shù)據(jù)，所以對于圖像、語音這種特征不明顯（需要手工設(shè)計(jì)且很多沒有直觀物理含義）的問題，能夠在大規(guī)模訓(xùn)練數(shù)據(jù)上取得更好的效果。此外，從模式識(shí)別特征和分類器的角度，deep learning框架將feature和分類器結(jié)合到一個(gè)框

34、架中，用數(shù)據(jù)去學(xué)習(xí)feature，在使用中減少了手工設(shè)計(jì)feature的巨大工作量（這是目前工業(yè)界工程師付出努力最多的方面），因此，不僅僅效果可以更好，而且，使用起來也有很多方便之處，因此，是十分值得關(guān)注的一套框架，每個(gè)做ML的人都應(yīng)該關(guān)注了解一下。       當(dāng)然，deep learning本身也不是完美的，也不是解決世間任何ML問題的利器，不應(yīng)該被放大到一個(gè)無所不能的程度。2）Deep learning未來       深度學(xué)習(xí)目前仍有大量工作需要研究。目前的關(guān)注點(diǎn)還是從機(jī)器學(xué)習(xí)的領(lǐng)域借鑒一些可以在深度學(xué)習(xí)使用的方法，特別是降維領(lǐng)域。例如：目前一個(gè)工作就是稀疏編碼，通過壓縮感知理論對高維數(shù)據(jù)進(jìn)行降維，使得非常少的元素的向量就可以精確的代表原來的高維信號。另一