深度學(xué)習(xí)分類

深度學(xué)習(xí)的主要分類自回歸網(wǎng)路海度神謎網(wǎng)繆(DeepNM卷枳阿綠(Convoliitlonat自編碼器(AutEncoder}循環(huán)網(wǎng)蝌[RecurrentNN)深度牛成模型｛預(yù)訓(xùn)練J普通深度神經(jīng)網(wǎng)格/神經(jīng)網(wǎng)絡(luò)'\([leuiel(MultUayer自回歸網(wǎng)路海度神謎網(wǎng)繆(DeepNM卷枳阿綠(Convoliitlonat自編碼器(AutEncoder}循環(huán)網(wǎng)蝌[RecurrentNN)深度牛成模型｛預(yù)訓(xùn)練J普通深度神經(jīng)網(wǎng)格/神經(jīng)網(wǎng)絡(luò)'\([leuiel(MultUayer'、Perceptron)F A單層感iii機(jī)(Perceptran)1.有監(jiān)督的神經(jīng)網(wǎng)絡(luò)(SupervisedNeuralNetworks)監(jiān)督學(xué)習(xí)無監(jiān)督學(xué)習(xí),(字號)浜:T旅m邛?卷皮作至國鼻?生戌比疚網(wǎng)掰推薦了解?曜可媲戲■蜉煎業(yè)理?庭嘵-BPWS?茄應(yīng)方層?吐健十魅控置M迥?L5TU,理而RMN,迎曜|M郵*無欹據(jù)?池化神經(jīng)網(wǎng)絡(luò)(ArtificialNeuralNetworks)和深度神經(jīng)網(wǎng)絡(luò)(DeepNeuralNetworks)追根溯源的話，神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)模型是感知機(jī)(Perceptron),因此神經(jīng)網(wǎng)絡(luò)也可以叫做多層感知機(jī)(Multi-layerPerceptron)，簡稱MLP。單層感知機(jī)叫做感機(jī)，多層感知機(jī)(MLP)即人工神經(jīng)網(wǎng)絡(luò)(ANN)。一般來說有1?2個隱藏層的神經(jīng)網(wǎng)絡(luò)叫做(淺層)神經(jīng)網(wǎng)絡(luò)(ShallowNeuralNetworks)o隨著隱藏層的增多，更深的神經(jīng)網(wǎng)絡(luò)(一般來說超過5層)就叫做深度學(xué)習(xí)(DNN)。然而，“深度”只是一個商業(yè)概念，很多時候工業(yè)界把3層隱藏層也叫做“深度學(xué)習(xí)”。在機(jī)器學(xué)習(xí)領(lǐng)域，深度(Deep)網(wǎng)絡(luò)僅代表其有超過5?7層的隱藏層。需要特別指出的是，卷積網(wǎng)絡(luò)(CNN)和循環(huán)網(wǎng)絡(luò)(RNN)一般不加Deep在名字中的原因是：它們的結(jié)構(gòu)一般都較深，因此不需要特別指明深度。想對比的，自編碼器(AutoEncoder)可以是很淺的網(wǎng)絡(luò)，也可以很深。所以你會看到人們用DeepAutoEncoder來特別指明其深度。應(yīng)用場景：全連接的前饋深度神經(jīng)網(wǎng)絡(luò)(FullyConnectedFeedForwardNeuralNetworks)，也就是DNN適用于大部分分類(Classification)任務(wù)，比如數(shù)字識別等。但一般的現(xiàn)實場景中我們很少有那么大的數(shù)據(jù)量來支持DNN，所以純粹的全連接網(wǎng)絡(luò)應(yīng)用性并不是很強(qiáng)。1.2.循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetworks)和遞歸神經(jīng)網(wǎng)絡(luò)(RecursiveNeuralNetworks)雖然很多時候我們把這兩種網(wǎng)絡(luò)都叫做RNN，但事實上這兩種網(wǎng)路的結(jié)構(gòu)事實上是不同的。而我們常常把兩個網(wǎng)絡(luò)放在一起的原因是：它們都可以處理有序列的問題，比如時間序列等。舉個最簡單的例子，我們預(yù)測股票走勢用RNN就比普通的DNN效果要好，原因是股票走勢和時間相關(guān)，今天的價格和昨天、上周、上個月都有關(guān)系。而RNN有“記憶”能力，可以“模擬”數(shù)據(jù)間的依賴關(guān)系(Dependency)。為了加強(qiáng)這種“記憶能力”，人們開發(fā)各種各樣的變形體，如非常注明的LongShort-termMemory(LSTM)，用于解決“長期及遠(yuǎn)距離的依賴關(guān)系”。如下圖所示，左邊的小圖是最簡單版本的循環(huán)網(wǎng)絡(luò)，而右邊是人們?yōu)榱嗽鰪?qiáng)記憶能力而開發(fā)的LSTM。f. KhcniiiLcoftheSimpleKiZfuirent unititcfl>曲jdaLong^hcrt-TcrmMemoryblock-righi)bbvsedinihrhidetenof己nxiimHlneumlncl^Lirk.同理，另一個循環(huán)網(wǎng)絡(luò)的變種雙向循環(huán)網(wǎng)絡(luò)(Bi-directionalRNN)也是現(xiàn)階段自然語言處理和語音分析中的重要模型。開發(fā)雙向循環(huán)網(wǎng)絡(luò)的原因是語言/語音的構(gòu)成取決于上下文，即“現(xiàn)在”依托于“過去”和“未來”。單向的循環(huán)網(wǎng)絡(luò)僅著重于從“過去”推出“現(xiàn)在”，而無法對“未來”的依賴性有效的建模。遞歸神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)不同，它的計算圖結(jié)構(gòu)是樹狀結(jié)構(gòu)而不是網(wǎng)狀結(jié)構(gòu)。遞歸循環(huán)網(wǎng)絡(luò)的目標(biāo)和循環(huán)網(wǎng)絡(luò)相似，也是希望解決數(shù)據(jù)之間的長期依賴問題。而且其比較好的特點是用樹狀可以降低序列的長度。但和其他樹狀數(shù)據(jù)結(jié)構(gòu)一樣，如何構(gòu)造最佳的樹狀結(jié)構(gòu)如平衡樹/平衡二叉樹并不容易。應(yīng)用場景：語音分析，文字分析，時間序列分析。主要的重點就是數(shù)據(jù)之間存在前后依賴關(guān)系，有序列關(guān)系。一般首選LSTM，如果預(yù)測對象同時取決于過去和未來，可以選擇雙向結(jié)構(gòu)，如雙向LSTM。1.3.卷積網(wǎng)絡(luò)(ConvolutionalNeuralNetworks)卷積網(wǎng)絡(luò)也是一個很好的計算機(jī)科學(xué)借鑒神經(jīng)科學(xué)的例子。卷積網(wǎng)絡(luò)的精髓其實就是在多個空間位置上共享參數(shù)，據(jù)說我們的視覺系統(tǒng)也有相類似的模式。首先簡單說什么是卷積。卷積運(yùn)算是一種數(shù)學(xué)計算，和矩陣相乘不同，卷積運(yùn)算可以實現(xiàn)稀疏相乘和參數(shù)共享，可以壓縮輸入端的維度。和普通DNN不同，CNN并不需要為每一個神經(jīng)元所對應(yīng)的每一個輸入數(shù)據(jù)提供單獨的權(quán)重。與池化(pooling)相結(jié)合，CNN可以被理解為一種公共特征的提取過程，不僅是CNN大部分神經(jīng)網(wǎng)絡(luò)都可以近似的認(rèn)為大部分神經(jīng)元都被用于特征提取。以上圖為例，卷積、池化的過程將一張圖片的維度進(jìn)行了壓縮。從圖示上我們不難看出卷積網(wǎng)絡(luò)的精髓就是適合處理結(jié)構(gòu)化數(shù)據(jù)，而該數(shù)據(jù)在跨區(qū)域上依然有關(guān)聯(lián)。應(yīng)用場景：雖然我們一般都把CNN和圖片聯(lián)系在一起，但事實上CNN可以處理大部分格狀結(jié)構(gòu)化數(shù)據(jù)(Grid-likeData)。舉個例子，圖片的像素是二維的格狀數(shù)據(jù)，時間序列在等時間上抽取相當(dāng)于一維的的格狀數(shù)據(jù)，而視頻數(shù)據(jù)可以理解為對應(yīng)視頻幀寬度、高度、時間的三維數(shù)據(jù)。2.無監(jiān)督的預(yù)訓(xùn)練網(wǎng)絡(luò)(UnsupervisedPre-trainedNeuralNetworks)深度生成模型(DeepGenerativeModels)說到生成模型，大家一般想到的無監(jiān)督學(xué)習(xí)中的很多建模方法，比如擬合一個高斯混合模型或者使用貝葉斯模型。深度學(xué)習(xí)中的生成模型主要還是集中于想使用無監(jiān)督學(xué)習(xí)來幫助監(jiān)督學(xué)習(xí)，畢竟監(jiān)督學(xué)習(xí)所需的標(biāo)簽代價往往很高…所以請大家不要較真我把這些方法放在了無監(jiān)督學(xué)習(xí)中。玻爾茲曼機(jī)(BoltzmannMachines)和受限玻爾茲曼機(jī)(RestrictedBoltzmannMachines)每次一提到玻爾茲曼機(jī)和受限玻爾茲曼機(jī)我其實都很頭疼。簡單的說，玻爾茲曼機(jī)是一個很漂亮的基于能量的模型，一般用最大似然法進(jìn)行學(xué)習(xí)，而且還符合Hebb'sRule這個生物規(guī)律。但更多的是適合理論推演，有相當(dāng)多的實際操作難度。而受限玻爾茲曼機(jī)更加實際，它限定了其結(jié)構(gòu)必須是二分圖(BiparititeGraph)且隱藏層和可觀測層之間不可以相連接。此處提及RBM的原因是因為它是深度信念網(wǎng)絡(luò)的構(gòu)成要素之一。應(yīng)用場景：實際工作中一般不推薦單獨使用RBM...深度信念網(wǎng)絡(luò)(DeepBeliefNeuralNetworks)DBN是祖師爺Hinton在06年提出的，主要有兩個部分：1.堆疊的受限玻爾茲曼機(jī)(StackedRBM)2.一層普通的前饋網(wǎng)絡(luò)。DBN最主要的特色可以理解為兩階段學(xué)習(xí)，階段1用堆疊的RBM通過無監(jiān)督學(xué)習(xí)進(jìn)行預(yù)訓(xùn)練(Pre-train)，階段2用普通的前饋網(wǎng)絡(luò)進(jìn)行微調(diào)。就像我上文提到的，神經(jīng)網(wǎng)絡(luò)的精髓就是進(jìn)行特征提取。和后文將提到的自動編碼器相似，我們期待堆疊的RBF有數(shù)據(jù)重建能力，及輸入一些數(shù)據(jù)經(jīng)過RBF我們還可以重建這些數(shù)據(jù)，這代表我們學(xué)到了這些數(shù)據(jù)的重要特征。將RBF堆疊的原因就是將底層RBF學(xué)到的特征逐漸傳遞的上層的RBF上，逐漸抽取復(fù)雜的特征。比如下圖從左到右就可以是低層RBF學(xué)到的特征到高層RBF學(xué)到的復(fù)雜特征。在得到這些良好的特征后就可以用第二部分的傳統(tǒng)神經(jīng)網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。

應(yīng)用場景：現(xiàn)在來說DBN更多是了解深度學(xué)習(xí)“哲學(xué)”和“思維模式”的一個手段，在實際應(yīng)用中還是推薦CNN/RNN等，類似的深度玻爾茲曼機(jī)也有類似的特性但工業(yè)界使用較少。生成式對抗網(wǎng)絡(luò)(GenerativeAdversarialNetworks)生成式對抗網(wǎng)絡(luò)用無監(jiān)督學(xué)習(xí)同時訓(xùn)練兩個模型，內(nèi)核哲學(xué)取自于博弈論。簡單的說，GAN訓(xùn)練兩個網(wǎng)絡(luò)：1.生成網(wǎng)絡(luò)用于生成圖片使其與訓(xùn)練數(shù)據(jù)相似2.判別式網(wǎng)絡(luò)用于判斷生成網(wǎng)絡(luò)中得到的圖片是否是真的是訓(xùn)練數(shù)據(jù)還是偽裝的數(shù)據(jù)。生成網(wǎng)絡(luò)一般有逆卷積層(deconvolutionallayer)而判別網(wǎng)絡(luò)一般就是上文介紹的CNN。熟悉博弈論的朋友都知道零和游戲(zero-sumgame)會很難得到優(yōu)化方程，或很難優(yōu)化，GAN也不可避免這個問題。但有趣的是，GAN的實際表現(xiàn)比我們預(yù)期的要好，而且所需的參數(shù)也遠(yuǎn)遠(yuǎn)按照正常方法訓(xùn)練神經(jīng)網(wǎng)絡(luò)，可以更加有效率的學(xué)到數(shù)據(jù)的分布。另一個常常被放在GAN一起討論的模型叫做變分自編碼器(VariationalAuto-encoder)。應(yīng)用場景：現(xiàn)階段的GAN還主要是在圖像領(lǐng)域比較流行，但很多人都認(rèn)為它有很大的潛力大規(guī)模推廣到聲音、視頻領(lǐng)域。2.2.自編碼器(Auto-encoder)自編碼器是一種從名字上完全看不出和神經(jīng)網(wǎng)絡(luò)有什么關(guān)系的無監(jiān)督神經(jīng)網(wǎng)絡(luò)，而且從名字上看也很難猜測其作用。讓我們看一幅圖了解它的工作原理。如上圖所示，Autoencoder主要有2個部分：1.編碼器(Encoder)2.解碼器(Decoder)。我們將輸入(圖片2)從左端輸入后，經(jīng)過了編碼器和解碼器，我們得到了輸出....一個2。但事實上我們真正學(xué)習(xí)到是中間的用紅色標(biāo)注的部分，即數(shù)在低維度的壓縮表示。評估自編碼器的方法是重建誤差，即輸出的那個數(shù)字2和原始輸入的數(shù)字2之間