深度學(xué)習(xí)的研究

深度學(xué)習(xí)的研究1、定義和背景:1.1深度學(xué)習(xí)(DL)有各種相近的定義或者高層次描述2006(deeplearning)(學(xué)習(xí))已經(jīng)成為機器學(xué)習(xí)領(lǐng)域的一個新興領(lǐng)域(Hintonetal.,2006;Bengio,2009).在過去幾年中，深度學(xué)習(xí)技術(shù)的發(fā)展已經(jīng)對信號和信息過程領(lǐng)域產(chǎn)生廣泛的影響，并將繼續(xù)影響到機器學(xué)習(xí)和人工智能的其它關(guān)鍵領(lǐng)域;參見綜述文章(Bengioetal.,2013;Hintonetal.,2012;YuandDeng,2011;Deng,2011;Areletal.,2010).最近，已有一系列的致力于關(guān)于深度學(xué)習(xí)以及應(yīng)用的研討會和特別會議。包括:DL許多優(yōu)秀的經(jīng)常更新教程、傳統(tǒng)機器學(xué)習(xí)和信號處理技術(shù)探索僅含單層非線性變換的淺層學(xué)習(xí)結(jié)構(gòu)。淺層典型的淺層學(xué)習(xí)結(jié)構(gòu)包括傳統(tǒng)隱馬爾可夫模型(HMM)、條件隨機場(CRFs)、最大熵模型(MaxEnt)、支持向量機(SVM)、核回歸及僅含單隱層的多層感知器(MLP)如，SVMDL，ChoandSaul,2009;Dengetal.,2012;Vinyalsetal.,2012)。淺層結(jié)構(gòu)的局限性在于有限的樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受到一定制約。神經(jīng)科學(xué)研究表明，人的視覺系統(tǒng)的信息處理是分級的。人類感知系統(tǒng)這種明確的層次結(jié)構(gòu)極大地降低了視覺系統(tǒng)處理的數(shù)據(jù)量，并保留了物體有用的結(jié)構(gòu)信網(wǎng)絡(luò)研究人員一直致力于多層神經(jīng)網(wǎng)絡(luò)的研究。或者多層感知器通常被成為深層神經(jīng)網(wǎng)絡(luò)(DNNs)，DNNs見(Bengio,2009;GlorotandBengio,2010).在學(xué)習(xí)中，一個主要的困難BP學(xué)習(xí)結(jié)構(gòu)。3:1.大量的隱藏的單元,2.好的學(xué)習(xí)算法,3.以及更好的參數(shù)初始化技術(shù)。DNNDNN陷入局部最優(yōu)，DNNDNNsBPBPDNNs。部分原因是由于，當(dāng)訓(xùn)練是單學(xué)習(xí)器和大訓(xùn)練集上進行時，隨機梯度下降(SGD)算法是最有效的算法(BottouandLeCun,2004)SGDHessianfree2010Krylov(VinyalsandPovey2011)有類似的能力。DNNDNN(Hintonetal.2006;HintonandSalakhutdinov,2006;Bengio,2009;Vincentetal.,2010;Dengetal.,2010;Dahletal.,2010,2012;Seideetal.2011).DNN(pre-training)技術(shù)的提出(Hintonetal.2006;HintonandSalakhutdinov,2006).在上述文章中，引入了一個被稱作深層信念網(wǎng)(DBN)DBNDBNDBNDBNMLPDNNBPMLPDNNDBNDNNsDBNs(e.g.,Dahletal.,2011;Mohamedetal.,2010,2012).DNNsDBNs(Dahlet2012;Hintonetal.,2012)DBNDNNDBN-DNN(Hintonetal.,2012).DBN預(yù)訓(xùn)練過程不是唯一有效的DNNs初始化方法。另一種效果同樣好的無監(jiān)督方法是通過把每兩層作為一個去噪自動編碼器來逐層預(yù)訓(xùn)練DNNs(Bengio,2009;Vincentetal.,2010).另一種方法是用收縮自動編碼器，它對于輸入變化的敏感度較低(Rifaietal.,2011).而且，Ranzatoetal.(2007)(SESM)，RBMsDBN造模塊。原則上，SESMDNN外，監(jiān)督預(yù)訓(xùn)練(有時也叫作區(qū)別預(yù)訓(xùn)練)也被證明是有效的(Seideetal.,2011;Yuetal.,2011)。在有標(biāo)簽樣本數(shù)據(jù)充足的時候表現(xiàn)要優(yōu)于無監(jiān)督預(yù)訓(xùn)練技術(shù)。區(qū)別預(yù)訓(xùn)練的主要思想是從一個隱層MLP開始，用BP算法訓(xùn)練。然后，每次BPMLP(DNN)區(qū)分與監(jiān)督需要標(biāo)簽。(注:常用的概念深層信念網(wǎng)絡(luò)(Deepbeliefnetwork—DBN):包含多層隨機隱藏變量的概率生成模型。最上面兩層無向?qū)ΨQ連接。低層之間自上而下有向連接。波爾茲曼機(Boltzmannmachine—BM):類神經(jīng)元單元對稱連接成的網(wǎng)絡(luò)，通過類神經(jīng)元打開或者關(guān)閉來做出隨機決策。深層神經(jīng)網(wǎng)絡(luò)(DNN):一個帶有多隱藏層的多層感知器，它的權(quán)被完全連接，應(yīng)用一個半監(jiān)督或一個監(jiān)督預(yù)訓(xùn)練初始化。深層自動編碼器(Deepauto-encoder):一個輸出就是輸入本身的深層神經(jīng)網(wǎng)絡(luò)。)3.典型的深度學(xué)習(xí)結(jié)構(gòu)深度學(xué)習(xí)涉及相當(dāng)廣泛的機器學(xué)習(xí)技術(shù)和結(jié)構(gòu)，根據(jù)這些結(jié)構(gòu)和技術(shù)應(yīng)用的方式，可以將其分成如下三類:,)生成性深度結(jié)構(gòu)。該結(jié)構(gòu)描述數(shù)據(jù)的高階相關(guān)特性，或觀測數(shù)據(jù)和相應(yīng)類別的聯(lián)合概率分布。,)區(qū)分性深度結(jié)構(gòu)。目的是提供對模式分類的區(qū)分性能力，通常描述數(shù)據(jù)的后驗分布。;)混合型結(jié)構(gòu)。它的目標(biāo)是區(qū)分性的，但通常利用了生成型結(jié)構(gòu)的輸出會更易優(yōu)化1.生成性深度結(jié)構(gòu)在生成性深層結(jié)構(gòu)的不同子類中，最常見的是基于能量的深層模型(e.g.,Ngiametal.,2011;Bengio,2009;LeCunetal.,2007)始形式(HintonandSalakhutdinov,2006;Dengetal.,2010)就屬于一個典型的性質(zhì)和實現(xiàn)。例如，轉(zhuǎn)換自動編碼器(Hintonetal.,2010)，預(yù)測性稀疏編碼和它們間的堆疊，去噪自動編碼器和它們的疊加版本(Vincentetal.,2010).具KL層堆疊的去噪自動編碼器的輸入。另一個著名的生成模型是深層玻爾茲曼機(DBM)(SalakhutdinovandHinton,2009,2012;Srivastavaand2012)DBMBMsDBMDBM以用來微調(diào)模型。DBM1，我們就得到受限玻爾茲曼機(RBMDBM似沒有層之間的連接。RBMRBMs，RBM活作為下一層的訓(xùn)練數(shù)據(jù)，從而有效的學(xué)習(xí)多個隱藏層。這樣組成了深信度網(wǎng)(DBN)。DBNet.al.,2010)RBMmcRBM，RBMmcRBM，把它用在深層構(gòu)架的高層都是很困難的。另一個深生成架構(gòu)的是和-積網(wǎng)SPN(PoonandDomingo,2011;GensandDomingo,2012).SPN深層構(gòu)架中的有向無環(huán)圖，數(shù)據(jù)作為葉子，和運算和積運算作為內(nèi)部節(jié)點?！昂汀惫?jié)點給出混合模型和“積”節(jié)點建立特征層次結(jié)構(gòu)。SPNEMSPN，然后通過學(xué)習(xí)它的權(quán)值來尋SPNSPN這種困難(PoonandDomingo,2011)SPN(GensandDomingo,2012)，在這篇文章提出一個有效的反向傳播式區(qū)分訓(xùn)練算法克服了這個困難。Recurrentneuralnetworks(RNNs)是另一類重要的深層生成構(gòu)架，RNNRNNsRNNs“gradientexplosion”問題，導(dǎo)致它極難被訓(xùn)練。Hessian-free優(yōu)化的最新進展(Martens,2010)RNNs，在特征水平語言模型任務(wù)中，被用作一個生RNN力。最近，Bengioetal.(2013)andSutskever(2013)研究了在訓(xùn)練生成式RNNsHessian-free法。Mikolovetal.(2010RNNs區(qū)分性深度結(jié)構(gòu)在信號和信息過程中許多區(qū)分性技術(shù)都是淺層結(jié)構(gòu)，例如隱馬爾科夫過程(HMMs)，條件隨機域(CRFs).CRFCRFs(Yuetal.,2010a)CFRs于電話識別(YuandDeng,2010)，自然語言處理(Yuetal.,2010)和口語識別(Yuetal.,2010a)CRFsMorgan(2012)給出一個好的綜述，關(guān)于現(xiàn)存的應(yīng)用于語音識別的區(qū)分性模MLP他認為增加神經(jīng)網(wǎng)絡(luò)每一層的寬度(width)和深度(depth)是重要的。最近(Denget.al,2011;Dengetal.,2012a;Turetal.,2012;Lenaetal.,2012;Vinyalsetal.,2012)發(fā)展了一個新的學(xué)習(xí)構(gòu)架，有時稱深度堆疊網(wǎng)絡(luò)(DeepStackingNetworkDSN)，DSN(Hutchinsonetal,2012,2013)和核版本(Dengetal.,2012)。前面說過，遞歸神經(jīng)網(wǎng)絡(luò)(RNNs)已列的區(qū)分性模型。另一個區(qū)分性深度構(gòu)架是卷積神經(jīng)網(wǎng)絡(luò)(convolutionalneuralnetwork或CNN)，每一個模塊包含一個卷積層和一個池層(poolinglayer)。通常，這些模塊DNNCNN性或等方差，對于復(fù)雜的模式識別任務(wù)是不合適的，需要可以處理廣泛的不變性的原則性方法(Hintonetal.,2011).然而,CNN效且常被用于計算機視覺和圖像識別(BengioandLeCun,1995;LeCunetal.,1998;Ciresanetal.,2012;Leetal.,2012;Deanetal.,2012;Krizhevskyetal.,2012).最近，考慮CNN，CNN效的。(Abdel-Hamidetal.,2012;Sainathetal.,2013;Dengetal.,2013)需要指出的是，用于早期語音識別延時神經(jīng)網(wǎng)絡(luò)是CNN的一類特殊情形和原型，當(dāng)權(quán)值共享被限制為時間維度。最近發(fā)現(xiàn)，對于語音識別，(Abdel-Hamidetal.,2012;Dengetal.,2013)時間維度不變性不如頻率CNNCNNs分層時間記憶模型(HTM,HawkinsandBlakeslee,2004;Hawkinsetal.,2010;George,2008CNN:1.引進了時間維度來“監(jiān)督”信息用于區(qū)分:2，CNN而上的方式;3，用貝葉斯概率形式來融合信息和決策?；旌闲阅Ｐ突旌闲阅Ｐ屯瑫r包含或利用生成性和區(qū)分性模型部分?，F(xiàn)有的混合性模型里，可以輔助區(qū)分性模型，主要有一下兩個原因。1.參數(shù)估計問題中，生成性模型可以提供較好的初始點(在深度學(xué)習(xí)里引入，常用術(shù)語“預(yù)訓(xùn)練”，就是這個原因)。2.從正則化觀點看，生成性模型可以更有效的控制總體模型的復(fù)雜性。研究報告(Erhanetal.,2010)給出了深刻的分析和實驗數(shù)據(jù)支持以上兩個DBNDNNDBN(sequence-level而不是通常使用的框架水平(frame-level)cross-entropy)。DNNCRFDNN-CRFDNNHMMDNNHMM相關(guān)的淺層神經(jīng)網(wǎng)絡(luò)序列訓(xùn)練方法(Kingsbury,2009)法(Kingsburyetal.,2012)被提出。HMMRBMRBM(Ranzatoetal.,2011)(MRF)DBN信息和在在深層模型中每一層表示的損失。一個相關(guān)的工作(Stoyanovetal.,2011).，用經(jīng)驗風(fēng)險區(qū)分準(zhǔn)則來訓(xùn)練深層圖模型?；旌闲陨顚訕?gòu)架的另一個例子是使用一個生成模型預(yù)訓(xùn)練深層卷積神經(jīng)網(wǎng)絡(luò)(deepCNNs)(Leeetal.,2009,2010,2011).DNNCNNs最后一個混合性深層構(gòu)架是基于(Ney,1999;HeandDeng,2011)的思想和工作?？紤]的是一個區(qū)分任務(wù)(如，語音識別)產(chǎn)生的輸出(文本)，這個輸出有作為第二個區(qū)分任務(wù)(如，機器翻譯)的輸入。整個系統(tǒng)，提供了語音翻譯的功能(將一種語言輸入語音翻譯成另一種語言的文本)是一個兩階段的深層構(gòu)架，它包涵了生成和區(qū)分兩個部分元素。語音識別模型(如HMM)和機器翻譯(如短語映射和非單調(diào)校準(zhǔn))都是生成式的。但是它們的參數(shù)都是用區(qū)分式學(xué)得的。(HeandDeng,2011)中描述的框架，在整個深層框架中，可以端對端(end-to-end)地使用統(tǒng)一的學(xué)習(xí)框架執(zhí)行優(yōu)化，這種混合深度學(xué)習(xí)方法不僅可以應(yīng)用于語音翻譯也可以應(yīng)用于語音為中心的其他信息過程任務(wù)，例如語音信息檢索，語音理解，跨語言語言(或文本)理解和檢索，等等(e.g.,Yaminetal.,2008;Turetal.,2012;HeandDeng,20