【深度學(xué)習(xí)的應(yīng)用與前景綜述報(bào)告7800字（論文）】

深度學(xué)習(xí)的應(yīng)用與前景綜述報(bào)告摘要本文以探究隨機(jī)生成神經(jīng)網(wǎng)絡(luò)受限玻爾茲曼機(jī)(RestrictedBoltzmannMachine,RBM)的貪婪層訓(xùn)練方法來(lái)展開(kāi)深度學(xué)習(xí)技術(shù)應(yīng)用介紹，利用反向傳播算法(BackPropagation,BP)對(duì)受限玻爾茲曼機(jī)進(jìn)行誤差反饋訓(xùn)練，比較了反向傳播算法中三種梯度下降方法對(duì)受限玻爾茲曼機(jī)的訓(xùn)練效果，其中隨機(jī)梯度下降方法對(duì)神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果最好，因此推薦在線神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)使用該反向傳播梯度下降方法，而對(duì)于離線深度學(xué)習(xí)網(wǎng)絡(luò)，建議使用隨機(jī)小批量梯度下降算法。本文也歸納總結(jié)了深度學(xué)習(xí)網(wǎng)絡(luò)的深層結(jié)構(gòu)特征，提出了最流行的5層深度網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)方法，分析了在深度學(xué)習(xí)網(wǎng)絡(luò)輸入層中添加非線性激活函數(shù)的必要性以及各網(wǎng)絡(luò)層添加通用激活函數(shù)的優(yōu)點(diǎn)，提出了深度學(xué)習(xí)網(wǎng)絡(luò)輸出層利用線性激活函數(shù)進(jìn)行修正的方法。本文還總結(jié)了幾種如今比較流行的深度學(xué)習(xí)網(wǎng)絡(luò)的特點(diǎn)和應(yīng)用場(chǎng)景：深度卷積神經(jīng)網(wǎng)絡(luò)、深度循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)時(shí)記憶網(wǎng)絡(luò)等，最后總結(jié)了深度學(xué)習(xí)技術(shù)在各領(lǐng)域今后的應(yīng)用發(fā)展方向。關(guān)鍵詞：深度神經(jīng)網(wǎng)絡(luò)；監(jiān)督學(xué)習(xí)；受限玻爾茲曼機(jī)；BP算法；激活函數(shù)目錄TOC\o"1-3"\h\u27151第一章前言 427953第二章機(jī)器學(xué)習(xí)與深度學(xué)習(xí) 5163482.1反向傳播算法分類(lèi) 6296522.2深度神經(jīng)網(wǎng)絡(luò)輸入與輸出數(shù)據(jù) 6213612.3深度學(xué)習(xí)算法的最終目標(biāo)-分類(lèi)器 79562.4深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)DNN結(jié)構(gòu)分析 8101第三章BP梯度下降方法 1012539第四章深度卷積神經(jīng)網(wǎng)絡(luò)與其他新式網(wǎng)絡(luò) 1232244第五章結(jié)論 1317289參考文獻(xiàn) 14第一章前言深度學(xué)習(xí)是機(jī)器學(xué)習(xí)中最接近未來(lái)人工智能發(fā)展方向的研究領(lǐng)域，機(jī)器學(xué)習(xí)是一門(mén)以數(shù)學(xué)理論、邏輯算法為基礎(chǔ)，以現(xiàn)代計(jì)算機(jī)為輔助工具的多領(lǐng)域交叉學(xué)科。機(jī)器學(xué)習(xí)是一門(mén)專(zhuān)門(mén)研究通過(guò)計(jì)算機(jī)去主動(dòng)模擬人的思考和行為過(guò)程，不通過(guò)人工干預(yù)而由計(jì)算機(jī)本身來(lái)完成某些特定動(dòng)作或者思想實(shí)踐的學(xué)科。近年來(lái)，機(jī)器學(xué)習(xí)研究者們不斷地通過(guò)經(jīng)驗(yàn)主動(dòng)學(xué)習(xí)改進(jìn)機(jī)器學(xué)習(xí)相關(guān)算法的性能，各領(lǐng)域收集本領(lǐng)域的專(zhuān)屬數(shù)據(jù)，通過(guò)機(jī)器學(xué)習(xí)進(jìn)行特性挖掘，給用戶展現(xiàn)特定的應(yīng)用場(chǎng)景，提升了各領(lǐng)域業(yè)務(wù)系統(tǒng)的科技感和多樣性以及用戶粘性。機(jī)器學(xué)習(xí)的本質(zhì)是利用過(guò)去大量完備的特征數(shù)據(jù)加上人們的經(jīng)驗(yàn)去訓(xùn)練新的數(shù)據(jù)，得到最接近人的判斷的預(yù)期結(jié)果。通俗地說(shuō)，機(jī)器學(xué)習(xí)是將實(shí)際問(wèn)題轉(zhuǎn)化成數(shù)學(xué)建模問(wèn)題，利用機(jī)器程序來(lái)指導(dǎo)現(xiàn)代高性能計(jì)算機(jī)進(jìn)行人類(lèi)學(xué)習(xí)。20世紀(jì)50年代，美國(guó)機(jī)器學(xué)習(xí)先驅(qū)塞繆爾將國(guó)際象棋的規(guī)則和優(yōu)秀選手的下棋方法相結(jié)合，通過(guò)計(jì)算機(jī)編程學(xué)習(xí)判斷當(dāng)前棋局情況，得出下一步的最優(yōu)走法，并因此擊敗了當(dāng)時(shí)美國(guó)的全國(guó)冠軍，從那一刻起，他被稱(chēng)為機(jī)器學(xué)習(xí)之父。機(jī)器學(xué)習(xí)是人工智能發(fā)展的起點(diǎn)，也是現(xiàn)代信息技術(shù)應(yīng)用最廣泛的技術(shù)之一。在我國(guó)互聯(lián)網(wǎng)系統(tǒng)中也隨處可見(jiàn)機(jī)器學(xué)習(xí)算法的應(yīng)用，例如百度的網(wǎng)頁(yè)搜索算法、各社交網(wǎng)站聊天內(nèi)容的過(guò)濾算法、淘寶等購(gòu)物網(wǎng)站的用戶感興趣商品推薦算法、谷歌翻譯中的自然語(yǔ)言處理算法、高德地圖的路徑最優(yōu)算法以及應(yīng)用在相機(jī)和智能手機(jī)上的模式識(shí)別算法等等，這些機(jī)器學(xué)習(xí)算法應(yīng)用在人們現(xiàn)代信息生活的方方面面。傳統(tǒng)的機(jī)器學(xué)習(xí)技能需求雜亂的引擎來(lái)構(gòu)建形式辨認(rèn)體系，而且需求許多的特征選擇等專(zhuān)業(yè)知識(shí)手動(dòng)設(shè)計(jì)特征提取器來(lái)處理原始數(shù)據(jù)，因而其一般化學(xué)習(xí)才能有限。2006年，Hinton等人提出了一種端到端的深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練的辦法。此后，深度學(xué)習(xí)這一研究主題收到計(jì)算機(jī)學(xué)術(shù)界的重視，學(xué)術(shù)界和產(chǎn)業(yè)界紛紛掀起了深度學(xué)習(xí)研討的新高潮。這種貪婪的分層訓(xùn)練辦法使深度學(xué)習(xí)成為機(jī)器學(xué)習(xí)研討的新范疇。深度學(xué)習(xí)是模仿人類(lèi)大腦的剖析和學(xué)習(xí)，經(jīng)過(guò)模仿聲音、圖畫(huà)、文本辨認(rèn)等機(jī)制來(lái)解釋數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。從構(gòu)建數(shù)學(xué)模型的視點(diǎn)來(lái)看，深度學(xué)習(xí)是一種提取并規(guī)范雜亂特征的辦法，在網(wǎng)絡(luò)層中運(yùn)用幾個(gè)簡(jiǎn)略的非線性函數(shù)模型，將原始數(shù)據(jù)轉(zhuǎn)換為更高階的特征表征，并組合多層轉(zhuǎn)換，學(xué)習(xí)并提取十分雜亂的功用特征，然后和現(xiàn)有的機(jī)器學(xué)習(xí)算法的中心上的差異，是復(fù)數(shù)的，有隱藏特征提取的人類(lèi)的參加人員設(shè)計(jì)的，而是經(jīng)過(guò)一個(gè)一起的學(xué)習(xí)進(jìn)程的數(shù)據(jù)從自我學(xué)習(xí)的事情。深度學(xué)習(xí)算法廣泛應(yīng)用于音頻圖像、自然語(yǔ)言處理、以及在線生成廣告、動(dòng)畫(huà)渲染等方面的應(yīng)用領(lǐng)域。就實(shí)際應(yīng)用發(fā)展速度及運(yùn)用貢獻(xiàn)而言，深度學(xué)習(xí)是十年機(jī)器學(xué)習(xí)算進(jìn)程中最有期望、有產(chǎn)業(yè)化價(jià)值的研討課題。本文綜合了深度學(xué)習(xí)的運(yùn)用技能，總結(jié)了國(guó)內(nèi)外聞名文獻(xiàn)中深度學(xué)習(xí)的課題研討可行性。第二章機(jī)器學(xué)習(xí)與深度學(xué)習(xí)機(jī)器學(xué)習(xí)算法通常又被分為有監(jiān)督學(xué)習(xí)算法和無(wú)監(jiān)督學(xué)習(xí)算法，有無(wú)監(jiān)督關(guān)鍵在于用于訓(xùn)練數(shù)據(jù)的標(biāo)簽是否已知。通俗地說(shuō)，有監(jiān)督學(xué)習(xí)就是老師帶著你學(xué)，你通過(guò)老師能夠得到問(wèn)題的答案從而去判斷你給出得答案的對(duì)錯(cuò)，這次答案錯(cuò)了沒(méi)關(guān)系，等下次再遇到這個(gè)問(wèn)題的時(shí)候你能修正錯(cuò)誤答案提交正確答案；而無(wú)監(jiān)督學(xué)習(xí)是沒(méi)有老師帶著你學(xué)，你需要自己自學(xué)，學(xué)到什么程度受很多因素的影響，到最后你得自己從這些學(xué)習(xí)過(guò)程中總結(jié)、歸納出正確答案。有監(jiān)督學(xué)習(xí)基本覆蓋80%的機(jī)器學(xué)習(xí)算法，比較常用的有K近鄰算法、決策樹(shù)、樸素貝葉斯算法等等。深度學(xué)習(xí)作為機(jī)器學(xué)習(xí)的研究課題之一，也被分為有監(jiān)督深度學(xué)習(xí)算法和無(wú)監(jiān)督深度學(xué)習(xí)算法。為了建立一個(gè)端到端的深度學(xué)習(xí)網(wǎng)絡(luò)，就需要需求搜集校準(zhǔn)問(wèn)題的許多注釋數(shù)據(jù)。例如，要建立自動(dòng)學(xué)習(xí)辨認(rèn)手寫(xiě)數(shù)字的深度學(xué)習(xí)系統(tǒng)，就需求搜集許多的手寫(xiě)數(shù)字圖畫(huà)，并在各個(gè)圖畫(huà)上標(biāo)注對(duì)應(yīng)的數(shù)字。如圖1所示，搜集的練習(xí)數(shù)據(jù)用于體系，假設(shè)其數(shù)學(xué)目標(biāo)函數(shù)為H(x)，即訓(xùn)練數(shù)據(jù)x的體系假定效果H(x)與實(shí)際效果Y的差錯(cuò)越小的學(xué)習(xí)越好，簡(jiǎn)單的說(shuō)，我給出數(shù)字5的各種圖片，算法能夠最終給出H(5)=5這個(gè)結(jié)果，當(dāng)然，對(duì)于不同圖片中的數(shù)字形象，經(jīng)過(guò)大量的目標(biāo)訓(xùn)練，最小化兩者之間的誤差來(lái)更新學(xué)習(xí)型假定H(x)。假如體系假定有像房?jī)r(jià)這樣的預(yù)測(cè)問(wèn)題，那就被稱(chēng)為回歸問(wèn)題。另一種猜測(cè)值是經(jīng)過(guò)手寫(xiě)數(shù)字辨認(rèn)的離散值，y只有10個(gè)值。圖1有監(jiān)督學(xué)習(xí)算法流程示意圖下面我們以最經(jīng)典的手寫(xiě)數(shù)字識(shí)別為例來(lái)介紹深度學(xué)習(xí)的應(yīng)用。在手寫(xiě)數(shù)字識(shí)別網(wǎng)絡(luò)訓(xùn)練過(guò)程中，我們假設(shè)系統(tǒng)輸入一個(gè)手寫(xiě)數(shù)字x的圖像經(jīng)過(guò)網(wǎng)絡(luò)學(xué)習(xí)得到一個(gè)10維數(shù)組向量，即輸出類(lèi)的結(jié)果向量，結(jié)果向量的每個(gè)分量值對(duì)應(yīng)于每個(gè)y值類(lèi)別的概率。研究者期望請(qǐng)求的手寫(xiě)數(shù)字所對(duì)應(yīng)的類(lèi)別在所有類(lèi)別中具有最高的小數(shù)值。因此，對(duì)于每個(gè)手寫(xiě)數(shù)字圖片數(shù)據(jù)的標(biāo)簽類(lèi)，我們定義一個(gè)等維向量，通過(guò)計(jì)算標(biāo)簽向量與系統(tǒng)訓(xùn)練的輸出向量之間的范式距離或誤差，然后，通過(guò)誤差反饋至前向網(wǎng)絡(luò)來(lái)修改系統(tǒng)假定的內(nèi)部調(diào)整參數(shù)以最小化每個(gè)類(lèi)別的錯(cuò)誤率。在深度學(xué)習(xí)網(wǎng)絡(luò)中，可調(diào)節(jié)的未知參數(shù)通常稱(chēng)為權(quán)重，這是在實(shí)踐和學(xué)習(xí)中必須處理的指導(dǎo)方針。系統(tǒng)假設(shè)函數(shù)H(x)定義了深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)模型的輸入/輸出。2.1反向傳播算法分類(lèi)常見(jiàn)的誤差反向傳播算法包括批量梯度下降方法、隨機(jī)小批量梯度下降方法以及隨機(jī)梯度下降方法。這些算法的目的是適當(dāng)調(diào)整神經(jīng)網(wǎng)絡(luò)各層的權(quán)重向量，通過(guò)計(jì)算每個(gè)輸出結(jié)果的權(quán)重向量得到的網(wǎng)絡(luò)傳遞梯度參數(shù)來(lái)修正網(wǎng)絡(luò)的下一輸入權(quán)重。對(duì)權(quán)重增加少量后，通過(guò)增加或減少權(quán)重來(lái)完成策略函數(shù)的調(diào)整。不同之處在于樣本的使用方式。批量梯度下降算法對(duì)訓(xùn)練集中的所有樣本誤差進(jìn)行計(jì)算求和，取平均值作為目標(biāo)函數(shù)的輸出。分量向量向梯度的相反方向移動(dòng)，以最小化當(dāng)前的目標(biāo)函數(shù)的變量。全訓(xùn)練樣本數(shù)據(jù)的目標(biāo)函數(shù)被認(rèn)為是加權(quán)高維空間中的山地景觀，所有樣本的目標(biāo)函數(shù)是尋找山的最低方向。此時(shí)，負(fù)斜率方向急劇下降，說(shuō)明該方向的平均產(chǎn)值損失接近最小值。微梯度下降算法效率低下，容易陷入次優(yōu)解，也就是欠擬合。因?yàn)槊看卧L問(wèn)都會(huì)更新每個(gè)迭代樣本的平均誤差，對(duì)于幾個(gè)練習(xí)樣本的深度需要更多的計(jì)算。因此，隨機(jī)梯度下降算法被廣泛使用。目標(biāo)函數(shù)不是整個(gè)樣本或一小組樣本的平均誤差，而是單個(gè)樣本的平均誤差，即目標(biāo)函數(shù)的斜率代替更新后的單個(gè)樣本的加權(quán)平均值樣本。取另一個(gè)樣本并重復(fù)該過(guò)程，直到目標(biāo)函數(shù)的平均值下降。隨機(jī)梯度下降是每個(gè)樣本的迭代更新。如果樣本量很大，我們更新所有樣本的整批梯度下降的權(quán)重，我們將必要的隨機(jī)梯度下降更新到只有少數(shù)樣本具有合理權(quán)重的情況。這種簡(jiǎn)單有效的過(guò)程通常避免了偏優(yōu)解的更新迭代收斂。與凌亂的優(yōu)化算法相比，易于完成，收斂速度快。由于采樣是隨機(jī)的，所以會(huì)有一些迭代，不可能選擇很多樣本。隨機(jī)小批量梯度下降是一種流行的方法，它在一定程度上結(jié)合了兩種方法的優(yōu)點(diǎn)。每當(dāng)從訓(xùn)練樣本集中隨機(jī)選擇一個(gè)小樣本集時(shí)，批量梯度下降算法迭代更新以更新小樣本集。在實(shí)踐中，大多數(shù)情況下，樣本集是隨機(jī)分組的，每組中的樣本是相同的。每組通常有10-100個(gè)樣本。設(shè)置了梯度下降，但是小樣本的超級(jí)更新集對(duì)于團(tuán)隊(duì)樣本來(lái)說(shuō)很小。變更處理。一個(gè)次梯度下降，重復(fù)重寫(xiě)所有更新，一個(gè)完整訓(xùn)練批次的更新（epoch）然后被稱(chēng)為隨機(jī)并進(jìn)入下一次更新，通常是30-200次迭代。在每次迭代中，學(xué)習(xí)率可以乘以一個(gè)小于1的常數(shù)，從而得到較小的學(xué)習(xí)率，這有助于避免次優(yōu)解。2.2深度神經(jīng)網(wǎng)絡(luò)輸入與輸出數(shù)據(jù)在深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)完成、網(wǎng)絡(luò)層參數(shù)初始化準(zhǔn)備完畢后，網(wǎng)絡(luò)訓(xùn)練數(shù)據(jù)該出場(chǎng)了。通常我們將用于訓(xùn)練的神經(jīng)網(wǎng)絡(luò)數(shù)據(jù)分為幾個(gè)集合：訓(xùn)練集、測(cè)試集、驗(yàn)證集。訓(xùn)練集是用來(lái)將神經(jīng)網(wǎng)絡(luò)模型進(jìn)行特征擬合的，也是系統(tǒng)最終收斂的最大工程。一般地，我們稱(chēng)用于優(yōu)化網(wǎng)絡(luò)參數(shù)的數(shù)據(jù)稱(chēng)為訓(xùn)練集數(shù)據(jù)，用于測(cè)試網(wǎng)絡(luò)訓(xùn)練性能的數(shù)據(jù)被稱(chēng)為驗(yàn)證集。近年來(lái)，跟著數(shù)據(jù)集分類(lèi)辦法的改善，神經(jīng)網(wǎng)絡(luò)的訓(xùn)練效果越來(lái)越好。除了訓(xùn)練數(shù)據(jù)分類(lèi)優(yōu)化能夠改善神經(jīng)網(wǎng)絡(luò)模型的性能之外，訓(xùn)練迭代地更新每個(gè)訓(xùn)練樣本的輸出權(quán)重，然后用一組測(cè)試數(shù)據(jù)樣本替換訓(xùn)練數(shù)據(jù)樣本，以測(cè)驗(yàn)一次訓(xùn)練效果。當(dāng)達(dá)到最佳值時(shí)，停止迭代更新。引進(jìn)測(cè)試集，由于訓(xùn)練和學(xué)習(xí)進(jìn)程觸及測(cè)驗(yàn)樣本集，且不合適評(píng)價(jià)模型的作用。因而，現(xiàn)在學(xué)界將樣本分為三個(gè)獨(dú)立的部分：練習(xí)、驗(yàn)證和測(cè)驗(yàn)。在神經(jīng)網(wǎng)絡(luò)訓(xùn)練過(guò)程中，我們運(yùn)用驗(yàn)證集來(lái)評(píng)價(jià)模型參數(shù)是否達(dá)到最佳，運(yùn)用獨(dú)立于網(wǎng)絡(luò)訓(xùn)練過(guò)程之外的測(cè)驗(yàn)集來(lái)測(cè)驗(yàn)?zāi)Ｐ妥R(shí)別新樣本的能力，也就是通常所說(shuō)的模型泛化能力。2.3深度學(xué)習(xí)算法的最終目標(biāo)-分類(lèi)器線性分類(lèi)器是現(xiàn)在被廣泛運(yùn)用的簡(jiǎn)略有效的二分類(lèi)器。首先，核算樣本數(shù)據(jù)的各部分的特征的加權(quán)和。當(dāng)總和高于給定閾值時(shí)，將輸入分配給特定類(lèi)別。不然，輸入被分配給其他類(lèi)別。線性分類(lèi)器簡(jiǎn)略地在樣本空間中找到超平面，并將樣本空間分紅兩部分。圖畫(huà)和言語(yǔ)的問(wèn)題需求敏感的體系因素，例如方位、方向、光的水平、說(shuō)話者的語(yǔ)諧和方言(圖2和3)，以及圖2的貓和山貓的寶寶看起來(lái)像貓的小差異。像素級(jí)，貓方位的圖畫(huà)在不同的環(huán)境中，或者只是為了拍攝不同視點(diǎn)(圖3)，一個(gè)完全不同的外觀和貓一匹山貓稚子同様?shù)姆轿?，在相同的環(huán)境下，對(duì)任何一個(gè)線性分類(lèi)器和膚淺的分類(lèi)器能夠直接處理，但這和被分類(lèi)為同一類(lèi)的。一切的淺分類(lèi)器都能夠經(jīng)過(guò)人工挑選來(lái)簡(jiǎn)略地區(qū)別方針的幾個(gè)重要因素，但即便如此也無(wú)法區(qū)別動(dòng)物的方位和姿態(tài)。深度學(xué)習(xí)不需求手動(dòng)挑選好的特征提取器，但是能夠經(jīng)過(guò)一般的練習(xí)進(jìn)程主動(dòng)地學(xué)習(xí)好的特征，而且在像素級(jí)別上更簡(jiǎn)略區(qū)別貓和猞猁。圖2區(qū)別猞猁幼息和貓圖3區(qū)別同一只貓不同拍攝視點(diǎn)深度信念網(wǎng)絡(luò)（DeepBeliefNetwork,DBN）是典型的由受限玻爾茲曼機(jī)（RBM）組成的深度學(xué)習(xí)架構(gòu)。通過(guò)這個(gè)快速學(xué)習(xí)表學(xué)習(xí)基礎(chǔ)知識(shí)。然后將多個(gè)層的低層特征組合起來(lái)，形成一個(gè)更通用的高層特征，并利用外層計(jì)算非線性輸出映射。如果每一層都是線性結(jié)構(gòu)，那么多層線性組合的疊加還是線性的，最終的輸入輸出和單層線性結(jié)構(gòu)一樣。因此，需要許多非線性I/O結(jié)構(gòu)來(lái)為公式添加選擇性和不變性。一個(gè)深度信念網(wǎng)絡(luò)的深度可以從5層到20層，但系統(tǒng)可以接收非常復(fù)雜的輸入數(shù)據(jù)，輸出性能也受計(jì)算機(jī)和計(jì)算算法的影響。但深度信念網(wǎng)絡(luò)的優(yōu)勢(shì)還是很明顯的，它不僅可以檢測(cè)小貓和貓之間的細(xì)微差異，還可以忽略風(fēng)景、姿勢(shì)、光線和環(huán)境等外界干擾。2.4深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)DNN結(jié)構(gòu)分析使用最廣泛的深度神經(jīng)網(wǎng)絡(luò)(DeepNeuralNetworks,DNN)架構(gòu)如圖4所示，有五層。第一層為樣本數(shù)據(jù)輸入層，第二層為輸入數(shù)據(jù)處理層，占所有網(wǎng)絡(luò)層節(jié)點(diǎn)的1/3~2/3,第三層為數(shù)據(jù)特征提取規(guī)范層，其節(jié)點(diǎn)數(shù)是第二層的1/3~2/3。第二層和第三層參數(shù)初始化后，經(jīng)過(guò)第一次反向傳播，是第四層和第五層的反向傳播參數(shù)，第三層、第四層的下一次訓(xùn)練輸入又是第二層和第三層的反向傳播參數(shù)。第五層的節(jié)點(diǎn)數(shù)等于原始數(shù)據(jù)層的節(jié)點(diǎn)數(shù)，也是輸出數(shù)據(jù)類(lèi)別數(shù)。第五層重構(gòu)第一層的輸入數(shù)據(jù)，最小化輸入數(shù)據(jù)經(jīng)過(guò)網(wǎng)絡(luò)變換后的信息，但經(jīng)過(guò)多層傳播后，數(shù)據(jù)很多特征會(huì)被放棄，會(huì)出現(xiàn)過(guò)擬合或者欠擬合結(jié)果。從第三層到第五層，低維數(shù)據(jù)逐層重構(gòu)。重構(gòu)錯(cuò)誤應(yīng)該盡可能小。在降維過(guò)程中，只保留重構(gòu)原始數(shù)據(jù)所需的屬性信息。它優(yōu)化調(diào)整每一層的權(quán)重并最小化特征向量計(jì)算誤差以完成主動(dòng)特征學(xué)習(xí)。最后，我們將輸出分類(lèi)層添加到頂部。對(duì)于二分類(lèi)問(wèn)題，輸入節(jié)點(diǎn)數(shù)為1，輸出節(jié)點(diǎn)為2。對(duì)于多類(lèi)問(wèn)題，輸出節(jié)點(diǎn)數(shù)等于類(lèi)數(shù)。長(zhǎng)期以來(lái)，沒(méi)有明確的方法來(lái)調(diào)整DNN節(jié)點(diǎn)的數(shù)量，最流行的DNN結(jié)構(gòu)僅用于說(shuō)明目的。對(duì)于其他應(yīng)用，需要優(yōu)化二層節(jié)點(diǎn)和三層節(jié)點(diǎn)的數(shù)量。圖4通用五層DNN結(jié)構(gòu)第三章BP梯度下降方法可以使用簡(jiǎn)單的隨機(jī)梯度下降來(lái)練習(xí)多層深度神經(jīng)網(wǎng)絡(luò)。如果模塊輸入和內(nèi)部權(quán)重是比較穩(wěn)定的特征，可以使用反向通信算法來(lái)計(jì)算斜率。反向傳輸算法等價(jià)于計(jì)算多層神經(jīng)網(wǎng)絡(luò)權(quán)重代價(jià)函數(shù)梯度的鏈?zhǔn)椒▌t。逆?zhèn)鬟f之后，可以從輸出分類(lèi)層傳遞到數(shù)據(jù)輸入層的輸出梯度推導(dǎo)出目標(biāo)函數(shù)的輸入梯度。可以考慮隨機(jī)初始化網(wǎng)絡(luò)各層節(jié)點(diǎn)之間的權(quán)重，計(jì)算練習(xí)集中目標(biāo)函數(shù)的值，根據(jù)目標(biāo)函數(shù)的最小值修改權(quán)重，然后直接修改父節(jié)點(diǎn)。迭代完成。重復(fù)直到合規(guī)停止。前饋神經(jīng)網(wǎng)絡(luò)用于深度學(xué)習(xí)的許多應(yīng)用中。每層之間的輸入/輸出大小是固定的。非線性激活函數(shù)用于激活上一層輸入神經(jīng)元的加權(quán)和，并將它們輸出到下一層的節(jié)點(diǎn)。最常見(jiàn)的潤(rùn)滑非線性激活函數(shù)是TanH、Sigmoid等。最常見(jiàn)的激活函數(shù)是修正線性單元（RectifiedLinearUnit,ReLU），它不僅加快了深度神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)速度，還避免了一些不需要先驗(yàn)訓(xùn)練的優(yōu)化問(wèn)題。輸入層和輸出層之外的中間層節(jié)點(diǎn)稱(chēng)為隱藏層元素。隱藏層可以看作是一系列非線性變換。通過(guò)將輸入數(shù)據(jù)映射到最終的輸出層，可以將輸出層的數(shù)據(jù)樣本線性分離。到2006年，大多數(shù)機(jī)器學(xué)習(xí)團(tuán)隊(duì)已經(jīng)放棄了反向傳播算法和神經(jīng)網(wǎng)絡(luò)。因?yàn)楹?jiǎn)單的梯度下降對(duì)于一些深度前饋網(wǎng)絡(luò)優(yōu)化不是很好。欣頓等人。提出了一種基于DBN的貪婪無(wú)監(jiān)督學(xué)習(xí)算法及其具體的補(bǔ)全過(guò)程。該算法采用堆疊式主動(dòng)編碼神經(jīng)網(wǎng)絡(luò)依次訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)的每一層，并將訓(xùn)練效果作為深度神經(jīng)網(wǎng)絡(luò)的初始權(quán)重?；诖?，逆向傳遞練習(xí)的多層深層結(jié)構(gòu)也是逆向傳遞的預(yù)訓(xùn)練過(guò)程。我們以圖5中最流行的DNN結(jié)構(gòu)為例。圖5顯示了每一層如何堆疊自己的編碼器，其中前一層的輸出成為下一層的輸入。如圖4所示，在深度網(wǎng)絡(luò)的第一層，第一個(gè)自編碼器預(yù)處理W1，第二個(gè)自編碼器預(yù)處理W2。每個(gè)自動(dòng)編碼器選擇一個(gè)RBM模型，并選擇一個(gè)高速的亮度發(fā)散算法來(lái)練習(xí)每一層的權(quán)重。預(yù)訓(xùn)練時(shí)，無(wú)需數(shù)據(jù)標(biāo)簽參與，重構(gòu)原始數(shù)據(jù)，完成訓(xùn)練權(quán)重。這是一個(gè)無(wú)監(jiān)督的學(xué)習(xí)過(guò)程。RBM只能快速學(xué)習(xí)更準(zhǔn)確的初始值，最終微調(diào)只需要符號(hào)數(shù)據(jù)。因此，該方法特別適用于無(wú)符號(hào)數(shù)據(jù)量和無(wú)符號(hào)數(shù)據(jù)量較小的情況。在小標(biāo)簽數(shù)據(jù)集上，無(wú)監(jiān)督預(yù)訓(xùn)練有助于避免匹配。如果有足夠多的符號(hào)練習(xí)數(shù)據(jù)和合適的激活函數(shù)，之前的這些練習(xí)將是不必要的，這將使深度學(xué)習(xí)成為具有開(kāi)創(chuàng)性意義的新研究熱點(diǎn)。大數(shù)據(jù)和小數(shù)據(jù)的愿景契合了大數(shù)據(jù)時(shí)代的背景。圖5逐層貪婪預(yù)練習(xí)第一個(gè)劃時(shí)代的運(yùn)用是語(yǔ)音辨認(rèn)，圖形處理器(GPU)的開(kāi)發(fā)將深度網(wǎng)絡(luò)的練習(xí)速度提高了10~20倍。自2009年以來(lái)，語(yǔ)音辨認(rèn)基準(zhǔn)測(cè)驗(yàn)取得了驚人的效果，2012年，一些語(yǔ)音辨認(rèn)團(tuán)隊(duì)為Android移動(dòng)操作體系開(kāi)發(fā)了深度神經(jīng)網(wǎng)絡(luò)版本。第四章深度卷積神經(jīng)網(wǎng)絡(luò)與其他新式網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（CNN）具有局部連接、權(quán)重共享、池化、多層網(wǎng)絡(luò)等特點(diǎn)，比全連接神經(jīng)網(wǎng)絡(luò)具有更好的泛化和識(shí)別能力。在不放棄卷積神經(jīng)網(wǎng)絡(luò)層數(shù)和反向傳播算法的基礎(chǔ)性下，手寫(xiě)數(shù)字圖片識(shí)別方法所提出的五層深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在計(jì)算機(jī)視覺(jué)研究領(lǐng)域中被廣泛應(yīng)用，其學(xué)習(xí)效果得到的預(yù)期結(jié)果在其領(lǐng)域內(nèi)取得了巨大的成就，例如在目標(biāo)檢測(cè)、圖像分割、策略識(shí)別、攝影渲染等領(lǐng)域得到了成功的應(yīng)用。隨著深度學(xué)習(xí)的興起和英偉達(dá)圖形處理器并行處理性能的進(jìn)步，支持添加非線性激活函數(shù)ReLU的10-20層深度卷積網(wǎng)絡(luò)架構(gòu)幾乎可以將計(jì)算機(jī)視覺(jué)處理等應(yīng)用的錯(cuò)誤率減半。卷積神經(jīng)網(wǎng)絡(luò)現(xiàn)在幾乎可以用于任何識(shí)別、分類(lèi)和預(yù)測(cè)任務(wù)。神經(jīng)網(wǎng)絡(luò)層中前饋神經(jīng)網(wǎng)絡(luò)模型應(yīng)該設(shè)置相同的參數(shù)條件或者假設(shè)，換句話說(shuō)，訓(xùn)練樣本是獨(dú)立的且規(guī)范化的隨機(jī)數(shù)據(jù)樣本，例如與時(shí)間序列相關(guān)的音頻數(shù)據(jù)。如果采樣時(shí)間足夠長(zhǎng)，模型假設(shè)樣本是獨(dú)立的。循環(huán)神經(jīng)網(wǎng)絡(luò)(RecurrentNeuralNetwork,RNN)是一個(gè)專(zhuān)門(mén)用來(lái)處理輸入序列問(wèn)題的神經(jīng)網(wǎng)絡(luò)模型。如圖6所示，循環(huán)神經(jīng)網(wǎng)絡(luò)一次處理一個(gè)輸入序列元素，并在網(wǎng)絡(luò)隱藏層中添加包含過(guò)去序列元素的歷史信息向量。RNN是一個(gè)強(qiáng)大的在線學(xué)習(xí)系統(tǒng)。循環(huán)神經(jīng)網(wǎng)絡(luò)應(yīng)用比較多的領(lǐng)域有機(jī)器翻譯、自然語(yǔ)言處理等。但是，我們使用反向傳輸算法來(lái)練習(xí)循環(huán)神經(jīng)網(wǎng)絡(luò)的斜率，每個(gè)瞬間的距離，以及上升或下降的可能性，所以斜率的急劇增加或減少只會(huì)導(dǎo)致202失敗。長(zhǎng)時(shí)記憶網(wǎng)絡(luò)（LongShort-TermMemory,LSTM）是一種增強(qiáng)型RNN，它使用特殊的隱式單元來(lái)增強(qiáng)RNN的記憶模塊。在語(yǔ)音識(shí)別系統(tǒng)中，LSTM能夠?qū)⑤斎氲穆曇魯?shù)據(jù)轉(zhuǎn)換為文本序列數(shù)據(jù)，這樣接下來(lái)的網(wǎng)絡(luò)就可以對(duì)這些序列數(shù)據(jù)進(jìn)行訓(xùn)練學(xué)習(xí)。圖6遞歸神經(jīng)網(wǎng)絡(luò)的輸入與輸出關(guān)系簡(jiǎn)圖第五章結(jié)論本文總結(jié)了機(jī)器學(xué)習(xí)算法中最偏向人工智能的深度學(xué)習(xí)算法的發(fā)展和實(shí)際應(yīng)用效果，回顧了學(xué)習(xí)深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)反向傳播算法的漸進(jìn)深度，以及如何練習(xí)優(yōu)化誤差反向傳播算法等問(wèn)題。在針對(duì)三種誤差反向傳播算法梯度下降這一塊進(jìn)行對(duì)比分析后，將它們用于在線學(xué)習(xí)系統(tǒng)中，以促進(jìn)大家的需求。而對(duì)于離線深度學(xué)習(xí)網(wǎng)絡(luò)，建議使用隨機(jī)小批量梯度下降算法。本文總結(jié)了深度學(xué)習(xí)中深度結(jié)構(gòu)的特點(diǎn)，介紹了最常見(jiàn)的5層深度結(jié)構(gòu)設(shè)計(jì)技巧。我們分析了非線性激活函數(shù)ReLU、TanH的需求以及前饋神經(jīng)網(wǎng)絡(luò)中常用激活函數(shù)的優(yōu)勢(shì)，最后還總結(jié)了幾種如今比較流行的深度學(xué)習(xí)網(wǎng)絡(luò)的特點(diǎn)和應(yīng)用場(chǎng)景：深度卷積神經(jīng)網(wǎng)絡(luò)、深度循環(huán)神經(jīng)網(wǎng)絡(luò)、長(zhǎng)時(shí)記憶網(wǎng)絡(luò)等，最后總結(jié)了深度學(xué)習(xí)技術(shù)在各領(lǐng)域今后的應(yīng)用發(fā)展方向。2014年，Hinton提出了受限玻爾茲曼機(jī)的預(yù)訓(xùn)練和誤差反向傳播微調(diào)相結(jié)合的神經(jīng)網(wǎng)絡(luò)訓(xùn)練方法開(kāi)啟了新一輪的深度學(xué)習(xí)研究熱潮，因此有監(jiān)督神經(jīng)網(wǎng)絡(luò)的在各行各業(yè)的實(shí)際應(yīng)用中的有效性記錄不斷被打破，而無(wú)監(jiān)督神經(jīng)網(wǎng)絡(luò)的學(xué)術(shù)上研究進(jìn)展就比較緩