深學(xué)習(xí)介紹演示文稿

深度學(xué)習(xí)介紹演示文稿當(dāng)前1頁(yè)，總共42頁(yè)。優(yōu)選深度學(xué)習(xí)介紹當(dāng)前2頁(yè)，總共42頁(yè)。主要內(nèi)容神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)介紹常用方法StackedAuto-EncoderConvolutionalNeuralNetworkDeepBeliefNetwork評(píng)價(jià)與應(yīng)用展望當(dāng)前3頁(yè)，總共42頁(yè)。神經(jīng)網(wǎng)絡(luò)在機(jī)器學(xué)習(xí)與認(rèn)知識(shí)別領(lǐng)域中，人工神經(jīng)網(wǎng)絡(luò)是一類(lèi)模擬生物神經(jīng)網(wǎng)絡(luò)（中樞神經(jīng)網(wǎng)絡(luò)，特別是大腦）的模型，用來(lái)預(yù)測(cè)（決策問(wèn)題）或估計(jì)基于大量未知數(shù)據(jù)的函數(shù)模型。人工神經(jīng)網(wǎng)絡(luò)一般呈現(xiàn)為相互關(guān)聯(lián)的“神經(jīng)元”相互交換信息的系統(tǒng)。在神經(jīng)元的連接中包含可根據(jù)經(jīng)驗(yàn)調(diào)整的權(quán)重，使得神經(jīng)網(wǎng)絡(luò)可以自適應(yīng)輸入，并且擁有學(xué)習(xí)能力。作為機(jī)器學(xué)習(xí)方法的一種，神經(jīng)網(wǎng)絡(luò)算法可以用來(lái)處理一系列傳統(tǒng)方法無(wú)法處理或處理難度較大的問(wèn)題，包括計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別方面等。當(dāng)前4頁(yè)，總共42頁(yè)。基本結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)的基本單元是神經(jīng)元。通過(guò)對(duì)所有輸入的加權(quán)求和與非線性映射得到該神經(jīng)元的輸出（激活值）。神經(jīng)網(wǎng)絡(luò)按照拓?fù)浣Y(jié)構(gòu)，屬于一神經(jīng)元為節(jié)點(diǎn)，以及節(jié)點(diǎn)間有向連接為為邊的一種圖，大體分為層狀與網(wǎng)狀兩大類(lèi)。常用激活函數(shù)：閾值函數(shù)雙向閾值函數(shù)

S型函數(shù)雙曲正切函數(shù)高斯函數(shù)神經(jīng)元模型當(dāng)前5頁(yè)，總共42頁(yè)。BP網(wǎng)絡(luò)前饋網(wǎng)絡(luò)的逐層計(jì)算：輸入值從輸入層單元通過(guò)連接權(quán)重加權(quán)激活逐層向前傳播經(jīng)過(guò)隱層最后到達(dá)輸出層得到輸出。在信號(hào)的向前傳遞過(guò)程中，網(wǎng)絡(luò)的權(quán)值是固定不變的，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。反向傳播算法：網(wǎng)絡(luò)的實(shí)際輸出與期望輸出之間的差值即為誤差信號(hào)。誤差信號(hào)由輸出端開(kāi)始逐層向前傳播,這是誤差信號(hào)的反向傳播。在誤差信號(hào)反向傳播的過(guò)程中,網(wǎng)絡(luò)的權(quán)值由誤差反饋進(jìn)行調(diào)節(jié)，通過(guò)權(quán)值的不斷修正使網(wǎng)絡(luò)的實(shí)際輸出更加接近期望輸出。前饋網(wǎng)絡(luò)結(jié)構(gòu)當(dāng)前6頁(yè)，總共42頁(yè)。說(shuō)明代價(jià)函數(shù)在遇到回歸問(wèn)題時(shí)，指定代價(jià)函數(shù)以使目標(biāo)變量的真實(shí)值和預(yù)測(cè)值的距離最小代價(jià)函數(shù)描述了網(wǎng)絡(luò)輸出與真實(shí)值之間的誤差。通過(guò)隨機(jī)梯度下降的方法最小化代價(jià)函數(shù)以提高網(wǎng)絡(luò)精度可以在代價(jià)函數(shù)中引入其他約束以滿(mǎn)足設(shè)定要求BP算法當(dāng)前7頁(yè)，總共42頁(yè)。反向傳播與梯度下降BP算法流程S型函數(shù)導(dǎo)數(shù)當(dāng)前8頁(yè)，總共42頁(yè)。主要問(wèn)題主要問(wèn)題易陷入局部極小而得不到全局最優(yōu)。訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢。對(duì)于隱層和隱節(jié)點(diǎn)的個(gè)數(shù)選擇,至今還沒(méi)有一個(gè)具體的定論，缺乏理論指導(dǎo)。訓(xùn)練時(shí)，學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)常用改進(jìn)方法添加動(dòng)量項(xiàng)采用改進(jìn)的梯度下降法MBP/MFBP算法當(dāng)前9頁(yè)，總共42頁(yè)。深度學(xué)習(xí)深度學(xué)習(xí)的基礎(chǔ)架構(gòu)來(lái)自于前饋神經(jīng)網(wǎng)絡(luò)與BP算法，構(gòu)造多層節(jié)點(diǎn)通過(guò)最小化代價(jià)函數(shù)的方法來(lái)提高分類(lèi)精度。對(duì)于傳統(tǒng)的ANN網(wǎng)絡(luò)而言，由于多層網(wǎng)絡(luò)訓(xùn)練的困難，實(shí)際使用的多數(shù)是只含有一層隱層節(jié)點(diǎn)的淺層模型。然而，不同于淺層的神經(jīng)網(wǎng)絡(luò)算法，深度學(xué)習(xí)更側(cè)重于如何通過(guò)增加網(wǎng)絡(luò)的深度，減小每層擬合的參數(shù)來(lái)提取出數(shù)據(jù)（尤其是語(yǔ)音與圖像數(shù)據(jù)）的高層特征信息，從而達(dá)到更高的測(cè)試性能與分類(lèi)精度。深度學(xué)習(xí)通過(guò)建立類(lèi)似于人腦的分層模型結(jié)構(gòu)，對(duì)輸入數(shù)據(jù)逐級(jí)提取從底層到高層的特征，從而能很好地建立從底層信號(hào)到高層語(yǔ)義的映射關(guān)系。傳統(tǒng)的機(jī)器學(xué)習(xí)方法，在訓(xùn)練數(shù)據(jù)量到達(dá)一定規(guī)模后，算法的學(xué)習(xí)能力就飽和了，而深度學(xué)習(xí)見(jiàn)不到底。當(dāng)前10頁(yè)，總共42頁(yè)。深度學(xué)習(xí)Anycontinuousfunctionfrominputtooutputcanbeimplementedinathree-layernet,givensufficientnumberofhiddenunitsandpropernonlinearitiesinactivationfunctionandweights.三層網(wǎng)絡(luò)，足夠多的節(jié)點(diǎn)，合適的激活函數(shù)與權(quán)重可以復(fù)現(xiàn)任意函數(shù)deepmodelscangivebetterapproximationtononlinearfunctionsthanshallowmodels.深層的模型相較于淺層逼近效果更好當(dāng)前11頁(yè)，總共42頁(yè)。深度學(xué)習(xí)深度學(xué)習(xí)的實(shí)質(zhì)，是通過(guò)構(gòu)建具有很多隱層的機(jī)器學(xué)習(xí)模型和海量的訓(xùn)練數(shù)據(jù)，以更少的參數(shù)與更深的結(jié)構(gòu)來(lái)學(xué)習(xí)更有用的特征，從而最終提升分類(lèi)或預(yù)測(cè)的準(zhǔn)確性。所以，“深度模型”是手段，“特征學(xué)習(xí)”是目的。區(qū)別于傳統(tǒng)的淺層學(xué)習(xí)，深度學(xué)習(xí)的不同在于：１）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層、甚至10多層的隱層節(jié)點(diǎn)；２）明確突出了特征學(xué)習(xí)的重要性，也就是說(shuō)，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而分類(lèi)或預(yù)測(cè)更加容易。由于含有很多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫(huà)，從而有利于可視化或分類(lèi)，深度學(xué)習(xí)算法逐漸成為分類(lèi)算法的一個(gè)大的分支。然而深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上難度很大。為此，可以通過(guò)“逐層初始化”（layer-wisepre-train）來(lái)有效克服當(dāng)前12頁(yè)，總共42頁(yè)。預(yù)訓(xùn)練與梯度消失現(xiàn)象由于早層的梯度是由后層的梯度項(xiàng)相乘得到，梯度會(huì)逐層衰減。而參數(shù)的隨機(jī)初始化意味著未訓(xùn)練前經(jīng)過(guò)權(quán)重、偏置的計(jì)算后神經(jīng)元早層丟失了大量的有用信息，從而導(dǎo)致后層的網(wǎng)絡(luò)學(xué)習(xí)率超過(guò)前層，BP算法收斂緩慢。當(dāng)神經(jīng)網(wǎng)絡(luò)有很多層時(shí)，就會(huì)面臨不穩(wěn)定的情況。對(duì)網(wǎng)絡(luò)的預(yù)訓(xùn)練可以較好地避免這種現(xiàn)象。這是因?yàn)椋簩?shí)驗(yàn)表明，在非凸優(yōu)化問(wèn)題上初始點(diǎn)的選擇十分重要無(wú)監(jiān)督學(xué)習(xí)增加了一個(gè)深層結(jié)構(gòu)的魯棒性預(yù)訓(xùn)練神經(jīng)網(wǎng)絡(luò)能夠?qū)W習(xí)到數(shù)據(jù)的不同的高質(zhì)量特征單純?cè)黾右粋€(gè)網(wǎng)絡(luò)的深度，如果沒(méi)有預(yù)訓(xùn)練進(jìn)行處理，會(huì)提高陷于局部極小點(diǎn)的可能性當(dāng)前13頁(yè)，總共42頁(yè)。實(shí)驗(yàn)對(duì)比當(dāng)數(shù)據(jù)進(jìn)行預(yù)處理后，神經(jīng)網(wǎng)絡(luò)迭代穩(wěn)定，分類(lèi)誤差保持在一個(gè)較低的水平；而當(dāng)數(shù)據(jù)沒(méi)有進(jìn)行預(yù)處理，隨著層數(shù)的增加分類(lèi)誤差迅速增大，代價(jià)函數(shù)也保持在一個(gè)較高的水平。這是由于預(yù)訓(xùn)練提取了圖像特征，不容易使得圖像限于較高的局部極小點(diǎn)，即更接近于全局的極小點(diǎn)，分類(lèi)效果要大大優(yōu)于無(wú)預(yù)訓(xùn)練的網(wǎng)絡(luò)。當(dāng)前14頁(yè)，總共42頁(yè)。自編碼器結(jié)構(gòu)單層自動(dòng)編碼器網(wǎng)絡(luò)（AutoEncoder）實(shí)質(zhì)上是一個(gè)三層的反向傳播神經(jīng)網(wǎng)絡(luò)。它逐層采用無(wú)監(jiān)督學(xué)習(xí)的方式，不使用標(biāo)簽調(diào)整權(quán)值，將輸入映射到隱藏層上，再經(jīng)過(guò)反變換映射到輸出上，實(shí)現(xiàn)輸入輸出的近似等價(jià)。自動(dòng)編碼器的主要思想是利用無(wú)監(jiān)督方式最小化重建誤差學(xué)習(xí)到的權(quán)重在分類(lèi)中提供了一個(gè)網(wǎng)絡(luò)初始化的較好的初始點(diǎn)。無(wú)監(jiān)督學(xué)習(xí)的主要目的是從無(wú)監(jiān)督的數(shù)據(jù)集中提取有用的特征，以減少輸入信息，保留數(shù)據(jù)中關(guān)鍵的有效信息。網(wǎng)絡(luò)通過(guò)沒(méi)有標(biāo)簽的數(shù)據(jù)學(xué)習(xí)到潛在的分布信息，有利于它區(qū)分有標(biāo)簽的信息。然而，在網(wǎng)絡(luò)中，權(quán)重仍然需要進(jìn)行微調(diào)。因此，需要在神經(jīng)網(wǎng)絡(luò)的頂部增加一個(gè)線性回歸，再對(duì)有標(biāo)簽的數(shù)據(jù)進(jìn)行處理。網(wǎng)絡(luò)的微調(diào)會(huì)采用梯度下降法，對(duì)所有層同時(shí)進(jìn)行調(diào)整。當(dāng)前15頁(yè)，總共42頁(yè)。自編碼器的建立建立AutoEncoder的方法是：對(duì)于m個(gè)數(shù)據(jù)的輸入，有：Code編碼:使用非線性激活函數(shù)，將維輸入數(shù)據(jù)映射到維隱含層（隱藏節(jié)點(diǎn)表示特征）其中W是一個(gè)的權(quán)重矩陣，b是一個(gè)d'維的偏移向量Decode解碼:通過(guò)反向映射，對(duì)映射后的數(shù)據(jù)進(jìn)行重建SAE網(wǎng)絡(luò)采用相同的權(quán)重，對(duì)數(shù)據(jù)進(jìn)行編碼與解碼。每一次訓(xùn)練輸入都會(huì)得到映射后的與解碼后的。通過(guò)對(duì)代價(jià)函數(shù)的最優(yōu)化可以得到訓(xùn)練集上的權(quán)重與偏置。當(dāng)前16頁(yè)，總共42頁(yè)。節(jié)點(diǎn)的稀疏性限制為了模擬人的大腦的識(shí)別，增強(qiáng)網(wǎng)絡(luò)的魯棒性，避免過(guò)擬合的發(fā)生，我們需要讓少部分中間隱藏神經(jīng)元的活躍度，也就是輸出值大于0，其他的大部分為0（或近似為0），這就是所謂的稀疏性。在人腦中有大量的神經(jīng)元，但是大多數(shù)自然圖像通過(guò)視覺(jué)進(jìn)入人腦時(shí)，只會(huì)刺激到少部分神經(jīng)元，大部分神經(jīng)元都是出于抑制狀態(tài)的。而且，大多數(shù)自然圖像，都可以被表示為少量基本元素（面或者線）的疊加。稀疏性處理能夠更加有助于我們用少量的神經(jīng)元提取出自然圖像更加本質(zhì)的特征。從數(shù)學(xué)的角度來(lái)說(shuō)，稀疏編碼是一種多維數(shù)據(jù)描述方法，數(shù)據(jù)經(jīng)稀疏編碼后僅有少數(shù)分量同時(shí)處于明顯激活狀態(tài)。在實(shí)際應(yīng)用中，稀疏編碼有如下幾個(gè)優(yōu)點(diǎn)：編碼方案存儲(chǔ)能力大，具有聯(lián)想記憶能力，并且計(jì)算簡(jiǎn)便；使自然信號(hào)的結(jié)構(gòu)更加清晰；事實(shí)上，這一簡(jiǎn)單的自編碼神經(jīng)網(wǎng)絡(luò)通?？梢詫W(xué)習(xí)出一個(gè)跟主元分析（PCA）結(jié)果非常相似的輸入數(shù)據(jù)的低維表示。當(dāng)前17頁(yè)，總共42頁(yè)。圖像實(shí)驗(yàn)原始圖像隱含層特征

Randomlypickoneofthe10imagesfrommat-file,thenrandomlysamplean8×8imagepatchfromtheselectedimage,andconverttheimagepatchintoa64-dimensionalvectortogetatrainingexample可以看到，AE在圖像處理的特征提取中可以作為邊緣檢測(cè)器學(xué)習(xí)到圖像邊緣信息當(dāng)前18頁(yè)，總共42頁(yè)。StackedAutoEncoder一個(gè)AE模型有1個(gè)可視層、1個(gè)隱含層1個(gè)重建層。通過(guò)自下而上的映射，實(shí)現(xiàn)編碼與反編碼重建：激活函數(shù)TiedWeight有助于等分模型參數(shù)minimizeCOST

FUNCTIONupdate梯度下降當(dāng)前19頁(yè)，總共42頁(yè)。StackedAutoEncoderIfthesubsequentclassifierisimplementedasaneuralnetworktoo,parametersthroughoutthewholenetworkcanbeadjustedslightlywhilewearetrainingtheclassifier.Thisstepiscalledfine-tuning.Forlogisticregression,thetrainingissimplybackpropagation,searchingforaminimuminaperipheralregionofparametersinitializedbytheformerstep.分類(lèi)層和訓(xùn)練層可以一同進(jìn)行調(diào)整。這一步叫fine-tuning。當(dāng)前20頁(yè)，總共42頁(yè)。參數(shù)設(shè)置：設(shè)置好激活函數(shù)、學(xué)習(xí)率、迭代步數(shù)、訓(xùn)練層數(shù)等一系列基本參數(shù)構(gòu)建SAE網(wǎng)絡(luò)：分層建立輸入-輸出-輸入的AE網(wǎng)絡(luò)，并對(duì)權(quán)值與偏置初始化SAE預(yù)訓(xùn)練：對(duì)網(wǎng)絡(luò)只傳入訓(xùn)練數(shù)據(jù)，在有限迭代步數(shù)下進(jìn)行無(wú)監(jiān)督的學(xué)習(xí)，以期望學(xué)得數(shù)據(jù)特征，得到權(quán)值與偏置的初始值參數(shù)微調(diào)：將SAE網(wǎng)絡(luò)轉(zhuǎn)化成輸入-輸出的NN網(wǎng)絡(luò)并傳入訓(xùn)練標(biāo)簽，即放棄輸出到輸入的反向映射，進(jìn)行反向傳播學(xué)習(xí)，減小訓(xùn)練誤差測(cè)試：對(duì)測(cè)試數(shù)據(jù)進(jìn)行神經(jīng)網(wǎng)絡(luò)測(cè)試，得到結(jié)果SAE構(gòu)建方法當(dāng)前21頁(yè)，總共42頁(yè)。ExampleDefinedByUser空間去冗余壓縮當(dāng)前22頁(yè)，總共42頁(yè)。實(shí)驗(yàn)總結(jié)1.訓(xùn)練時(shí)間與迭代步數(shù)、層數(shù)、節(jié)點(diǎn)數(shù)、數(shù)據(jù)量四者成明顯的線性關(guān)系；而測(cè)試時(shí)間僅對(duì)層數(shù)、節(jié)點(diǎn)數(shù)較敏感，成近似線性2.隨著迭代步數(shù)的增加，分類(lèi)精度迅速提高，然而分類(lèi)有其上限，過(guò)多的迭代步數(shù)無(wú)法提高分類(lèi)精度；不同的數(shù)據(jù)所適用的網(wǎng)絡(luò)層數(shù)不一致，并不是層數(shù)越高，效果越理想；對(duì)節(jié)點(diǎn)的實(shí)驗(yàn)表明，神經(jīng)網(wǎng)絡(luò)更適用于數(shù)據(jù)的壓縮，單層過(guò)高的節(jié)點(diǎn)數(shù)會(huì)降低分類(lèi)效果；同時(shí)，數(shù)據(jù)量也比較明顯地影響著分類(lèi)精度。3.對(duì)數(shù)據(jù)進(jìn)行降維處理，并與之前的實(shí)驗(yàn)結(jié)果進(jìn)行對(duì)比。實(shí)驗(yàn)表明，向SAE網(wǎng)絡(luò)中引入降維的數(shù)據(jù)并不能很好的提高分類(lèi)效果4.對(duì)比其他分類(lèi)算法SVM與KNN，實(shí)驗(yàn)表明，SAE網(wǎng)絡(luò)更適合于大量數(shù)據(jù)的學(xué)習(xí)，而SVM與KNN淺層網(wǎng)絡(luò)訓(xùn)練與測(cè)試所用時(shí)間更短，而且可以在較少的數(shù)據(jù)量下獲得比較良好的分類(lèi)效果。當(dāng)前23頁(yè)，總共42頁(yè)。CNN基本知識(shí)卷積神經(jīng)網(wǎng)絡(luò)是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語(yǔ)音分析和圖像識(shí)別領(lǐng)域的研究熱點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類(lèi)似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。該優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)的更為明顯，可以使圖像直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過(guò)程。卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、比例縮放、傾斜或者其他形式的變形具有高度不變性。卷積網(wǎng)絡(luò)的核心思想是將：局部感受野、權(quán)值共享以及降采樣這三種結(jié)構(gòu)思想結(jié)合起來(lái)獲得了某種程度的位移、尺度、形變不變性，以達(dá)到圖像降維的特征學(xué)習(xí)與分類(lèi)。當(dāng)前24頁(yè)，總共42頁(yè)。稀疏連接卷積神經(jīng)網(wǎng)絡(luò)采用上下層節(jié)點(diǎn)間局部連接的方式構(gòu)建網(wǎng)絡(luò)，也就是說(shuō)每個(gè)隱含層的節(jié)點(diǎn)只與一部分連續(xù)的輸入點(diǎn)連接，這樣模擬了人大腦皮層中視覺(jué)皮層不同位置只對(duì)局部區(qū)域有響應(yīng)這一現(xiàn)象。局部連接網(wǎng)絡(luò)在神經(jīng)網(wǎng)絡(luò)中是采用卷積的方法來(lái)實(shí)現(xiàn)。對(duì)于自然圖像來(lái)說(shuō)，因?yàn)樗鼈兙哂斜旧砉逃械奶匦裕磮D像中某個(gè)部分的統(tǒng)計(jì)特征和其它部位的相似，因此我們學(xué)習(xí)到的某個(gè)部位的特征也同樣適用于其它部位。這就在稀疏網(wǎng)絡(luò)處理圖像在神經(jīng)網(wǎng)絡(luò)中應(yīng)用的理論基礎(chǔ)。當(dāng)前25頁(yè)，總共42頁(yè)。權(quán)重共享在卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每一個(gè)卷積濾波器重復(fù)的作用于整個(gè)感受野中，對(duì)輸入圖像進(jìn)行卷積，卷積結(jié)果構(gòu)成了輸入圖像的特征圖，提取出圖像的局部特征。每一個(gè)卷積濾波器共享相同的參數(shù)，包括相同的權(quán)重矩陣和偏置項(xiàng)。當(dāng)前26頁(yè)，總共42頁(yè)。圖像特性同一平面層的神經(jīng)元權(quán)值相同，有相同程度的位移、旋轉(zhuǎn)不變性。每個(gè)特征提取后都緊跟著一個(gè)用來(lái)求局部平均與二次提取的亞取樣層。這種特有的兩次特征提取結(jié)構(gòu)使得網(wǎng)絡(luò)對(duì)輸入樣本有較高的畸變?nèi)萑棠芰ΑＲ簿褪钦f(shuō)，卷積神經(jīng)網(wǎng)絡(luò)通過(guò)局部感受野、共享權(quán)值和亞取樣來(lái)保證圖像對(duì)位移、縮放、扭曲的魯棒性。當(dāng)前27頁(yè)，總共42頁(yè)。池采樣在通過(guò)卷積獲得了特征(features)之后，下一步我們希望利用這些特征去做分類(lèi)。理論上講，人們可以用所有提取得到的特征去訓(xùn)練分類(lèi)器，例如softmax分類(lèi)器，但這樣做面臨計(jì)算量的挑戰(zhàn)。例如：對(duì)于一個(gè)96X96像素的圖像，假設(shè)我們已經(jīng)學(xué)習(xí)得到了400個(gè)定義在8X8輸入上的特征，每一個(gè)特征和圖像卷積都會(huì)得到一個(gè)(96?8+1)*(96?8+1)=7921維的卷積特征，由于有400個(gè)特征，所以每個(gè)樣例(example)都會(huì)得到一個(gè)892*400=3,168,400維的卷積特征向量。學(xué)習(xí)一個(gè)擁有超過(guò)3百萬(wàn)特征輸入的分類(lèi)器十分不便，并且容易出現(xiàn)過(guò)擬合(over-fitting)。當(dāng)前28頁(yè)，總共42頁(yè)。池采樣為了描述大的圖像，一個(gè)很自然的想法就是對(duì)不同位置的特征進(jìn)行聚合統(tǒng)計(jì)，例如，人們可以計(jì)算圖像一個(gè)區(qū)域上的某個(gè)特定特征的平均值(或最大值)。這些概要統(tǒng)計(jì)特征不僅具有低得多的維度(相比使用所有提取得到的特征)，同時(shí)還會(huì)改善結(jié)果(不容易過(guò)擬合)。這種聚合的操作就叫做池化(pooling)，有時(shí)也稱(chēng)為平均池化或者最大池化(取決于計(jì)算池化的方法)。當(dāng)前29頁(yè)，總共42頁(yè)。LeNet-5當(dāng)前30頁(yè)，總共42頁(yè)。深度置信網(wǎng)絡(luò)深度置信網(wǎng)絡(luò)（DeepBeliefNet，DBN）是擁有深層架構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，其中包含多個(gè)隱含層，而使用DBN的障礙在于如何訓(xùn)練這樣的深層網(wǎng)絡(luò)。通常情況下，由于網(wǎng)絡(luò)權(quán)值的隨機(jī)初始化，基于梯度的優(yōu)化容易陷入局部最小值。Hinton等提出了一種新的貪婪逐層非監(jiān)督算法來(lái)初始化基于受限玻爾茲曼機(jī)（RestrictedBoltzmannMachine，RBM）的DBN。這個(gè)算法提供了網(wǎng)絡(luò)權(quán)值的初始化方法，隨后使用基于梯度的算法如梯度下降法來(lái)微調(diào)網(wǎng)絡(luò)權(quán)值。當(dāng)前31頁(yè)，總共42頁(yè)。受限玻爾茲曼機(jī)RBM只有兩層神經(jīng)元，有m個(gè)可視節(jié)點(diǎn)和n個(gè)隱藏節(jié)點(diǎn)，其中每個(gè)可視節(jié)點(diǎn)只和n個(gè)隱藏節(jié)點(diǎn)相關(guān)，和其他可視節(jié)點(diǎn)是獨(dú)立的，就是這個(gè)可視節(jié)點(diǎn)的狀態(tài)只受n個(gè)隱藏節(jié)點(diǎn)的影響，對(duì)于每個(gè)隱藏節(jié)點(diǎn)也是，只受m個(gè)可視節(jié)點(diǎn)的影響，這個(gè)特點(diǎn)使得RBM的訓(xùn)練變得容易。注意這兩層間的對(duì)稱(chēng)(雙向)連接。RBM網(wǎng)絡(luò)有幾個(gè)參數(shù)，一個(gè)是可視層與隱藏層之間的權(quán)重矩陣，一個(gè)是可視節(jié)點(diǎn)的偏移量b，一個(gè)是隱藏節(jié)點(diǎn)的偏移量c，這幾個(gè)參數(shù)決定了RBM網(wǎng)絡(luò)將一個(gè)m維的樣本編碼成一個(gè)什么樣的n維的樣本。受限玻爾茲曼機(jī)當(dāng)前32頁(yè)，總共42頁(yè)。RBM介紹RBM區(qū)別于BM的一點(diǎn)是，前者要求層內(nèi)神經(jīng)元之間沒(méi)有連接，而后者允許層內(nèi)連接定義能量函數(shù)聯(lián)合概率分布性質(zhì)：給定可見(jiàn)層時(shí)，隱藏層神經(jīng)元激活條件獨(dú)立；反之亦然給定訓(xùn)練樣本訓(xùn)練一個(gè)RBM意味著調(diào)整參數(shù)以擬合給定訓(xùn)練樣本。數(shù)學(xué)推導(dǎo)可知，該問(wèn)題等價(jià)于求下述函數(shù)最大值當(dāng)前33頁(yè)，總共42頁(yè)。假設(shè)每個(gè)節(jié)點(diǎn)取值都在集合{0,1}中，即?i,j,vi∈{0,1},hj∈{0,1}。當(dāng)前34頁(yè)，總共42頁(yè)。DBN對(duì)于給定的x=(x1,x2?xn)，隱藏節(jié)點(diǎn)的第j個(gè)特征的取值為1的概率為P(hj=1|v)=σ(∑wij×vi+cj)其中的v取值就是x，hj

的取值就是yj，也就是說(shuō)，編碼后的樣本y的第j個(gè)位置的取值為1的概率是p(hj=1|v)。所以，生成yj

的過(guò)程就是：i）先利用公式p(hj=1|v)=σ(∑wij×vi+cj)，根據(jù)x的值計(jì)算概率p(hj=1|v)，其中vi

的取值就是xi

的值。ii）然后產(chǎn)生一個(gè)0到1之間的隨機(jī)數(shù)，如果它小于p(hj=1|v)，yj

的取值就是1，否則就是0。當(dāng)前35頁(yè)，總共42頁(yè)。DBN反過(guò)來(lái)，現(xiàn)在知道了一個(gè)編碼后的樣本y，想要知道原來(lái)的樣本x，即解碼過(guò)程，跟上面也是同理，過(guò)程如下：i）先利用公式p(vi=1|h)=σ(∑wji×hj+bi)，根據(jù)y的值計(jì)算概率p(hj=1|v)，其中hj

的取值就是yj

的值。ii）然后產(chǎn)生一個(gè)0到1之間的隨機(jī)數(shù)，如果它小于p(vi=1|h)，