深度學(xué)習(xí)的基本理論與方法PPT學(xué)習(xí)課件

深度學(xué)習(xí)的基本理論與方法成科揚(yáng)2013年10月30日19/3/2023目錄概述動機(jī)深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的性能比較深度學(xué)習(xí)的應(yīng)用展望參考文獻(xiàn)相關(guān)程序軟件及鏈接29/3/2023概述深度學(xué)習(xí)：一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的學(xué)習(xí)方法可能的的名稱：深度學(xué)習(xí)特征學(xué)習(xí)無監(jiān)督特征學(xué)習(xí)39/3/2023動機(jī)良好的特征表達(dá)，對最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用；識別系統(tǒng)主要的計算和測試工作耗時主要集中在特征提取部分；特征的樣式目前一般都是人工設(shè)計的，靠人工提取特征。Low-levelsensingPre-processingFeatureextract.FeatureselectionInference:prediction,recognition傳統(tǒng)的模式識別方法：49/3/2023動機(jī)——為什么要自動學(xué)習(xí)特征實驗：LP-βMultipleKernelLearningGehlerandNowozin,OnFeatureCombinationforMulticlassObjectClassification,ICCV’09采用39個不同的特征PHOG,SIFT,V1S+,

RegionCov.Etc.在普通特征上MKL表現(xiàn)有限結(jié)論：特征更重要59/3/2023動機(jī)——為什么要自動學(xué)習(xí)特征機(jī)器學(xué)習(xí)中，獲得好的特征是識別成功的關(guān)鍵目前存在大量人工設(shè)計的特征，不同研究對象特征不同，特征具有多樣性，如：SIFT,HOG,LBP等手工選取特征費(fèi)時費(fèi)力，需要啟發(fā)式專業(yè)知識，很大程度上靠經(jīng)驗和運(yùn)氣是否能自動地學(xué)習(xí)特征？69/3/2023中層特征中層信號：動機(jī)——為什么要自動學(xué)習(xí)特征“Tokens”fromVisionbyD.Marr:連續(xù)平行連接拐角物體部件:他們對于人工而言是十分困難的，那么如何學(xué)習(xí)呢？79/3/2023動機(jī)——為什么要自動學(xué)習(xí)特征一般而言，特征越多，給出信息就越多，識別準(zhǔn)確性會得到提升；但特征多，計算復(fù)雜度增加，探索的空間大，可以用來訓(xùn)練的數(shù)據(jù)在每個特征上就會稀疏。結(jié)論：不一定特征越多越好！需要有多少個特征，需要學(xué)習(xí)確定。89/3/2023動機(jī)——為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)人腦視覺機(jī)理1981年的諾貝爾醫(yī)學(xué)獎獲得者DavidHubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機(jī)制發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細(xì)胞就會活躍99/3/2023動機(jī)——為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)人腦視覺機(jī)理人的視覺系統(tǒng)的信息處理是分級的高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖抽象層面越高，存在的可能猜測就越少，就越利于分類109/3/2023動機(jī)——為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)視覺的層次性屬性學(xué)習(xí)，類別作為屬性的一種組合映射Lampertetal.CVPR’09類別標(biāo)簽屬性圖像特征119/3/2023動機(jī)——為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)特征表示的粒度具有結(jié)構(gòu)性（或者語義）的高層特征對于分類更有意義129/3/2023動機(jī)——為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)初級（淺層）特征表示高層特征或圖像，往往是由一些基本結(jié)構(gòu)（淺層特征）組成的139/3/2023動機(jī)——為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)結(jié)構(gòu)性特征表示149/3/2023動機(jī)——為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)淺層學(xué)習(xí)的局限人工神經(jīng)網(wǎng)絡(luò)（BP算法）—雖被稱作多層感知機(jī)，但實際是種只含有一層隱層節(jié)點(diǎn)的淺層模型SVM、Boosting、最大熵方法（如LR，LogisticRegression）—帶有一層隱層節(jié)點(diǎn)（如SVM、Boosting），或沒有隱層節(jié)點(diǎn)（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受限。159/3/2023深度學(xué)習(xí)2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實現(xiàn)的。169/3/2023深度學(xué)習(xí)本質(zhì)：通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可為無標(biāo)簽數(shù)據(jù)），來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測的準(zhǔn)確性?！吧疃饶Ｐ汀笔鞘侄?，“特征學(xué)習(xí)”是目的。與淺層學(xué)習(xí)區(qū)別：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點(diǎn)；2）明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。179/3/2023深度學(xué)習(xí)好處：可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。189/3/2023深度學(xué)習(xí)vs.神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)：深度學(xué)習(xí)：199/3/2023深度學(xué)習(xí)vs.神經(jīng)網(wǎng)絡(luò)相同點(diǎn)：二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只有相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無連接，每一層可以看作是一個logistic回歸模型。不同點(diǎn)：神經(jīng)網(wǎng)絡(luò)：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個網(wǎng)絡(luò)。隨機(jī)設(shè)定初值，計算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學(xué)習(xí)：采用逐層訓(xùn)練機(jī)制。采用該機(jī)制的原因在于如果采用BP機(jī)制，對于一個deepnetwork（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradientdiffusion（梯度擴(kuò)散）。209/3/2023深度學(xué)習(xí)vs.神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的局限性：1）比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；2）訓(xùn)練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；219/3/2023深度學(xué)習(xí)訓(xùn)練過程不采用BP算法的原因（1）反饋調(diào)整時，梯度越來越稀疏，從頂層越往下，誤差校正信號越來越?。唬?）收斂易至局部最小，由于是采用隨機(jī)值初始化，當(dāng)初值是遠(yuǎn)離最優(yōu)區(qū)域時易導(dǎo)致這一情況；（3）BP算法需要有標(biāo)簽數(shù)據(jù)來訓(xùn)練，但大部分?jǐn)?shù)據(jù)是無標(biāo)簽的；229/3/2023深度學(xué)習(xí)訓(xùn)練過程第一步：采用自下而上的無監(jiān)督學(xué)習(xí)1）逐層構(gòu)建單層神經(jīng)元。2）每層采用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。這個過程可以看作是一個featurelearning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分。239/3/2023深度學(xué)習(xí)訓(xùn)練過程wake-sleep算法:1）wake階段：認(rèn)知過程，通過下層的輸入特征（Input）和向上的認(rèn)知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當(dāng)前的生成（Decoder）權(quán)重產(chǎn)生一個重建信息（Reconstruction），計算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權(quán)重。也就是“如果現(xiàn)實跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實一樣”。2）sleep階段：生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認(rèn)知（Encoder）權(quán)重產(chǎn)生一個抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認(rèn)知（Encoder）權(quán)重。也就是“如果夢中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個概念”。249/3/2023深度學(xué)習(xí)訓(xùn)練過程EncoderDecoderInputImageClasslabele.g.FeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:259/3/2023深度學(xué)習(xí)訓(xùn)練過程第二步：自頂向下的監(jiān)督學(xué)習(xí)

這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)上，在最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、SVM等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個網(wǎng)絡(luò)參數(shù)。深度學(xué)習(xí)的第一步實質(zhì)上是一個網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果。269/3/2023深度學(xué)習(xí)的具體模型及方法自動編碼器（AutoEncoder）稀疏自動編碼器(SparseAutoEncoder)降噪自動編碼器(DenoisingAutoEncoders)279/3/2023深度學(xué)習(xí)的具體模型及方法EncoderDecoderInput(Image/Features)OutputFeaturese.g.Feed-back/

generative/

top-downpathFeed-forward/

bottom-uppath自動編碼器（AutoEncoder）289/3/2023深度學(xué)習(xí)的具體模型及方法σ(Wx)σ(WTz)(Binary)Inputx(Binary)Featuresze.g.自動編碼器（AutoEncoder）EncoderfiltersWSigmoidfunctionσ(.)DecoderfiltersWTSigmoidfunctionσ(.)299/3/2023深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)限制每次得到的表達(dá)code盡量稀疏限制每次得到的表達(dá)code盡量稀疏309/3/2023深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)FiltersFeaturesSparseCodingInput

Patch319/3/2023深度學(xué)習(xí)的具體模型及方法σ(Wx)DzInputPatchxSparseFeaturesze.g.EncoderfiltersWSigmoidfunctionσ(.)DecoderfiltersDL1SparsityTraining稀疏自動編碼器(SparseAutoEncoder)329/3/2023深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)1）Training階段：給定一系列的樣本圖片[x1,x2,…]，我們需要學(xué)習(xí)得到一組基[Φ1,Φ2,…]，也就是字典。

可使用K-SVD方法交替迭代調(diào)整a[k]，Φ[k]，直至收斂，從而可以獲得一組可以良好表示這一系列x的字典。339/3/2023深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)2）Coding階段：給定一個新的圖片x，由上面得到的字典，利用OMP算法求解一個LASSO問題得到稀疏向量a。這個稀疏向量就是這個輸入向量x的一個稀疏表達(dá)。349/3/2023深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(SparseAutoEncoder)359/3/2023深度學(xué)習(xí)的具體模型及方法降噪自動編碼器(DenoisingAutoEncoders)在自動編碼器的基礎(chǔ)上，對訓(xùn)練數(shù)據(jù)加入噪聲，自動編碼器必須學(xué)習(xí)去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學(xué)習(xí)輸入信號的更加魯棒的表達(dá)，這也是它的泛化能力比一般編碼器強(qiáng)的原因。369/3/2023深度學(xué)習(xí)的具體模型及方法Autoencoder(mostDeepLearningmethods)RBMs/DBMs [Lee/Salakhutdinov]Denoisingautoencoders [Ranzato]Predictivesparsedecomposition

[Ranzato]Decoder-onlySparsecoding [Yu]DeconvolutionalNets [Yu]

Encoder-onlyNeuralnets(supervised) [Ranzato]379/3/2023深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）定義：假設(shè)有一個二部圖，同層節(jié)點(diǎn)之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是隨機(jī)二值（0，1值）變量節(jié)點(diǎn)，同時假設(shè)全概率分布p(v,h)滿足Boltzmann分布，我們稱這個模型是RestrictedBoltzmannMachine(RBM)。389/3/2023深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）限制波爾茲曼機(jī)（RBM）是一種深度學(xué)習(xí)模型。399/3/2023深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）定義聯(lián)合組態(tài)（jointconfiguration）能量：這樣某個組態(tài)的聯(lián)合概率分布可以通過Boltzmann分布和這個組態(tài)的能量來確定：409/3/2023深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）給定隱層h的基礎(chǔ)上，可視層的概率確定：（可視層節(jié)點(diǎn)之間是條件獨(dú)立的）給定可視層v的基礎(chǔ)上，隱層的概率確定：419/3/2023深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（RestrictedBoltzmannMachine）

待求問題：給定一個滿足獨(dú)立同分布的樣本集：D={v(1),v(2),…,v(N)}，需要學(xué)習(xí)模型參數(shù)θ={W,a,b}。

求解：

最大似然估計：我們需要選擇一個參數(shù)，讓我們當(dāng)前的觀測樣本的概率最大對最大對數(shù)似然函數(shù)求導(dǎo)，即可得到L最大時對應(yīng)的參數(shù)W：若隱藏層層數(shù)增加，可得到DeepBoltzmannMachine(DBM)429/3/2023深度學(xué)習(xí)的具體模型及方法DeepBoltzmannMachine(DBM)439/3/2023深度學(xué)習(xí)的具體模型及方法深信度網(wǎng)絡(luò)（DeepBeliefNetworks）DeepBeliefNetworks是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò)（即有向圖模型），而在最遠(yuǎn)離可視層的部分使用RestrictedBoltzmannMachine的模型。449/3/2023深度學(xué)習(xí)的具體模型及方法深信度網(wǎng)絡(luò)（DeepBeliefNetworks）459/3/2023深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（ConvolutionalRBM）

CRBM是為識別二維圖像信息而特殊設(shè)計的一個多層感知器。概念示范：輸入圖像通過與m個可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，在C1層產(chǎn)生m個特征映射圖，然后特征映射圖中每組的n個像素再進(jìn)行求和，加權(quán)值，加偏置，通過一個Sigmoid函數(shù)得到m個S2層的特征映射圖。這些映射圖再進(jìn)過濾波得到C3層。這個層級結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。469/3/2023深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（ConvolutionalRBM）權(quán)值共享減少參數(shù)的方法：每個神經(jīng)元無需對全局圖像做感受，只需感受局部區(qū)域（FeatureMap），在高層會將這些感受不同局部的神經(jīng)元綜合起來獲得全局信息。每個神經(jīng)元參數(shù)設(shè)為相同，即權(quán)值共享，也即每個神經(jīng)元用同一個卷積核去卷積圖像。479/3/2023深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（ConvolutionalRBM）隱層神經(jīng)元數(shù)量的確定神經(jīng)元數(shù)量與輸入圖像大小、濾波器大小和濾波器的滑動步長有關(guān)。例如，輸入圖像是1000x1000像素，濾波器大小是10x10，假設(shè)濾波器間沒有重疊，即步長為10，這樣隱層的神經(jīng)元個數(shù)就是(1000x1000)/(10x10)=10000個489/3/2023深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（ConvolutionalRBM）多濾波器情形不同的顏色表示不同種類的濾波器每層隱層神經(jīng)元的個數(shù)按濾波器種類的數(shù)量翻倍每層隱層參數(shù)個數(shù)僅與濾波器大小、濾波器種類的多少有關(guān)例如：隱含層的每個神經(jīng)元都連接10x10像素圖像區(qū)域，同時有100種卷積核（濾波器）。則參數(shù)總個數(shù)為：（10x10+1）x100=10100個499/3/2023深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（ConvolutionalRBM）卷積過程：用一個可訓(xùn)練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是FeatureMap了），然后加一個偏置bx，得到卷積層Cx。子采樣過程：每鄰域n個像素通過池化（pooling）步驟變?yōu)橐粋€像素，然后通過標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過一個sigmoid激活函數(shù)，產(chǎn)生一個大概縮小n倍的特征映射圖Sx+1。509/3/2023深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（ConvolutionalRBM）CNN的關(guān)鍵技術(shù)：局部感受野、權(quán)值共享、時間或空間子采樣CNN的優(yōu)點(diǎn)：1、避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；2、同一特征映射面上的神經(jīng)元權(quán)值相同，從而網(wǎng)絡(luò)可以并行學(xué)習(xí)，降低了網(wǎng)絡(luò)的復(fù)雜性；3、采用時間或者空間的子采樣結(jié)構(gòu)，可以獲得某種程度的位移、尺度、形變魯棒性；3、輸入信息和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能很好的吻合，在語音識別和圖像處理方面有著獨(dú)特優(yōu)勢。519/3/2023深度學(xué)習(xí)的具體模型及方法基于CRBM的深度學(xué)習(xí)框架529/3/2023深度學(xué)習(xí)性能比較DeepnetsVS.Boosting539/3/2023深度學(xué)習(xí)性能比較DeepnetsVS.ProbabilisticModels549/3/2023深度學(xué)習(xí)性能比較隨機(jī)文法模型SetofproductionrulesforobjectsZhu&Mumford,StochasticGrammarofImages,F&T2006自動學(xué)習(xí)人工指定[S.C.Zhuetal.]559/3/2023深度學(xué)習(xí)性能比較基于文法模型的物體檢測-R.Girshick,P.Felzenszwalb,D.McAllester,NIPS2011-Learnlocalappearance

&shape人工指定自動學(xué)習(xí)569/3/2023深度學(xué)習(xí)性能比較部件和結(jié)構(gòu)模型DefinedconnectivitygraphLearnappearance/relativeposition[Felzenszwalb&HuttenlocherCVPR’00][FischlerandR.Elschlager1973]人工指定自動學(xué)習(xí)579/3/2023深度學(xué)習(xí)性能比較基于部件與結(jié)構(gòu)的分層模型-Fidleretal.ECCV’10-Fidler&LeonardisCVPR’07人工指定自動學(xué)習(xí)589/3/2023深度學(xué)習(xí)性能比較遞歸和與圖模型-LeoZhu,YuanhaoChen,AlanYuille&collaboratorsRecursivecomposition,AND/ORgraphLearn#unitsatlayer人工指定自動學(xué)習(xí)599/3/2023深度學(xué)習(xí)性能比較自動編碼模型[Hintonetal.ICANN’11]反卷積網(wǎng)絡(luò)模型[Zeileretal.ICCV’11]-Explicitrepresentationofwhat/where人工指定自動學(xué)習(xí)609/3/2023深度學(xué)習(xí)性能比較神經(jīng)網(wǎng)絡(luò)Dedicated

pooling/LCN

layersNoseparationof

what/whereModality

independent

(e.g.speech,

images)[Leetal.,ICML’12]人工指定自動學(xué)習(xí)619/3/2023深度學(xué)習(xí)性能比較波爾茲曼機(jī)Homogenous

architectureNoseparationof

what/whereModality

independent

(e.g.speech,images)[Salakhutdinov&HintonAISTATS’09]人工指定自動學(xué)習(xí)629/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用空間金字塔（SpatialPyramids）639/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用649/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用659/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用669/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用實驗在Caltech256數(shù)據(jù)集上，利用單特征識別，SparseCRBM性能最優(yōu)679/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在音頻識別上的應(yīng)用ConvolutionalDBNforaudioMaxpoolingnode

DetectionnodesMaxpoolingnode

Detectionnodes689/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在音頻識別上的應(yīng)用ConvolutionalDBNforaudio699/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在音頻識別上的應(yīng)用709/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在音頻識別上的應(yīng)用719/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在視頻識別上的應(yīng)用SPACE-TIMEDEEPBELIEFNETWORKS729/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在視頻識別上的應(yīng)用739/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用749/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用759/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用769/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用779/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用789/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用如果模態(tài)間存在著內(nèi)在的聯(lián)系，即存在sharedRepresentation，那么理論上模型應(yīng)支持訓(xùn)練一個模態(tài)，而測試另一個模態(tài)時，仍能獲得好的分類性能。799/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用809/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用在深度學(xué)習(xí)模型中，對于相關(guān)任務(wù)的聯(lián)合學(xué)習(xí)，往往會取得較好的特征表達(dá)；多任務(wù)聯(lián)合學(xué)習(xí)，能夠增強(qiáng)損失函數(shù)的作用效能；比如：單獨(dú)進(jìn)行人臉檢測會比較難（光照、遮擋等因素），但是當(dāng)人臉檢測與人臉識別這兩個相關(guān)的任務(wù)聯(lián)合學(xué)習(xí)時，人臉檢測的難度反而降低了。819/3/2023深度學(xué)習(xí)的應(yīng)用基于深度學(xué)習(xí)的遷移學(xué)習(xí)應(yīng)用829/3/2023深度學(xué)習(xí)的應(yīng)用基于深度學(xué)習(xí)的遷移學(xué)習(xí)應(yīng)用特征共享839/3/2023深度學(xué)習(xí)的應(yīng)用基于深度學(xué)習(xí)的遷移學(xué)習(xí)應(yīng)用849/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在大尺度數(shù)據(jù)集上的應(yīng)用大尺度數(shù)據(jù)集：樣本總數(shù)>100M,類別總數(shù)>10K,特征維度>10K859/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在大尺度數(shù)據(jù)集上的應(yīng)用模型的并行運(yùn)算化869/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在大尺度數(shù)據(jù)集上的應(yīng)用分布式深度學(xué)習(xí)模型879/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在大尺度數(shù)據(jù)集上的應(yīng)用分布式深度學(xué)習(xí)模型889/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在大尺度數(shù)據(jù)集上的應(yīng)用參數(shù)個數(shù)達(dá)到1.15billion，若不能并行優(yōu)化參數(shù)，任務(wù)無法完成！899/3/2023深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)的State-of-the-art909/3/2023展望未來需解決的問題：對于一個特定的框架，多少維的輸入它可以表現(xiàn)得較優(yōu)？對捕捉短時或者長時間的時間依賴，哪種架構(gòu)才是有效的？如何對于一個給定的深度學(xué)習(xí)架構(gòu)，融合多種感知的信息？如何分辨和利用學(xué)習(xí)獲得的中、高層特征語義知識？有什么正確的機(jī)理可以去增強(qiáng)一個給定的深度學(xué)習(xí)架構(gòu)，以改進(jìn)其魯棒性和對變形及數(shù)據(jù)丟失的不變性？模型方面是否有其他更為有效且有理論依據(jù)的深度模型學(xué)習(xí)算法？是否存在更有效的可并行訓(xùn)練算法？919/3/2023參考文獻(xiàn)Tutorials&BackgroundMaterial–YoshuaBengio,LearningDeepArchitecturesforAI,FoundationsandTrendsinMachineLearning,2(1),pp.1-127,2009.–LeCun,Chopra,Hadsell,Ranzato,Huang:ATutorialonEnergy-BasedLearning,inBakir,G.andHofman,T.andScholkopf,B.andSmola,A.andTaskar,B.(Eds),PredictingStructuredData,MITPress,2006ConvolutionalNets–LeCun,Bottou,BengioandHaffner:Gradient-BasedLearningAppliedtoDocumentRecognition,ProceedingsoftheIEEE,86(11):2278-2324,November1998–Jarrett,Kavukcuoglu,Ranzato,LeCun:WhatistheBestMulti-StageArchitectureforObjectRecognition?,Proc.InternationalConferenceonComputerVision(ICCV'09),IEEE,2009

–Kavukcuoglu,Sermanet,Boureau,Gregor,Mathieu,LeCun:LearningConvolutionalFeatureHierachiesforVisualRecognition,AdvancesinNeuralInformationProcessingSystems(NIPS2010),23,2010929/3/2023參考文獻(xiàn)UnsupervisedLearning–ICAwithReconstructionCostforEfficientOvercompleteFeatureLearning.Le,Karpenko,Ngiam,Ng.InNIPS2011–Rifai,Vincent,Muller,Glorot,Bengio,ContractingAuto-Encoders:Explicitinvarianceduringfeatureextraction,in:ProceedingsoftheTwenty-eightInternationalConferenceonMachineLearning(ICML'11),2011-Vincent,Larochelle,Lajoie,Bengio,Manzagol,StackedDenoisingAutoencoders:LearningUsefulRepresentationsinaDeepNetworkwithaLocalDenoisingCriterion,JournalofMachineLearningResearch,11:3371--3408,2010.-Gregor,Szlam,LeCun:StructuredSparseCodingviaLateralInhibition,AdvancesinNeuralInformationProcessingSystems(NIPS2011),24,2011-Kavukcuoglu,Ranzato,LeCun."FastInferenceinSparseCodingAlgorithmswithApplicationstoObjectRecognition".ArXiv1010.34672008-Hinton,Krizhevsky,Wang,TransformingAuto-encoders,ICANN,2011Multi-modalLearning–Multimodaldeeplearning,Ngiam,Khosla,Kim,Nam,Lee,Ng.InProceedingsoftheTwenty-EighthInternationalConferenceonMachineLearning,2011.939/3/2023參考文獻(xiàn)LocallyConnectedNets

–Gregor,LeCun“Emergenceofcomplex-likecellsinatemporalproductnetworkwithlocalreceptivefields”Arxiv.2009–Ranzato,Mnih,Hinton“GeneratingmorerealisticimagesusinggatedMRF's”NIPS2010–Le,Ngiam,Chen,Chia,Koh,Ng“Tiledconvolutionalneuralnetworks”NIPS2010DistributedLearning–Le,Ranzato,Monga,Devin,Corrado,Chen,Dean,Ng."BuildingHigh-LevelFeaturesUsingLargeScaleUnsupervisedLearning".InternationalConferenceofMachineLearning(ICML2012),Edinburgh,2012.PapersonSceneParsing–Farabet,Couprie,Najman,LeCun,“SceneParsingwithMultiscaleFeatureLearning,PurityTrees,andOptimalCovers”,inProc.oftheInternationalConferenceonMachineLearning(ICML'12),Edinburgh,Scotland,2012.-Socher,Lin,Ng,Manning,“ParsingNaturalScenesandNaturalLanguagewithRecursiveNeuralNetworks”.InternationalConferenceofMachineLearning(ICML2011)2011.949/3/2023參考文獻(xiàn)PapersonObjectRecognition-Boureau,LeRoux,Bach,Ponce,LeCun:Askthelocals:multi-waylocalpoolingforimagerecognition,Proc.ICCV2011-Sermanet,LeCun:TrafficSignRecognitionwithMulti-ScaleConvolutionalNetworks,ProceedingsofInternationalJointConferenceonNeuralNetworks(IJCNN'11)-Ciresan,Meier,Gambardella,Schmidhuber.ConvolutionalNeuralNetworkCommitteesForHandwrittenCharacterClassification.11thInternationalConferenceonDocumentAnalysisandRecognition(ICDAR2011),Beijing,China.-Ciresan,Meier,Masci,Gambardella,Schmidhuber.Flexible,HighPerformanceConvolutionalNeuralNetworksforImageClassification.InternationalJointConferenceonArtificialIntelligenceIJCAI-2011.PapersonActionRecognition–Learninghierarchicalspatio-temporalfeaturesforactionrecognitionwithindependentsubspaceanalysis,Le,Zou,Yeung,Ng.CVPR2011PapersonSegmentation–Turaga,Briggman,Helmstaedter,Denk,SeungMaximinlearningofimagesegmentation.NIPS,2009.959/3/2023參考文獻(xiàn)PapersonVisionforRobotics–Hadsell,Sermanet,Scoffier,Erkan,Kavacku