深度學(xué)習(xí)的基本理論與方法

1、深度學(xué)習(xí)的簡介與應(yīng)用目 錄研究背景概述動機(jī)深度學(xué)習(xí)簡介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的性能比較和應(yīng)用深度學(xué)習(xí)識別標(biāo)識牌使用深度學(xué)習(xí)研究存在的問題研究背景及現(xiàn)狀 Artificial Intelligence，也就是人工智能，就像長生不老和星際漫游一樣，是人類最美好的夢想之一。雖然計算機(jī)技術(shù)已經(jīng)取得了長足的進(jìn)步，但是到目前為止，還沒有一臺電腦能產(chǎn)生“自我”的意識。雖然在人類和大量現(xiàn)成數(shù)據(jù)的幫助下，電腦可以表現(xiàn)的十分強(qiáng)大，但是離開了這兩者，它甚至都不能分辨一只貓和一只狗。研究背景及現(xiàn)狀圖靈（圖靈，計算機(jī)和人工智能的鼻祖，分別對應(yīng)于其著名的“圖靈機(jī)”和“圖靈測試”）在 1950

2、年的論文里，提出圖靈試驗的設(shè)想，即，隔墻對話，你將不知道與你談話的，是人還是電腦。這無疑給計算機(jī)，尤其是人工智能，預(yù)設(shè)了一個很高的期望值。但是半個世紀(jì)過去了，人工智能的進(jìn)展，遠(yuǎn)遠(yuǎn)沒有達(dá)到圖靈試驗的標(biāo)準(zhǔn)。這不僅讓多年翹首以待的人們，心灰意冷，有部分人甚至認(rèn)為人工智能是“偽科學(xué)”。研究背景及現(xiàn)狀但是自 2006 年以來，機(jī)器學(xué)習(xí)領(lǐng)域，取得了突破性的進(jìn)展。圖靈試驗，至少不是那么可望而不可及了。至于技術(shù)手段，不僅僅依賴于云計算對大數(shù)據(jù)的并行處理能云計算對大數(shù)據(jù)的并行處理能力力，而且依賴于算法。這個算法就是 Deep Deep LearningLearning。借助于 Deep Learning 算法，

3、人類似乎找到了一種可以處理“抽象概念”這個亙古難題的方法。過熱的研究現(xiàn)狀2012年6月，紐約時報披露了Google Brain項目。用16000個CPU Core的并行計算平臺訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DNN，Deep Neural Networks）的機(jī)器學(xué)習(xí)模型（內(nèi)部共有10億個節(jié)點），在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功。 項目負(fù)責(zé)人之一Andrew稱：“我們沒有像通常做的那樣自己框定邊界，而是直接把海量數(shù)據(jù)投放到算法中，讓數(shù)據(jù)自己說話，系統(tǒng)會自動從數(shù)據(jù)中學(xué)習(xí)?！绷硗庖幻?fù)責(zé)人Jeff則說：“我們在訓(xùn)練的時候從來不會告訴機(jī)器說：這是一只貓。系統(tǒng)其實是自己發(fā)明或者領(lǐng)悟了“貓”的概

4、念?！边^熱的研究現(xiàn)狀 2012年11月，微軟在中國天津的一次活動上公開演示了一個全自動的同聲傳譯系統(tǒng)，講演者用英文演講，后臺的計算機(jī)一氣呵成自動完成語音識別、英中機(jī)器翻譯和中文語音合成，效果非常流暢。據(jù)報道，后面支撐的關(guān)鍵技術(shù)也是DNN，或者深度學(xué)習(xí)（DL，Deep Learning）。視頻鏈接過熱的研究現(xiàn)狀 2013年1月，在百度年會上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個成立的就是“深度學(xué)習(xí)研究所”（IDL，Institue of Deep Learning）。把Goole Brain 的帶頭人Andrew（吳恩達(dá)）挖到百度。不過，今年年初，爆出百度在ImageNet競

5、賽中多次提交競賽結(jié)果，有作弊行為，而被取消競賽資格。過熱的研究現(xiàn)狀擁有大數(shù)據(jù)的互聯(lián)網(wǎng)公司爭相投入大量資源研發(fā)深度學(xué)習(xí)技術(shù)。企業(yè)很喜歡這種方法，因為它像個黑盒子，不管算法具體內(nèi)容是什么，只管往里扔數(shù)據(jù)就可以，并且效果還很好。高校研究所的研究人員也紛紛加入Deep learning的研究熱潮中。CVPR，ICCV等模式識別權(quán)威會議，也被Deep learning占據(jù)了半壁江山。研究從大有從算法研究，走向數(shù)據(jù)制霸的趨勢。誰有更大數(shù)據(jù)，有更大型的設(shè)備，就往往能取得更好的結(jié)果。與此同時，Deep learning的發(fā)明者卻多次在公開場合提及：“Deep learning”已經(jīng)研究過熱，人們對它的期望值過

6、高。概 述深度學(xué)習(xí)：一種基于無監(jiān)督特征學(xué)習(xí)和特征層次結(jié)構(gòu)的學(xué)習(xí)方法其名稱有：深度學(xué)習(xí)特征學(xué)習(xí)無監(jiān)督特征學(xué)習(xí)動 機(jī) 良好的特征表達(dá)，對最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用；良好的特征表達(dá)，對最終算法的準(zhǔn)確性起了非常關(guān)鍵的作用； 識別系統(tǒng)主要的計算和測試工作耗時主要集中在特征提取部分；識別系統(tǒng)主要的計算和測試工作耗時主要集中在特征提取部分； 特征的樣式目前一般都是人工設(shè)計的，靠人工提取特征。特征的樣式目前一般都是人工設(shè)計的，靠人工提取特征。Low-level sensingPre-processingFeature extract.Feature selectionInference: predic

7、tion, recognition傳統(tǒng)的模式識別方法：傳統(tǒng)的模式識別方法：動 機(jī)為什么要自動學(xué)習(xí)特征實驗：LP- Multiple Kernel Learning（MKL）多核學(xué)習(xí)是多特征融合的一個重要方向Gehler and Nowozin, On Feature Combination for Multiclass Object Classification, ICCV09采用39 個常用的不同的特征進(jìn)行多特征融合，用來識別不同物體PHOG, SIFT, V1S+,Region Cov. Etc. 在普通特征上MKL表現(xiàn)有限結(jié)論：特征很關(guān)鍵，目前人工選擇的特征很難有效融合。動 機(jī)為什么要自

8、動學(xué)習(xí)特征機(jī)器學(xué)習(xí)中，獲得好的特征是識別成功的關(guān)鍵目前存在大量人工設(shè)計的特征，不同研究對象特征不同，特征具有多樣性，如：SIFT, HOG, LBP等手工選取特征費時費力，需要啟發(fā)式專業(yè)知識，很大程度上靠經(jīng)驗和運(yùn)氣是否能自動地學(xué)習(xí)特征？ 中層特征 中層信號：動 機(jī)為什么要自動學(xué)習(xí)特征連續(xù)平行連接拐角 物體部件: 他們對于人工而言是十分困難的，那么如何學(xué)習(xí)呢？更加復(fù)雜的信號:動 機(jī)為什么要自動學(xué)習(xí)特征一般而言，特征越多，給出信息就越多，識別準(zhǔn)確性會得到提升；一般而言，特征越多，給出信息就越多，識別準(zhǔn)確性會得到提升；但特征多，計算復(fù)雜度增加，探索的空間大，可以用來訓(xùn)練的數(shù)據(jù)在但特征多，計算復(fù)雜度增

9、加，探索的空間大，可以用來訓(xùn)練的數(shù)據(jù)在每個特征上就會稀疏。每個特征上就會稀疏。結(jié)論：不一定特征越多越好！需要有多少個特征，需要學(xué)結(jié)論：不一定特征越多越好！需要有多少個特征，需要學(xué)習(xí)確定。習(xí)確定。動動 機(jī)機(jī)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)人腦視覺機(jī)理人腦視覺機(jī)理1981年的諾貝爾醫(yī)學(xué)獎獲得者 David Hubel和TorstenWiesel發(fā)現(xiàn)了視覺系統(tǒng)的信息處理機(jī)制發(fā)現(xiàn)了一種被稱為“方向選擇性細(xì)胞的神經(jīng)元細(xì)胞，當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個邊緣指向某個方向時，這種神經(jīng)元細(xì)胞就會活躍動動 機(jī)機(jī)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)人腦視覺機(jī)理人腦視覺機(jī)理人的視覺系統(tǒng)的

10、信息處理是分級的高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)語義或者意圖抽象層面越高，存在的可能猜測就越少，就越利于分類動動 機(jī)機(jī)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)視覺的層次性屬性學(xué)習(xí)，類別作為屬性的一種組合映射 Lampert et al. CVPR09類別標(biāo)簽屬性圖像特征動動 機(jī)機(jī)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)算法在一個什么粒度上的特征表示，才有能發(fā)揮作用？就一個圖片來說，像素級的特征根本沒有價值。例如下面的摩托車，從像素級別，根本得不到任何信息，其無法進(jìn)行摩托車和非摩托車的區(qū)分。而如果特征是一個具有結(jié)構(gòu)性（或者說有含義）的時候，比

11、如是否具有車把手（handle），是否具有車輪（wheel），就很容易把摩托車和非摩托車區(qū)分，學(xué)習(xí)算法才能發(fā)揮作用。動動 機(jī)機(jī)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)初級（淺層）特征表示高層特征或圖像，往往是由一些基本結(jié)構(gòu)（淺層特征）組成的不僅圖像存在這個規(guī)律，聲音也存在。他們從未標(biāo)注的聲音中發(fā)現(xiàn)了20種基本的聲音結(jié)構(gòu)，其余的聲音可以由這20種基本結(jié)構(gòu)合成。動動 機(jī)機(jī)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)結(jié)構(gòu)性特征表示在不同object上做training是，所得的邊緣特征是非常相似的，：動動 機(jī)機(jī)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)為什么采用層次網(wǎng)絡(luò)結(jié)構(gòu)淺層學(xué)習(xí)的局限淺層學(xué)習(xí)的局限人工神經(jīng)網(wǎng)絡(luò)（

12、BP算法）雖被稱作多層感知機(jī)，但實際是種只含有一層隱層節(jié)點的淺層模型SVM、Boosting、最大熵方法（如LR，Logistic Regression）帶有一層隱層節(jié)點（如SVM、Boosting），或沒有隱層節(jié)點（如LR）的淺層模型局限性：有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限，針對復(fù)雜分類問題其泛化能力受限。深度學(xué)習(xí)20062006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗的泰斗Geoffrey HintonGeoffrey Hinton在在ScienceScience上發(fā)表論上發(fā)表論文提出深度學(xué)習(xí)主要觀點：文提出深度學(xué)習(xí)主要觀點：1 1

13、）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有學(xué)習(xí)得到的特征對數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；利于可視化或分類；2 2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層逐層初始化初始化”（layer-wise pre-traininglayer-wise pre-training）來有效）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實現(xiàn)的?？朔饘映跏蓟赏ㄟ^無監(jiān)督學(xué)習(xí)實現(xiàn)的。深度學(xué)習(xí)本質(zhì)：通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可為無標(biāo)簽數(shù)據(jù)），來學(xué)習(xí)更有用的特征，從而

14、最終提升分類或預(yù)測的準(zhǔn)確性?！吧疃饶Ｐ汀笔鞘侄?，“特征學(xué)習(xí)”是目的。與淺層學(xué)習(xí)區(qū)別：1）強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點；2）明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。深度學(xué)習(xí)好處：可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。深度學(xué)習(xí) vs. 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò) ： 深度學(xué)習(xí)：深度學(xué)習(xí) vs. 神經(jīng)網(wǎng)絡(luò)相同點：相同點：二者均采用分層結(jié)構(gòu)，系統(tǒng)包括輸入層、隱層（多層）、輸出層組成的多層網(wǎng)絡(luò)，只

15、有相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接，每一層可以看作是一個回歸模型。不同點：不同點：神經(jīng)網(wǎng)絡(luò)：采用BP算法調(diào)整參數(shù)，即采用迭代算法來訓(xùn)練整個網(wǎng)絡(luò)。隨機(jī)設(shè)定初值，計算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂；深度學(xué)習(xí)：采用逐層訓(xùn)練機(jī)制。采用該機(jī)制的原因在于如果采用BP機(jī)制，對于一個deep network（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradient diffusion（梯度擴(kuò)散）。深度學(xué)習(xí) vs. 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)的局限性：1）比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；2）訓(xùn)練速度比較慢，在層次比

16、較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；深度學(xué)習(xí)訓(xùn)練過程不采用BP算法的原因（1）反饋調(diào)整時，梯度越來越稀疏，從頂層越往下，誤差校正信號越來越?。唬?）收斂易至局部最小，由于是采用隨機(jī)值初始化，當(dāng)初值是遠(yuǎn)離最優(yōu)區(qū)域時易導(dǎo)致這一情況；（3）BP算法需要有標(biāo)簽數(shù)據(jù)來訓(xùn)練，但大部分?jǐn)?shù)據(jù)是無標(biāo)簽的；深度學(xué)習(xí)訓(xùn)練過程2006年，hinton提出了在非監(jiān)督數(shù)據(jù)上建立多層神經(jīng)網(wǎng)絡(luò)的一個有效方法，方法是：1）首先逐層構(gòu)建單層神經(jīng)元，這樣每次都是訓(xùn)練一個單層網(wǎng)絡(luò)。2）當(dāng)所有層訓(xùn)練完后，Hinton使用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整。深度學(xué)習(xí)訓(xùn)練過程 將除最頂層的其它層間的權(quán)

17、重變?yōu)殡p向的。向上的權(quán)重用于“認(rèn)知”，向下的權(quán)重用于“生成”。然后使用Wake-Sleep算法調(diào)整所有的權(quán)重。讓認(rèn)知和生成達(dá)成一致，也就是保證生成的最頂層表示能夠盡可能正確的復(fù)原底層的結(jié)點。比如頂層的一個結(jié)點表示人臉，那么所有人臉的圖像應(yīng)該激活這個結(jié)點，并且這個結(jié)果向下生成的圖像應(yīng)該能夠表現(xiàn)為一個大概的人臉圖像。深度學(xué)習(xí)訓(xùn)練過程wake-sleep算法:1 1）wakewake階段：階段： 認(rèn)知過程認(rèn)知過程，通過外界的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每，通過外界的特征和向上的權(quán)重（認(rèn)知權(quán)重）產(chǎn)生每一層的抽象表示（結(jié)點狀態(tài)），并且使用梯度下降修改層間的一層的抽象表示（結(jié)點狀態(tài)），并且使用梯度下降

18、修改層間的下行權(quán)重（生成權(quán)重）。下行權(quán)重（生成權(quán)重）。2 2）sleepsleep階段：階段： 生成生成過程，通過頂層表示（醒時學(xué)得的概念）和向下權(quán)重，生過程，通過頂層表示（醒時學(xué)得的概念）和向下權(quán)重，生成底層的狀態(tài)，同時修改層間向上的權(quán)重（認(rèn)知權(quán)重）。成底層的狀態(tài)，同時修改層間向上的權(quán)重（認(rèn)知權(quán)重）。深度學(xué)習(xí)訓(xùn)練過程EncoderDecoderInput ImageClass labele.g.FeaturesEncoderDecoderFeaturesEncoderDecoderAutoEncoder:解碼編碼深度學(xué)習(xí)訓(xùn)練過程第二步：自頂向下的監(jiān)督學(xué)習(xí)第二步：自頂向下的監(jiān)督學(xué)習(xí) 這一步是在

19、第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)上，在最頂?shù)木幋a層添加一個分類器（例如羅杰上，在最頂?shù)木幋a層添加一個分類器（例如羅杰斯特回歸、斯特回歸、SVMSVM等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個網(wǎng)絡(luò)參數(shù)。學(xué)習(xí)，利用梯度下降法去微調(diào)整個網(wǎng)絡(luò)參數(shù)。 深度學(xué)習(xí)的第一步實質(zhì)上是一個網(wǎng)絡(luò)參數(shù)初始深度學(xué)習(xí)的第一步實質(zhì)上是一個網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個初值更接

20、近全局最優(yōu)，從而能得到的，因而這個初值更接近全局最優(yōu)，從而能夠取得更好的效果。夠取得更好的效果。深度學(xué)習(xí)的具體模型及方法編碼（Encoder）過程中，使用的不同的編碼器有：自動編碼器（ AutoEncoder ）稀疏自動編碼器(Sparse AutoEncoder)降噪自動編碼器(Denoising AutoEncoders)深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(Sparse AutoEncoder)限制每次得到的表達(dá)code盡量稀疏限制每次得到的表達(dá)code盡量稀疏深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(Sparse AutoEncoder)FiltersFeaturesSparse Co

21、dingInput Patch深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(Sparse AutoEncoder)1 1）TrainingTraining階段階段：給定一系列的樣本圖片x1, x 2, ，我們需要學(xué)習(xí)得到一組基1, 2, ，也就是字典。 可使用K-SVD方法交替迭代調(diào)整ak，k，直至收斂，從而可以獲得一組可以良好表示這一系列x的字典。深度學(xué)習(xí)的具體模型及方法稀疏自動編碼器(Sparse AutoEncoder)2 2）CodingCoding階段階段：給定一個新的圖片x，由上面得到的字典，利用OMP算法求解得到稀疏向量a。這個稀疏向量就是這個輸入向量x的一個稀疏表達(dá)。深度學(xué)習(xí)的具體模

22、型及方法稀疏自動編碼器(Sparse AutoEncoder)深度學(xué)習(xí)的具體模型及方法降噪自動編碼器(Denoising AutoEncoders)在自動編碼器的基礎(chǔ)上，對訓(xùn)練數(shù)據(jù)加入噪聲，自動編碼器必須學(xué)習(xí)去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學(xué)習(xí)輸入信號的更加魯棒的表達(dá)，這也是它的泛化能力比一般編碼器強(qiáng)的原因。深度學(xué)習(xí)的具體模型及方法波爾茲曼機(jī)（Boltzmann Machine, BM）是Hiton和Sejnowski于1986年提出的一種根植于統(tǒng)計力學(xué)的隨機(jī)神經(jīng)網(wǎng)絡(luò)。這種網(wǎng)絡(luò)中的神經(jīng)元是隨機(jī)神經(jīng)元，神經(jīng)元的輸出只有兩種狀態(tài)（未激活、激活），一般用二進(jìn)制

23、的0和1表示，狀態(tài)的取值根據(jù)概率統(tǒng)計法則決定。BM具有強(qiáng)大的無監(jiān)督學(xué)習(xí)能力,能夠?qū)W習(xí)數(shù)據(jù)中復(fù)雜的規(guī)則。但是,擁有這種學(xué)習(xí)能力的代價是其訓(xùn)練/學(xué)習(xí)時間非常長。為克服此問題，Sejnowski引入了一種限制的波爾茲曼機(jī)（RBM）。RBM具有一個可見層，一個隱層，層內(nèi)無連接，其結(jié)構(gòu)如圖2(b)所示。被用于訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)。深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（Restricted Boltzmann Machine）定義：假設(shè)有一個二部圖，同層節(jié)點之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點都是隨機(jī)二值（ 0，1值）變量節(jié)點，同時假設(shè)全概率分布p(v,h)

24、滿足Boltzmann 分布，我們稱這個模型是Restricted BoltzmannMachine (RBM)。深度學(xué)習(xí)的具體模型及方法限制波爾茲曼機(jī)（Restricted Boltzmann Machine）限制波爾茲曼機(jī)（RBM）是一種深度學(xué)習(xí)模型。深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（Convolutional RBM），用來訓(xùn)練Convolutional Neural Networks （CNN）卷積神經(jīng)網(wǎng)絡(luò)權(quán)值共享卷積神經(jīng)網(wǎng)絡(luò)（ Convolutional Neural Networks卷積神經(jīng)網(wǎng)絡(luò)）是人工神經(jīng)網(wǎng)絡(luò)的一種，已成為當(dāng)前語音分析和圖像識別領(lǐng)域的研究熱點，也是目前深度學(xué)

25、習(xí)中效果最好的神經(jīng)網(wǎng)絡(luò)之一。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值的數(shù)量。深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（Convolutional RBM）隱層神經(jīng)元數(shù)量的確定p神經(jīng)元數(shù)量與輸入圖像大小、濾波器大小和濾波器的滑動步長有關(guān)。例如，輸入圖像是1000 x1000像素，濾波器大小是10 x10，假設(shè)濾波器間沒有重疊，即步長為10，這樣隱層的神經(jīng)元個數(shù)就是(1000 x1000 )/ (10 x10)=10000個深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（Convolutional RBM）多濾波器情形不同的顏色表示不同種類的濾波器p每層隱層神經(jīng)元的個

26、數(shù)按濾波器種類的數(shù)量翻倍p每層隱層參數(shù)個數(shù)僅與濾波器大小、濾波器種類的多少有關(guān)例如：隱含層的每個神經(jīng)元都連接10 x10像素圖像區(qū)域，同時有100種卷積核（濾波器）。則參數(shù)總個數(shù)為：（10 x10+1）x100=10100個深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（Convolutional RBM）p卷積過程卷積過程：用一個可訓(xùn)練的濾波器：用一個可訓(xùn)練的濾波器fxfx去卷積一個輸入的圖去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是像（第一階段是輸入的圖像，后面的階段就是Feature Map了），然后加一個偏置了），然后加一個偏置bxbx，得到卷積層，得到卷積層CxCx。p子采樣過

27、程子采樣過程：每鄰域：每鄰域n n個像素通過池化（個像素通過池化（poolingpooling）步驟）步驟變?yōu)橐粋€像素，然后通過標(biāo)量變?yōu)橐粋€像素，然后通過標(biāo)量W Wx+1x+1加權(quán)，再增加偏置加權(quán)，再增加偏置b bx+1，然后通過一個然后通過一個sigmoidsigmoid激活函數(shù)，產(chǎn)生一個大概縮小激活函數(shù)，產(chǎn)生一個大概縮小n n倍的倍的特征映射圖特征映射圖S Sx+1x+1。深度學(xué)習(xí)的具體模型及方法卷積波爾茲曼機(jī)（Convolutional RBM）深度學(xué)習(xí)性能比較Deep nets VS. Boosting深度學(xué)習(xí)性能比較基于文法模型的物體檢測 -R. Girshick, P. Felze

28、nszwalb, D. McAllester, NIPS 2011 -Learn local appearance& shape自動學(xué)習(xí)深度學(xué)習(xí)性能比較部件和結(jié)構(gòu)模型Defined connectivity graphLearn appearance / relative positionFelzenszwalb & Huttenlocher CVPR00 Fischler and R. Elschlager 1973 人工指定自動學(xué)習(xí)深度學(xué)習(xí)性能比較 基于部件與結(jié)構(gòu)的分層模型 人工指定自動學(xué)習(xí)深度學(xué)習(xí)性能比較遞歸和與圖模型 -Leo Zhu, Yuanhao Chen, Al

29、an Yuille & collaboratorsRecursive composition, AND/OR graphLearn # units at layer人工指定自動學(xué)習(xí)深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用空間金字塔（空間金字塔（Spatial Pyramids Spatial Pyramids ）深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在圖像識別上的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在音頻識別上的應(yīng)用Convolutional DBN for audio Maxpoolingnode DetectionnodesMa

30、xpoolingnode Detectionnodes深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在視頻識別上的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多模態(tài)學(xué)習(xí)中的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在多任務(wù)學(xué)習(xí)中的應(yīng)用在深度學(xué)習(xí)模型中，對于相關(guān)任務(wù)的聯(lián)合學(xué)習(xí)，往往會取得較好的特征表達(dá)；多任務(wù)聯(lián)合學(xué)習(xí)，能夠增強(qiáng)損失函數(shù)的作用效能； 比如：單獨進(jìn)行人臉檢測會比較難（光照、遮擋等因素），但是當(dāng)人臉檢測與人臉識別這兩個相關(guān)的任務(wù)聯(lián)合學(xué)習(xí)時，人臉檢測的難度反而降低了。深度學(xué)習(xí)的應(yīng)用基于深度學(xué)習(xí)的遷移學(xué)習(xí)應(yīng)用：遷移學(xué)習(xí)（

31、Transfer Learning）的目標(biāo)是將從一個環(huán)境中學(xué)到的知識用來幫助新環(huán)境中的學(xué)習(xí)任務(wù)深度學(xué)習(xí)的應(yīng)用基于深度學(xué)習(xí)的遷移學(xué)習(xí)應(yīng)用特征共享深度學(xué)習(xí)的應(yīng)用基于深度學(xué)習(xí)的遷移學(xué)習(xí)應(yīng)用深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在大尺度數(shù)據(jù)集上的應(yīng)用p大尺度數(shù)據(jù)集：樣本總數(shù)100M,類別總數(shù)10K,特征維度10K深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)在大尺度數(shù)據(jù)集上的應(yīng)用參數(shù)個數(shù)達(dá)到1.15 billion，若不能并行優(yōu)化參數(shù)，任務(wù)無法完成！深度學(xué)習(xí)的應(yīng)用深度學(xué)習(xí)的State-of-the-artState-of-the-art深度學(xué)習(xí)識別交通標(biāo)識牌交 通 標(biāo) 識 牌 識 別 ( T r a f f i c s i g n recognition, TS