深度學(xué)習(xí)的基本理論與應(yīng)用課件

深度學(xué)習(xí)的基本理論與應(yīng)用HaishanLi2018年5月14日深度學(xué)習(xí)的基本理論與應(yīng)用HaishanLi目錄概述深度學(xué)習(xí)簡(jiǎn)介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用目錄概述2012年6月，《紐約時(shí)報(bào)》披露了GoogleBrain項(xiàng)目，吸引了公眾的廣泛關(guān)注。這個(gè)項(xiàng)目是由著名的斯坦福大學(xué)機(jī)器學(xué)習(xí)教授Andrew和在大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家Jeff共同主導(dǎo)，用16000個(gè)CPUCore的并行計(jì)算平臺(tái)訓(xùn)練一種稱為“深層神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機(jī)器學(xué)習(xí)模型，在語音識(shí)別和圖像識(shí)別等領(lǐng)域獲得了巨大的成功。2012年11月，微軟在中國(guó)天津的一次活動(dòng)上公開演示了一個(gè)全自動(dòng)的同聲傳譯系統(tǒng)，講演者用英文演講，后臺(tái)的計(jì)算機(jī)一氣呵成自動(dòng)完成語音識(shí)別、英中機(jī)器翻譯，以及中文語音合成，效果非常流暢。據(jù)報(bào)道，后面支撐的關(guān)鍵技術(shù)也是DNN，或者深度學(xué)習(xí)（DL，DeepLearning）。2012.6“谷歌大腦”項(xiàng)目2012.11微軟智能同聲傳譯概述2012年6月，《紐約時(shí)報(bào)》披露了GoogleBra概述2013年1月，在百度的年會(huì)上，創(chuàng)始人兼CEO李彥宏高調(diào)宣布要成立百度研究院，其中第一個(gè)重點(diǎn)方向就是深度學(xué)習(xí)，并為此而成立InstituteofDeepLearning（IDL）。這是百度成立十多年以來第一次成立研究院。2013年4月，《麻省理工學(xué)院技術(shù)評(píng)論》雜志將深度學(xué)習(xí)列為2013年十大突破性技術(shù)（BreakthroughTechnology）之首。百度首席科學(xué)家吳恩達(dá)2014年12月19日表示，百度在深度學(xué)習(xí)領(lǐng)域的發(fā)展已經(jīng)超過了谷歌與蘋果，如果這項(xiàng)技術(shù)真具有劃時(shí)代的革命意義，那么百度就此開啟并且引領(lǐng)了語音2.0時(shí)代，也即是人工智能時(shí)代的一個(gè)重要分支，改變搜索，更改變交互。概述2013年1月，在百度的年會(huì)上，創(chuàng)始人兼CEO李彥宏高概述全球爆發(fā)人工智能產(chǎn)業(yè)浪潮概述全球爆發(fā)人工智能產(chǎn)業(yè)浪潮概述三大因素推勱人工智能快速發(fā)展概述三大因素推勱人工智能快速發(fā)展概述當(dāng)前處亍行業(yè)應(yīng)用大規(guī)模起量階段概述當(dāng)前處亍行業(yè)應(yīng)用大規(guī)模起量階段目錄概述深度學(xué)習(xí)簡(jiǎn)介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用目錄深度學(xué)習(xí)簡(jiǎn)介識(shí)別系統(tǒng)主要的計(jì)算和測(cè)試工作耗時(shí)主要集中在特征提取部分；特征的樣式目前一般都是人工設(shè)計(jì)的，靠人工提取特征；手工選取特征費(fèi)時(shí)費(fèi)力，需要啟發(fā)式專業(yè)知識(shí)，很大程度上靠經(jīng)驗(yàn)和運(yùn)氣；不能夠自動(dòng)地學(xué)習(xí)特征Low-levelsensingPre-processingFeatureextract.FeatureselectionInference:prediction,recognition傳統(tǒng)的模式識(shí)別方法（淺層學(xué)習(xí)）：深度學(xué)習(xí)簡(jiǎn)介識(shí)別系統(tǒng)主要的計(jì)算和測(cè)試工作耗時(shí)主要集中在特征提深度學(xué)習(xí)簡(jiǎn)介傳統(tǒng)的模式識(shí)別方法（如BP算法）

如BP算法，隨機(jī)設(shè)定初值，計(jì)算當(dāng)前網(wǎng)絡(luò)的輸出，然后根據(jù)當(dāng)前輸出和樣本真實(shí)標(biāo)簽之間的差去改變前面各層的參數(shù)，直到收斂比較容易過擬合，參數(shù)比較難調(diào)整，而且需要不少技巧；訓(xùn)練速度比較慢，在層次比較少（小于等于3）的情況下效果并不比其它方法更優(yōu)；反饋調(diào)整時(shí)，梯度越來越稀疏，從頂層越往下，誤差校正信號(hào)越來越?。皇諗恳字辆植孔钚?，由于是采用隨機(jī)值初始化，當(dāng)初值是遠(yuǎn)離最優(yōu)區(qū)域時(shí)易導(dǎo)致這一情況；需要有標(biāo)簽數(shù)據(jù)來訓(xùn)練，但大部分?jǐn)?shù)據(jù)是無標(biāo)簽的；深度學(xué)習(xí)簡(jiǎn)介傳統(tǒng)的模式識(shí)別方法（如BP算法） 如BP算法，隨深度學(xué)習(xí)簡(jiǎn)介2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗GeoffreyHinton在《科學(xué)》上發(fā)表論文提出深度學(xué)習(xí)主要觀點(diǎn)：1）多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力，學(xué)習(xí)得到的特征對(duì)數(shù)據(jù)有更本質(zhì)的刻畫，從而有利于可視化或分類；2）深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度，可以通過“逐層初始化”（layer-wisepre-training）來有效克服，逐層初始化可通過無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)的。采用逐層訓(xùn)練機(jī)制的原因在于如果采用BP機(jī)制，對(duì)于一個(gè)deepnetwork（7層以上），殘差傳播到最前面的層將變得很小，出現(xiàn)所謂的gradientdiffusion（梯度擴(kuò)散）深度學(xué)習(xí)簡(jiǎn)介2006年，加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的深度學(xué)習(xí)簡(jiǎn)介本質(zhì)：

通過構(gòu)建多隱層的模型和海量訓(xùn)練數(shù)據(jù)（可為無標(biāo)簽數(shù)據(jù)），來學(xué)習(xí)更有用的特征，從而最終提升分類或預(yù)測(cè)的準(zhǔn)確性?！吧疃饶Ｐ汀笔鞘侄?，“特征學(xué)習(xí)”是目的。與淺層學(xué)習(xí)區(qū)別：強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5-10多層的隱層節(jié)點(diǎn)；明確突出了特征學(xué)習(xí)的重要性，通過逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容易。與人工規(guī)則構(gòu)造特征的方法相比，利用大數(shù)據(jù)來學(xué)習(xí)特征，更能夠刻畫數(shù)據(jù)的豐富內(nèi)在信息。從歷史數(shù)據(jù)中學(xué)習(xí)知識(shí)，從而對(duì)未來做預(yù)測(cè)深度學(xué)習(xí)簡(jiǎn)介本質(zhì)：從歷史數(shù)據(jù)中學(xué)習(xí)知識(shí)，從而對(duì)未來做預(yù)測(cè)深度學(xué)習(xí)簡(jiǎn)介好處：可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示。ImageNet圖像分類結(jié)果深度學(xué)習(xí)簡(jiǎn)介好處：可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜目錄概述深度學(xué)習(xí)簡(jiǎn)介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用目錄深度學(xué)習(xí)的訓(xùn)練過程第一步：采用自下而上的無監(jiān)督學(xué)習(xí)EncoderDecoderInputImageClasslabelFeaturesEncoderDecoderFeaturesEncoderDecoder逐層構(gòu)建單層神經(jīng)元每層采用wake-sleep算法進(jìn)行調(diào)優(yōu)。每次僅調(diào)整一層，逐層調(diào)整這個(gè)過程可以看作是一個(gè)featurelearning的過程，是和傳統(tǒng)神經(jīng)網(wǎng)絡(luò)區(qū)別最大的部分深度學(xué)習(xí)的訓(xùn)練過程第一步：采用自下而上的無監(jiān)督學(xué)習(xí)Encod深度學(xué)習(xí)的訓(xùn)練過程wake-sleep算法:（1）wake階段：認(rèn)知過程，通過下層的輸入特征（Input）和向上的認(rèn)知（Encoder）權(quán)重產(chǎn)生每一層的抽象表示（Code），再通過當(dāng)前的生成（Decoder）權(quán)重產(chǎn)生一個(gè)重建信息（Reconstruction），計(jì)算輸入特征和重建信息殘差，使用梯度下降修改層間的下行生成（Decoder）權(quán)重。也就是“如果現(xiàn)實(shí)跟我想象的不一樣，改變我的生成權(quán)重使得我想象的東西變得與現(xiàn)實(shí)一樣”（2）sleep階段：生成過程，通過上層概念（Code）和向下的生成（Decoder）權(quán)重，生成下層的狀態(tài)，再利用認(rèn)知（Encoder）權(quán)重產(chǎn)生一個(gè)抽象景象。利用初始上層概念和新建抽象景象的殘差，利用梯度下降修改層間向上的認(rèn)知（Encoder）權(quán)重。也就是“如果夢(mèng)中的景象不是我腦中的相應(yīng)概念，改變我的認(rèn)知權(quán)重使得這種景象在我看來就是這個(gè)概念”深度學(xué)習(xí)的訓(xùn)練過程wake-sleep算法:深度學(xué)習(xí)的訓(xùn)練過程第二步：自頂向下的監(jiān)督學(xué)習(xí)

深度學(xué)習(xí)的第一步實(shí)質(zhì)上是一個(gè)網(wǎng)絡(luò)參數(shù)初始化過程。區(qū)別于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)初值隨機(jī)初始化，深度學(xué)習(xí)模型是通過無監(jiān)督學(xué)習(xí)輸入數(shù)據(jù)的結(jié)構(gòu)得到的，因而這個(gè)初值更接近全局最優(yōu)，從而能夠取得更好的效果。這一步是在第一步學(xué)習(xí)獲得各層參數(shù)進(jìn)的基礎(chǔ)上，在最頂?shù)木幋a層添加一個(gè)分類器（例如羅杰斯特回歸、SVM等），而后通過帶標(biāo)簽數(shù)據(jù)的監(jiān)督學(xué)習(xí)，利用梯度下降法去微調(diào)整個(gè)網(wǎng)絡(luò)參數(shù)深度學(xué)習(xí)的訓(xùn)練過程第二步：自頂向下的監(jiān)督學(xué)習(xí)

目錄概述深度學(xué)習(xí)簡(jiǎn)介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用深度殘差網(wǎng)絡(luò)的應(yīng)用目錄深度學(xué)習(xí)的具體模型及方法生成式/無監(jiān)督模型判別式模型正則化的自編碼器降噪自動(dòng)編碼器(DenoisingAutoEncoders)稀疏自動(dòng)編碼器(SparseAutoEncoder))受限玻爾茲曼機(jī)深度置信網(wǎng)絡(luò)（DeepBeliefNetworks—DBN）等等遞歸神經(jīng)網(wǎng)絡(luò)深度神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（深度殘差網(wǎng)絡(luò)）等等深度學(xué)習(xí)的具體模型及方法生成式/無監(jiān)督模型判別式模型正則化的深度學(xué)習(xí)的具體模型及方法自動(dòng)編碼器（AutoEncoder）AutoEncoder還不能用來分類數(shù)據(jù)，因?yàn)樗€沒有學(xué)習(xí)如何去連結(jié)一個(gè)輸入和一個(gè)類。它只是學(xué)會(huì)了如何去重構(gòu)或者復(fù)現(xiàn)它的輸入而已。在AutoEncoder的最頂?shù)木幋a層添加一個(gè)分類器（例如羅杰斯特回歸、SVM等），然后通過標(biāo)準(zhǔn)的多層神經(jīng)網(wǎng)絡(luò)的監(jiān)督訓(xùn)練方法（梯度下降法）去訓(xùn)練。我們需要將最后層的特征code輸入到最后的分類器，通過有標(biāo)簽樣本，通過監(jiān)督學(xué)習(xí)進(jìn)行微調(diào)，這也分兩種深度學(xué)習(xí)的具體模型及方法自動(dòng)編碼器（AutoEncoder深度學(xué)習(xí)的具體模型及方法自動(dòng)編碼器（AutoEncoder）只調(diào)整分類器（黑色部分）通過有標(biāo)簽樣本，微調(diào)整個(gè)系統(tǒng)：（如果有足夠多的數(shù)據(jù)，這個(gè)是最好的。端對(duì)端學(xué)習(xí)）深度學(xué)習(xí)的具體模型及方法自動(dòng)編碼器（AutoEncoder深度學(xué)習(xí)的具體模型及方法降噪自動(dòng)編碼器(DenoisingAutoEncoders)在自動(dòng)編碼器的基礎(chǔ)上，對(duì)訓(xùn)練數(shù)據(jù)加入噪聲，自動(dòng)編碼器必須學(xué)習(xí)去去除這種噪聲而獲得真正的沒有被噪聲污染過的輸入。因此，這就迫使編碼器去學(xué)習(xí)輸入信號(hào)的更加魯棒的表達(dá)，這也是它的泛化能力比一般編碼器強(qiáng)的原因。深度學(xué)習(xí)的具體模型及方法降噪自動(dòng)編碼器(Denoising深度學(xué)習(xí)的具體模型及方法稀疏自動(dòng)編碼器(SparseAutoEncoder)在AutoEncoder的基礎(chǔ)上加上L1的Regularity限制（L1主要是約束每一層中的節(jié)點(diǎn)中大部分都要為0，只有少數(shù)不為0，這就是Sparse名字的來源）稀疏性的約束是使得學(xué)習(xí)到的表達(dá)更有意義的一種重要約束；深度學(xué)習(xí)中要優(yōu)化的參數(shù)非常多，如果不加入稀疏性的約束往往會(huì)使得學(xué)習(xí)到的權(quán)重矩陣為單位矩陣，這樣就失去了深度的意義深度學(xué)習(xí)的具體模型及方法稀疏自動(dòng)編碼器(SparseAut深度學(xué)習(xí)的具體模型及方法受限玻爾茲曼機(jī)（RestrictedBoltzmannMachine）定義：假設(shè)有一個(gè)二部圖，同層節(jié)點(diǎn)之間沒有鏈接，一層是可視層，即輸入數(shù)據(jù)層（v)，一層是隱藏層(h)，如果假設(shè)所有的節(jié)點(diǎn)都是隨機(jī)二值（0，1值）變量節(jié)點(diǎn)，同時(shí)假設(shè)全概率分布p(v,h)滿足Boltzmann分布，我們稱這個(gè)模型RestrictedBoltzmannMachine(RBM)。玻爾茲曼機(jī)(Boltzmannmachine)本質(zhì)上是一種能量模型。限制條件是在給定可見層或者隱層中的其中一層后，另一層的單元彼此獨(dú)立。深度學(xué)習(xí)的具體模型及方法受限玻爾茲曼機(jī)（Restricted深度學(xué)習(xí)的具體模型及方法深度置信網(wǎng)絡(luò)（DeepBeliefNetworks）-DBNDeepBeliefNetworks是在靠近可視層的部分使用貝葉斯信念網(wǎng)絡(luò)（即有向圖模型），而在最遠(yuǎn)離可視層的部分使用RestrictedBoltzmannMachine的模型。深度學(xué)習(xí)的具體模型及方法深度置信網(wǎng)絡(luò)（DeepBelief深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs通過用卷積代替規(guī)則神經(jīng)元的矩陣乘法運(yùn)算來大大減少每層中需要訓(xùn)練的未知權(quán)重系數(shù)的數(shù)量

輸入40x60C112@5x5…S112@20x30…C28@5x5……S28@10x15…卷積池化卷積池化全連接C3120softmax輸出深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（Convolutio卷積層上一層輸出卷積核卷積核類似于濾波器，通過移動(dòng)卷積核來提取上層輸入的局部特征，卷積核也就是生物學(xué)里視覺系統(tǒng)上的“局部感受野”，模擬視覺神經(jīng)細(xì)胞接受刺激的方式。featuremap（特征映射）二維離散卷積函數(shù)：深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs卷積層上一層輸出卷積核卷積核類似于濾波器，通過移動(dòng)卷積核來提池化(pooling)對(duì)4x4的矩陣進(jìn)行步長(zhǎng)為2的池化操作，結(jié)果矩陣為2x2，矩陣的大小降低了4倍，參數(shù)個(gè)數(shù)降低了4倍；池化能起到下采樣的作用，能簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)，減少網(wǎng)絡(luò)參數(shù)，為增加網(wǎng)絡(luò)深度留下余地。池化操作一般有兩種：最大池化(maxpooling)、平均池化(averagepooing)。平均池化最大池化深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs池化(pooling)對(duì)4x4的矩陣進(jìn)行步長(zhǎng)為2的池化操作，特征表達(dá)從低級(jí)的V1區(qū)提取邊緣特征，再到V2區(qū)的形狀或者目標(biāo)的一部分等，再到更高層，整個(gè)目標(biāo)、目標(biāo)的行為等。高層的特征是低層特征的組合，從低層到高層的特征表示越來越抽象，越來越能表現(xiàn)高級(jí)語義。抽象層面越高，存在的可能猜測(cè)就越少，就越利于分類。人的視覺系統(tǒng)的信息處理是分級(jí)的人類視覺系統(tǒng)深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs特征表達(dá)從低級(jí)的V1區(qū)提取邊緣特征，再到V2區(qū)的形狀或者目標(biāo)全連接和SoftmaxK分類的Softmax假設(shè)函數(shù)是：全連接：就是添加一個(gè)隱含層，與上層輸入的每個(gè)結(jié)點(diǎn)進(jìn)行全連接；Softmax回歸模型：是logistic回歸模型在多分類問題上的推廣，可以解決多分類的問題。所有k個(gè)類別加起來的概率和為1.深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs全連接和SoftmaxK分類的Softmax假設(shè)函數(shù)是：全連深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks）—CNNs通過用卷積代替規(guī)則神經(jīng)元的矩陣乘法運(yùn)算來大大減少每層中需要訓(xùn)練的未知權(quán)重系數(shù)的數(shù)量

CNN的優(yōu)點(diǎn)：避免了顯式的特征抽取，而隱式地從訓(xùn)練數(shù)據(jù)中進(jìn)行學(xué)習(xí)；同一特征映射面上的神經(jīng)元權(quán)值相同，從而網(wǎng)絡(luò)可以并行學(xué)習(xí)，降低了網(wǎng)絡(luò)的復(fù)雜性；采用時(shí)間或者空間的子采樣結(jié)構(gòu)，可以獲得某種程度的位移、尺度、形變魯棒性；輸入信息和網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)能很好的吻合，在語音識(shí)別和圖像處理方面有著獨(dú)特優(yōu)勢(shì)，成為這兩方面的研究熱點(diǎn)。深度學(xué)習(xí)的具體模型及方法卷積神經(jīng)網(wǎng)絡(luò)（Convolutio目錄概述深度學(xué)習(xí)簡(jiǎn)介深度學(xué)習(xí)的訓(xùn)練過程深度學(xué)習(xí)的具體模型及方法深度學(xué)習(xí)的應(yīng)用目錄深度學(xué)習(xí)的應(yīng)用機(jī)器視覺、智能語音成為產(chǎn)業(yè)化水平最高的人工智能領(lǐng)域深度學(xué)習(xí)的應(yīng)用機(jī)器視覺、智能語音成為產(chǎn)業(yè)化水平最高的人工智能深度學(xué)習(xí)的應(yīng)用圖像識(shí)別空間金字塔深度學(xué)習(xí)的應(yīng)用圖像識(shí)別空間金字塔深度學(xué)習(xí)的應(yīng)用圖像識(shí)別深度學(xué)習(xí)的應(yīng)用圖像識(shí)別深度學(xué)習(xí)的應(yīng)用圖像超分辨深度學(xué)習(xí)的應(yīng)用圖像超分辨深度學(xué)習(xí)的應(yīng)用CT圖像重建（學(xué)習(xí)噪聲）深度學(xué)習(xí)的應(yīng)用CT圖像重建（學(xué)習(xí)噪聲）深度學(xué)習(xí)的應(yīng)用目標(biāo)檢測(cè)深度學(xué)習(xí)的應(yīng)用目標(biāo)檢測(cè)深度學(xué)習(xí)的應(yīng)用語音搜索短信輸入微博輸入古詩(shī)輸入新聞?shì)斎肷疃葘W(xué)習(xí)的