深度學習簡介

深度學習簡介翟巖慧山西大學計算機與信息技術學院目錄背景理論根底深度學習式神經(jīng)網(wǎng)絡深度學習應用進一步解釋深度學習背景背景為了讓機器自動學習,需要提取特征,而特征提取一般由人工進行,并且非常困難特征的有效性對學習算法可能有決定性的作用背景要描述右圖中的圖像,需要對圖像像素進行分析,提取邊緣特征并分割分析邊緣特征,生成局部形狀特征和人體局部部位特征分析局部部位特征,生成人體部位特征分析部位特征,完成圖像語義識別背景無監(jiān)督特征提取:Hinton,G.E.,Osindero,S.andTeh,Y.,Afastlearningalgorithmfordeepbeliefnets.NeuralComputation18:1527-1554,2006(基于RestrictedBoltzmannMachine(RBM)的DeepBeliefNetworks(DBN),采用逐層學習特征的無監(jiān)督特征提取算法)YoshuaBengio,PascalLamblin,DanPopoviciandHugoLarochelle,GreedyLayer-WiseTrainingofDeepNetworks,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems19(NIPS2006),pp.153-160,MITPress,2007(比較了RBM和Auto-encoder)Marc’AurelioRanzato,ChristopherPoultney,SumitChopraandYannLeCun.EfficientLearningofSparseRepresentationswithanEnergy-BasedModel,inJ.Plattetal.(Eds),AdvancesinNeuralInformationProcessingSystems(NIPS2006),MITPress,2007(將稀疏自編碼用于卷積結構)背景深度學習應用:分類回歸維數(shù)約簡紋理建模行動建模對象分割信息獲取機器人自然語言處理協(xié)同過濾背景:深度學習深度學習:可以進行自動特征提取,并生成具有層次結構特征集合組.深度的意義表達在特征的層次結構上,目前的學習根本上都是淺層學習,如SVM(2),線性回歸和邏輯回歸(1),深度學習的生物根底:大腦的運作方式是深度模式.如,視覺系統(tǒng)(5-10)...背景:深度學習理論根底理論根底:深度的有效性多層神經(jīng)網(wǎng)絡中,層次更少的神經(jīng)網(wǎng)絡近似某一函數(shù)會比層數(shù)較多的神經(jīng)網(wǎng)絡需要更多的(指數(shù)階)參數(shù).邏輯門問題:2層邏輯門可以表示任意布爾函數(shù).已經(jīng)證明,某些需要多項式個邏輯單元的k層電路來表示的函數(shù)需要指數(shù)個邏輯單元的k-1層電路才能表示.理論根底:深度的有效性解釋結論的解釋:因子化理論根底:深度的有效性解釋因子化在圖像處理中的解釋:第一層可以學習如何將圖像中的像素組合在一起來檢測邊緣第二層可以將邊緣組合起來檢測更長的輪廓或者簡單的“目標的部件〞在更深的層次上，可以將這些輪廓進一步組合起來以檢測更為復雜的特征理論根底:深度的有效性解釋深度學習式神經(jīng)網(wǎng)絡深度學習式神經(jīng)網(wǎng)絡深度網(wǎng)絡的簡潔性和較強的表達能力訓練深度網(wǎng)絡有一些困難(主要指BP算法)數(shù)據(jù)獲取問題(需要的樣本過多)局部極值問題(太多的局部極值)梯度彌散問題(BP算法對前面層次的訓練效果較差)深度學習式神經(jīng)網(wǎng)絡解決的方法——逐層貪婪算法每次只訓練網(wǎng)絡中的一層：首先訓練一個只含一個隱藏層的網(wǎng)絡，然后訓練一個有兩個隱藏層的網(wǎng)絡，以此類推。每一層的訓練可以是有監(jiān)督的〔例如，將每一步的分類誤差作為目標函數(shù)〕，但更通常使用無監(jiān)督方法〔如自動編碼器〕。這些各層單獨訓練所得到的權重被用來初始化最終〔或者說全部〕的深度網(wǎng)絡的權重，然后對整個網(wǎng)絡進行“微調(diào)〞〔即把所有層放在一起來優(yōu)化有標簽訓練集上的訓練誤差〕深度學習式神經(jīng)網(wǎng)絡深度稀疏自編碼〔Deepsparseautoencoders〕深度信念網(wǎng)〔DeepBeliefNetwork(DBN)〕深度稀疏自編碼無標簽數(shù)據(jù)

參數(shù)學習目標限制:隱層維數(shù)(降維)隱層表示稀疏性x4x5x6+1Layer1Layer2x1x2x3x4x5x6x1x2x3+1Layer3a1a2a3深度稀疏自編碼

ReconstructionerrortermL1sparsitytermx4x5x6+1Layer1Layer2x1x2x3+1a1a2a3

深度稀疏自編碼x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3Trainparameterssothat,subjecttobi’sbeingsparse.深度稀疏自編碼x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3Newrepresentationforinput.深度稀疏自編碼x4x5x6+1x1x2x3+1a1a2a3+1b1b2b3+1c1c2c3Newrepresentationforinput.Use[c1,c3,c3]asrepresentationtofeedtolearningalgorithm.深度稀疏自編碼已標注訓練集兩種表示方式:替代表示級聯(lián)表示深度信念網(wǎng)由RBM〔RestrictedBoltzmannMachine〕棧式組合而成生成模型RBM輸入[x1,x2,x3,x4]隱層[a1,a2,a3]服從玻爾茲曼聯(lián)合分布〔馬爾科夫隨機場分布〕給定x,極大似然估計:x4x1x2x3a2a3a1RBMRBMGibbs采樣推理：[xiaj]obs：固定x,由P(a|x)采樣得到a.[xiaj]prior：持續(xù)采樣直至收斂得到x和a.約束ai的稀疏性可以提高性能.輸入[x1,x2,x3,x4]隱層[a1,a2,a3]x4x1x2x3a2a3a1深度信念網(wǎng)輸入[x1,x2,x3,x4]第2層[a1,a2,a3]第3層[b1,b2,b3]RBM

DBN第4層[c1,c2,c3]深度學習式神經(jīng)網(wǎng)絡逐層貪婪算法優(yōu)點數(shù)據(jù)獲取(自學習方法使用無標簽樣本來學習特征)更好的局部極值(使用逐層訓練好的權值作為網(wǎng)絡初值)深度學習應用ConvolutionalDBNonfaceimagespixelsedgesobjectparts(combinationofedges)objectmodelsNote:Sparsityimportantfortheseresults.ExamplesoflearnedobjectpartsfromobjectcategoriesLearningofobjectpartsFacesCarsElephantsChairsTrainingonmultipleobjectsPlotofH(class|neuronactive)Trainedon4classes(cars,faces,motorbikes,airplanes).Secondlayer:Shared-featuresandobject-specificfeatures.Thirdlayer:Morespecificfeatures.InputimagesSamplesfromfeedforwardInference(control)SamplesfromFullposteriorinferenceHierarchicalprobabilisticinferenceGeneratingposteriorsamplesfromfacesby“fillingin〞experiments(cf.LeeandMumford,2003).Combinebottom-upandtop-downinference.深度學習應用TIMITPhoneclassificationAccuracyPriorart(Clarksonetal.,1999)79.6%StanfordFeaturelearning80.3%TIMITSpeakeridentificationAccuracyPriorart(Reynolds,1995)99.7%StanfordFeaturelearning100.0%AudioImagesMultimodal(audio/video)CIFARObjectclassificationAccuracyPriorart(YuandZhang,2010)74.5%StanfordFeaturelearning75.5%NORBObjectclassificationAccuracyPriorart(Ranzatoetal.,2009)94.4%StanfordFeaturelearning96.2%AVLettersLipreadingAccuracyPriorart(Zhaoetal.,2009)58.9%StanfordFeaturelearning63.1%VideoUCFactivityclassificationAccuracyPriorart(Kalseretal.,2008)86%StanfordFeaturelearning87%Hollywood2classificationAccuracyPriorart(Laptev,2004)47%StanfordFeaturelearning50%進一步解釋深度學習:稀疏性深度學習:限制生成特征為〔稀疏〕分布表示.特征的分布表示意味著每一個特征都包含盡可能多的信息,因此生成的特征之間相對于原樣本不是互斥的.特征的分布表示意味著信息的非局部性和容錯性特征的稀疏分布表示表達在可以使用很少的(稀疏)特征來組合生成