人工神經(jīng)網(wǎng)絡(luò)深學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)本文檔共53頁(yè)；當(dāng)前第1頁(yè)；編輯于星期一\23點(diǎn)33分第七講深度學(xué)習(xí)主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)§7.3

幾種典型的深度學(xué)習(xí)模型§7.4開(kāi)源深度學(xué)習(xí)框架§7.5深度學(xué)習(xí)的未來(lái)本文檔共53頁(yè)；當(dāng)前第2頁(yè)；編輯于星期一\23點(diǎn)33分§7.1研究背景約翰·麥卡錫（1927-2011）LISP之父—不走尋常路的常識(shí)邏輯學(xué)家1956年，約翰.麥卡錫召集了一次會(huì)議來(lái)討論人工智能未來(lái)的發(fā)展方向，開(kāi)啟了AI的發(fā)展2016年人工智能（AI）奠基60周年21世紀(jì)初，“深度學(xué)習(xí)”的出現(xiàn)，AI研究獲得了長(zhǎng)足的進(jìn)步?jīng)]有大數(shù)據(jù)，沒(méi)有“大計(jì)算”，就沒(méi)有人工智能的今天！本文檔共53頁(yè)；當(dāng)前第3頁(yè)；編輯于星期一\23點(diǎn)33分MarvinMinsky—人工智能之父和框架理論的創(chuàng)立者1927-2016MITAILab創(chuàng)始人之一1970年獲得圖靈獎(jiǎng)美國(guó)工程院和美國(guó)科學(xué)院院士在近60年的人工智能歷史中，馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威，是當(dāng)之無(wú)愧的人工智能之父。（李德毅院士）明斯基在1950年進(jìn)入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士研究生學(xué)位，比我晚一年。我們很快意識(shí)到，我們兩人都對(duì)人工智能很感興趣。事實(shí)上，當(dāng)時(shí)明斯基已經(jīng)對(duì)如何實(shí)現(xiàn)人工智能頗有想法了，這一點(diǎn)在之后他設(shè)計(jì)和建造的世界上第一個(gè)神經(jīng)網(wǎng)絡(luò)模擬器Snare上得到了證實(shí)。

（JohnMcCarthy人工智能先驅(qū)，LISP語(yǔ)言之父，圖靈獎(jiǎng)獲得者）1969：Perceptron（感知器）神經(jīng)網(wǎng)絡(luò)的局限性（深度學(xué)習(xí)的前身）§7.1研究背景本文檔共53頁(yè)；當(dāng)前第4頁(yè)；編輯于星期一\23點(diǎn)33分2016年,阿爾法狗（AlphaGo）4:1大勝圍棋9段李世石高手，AI重大歷史時(shí)刻“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)（PolicyNetwork）”

通過(guò)13層全連接網(wǎng)絡(luò)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測(cè)落子選擇（MovePicker），如何下棋子“價(jià)值網(wǎng)絡(luò)（ValueNetwork）”給定棋子位置，預(yù)測(cè)每一個(gè)棋手贏棋的可能，就是計(jì)算局面§7.1研究背景主要設(shè)計(jì)者位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦（DavidSilver）劍橋大學(xué)計(jì)算機(jī)科學(xué)學(xué)士，碩士，加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)博士黃士杰（AjaHuang），臺(tái)灣交通大學(xué)計(jì)算機(jī)科學(xué)學(xué)士，臺(tái)灣師范大學(xué)計(jì)算機(jī)科學(xué)碩士和博士，加拿大阿爾伯塔大學(xué)計(jì)算機(jī)科學(xué)博士后本文檔共53頁(yè)；當(dāng)前第5頁(yè)；編輯于星期一\23點(diǎn)33分§7.1研究背景GeoffreyE.Hinton加拿大多倫多大學(xué)教授專注于神經(jīng)網(wǎng)絡(luò)幾十年，1985年，提出Boltzmann機(jī)1986年，提出受限Boltzmann機(jī)、BP算法2006年，提出神經(jīng)網(wǎng)絡(luò)進(jìn)行降維開(kāi)啟了深度學(xué)習(xí)時(shí)代，并在隨后的ImageNet圖片識(shí)別的比賽，取得了非常有說(shuō)服力的結(jié)果（74%->85%），震撼了學(xué)術(shù)界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrastivedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDistributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536本文檔共53頁(yè)；當(dāng)前第6頁(yè)；編輯于星期一\23點(diǎn)33分AndrewNg斯坦福大學(xué)教授2012年6月,《紐約時(shí)報(bào)》披露了GoogleBrain項(xiàng)目大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專家JeffDean用16000個(gè)CPUCore的并行計(jì)算平臺(tái)訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機(jī)器學(xué)習(xí)模型（內(nèi)部共有10億個(gè)節(jié)點(diǎn))在語(yǔ)音識(shí)別和圖像識(shí)別等領(lǐng)域獲得了巨大的成功§7.1研究背景本文檔共53頁(yè)；當(dāng)前第7頁(yè)；編輯于星期一\23點(diǎn)33分2012年11月，微軟公開(kāi)演示全自動(dòng)同聲傳譯系統(tǒng)深度學(xué)習(xí),講演者用英文演講，后臺(tái)的計(jì)算機(jī)一氣呵成自動(dòng)完成語(yǔ)音識(shí)別、英中機(jī)器翻譯和中文語(yǔ)音合成，效果非常流暢§7.1研究背景本文檔共53頁(yè)；當(dāng)前第8頁(yè)；編輯于星期一\23點(diǎn)33分2013年1月，百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學(xué)習(xí)研究所”（IDL，InstitueofDeepLearning§7.1研究背景本文檔共53頁(yè)；當(dāng)前第9頁(yè)；編輯于星期一\23點(diǎn)33分機(jī)器學(xué)習(xí)解決目標(biāo)識(shí)別與分類問(wèn)題的思路三個(gè)主要組成部分中間的特征提取部分將很大程度上決定最終的效果，如何提取特征？“巧婦難為無(wú)米之炊”§7.1研究背景本文檔共53頁(yè)；當(dāng)前第10頁(yè)；編輯于星期一\23點(diǎn)33分SIFTHOGDoG+Gabor§7.1研究背景Sift被認(rèn)為是局部圖像特征描述子研究領(lǐng)域一項(xiàng)里程碑式的工作，對(duì)尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，還SIFT具有很強(qiáng)的可區(qū)分性特征抽取非常費(fèi)力，需要領(lǐng)域知識(shí)啟發(fā)式提取最大的問(wèn)題？--人工設(shè)計(jì)BOW……本文檔共53頁(yè)；當(dāng)前第11頁(yè)；編輯于星期一\23點(diǎn)33分§7.1研究背景待檢測(cè)圖像行人模型圖像金字塔適應(yīng)目標(biāo)尺度變化局部濾波器變形動(dòng)態(tài)規(guī)劃求解可變形部件模型行人檢測(cè)本文檔共53頁(yè)；當(dāng)前第12頁(yè)；編輯于星期一\23點(diǎn)33分

1981年的諾貝爾醫(yī)學(xué)獎(jiǎng)，頒發(fā)給了DavidHubel和TorstenWiesel(JohnHopkinsUniversity)，以及RogerSperry。前兩位的主要貢獻(xiàn)，是“發(fā)現(xiàn)了視覺(jué)系統(tǒng)的信息處理”：可視皮層是分級(jí)的：這個(gè)發(fā)現(xiàn)激發(fā)了人們對(duì)于神經(jīng)系統(tǒng)的進(jìn)一步思考→神經(jīng)-中樞-大腦的工作過(guò)程，”或許”是一個(gè)不斷迭代、不斷抽象的過(guò)程§7.1研究背景人腦視覺(jué)系統(tǒng)如何提取特征？本文檔共53頁(yè)；當(dāng)前第13頁(yè)；編輯于星期一\23點(diǎn)33分關(guān)鍵在于抽象和迭代，從原始信號(hào)開(kāi)始進(jìn)行低級(jí)抽象，逐漸向高級(jí)抽象迭代從低層到高層的特征表示越來(lái)越抽象，生物視覺(jué)特征分層抽象的過(guò)程，就是一個(gè)計(jì)算機(jī)建模過(guò)程§7.1研究背景人腦視覺(jué)系統(tǒng)如何提取特征？本文檔共53頁(yè)；當(dāng)前第14頁(yè)；編輯于星期一\23點(diǎn)33分§7.1研究背景本文檔共53頁(yè)；當(dāng)前第15頁(yè)；編輯于星期一\23點(diǎn)33分§7.1研究背景HMAXNeocognitronVisNet本文檔共53頁(yè)；當(dāng)前第16頁(yè)；編輯于星期一\23點(diǎn)33分§7.1研究背景從層次增加看深度學(xué)習(xí)發(fā)展簡(jiǎn)史2020年又是冰河期？本文檔共53頁(yè)；當(dāng)前第17頁(yè)；編輯于星期一\23點(diǎn)33分§7.1研究背景本文檔共53頁(yè)；當(dāng)前第18頁(yè)；編輯于星期一\23點(diǎn)33分?淺層機(jī)器學(xué)習(xí)模型(第二次浪潮)--1-2層隱層的BP網(wǎng)絡(luò)（20世紀(jì)80年代末期）--SVM、Boosting等，模型的結(jié)構(gòu)可視為帶一層隱層節(jié)點(diǎn)或沒(méi)有隱層節(jié)點(diǎn)（20世紀(jì)90年代）NeuralNetwork問(wèn)題--比較容易過(guò)擬合，參數(shù)比較難tune，而且需要不少技巧--訓(xùn)練速度比較慢，--有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限--梯度越來(lái)越稀疏：從輸出層越往輸入層，誤差校正信號(hào)越來(lái)越小--收斂到局部極小值近20多年，主要SVM和boosting算法§7.1研究背景本文檔共53頁(yè)；當(dāng)前第19頁(yè)；編輯于星期一\23點(diǎn)33分?深度機(jī)器學(xué)習(xí)模型(第三次浪潮)

GeoffreyHinton（加拿大多倫多大學(xué)教授、機(jī)器學(xué)習(xí)領(lǐng)域的泰斗）及其學(xué)生2006年在科學(xué)雜志發(fā)表”DeepLearning”文章，開(kāi)啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。

--多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力--通過(guò)無(wú)監(jiān)督學(xué)習(xí)的“逐層初始化”（layer-wisepre-training）來(lái)有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度--深度學(xué)習(xí)可通過(guò)學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強(qiáng)大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。--強(qiáng)調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點(diǎn)--深度學(xué)習(xí)就是特征學(xué)習(xí)，通過(guò)逐層特征變換，將樣本在原空間的特征表示變換到一個(gè)新特征空間，從而使分類或預(yù)測(cè)更加容易“深度學(xué)習(xí)”通過(guò)多層次抽象來(lái)實(shí)現(xiàn)特征的表達(dá)§7.1研究背景本文檔共53頁(yè)；當(dāng)前第20頁(yè)；編輯于星期一\23點(diǎn)33分DeepLearning—以多層次神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)發(fā)展起來(lái)的一種新的機(jī)器學(xué)習(xí)方法，被認(rèn)為是AI的新的前沿Theoretical:“…well-knowndepth-breadthtradeoffincircuitsdesign[Hastad1987].Thissuggestsmanyfunctionscanbemuchmoreefficientlyrepresentedwithdeeperarchitectures…”[Bengio&LeCun2007]Biological:Visualcortexishierarchical(HubelandWiesel).§7.1研究背景本文檔共53頁(yè)；當(dāng)前第21頁(yè)；編輯于星期一\23點(diǎn)33分§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.1BP網(wǎng)絡(luò)——僅適合淺層網(wǎng)絡(luò)梯度下降算法——梯度逐層反向計(jì)算，直到梯度接近零為止本文檔共53頁(yè)；當(dāng)前第22頁(yè)；編輯于星期一\23點(diǎn)33分§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)為什么BP網(wǎng)絡(luò)只適合淺層網(wǎng)絡(luò)？訓(xùn)練速度慢問(wèn)題易于過(guò)擬合問(wèn)題

在學(xué)習(xí)訓(xùn)練中,網(wǎng)絡(luò)對(duì)學(xué)習(xí)樣本達(dá)到非常高的逼近精度,但對(duì)測(cè)試樣本逼近誤差隨網(wǎng)絡(luò)訓(xùn)練次數(shù)而呈現(xiàn)先下降,后反而上升的奇異現(xiàn)象全局優(yōu)化問(wèn)題

BP網(wǎng)絡(luò)深度較深時(shí)，會(huì)涉及到求解一個(gè)高階非凸優(yōu)化問(wèn)題，容易陷入很壞的局部極小梯度彌散問(wèn)題

BP網(wǎng)絡(luò)深度較深時(shí)，梯度隨著深度向前而顯著下降，誤差反傳到更前面的隱含層時(shí)已非常小，使得前幾層不能有效進(jìn)行調(diào)節(jié)，訓(xùn)練速度很慢本文檔共53頁(yè)；當(dāng)前第23頁(yè)；編輯于星期一\23點(diǎn)33分§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2深度學(xué)習(xí)的基本思想

加拿大多倫多大學(xué)的GeofferyHinton教授2006年首次提出了“深度信念網(wǎng)絡(luò)”的概念。與傳統(tǒng)的訓(xùn)練方式不同，為大幅度減少了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時(shí)間，采用兩個(gè)技術(shù)█“

預(yù)訓(xùn)練”（pre-training）：無(wú)監(jiān)督學(xué)習(xí)→參數(shù)初始值逐層貪婪訓(xùn)練，就是先訓(xùn)練網(wǎng)絡(luò)第1個(gè)隱含層，再訓(xùn)練第2個(gè)…，最后

將訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為整個(gè)網(wǎng)絡(luò)參數(shù)的初值（預(yù)訓(xùn)練，找到神經(jīng)網(wǎng)

絡(luò)中一個(gè)接近最優(yōu)解的權(quán)值）█“

微調(diào)

”(fine-tuning)：監(jiān)督學(xué)習(xí)

進(jìn)一步優(yōu)化訓(xùn)練整個(gè)網(wǎng)絡(luò)，對(duì)神經(jīng)網(wǎng)絡(luò)參數(shù)（權(quán)值）改變很小本文檔共53頁(yè)；當(dāng)前第24頁(yè)；編輯于星期一\23點(diǎn)33分§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2深度學(xué)習(xí)的基本思想█層數(shù)保持不變，神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量增加，從而帶來(lái)了更好的表示（represention）能力█增加更多層次，更深入的特征表示，以及更強(qiáng)的函數(shù)模擬能力隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對(duì)于前一層次的抽象表示更深入。即每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示第1隱含層學(xué)習(xí)到的特征--“邊緣”第2隱含層學(xué)習(xí)到的特征--由“邊緣”組成的“形狀”第3隱含層學(xué)習(xí)到的特征--由“形狀”組成的“圖案”。。。。。最后隱含層學(xué)習(xí)到的特征--由“圖案”組成的“目標(biāo)”神經(jīng)網(wǎng)絡(luò)本質(zhì)模擬特征與目標(biāo)之間函數(shù)映射關(guān)系。層數(shù)多，參數(shù)多，模擬映射函數(shù)更復(fù)雜、更多容量本文檔共53頁(yè)；當(dāng)前第25頁(yè)；編輯于星期一\23點(diǎn)33分Deeplearning與NeuralNetwork深度學(xué)習(xí)是模擬人腦進(jìn)行分析學(xué)習(xí)，稱UnsupervisedFeatureLearning--源于人工神經(jīng)網(wǎng)絡(luò)，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)--用深度網(wǎng)絡(luò)結(jié)構(gòu)來(lái)抽象和迭代組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度網(wǎng)絡(luò)訓(xùn)練的主要思想是用非標(biāo)簽數(shù)據(jù)進(jìn)行逐層貪婪訓(xùn)練和用有

標(biāo)記數(shù)據(jù)來(lái)進(jìn)行整個(gè)網(wǎng)絡(luò)的微調(diào)相同之處--采用分層結(jié)構(gòu)：輸入層、隱層（多層）、輸出層--連接方式：相鄰層節(jié)點(diǎn)之間有連接，同一層以及跨層節(jié)點(diǎn)之間相互無(wú)連接不同之處--訓(xùn)練機(jī)制不同：ANN采用后向傳播機(jī)制,DLlayer-wise的訓(xùn)練機(jī)制--層數(shù)多，BP殘差傳播到最前面的層已經(jīng)變得太?。ㄌ荻葦U(kuò)散）§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)本文檔共53頁(yè)；當(dāng)前第26頁(yè)；編輯于星期一\23點(diǎn)33分深度學(xué)習(xí)流行的激勵(lì)函數(shù)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)傳統(tǒng)激勵(lì)函數(shù)

Sigmoid系非線性的Sigmoid函數(shù)對(duì)中央?yún)^(qū)域的信號(hào)增益較大，對(duì)兩側(cè)區(qū)域的信號(hào)增益小，特征空間映射效果好從神經(jīng)科學(xué)看，中央?yún)^(qū)域類似神經(jīng)元興奮態(tài)，兩側(cè)區(qū)域類似神經(jīng)元抑制態(tài)問(wèn)題：（1）sigmoid函數(shù)在實(shí)際梯度下降中，容易飽和和終止梯度傳遞（2）同時(shí)近乎有一半的神經(jīng)元被激活本文檔共53頁(yè)；當(dāng)前第27頁(yè)；編輯于星期一\23點(diǎn)33分§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)類似生物神經(jīng)元激勵(lì)函數(shù)與Sigmoid系的不同：（1）單側(cè)抑制（紅框里前端全沒(méi)激活）（2）相對(duì)寬闊的興奮邊界（3）稀疏激活性神經(jīng)科學(xué)家Dayan、Abott2001年模擬腦神經(jīng)元接受信號(hào)更精確的激勵(lì)模型█Softplus(x)=log(1+ex)具有（1）與（2）特性█ReLU（修正線性單元：RectifiedLinearUnit)：f(x)=max(0,x)具有三個(gè)特性可極大提升隨機(jī)梯度下降的收斂速度梯度計(jì)算非常簡(jiǎn)單應(yīng)用很多神經(jīng)元的生物特性具有生物特性的激勵(lì)函數(shù)本文檔共53頁(yè)；當(dāng)前第28頁(yè)；編輯于星期一\23點(diǎn)33分假定神經(jīng)網(wǎng)絡(luò)的輸出O等于輸入I，即輸入I經(jīng)過(guò)這個(gè)系統(tǒng)變化之后沒(méi)有任何的信息損失，保持了不變，這意味著輸入I經(jīng)過(guò)每一層都沒(méi)有任何的信息損失,訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù)（連接權(quán)）

每層的輸出就是輸入的另外一種表示特征system輸出O輸入Ii=o自動(dòng)編碼器(AutoEncoder)§7.3

幾種典型的深度學(xué)習(xí)模型本文檔共53頁(yè)；當(dāng)前第29頁(yè)；編輯于星期一\23點(diǎn)33分§7.4

幾種典型的深度學(xué)習(xí)模型有標(biāo)簽數(shù)據(jù)的特征學(xué)習(xí)無(wú)標(biāo)簽數(shù)據(jù)的無(wú)監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征標(biāo)簽/無(wú)標(biāo)簽編碼本文檔共53頁(yè)；當(dāng)前第30頁(yè)；編輯于星期一\23點(diǎn)33分無(wú)標(biāo)簽數(shù)據(jù)的無(wú)監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征增加分類器§7.3

幾種典型的深度學(xué)習(xí)模型本文檔共53頁(yè)；當(dāng)前第31頁(yè)；編輯于星期一\23點(diǎn)33分稀疏自動(dòng)編碼器§7.3

幾種典型的深度學(xué)習(xí)模型本文檔共53頁(yè)；當(dāng)前第32頁(yè)；編輯于星期一\23點(diǎn)33分§7.4

幾種典型的深度學(xué)習(xí)模型自動(dòng)編碼器(AutoEncoder)本文檔共53頁(yè)；當(dāng)前第33頁(yè)；編輯于星期一\23點(diǎn)33分深度信任網(wǎng)絡(luò)DBN受限可視層各節(jié)點(diǎn)間無(wú)連接隱含層各節(jié)點(diǎn)間無(wú)連接可視層作為向量輸入隱含層作為特征檢測(cè)器可為二值節(jié)點(diǎn)（可取0或1）或?qū)崝?shù)節(jié)點(diǎn)（0～1）可視層、隱含層的節(jié)點(diǎn)數(shù)量不定§7.3

幾種典型的深度學(xué)習(xí)模型RestrictedBoltzmanMachine(RBM)本文檔共53頁(yè)；當(dāng)前第34頁(yè)；編輯于星期一\23點(diǎn)33分RBM的能量對(duì)特定的(v,h)，其能量函數(shù)定義為對(duì)每種可能的p(v,h)分布滿足Boltzmann分布§7.3

幾種典型的深度學(xué)習(xí)模型本文檔共53頁(yè)；當(dāng)前第35頁(yè)；編輯于星期一\23點(diǎn)33分RBM的狀態(tài)更新/重采樣給定可視層每個(gè)節(jié)點(diǎn)v，隱含層的每個(gè)節(jié)點(diǎn)hj依下式確定的概率取1（條件獨(dú)立）同樣，給定隱含層每個(gè)節(jié)點(diǎn)h，可依下式確定的概率獲得可視層各結(jié)點(diǎn)的的無(wú)偏估計(jì)樣本（條件獨(dú)立）§7.3

幾種典型的深度學(xué)習(xí)模型本文檔共53頁(yè)；當(dāng)前第36頁(yè)；編輯于星期一\23點(diǎn)33分§7.3

幾種典型的深度學(xué)習(xí)模型將多個(gè)RBM層疊在一起前一層RBM的隱含層作為后一層RBM可視層的輸入深度信任網(wǎng)絡(luò)DBN的構(gòu)成概率生成模型多個(gè)受限玻爾茲曼機(jī)RBM層組成本文檔共53頁(yè)；當(dāng)前第37頁(yè)；編輯于星期一\23點(diǎn)33分§7.3幾種典型的深度學(xué)習(xí)模型深度信任網(wǎng)絡(luò)DBN的訓(xùn)練對(duì)比散度CD算法ContrastiveDivergence(Hinton,2002)預(yù)訓(xùn)練獲得生成模型的連接權(quán)（訓(xùn)練RBM可視層節(jié)點(diǎn)和隱節(jié)點(diǎn)間的權(quán)值）利用GibbsSampling已知v重采樣h已知h重采樣v定義上述操作為一輪，可多輪依據(jù)下式修正連接權(quán)wij本文檔共53頁(yè)；當(dāng)前第38頁(yè)；編輯于星期一\23點(diǎn)33分DBN每層RBM內(nèi)--隱含層對(duì)可見(jiàn)層進(jìn)行特征提取層與層之間每層對(duì)前一層提取出的特征進(jìn)行再提取第3層第2層第1層§7.4

幾種典型的深度學(xué)習(xí)模型本文檔共53頁(yè)；當(dāng)前第39頁(yè)；編輯于星期一\23點(diǎn)33分YannLeCunIn1995,YannLeCunandYoshuaBengiointroducedtheconceptofconvolutionalneuralnetworks.YoshuaBengio深度卷積網(wǎng)絡(luò)§7.3

幾種典型的深度學(xué)習(xí)模型在貝爾實(shí)驗(yàn)室的研究--提高手寫識(shí)別濾波——池化本文檔共53頁(yè)；當(dāng)前第40頁(yè)；編輯于星期一\23點(diǎn)33分§7.3

幾種典型的深度學(xué)習(xí)模型輸入圖像通過(guò)多個(gè)可訓(xùn)練的濾波器組進(jìn)行非線性卷積，卷積后在每一層產(chǎn)生特征映射圖，再特征映射圖中每組池化（亞采樣），最終得到輸出值本文檔共53頁(yè)；當(dāng)前第41頁(yè)；編輯于星期一\23點(diǎn)33分§7.3

幾種典型的深度學(xué)習(xí)模型層間局部連接—稀疏連接方式深度卷積網(wǎng)絡(luò)多層感知器(MLP)的變種卷積神經(jīng)網(wǎng)絡(luò)中，層間的神經(jīng)元不是全連接，利用層間局部空間相關(guān)性，通過(guò)局部連接方式，上層的神經(jīng)元只與和它相近的下層神經(jīng)元相連，以大大降低神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模本文檔共53頁(yè)；當(dāng)前第42頁(yè)；編輯于星期一\23點(diǎn)33分§7.3

幾種典型的深度學(xué)習(xí)模型每個(gè)卷積濾波器共享相同的參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每個(gè)卷積濾波器重復(fù)作用于整個(gè)感受野中，對(duì)輸入圖像進(jìn)行卷積，卷積結(jié)果構(gòu)成輸入圖像的特征圖，提取出圖像的局部特征神經(jīng)元共享權(quán)值一個(gè)特征映射面上的神經(jīng)元共享權(quán)值，大大降低學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)數(shù)量特征映射結(jié)構(gòu)采用sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)共享權(quán)值本文檔共53頁(yè)；當(dāng)前第43頁(yè)；編輯于星期一\23點(diǎn)33分§7.3

幾種典型的深度學(xué)習(xí)模型最大池化采樣—非線性降采樣方法最大池采樣方法對(duì)卷積特征進(jìn)行降維，具有平移不變性Softmax回歸—有監(jiān)督學(xué)習(xí)算法，解決多分類問(wèn)題訓(xùn)練樣本集由m個(gè)帶標(biāo)簽樣本構(gòu)成：最小化代價(jià)函數(shù)本文檔共53頁(yè)；當(dāng)前第44頁(yè)；編輯于星期一\23點(diǎn)33分§7.3

幾種典型的深度學(xué)習(xí)模型深度卷積網(wǎng)絡(luò)訓(xùn)練與BP網(wǎng)絡(luò)的向前傳播和反向調(diào)整權(quán)矩陣類似的一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池化采樣層是實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能的核心卷積神經(jīng)網(wǎng)絡(luò)的低隱含層是由卷積層和最大池化采樣層交替組成，高層是全連接層對(duì)應(yīng)傳統(tǒng)多層感知器的隱含層和邏輯回歸分類器本文檔共53頁(yè)；當(dāng)前第45頁(yè)；編輯于星期一\23點(diǎn)33分§7.3

幾種典型的深度學(xué)習(xí)模型本文檔共53頁(yè)；當(dāng)前第46頁(yè)；編輯于星期一\23點(diǎn)33分§7.4開(kāi)源深度學(xué)習(xí)框架

◆Caffe源自加州伯克利分校的Caffe被廣泛應(yīng)用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C++開(kāi)發(fā)，Caffe也是Google今年早些時(shí)候發(fā)布的DeepDream項(xiàng)目（可以識(shí)別喵星人的人工智能神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)。

◆Theano2008年誕生于蒙特利爾理工學(xué)院，Theano派生出了大量深度學(xué)習(xí)Python軟件包，最著名的包括Blocks和Keras。本文檔共53頁(yè)；當(dāng)前第47頁(yè)；編輯于星期一\23點(diǎn)33分§7.4開(kāi)源深度學(xué)習(xí)框架

◆TorchTorch誕生已經(jīng)有十年之久，但是真正起勢(shì)得益于去年Facebook開(kāi)源了大量Torch的深度學(xué)習(xí)模塊和擴(kuò)展。Torch另外一個(gè)特殊之處是采用了不怎么流行的編程語(yǔ)言Lua（該語(yǔ)言曾被用來(lái)開(kāi)發(fā)視頻游戲）。

◆Brainstorm來(lái)自瑞士人工智能實(shí)驗(yàn)室IDSIA的一個(gè)非常發(fā)展前景很不錯(cuò)的深度學(xué)習(xí)軟件包，Brainstorm能夠處理上百層的超級(jí)深度神經(jīng)網(wǎng)絡(luò)——所謂的公路網(wǎng)絡(luò)HighwayNetworks。本文檔共53頁(yè)；當(dāng)前第48頁(yè)；編輯于星期一\23點(diǎn)33分§7.4開(kāi)源深度學(xué)習(xí)框架

◆DeepLearning4j創(chuàng)業(yè)公司Skymind于2014年6月發(fā)布的一個(gè)面向生產(chǎn)環(huán)境和商業(yè)應(yīng)用的高成熟度深度學(xué)習(xí)開(kāi)源庫(kù)，是”forJava”的深度學(xué)習(xí)框架，可與Hadoop和Spark集成，即插即用，方便開(kāi)發(fā)者在APP中快速集成深度學(xué)習(xí)功能，可用于：人臉/圖像識(shí)別；語(yǔ)音搜索；語(yǔ)音轉(zhuǎn)文字（Speechtotext）;垃圾信息過(guò)濾（異常偵測(cè)）；電商欺詐偵測(cè)。埃森哲、雪弗蘭、博斯咨詢和IBM等明星企業(yè)都在使用。

◆Marvin是普林斯頓大學(xué)視覺(jué)工作組新推出的C++框架。該團(tuán)隊(duì)還提供了一個(gè)文件用于將Caffe模型轉(zhuǎn)化成語(yǔ)Marvin兼容的模式。。本文檔共53頁(yè)；當(dāng)前第49頁(yè)；編輯于星期一\23點(diǎn)33分§7.4開(kāi)源深度學(xué)習(xí)框架

◆ConvNetJS斯坦福大學(xué)博士生AndrejKarpathy開(kāi)發(fā)瀏覽器插件，基于JavaScript可以在游覽器中訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

◆。。。本文檔共53頁(yè)；當(dāng)前第50頁(yè)；編輯于星期一\23點(diǎn)33分20世紀(jì)90年代人類腦計(jì)劃（HumanBrainProject,

HBP)繼人類基因計(jì)劃后，又一國(guó)際性科研大計(jì)劃2013年1月歐盟啟動(dòng)“人類大腦計(jì)劃”(HumanBrainProject)巨型計(jì)算機(jī)模擬整個(gè)人類大腦（10億歐元）2013年4月美國(guó)“大腦活動(dòng)圖譜計(jì)劃”(BrainActivityMapProject，或稱BrainInitiative)研究大腦活動(dòng)中的所有神經(jīng)元，探索神經(jīng)元、神經(jīng)回路與大腦功能間的關(guān)系（38億美元）2014年科技部腦科學(xué)信息化重大專項(xiàng)“類人腦工程”2014年諾貝爾獎(jiǎng)生理學(xué)醫(yī)學(xué)獎(jiǎng)大腦的定位系統(tǒng)--“位置細(xì)胞”與“網(wǎng)格細(xì)胞”發(fā)現(xiàn)§7.5

深度學(xué)習(xí)的未來(lái)隨著神經(jīng)網(wǎng)絡(luò)研究的不斷變遷，其連接及其計(jì)算與生物神經(jīng)元的連接模型其實(shí)漸行漸遠(yuǎn)？?。”疚臋n共53頁(yè)；當(dāng)前第51頁(yè)；編輯于星期一\23點(diǎn)33分開(kāi)啟計(jì)算機(jī)“高智商”新時(shí)代

IBM成功構(gòu)建模擬人腦功能的認(rèn)知計(jì)算機(jī)芯片

（201