人工神經(jīng)網(wǎng)絡(luò)深學(xué)習(xí)

人工神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)目前一頁\總數(shù)五十三頁\編于十二點第七講深度學(xué)習(xí)主講內(nèi)容§7.1研究背景§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)§7.3

幾種典型的深度學(xué)習(xí)模型§7.4開源深度學(xué)習(xí)框架§7.5深度學(xué)習(xí)的未來目前二頁\總數(shù)五十三頁\編于十二點§7.1研究背景約翰·麥卡錫（1927-2011）LISP之父—不走尋常路的常識邏輯學(xué)家1956年，約翰.麥卡錫召集了一次會議來討論人工智能未來的發(fā)展方向，開啟了AI的發(fā)展2016年人工智能（AI）奠基60周年21世紀(jì)初，“深度學(xué)習(xí)”的出現(xiàn)，AI研究獲得了長足的進步?jīng)]有大數(shù)據(jù)，沒有“大計算”，就沒有人工智能的今天！目前三頁\總數(shù)五十三頁\編于十二點MarvinMinsky—人工智能之父和框架理論的創(chuàng)立者1927-2016MITAILab創(chuàng)始人之一1970年獲得圖靈獎美國工程院和美國科學(xué)院院士在近60年的人工智能歷史中，馬文-明斯基一直是一位閃耀著耀眼光彩的杰出的人工智能權(quán)威，是當(dāng)之無愧的人工智能之父。（李德毅院士）明斯基在1950年進入普林斯頓大學(xué)攻讀數(shù)學(xué)系的博士研究生學(xué)位，比我晚一年。我們很快意識到，我們兩人都對人工智能很感興趣。事實上，當(dāng)時明斯基已經(jīng)對如何實現(xiàn)人工智能頗有想法了，這一點在之后他設(shè)計和建造的世界上第一個神經(jīng)網(wǎng)絡(luò)模擬器Snare上得到了證實。

（JohnMcCarthy人工智能先驅(qū)，LISP語言之父，圖靈獎獲得者）1969：Perceptron（感知器）神經(jīng)網(wǎng)絡(luò)的局限性（深度學(xué)習(xí)的前身）§7.1研究背景目前四頁\總數(shù)五十三頁\編于十二點2016年,阿爾法狗（AlphaGo）4:1大勝圍棋9段李世石高手，AI重大歷史時刻“監(jiān)督學(xué)習(xí)的策略網(wǎng)絡(luò)（PolicyNetwork）”

通過13層全連接網(wǎng)絡(luò)，反復(fù)訓(xùn)練圍棋棋盤布局，調(diào)整參數(shù)，以最佳概率預(yù)測落子選擇（MovePicker），如何下棋子“價值網(wǎng)絡(luò)（ValueNetwork）”給定棋子位置，預(yù)測每一個棋手贏棋的可能，就是計算局面§7.1研究背景主要設(shè)計者位于倫敦Google旗下DeepMind公司大衛(wèi)·席爾瓦（DavidSilver）劍橋大學(xué)計算機科學(xué)學(xué)士，碩士，加拿大阿爾伯塔大學(xué)計算機科學(xué)博士黃士杰（AjaHuang），臺灣交通大學(xué)計算機科學(xué)學(xué)士，臺灣師范大學(xué)計算機科學(xué)碩士和博士，加拿大阿爾伯塔大學(xué)計算機科學(xué)博士后目前五頁\總數(shù)五十三頁\編于十二點§7.1研究背景GeoffreyE.Hinton加拿大多倫多大學(xué)教授專注于神經(jīng)網(wǎng)絡(luò)幾十年，1985年，提出Boltzmann機1986年，提出受限Boltzmann機、BP算法2006年，提出神經(jīng)網(wǎng)絡(luò)進行降維開啟了深度學(xué)習(xí)時代，并在隨后的ImageNet圖片識別的比賽，取得了非常有說服力的結(jié)果（74%->85%），震撼了學(xué)術(shù)界◆Hinton,G.andSalakhutdinov,R.(2006).Reducingthedimensionalityofdatawithneuralnetworks.Science,313(5786):504–507.◆Hinton,G.E.(2002).Trainingproductsofexpertsbyminimizingcontrastivedivergence.NeuralComp.,14(8):1771–1800◆Hinton,G.E.,Dayan,P.,Frey,B.J.,andNeal,R.M.(1995).Thewake-sleepalgorithmforunsupervisedneuralnetworks.Science,268:1158–1160◆Hinton,G.E.andSejnowski,T.E.(1986).LearningandrelearninginBoltzmannmachines.InParallelDistributedProcessing,volume1,pages282–317.MITPress◆Rumelhart,Hinton,Williams,LearningRepresentationsbyBack-propagatingerrors,Nature,1986,323(6088):533-536目前六頁\總數(shù)五十三頁\編于十二點AndrewNg斯坦福大學(xué)教授2012年6月,《紐約時報》披露了GoogleBrain項目大規(guī)模計算機系統(tǒng)方面的世界頂尖專家JeffDean用16000個CPUCore的并行計算平臺訓(xùn)練一種稱為“深度神經(jīng)網(wǎng)絡(luò)”（DNN，DeepNeuralNetworks）的機器學(xué)習(xí)模型（內(nèi)部共有10億個節(jié)點)在語音識別和圖像識別等領(lǐng)域獲得了巨大的成功§7.1研究背景目前七頁\總數(shù)五十三頁\編于十二點2012年11月，微軟公開演示全自動同聲傳譯系統(tǒng)深度學(xué)習(xí),講演者用英文演講，后臺的計算機一氣呵成自動完成語音識別、英中機器翻譯和中文語音合成，效果非常流暢§7.1研究背景目前八頁\總數(shù)五十三頁\編于十二點2013年1月，百度創(chuàng)始人兼CEO李彥宏高調(diào)宣布成立“深度學(xué)習(xí)研究所”（IDL，InstitueofDeepLearning§7.1研究背景目前九頁\總數(shù)五十三頁\編于十二點機器學(xué)習(xí)解決目標(biāo)識別與分類問題的思路三個主要組成部分中間的特征提取部分將很大程度上決定最終的效果，如何提取特征？“巧婦難為無米之炊”§7.1研究背景目前十頁\總數(shù)五十三頁\編于十二點SIFTHOGDoG+Gabor§7.1研究背景Sift被認(rèn)為是局部圖像特征描述子研究領(lǐng)域一項里程碑式的工作，對尺度、旋轉(zhuǎn)以及一定視角和光照變化等圖像變化都具有不變性，還SIFT具有很強的可區(qū)分性特征抽取非常費力，需要領(lǐng)域知識啟發(fā)式提取最大的問題？--人工設(shè)計BOW……目前十一頁\總數(shù)五十三頁\編于十二點§7.1研究背景待檢測圖像行人模型圖像金字塔適應(yīng)目標(biāo)尺度變化局部濾波器變形動態(tài)規(guī)劃求解可變形部件模型行人檢測目前十二頁\總數(shù)五十三頁\編于十二點

1981年的諾貝爾醫(yī)學(xué)獎，頒發(fā)給了DavidHubel和TorstenWiesel(JohnHopkinsUniversity)，以及RogerSperry。前兩位的主要貢獻，是“發(fā)現(xiàn)了視覺系統(tǒng)的信息處理”：可視皮層是分級的：這個發(fā)現(xiàn)激發(fā)了人們對于神經(jīng)系統(tǒng)的進一步思考→神經(jīng)-中樞-大腦的工作過程，”或許”是一個不斷迭代、不斷抽象的過程§7.1研究背景人腦視覺系統(tǒng)如何提取特征？目前十三頁\總數(shù)五十三頁\編于十二點關(guān)鍵在于抽象和迭代，從原始信號開始進行低級抽象，逐漸向高級抽象迭代從低層到高層的特征表示越來越抽象，生物視覺特征分層抽象的過程，就是一個計算機建模過程§7.1研究背景人腦視覺系統(tǒng)如何提取特征？目前十四頁\總數(shù)五十三頁\編于十二點§7.1研究背景目前十五頁\總數(shù)五十三頁\編于十二點§7.1研究背景HMAXNeocognitronVisNet目前十六頁\總數(shù)五十三頁\編于十二點§7.1研究背景從層次增加看深度學(xué)習(xí)發(fā)展簡史2020年又是冰河期？目前十七頁\總數(shù)五十三頁\編于十二點§7.1研究背景目前十八頁\總數(shù)五十三頁\編于十二點?淺層機器學(xué)習(xí)模型(第二次浪潮)--1-2層隱層的BP網(wǎng)絡(luò)（20世紀(jì)80年代末期）--SVM、Boosting等，模型的結(jié)構(gòu)可視為帶一層隱層節(jié)點或沒有隱層節(jié)點（20世紀(jì)90年代）NeuralNetwork問題--比較容易過擬合，參數(shù)比較難tune，而且需要不少技巧--訓(xùn)練速度比較慢，--有限樣本和計算單元情況下對復(fù)雜函數(shù)的表示能力有限--梯度越來越稀疏：從輸出層越往輸入層，誤差校正信號越來越小--收斂到局部極小值近20多年，主要SVM和boosting算法§7.1研究背景目前十九頁\總數(shù)五十三頁\編于十二點?深度機器學(xué)習(xí)模型(第三次浪潮)

GeoffreyHinton（加拿大多倫多大學(xué)教授、機器學(xué)習(xí)領(lǐng)域的泰斗）及其學(xué)生2006年在科學(xué)雜志發(fā)表”DeepLearning”文章，開啟了深度學(xué)習(xí)在學(xué)術(shù)界和工業(yè)界的浪潮。

--多隱層的人工神經(jīng)網(wǎng)絡(luò)具有優(yōu)異的特征學(xué)習(xí)能力--通過無監(jiān)督學(xué)習(xí)的“逐層初始化”（layer-wisepre-training）來有效克服深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練上的難度--深度學(xué)習(xí)可通過學(xué)習(xí)一種深層非線性網(wǎng)絡(luò)結(jié)構(gòu)，實現(xiàn)復(fù)雜函數(shù)逼近，表征輸入數(shù)據(jù)分布式表示，并展現(xiàn)了強大的從少數(shù)樣本集中學(xué)習(xí)數(shù)據(jù)集本質(zhì)特征的能力。--強調(diào)了模型結(jié)構(gòu)的深度，通常有5層、6層，甚至10多層的隱層節(jié)點--深度學(xué)習(xí)就是特征學(xué)習(xí)，通過逐層特征變換，將樣本在原空間的特征表示變換到一個新特征空間，從而使分類或預(yù)測更加容易“深度學(xué)習(xí)”通過多層次抽象來實現(xiàn)特征的表達§7.1研究背景目前二十頁\總數(shù)五十三頁\編于十二點DeepLearning—以多層次神經(jīng)網(wǎng)絡(luò)為基礎(chǔ)發(fā)展起來的一種新的機器學(xué)習(xí)方法，被認(rèn)為是AI的新的前沿Theoretical:“…well-knowndepth-breadthtradeoffincircuitsdesign[Hastad1987].Thissuggestsmanyfunctionscanbemuchmoreefficientlyrepresentedwithdeeperarchitectures…”[Bengio&LeCun2007]Biological:Visualcortexishierarchical(HubelandWiesel).§7.1研究背景目前二十一頁\總數(shù)五十三頁\編于十二點§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.1BP網(wǎng)絡(luò)——僅適合淺層網(wǎng)絡(luò)梯度下降算法——梯度逐層反向計算，直到梯度接近零為止目前二十二頁\總數(shù)五十三頁\編于十二點§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)為什么BP網(wǎng)絡(luò)只適合淺層網(wǎng)絡(luò)？訓(xùn)練速度慢問題易于過擬合問題

在學(xué)習(xí)訓(xùn)練中,網(wǎng)絡(luò)對學(xué)習(xí)樣本達到非常高的逼近精度,但對測試樣本逼近誤差隨網(wǎng)絡(luò)訓(xùn)練次數(shù)而呈現(xiàn)先下降,后反而上升的奇異現(xiàn)象全局優(yōu)化問題

BP網(wǎng)絡(luò)深度較深時，會涉及到求解一個高階非凸優(yōu)化問題，容易陷入很壞的局部極小梯度彌散問題

BP網(wǎng)絡(luò)深度較深時，梯度隨著深度向前而顯著下降，誤差反傳到更前面的隱含層時已非常小，使得前幾層不能有效進行調(diào)節(jié)，訓(xùn)練速度很慢目前二十三頁\總數(shù)五十三頁\編于十二點§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2深度學(xué)習(xí)的基本思想

加拿大多倫多大學(xué)的GeofferyHinton教授2006年首次提出了“深度信念網(wǎng)絡(luò)”的概念。與傳統(tǒng)的訓(xùn)練方式不同，為大幅度減少了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的時間，采用兩個技術(shù)█“

預(yù)訓(xùn)練”（pre-training）：無監(jiān)督學(xué)習(xí)→參數(shù)初始值逐層貪婪訓(xùn)練，就是先訓(xùn)練網(wǎng)絡(luò)第1個隱含層，再訓(xùn)練第2個…，最后

將訓(xùn)練好的網(wǎng)絡(luò)參數(shù)作為整個網(wǎng)絡(luò)參數(shù)的初值（預(yù)訓(xùn)練，找到神經(jīng)網(wǎng)

絡(luò)中一個接近最優(yōu)解的權(quán)值）█“

微調(diào)

”(fine-tuning)：監(jiān)督學(xué)習(xí)

進一步優(yōu)化訓(xùn)練整個網(wǎng)絡(luò)，對神經(jīng)網(wǎng)絡(luò)參數(shù)（權(quán)值）改變很小目前二十四頁\總數(shù)五十三頁\編于十二點§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)7.2.2深度學(xué)習(xí)的基本思想█層數(shù)保持不變，神經(jīng)網(wǎng)絡(luò)的參數(shù)數(shù)量增加，從而帶來了更好的表示（represention）能力█增加更多層次，更深入的特征表示，以及更強的函數(shù)模擬能力隨著網(wǎng)絡(luò)的層數(shù)增加，每一層對于前一層次的抽象表示更深入。即每一層神經(jīng)元學(xué)習(xí)到的是前一層神經(jīng)元值的更抽象的表示第1隱含層學(xué)習(xí)到的特征--“邊緣”第2隱含層學(xué)習(xí)到的特征--由“邊緣”組成的“形狀”第3隱含層學(xué)習(xí)到的特征--由“形狀”組成的“圖案”。。。。。最后隱含層學(xué)習(xí)到的特征--由“圖案”組成的“目標(biāo)”神經(jīng)網(wǎng)絡(luò)本質(zhì)模擬特征與目標(biāo)之間函數(shù)映射關(guān)系。層數(shù)多，參數(shù)多，模擬映射函數(shù)更復(fù)雜、更多容量目前二十五頁\總數(shù)五十三頁\編于十二點Deeplearning與NeuralNetwork深度學(xué)習(xí)是模擬人腦進行分析學(xué)習(xí)，稱UnsupervisedFeatureLearning--源于人工神經(jīng)網(wǎng)絡(luò)，含多隱層的多層感知器就是一種深度學(xué)習(xí)結(jié)構(gòu)--用深度網(wǎng)絡(luò)結(jié)構(gòu)來抽象和迭代組合低層特征形成更加抽象的高層表示屬性類別或特征，以發(fā)現(xiàn)數(shù)據(jù)的分布式特征表示。深度網(wǎng)絡(luò)訓(xùn)練的主要思想是用非標(biāo)簽數(shù)據(jù)進行逐層貪婪訓(xùn)練和用有

標(biāo)記數(shù)據(jù)來進行整個網(wǎng)絡(luò)的微調(diào)相同之處--采用分層結(jié)構(gòu)：輸入層、隱層（多層）、輸出層--連接方式：相鄰層節(jié)點之間有連接，同一層以及跨層節(jié)點之間相互無連接不同之處--訓(xùn)練機制不同：ANN采用后向傳播機制,DLlayer-wise的訓(xùn)練機制--層數(shù)多，BP殘差傳播到最前面的層已經(jīng)變得太?。ㄌ荻葦U散）§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)目前二十六頁\總數(shù)五十三頁\編于十二點深度學(xué)習(xí)流行的激勵函數(shù)§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)傳統(tǒng)激勵函數(shù)

Sigmoid系非線性的Sigmoid函數(shù)對中央?yún)^(qū)域的信號增益較大，對兩側(cè)區(qū)域的信號增益小，特征空間映射效果好從神經(jīng)科學(xué)看，中央?yún)^(qū)域類似神經(jīng)元興奮態(tài)，兩側(cè)區(qū)域類似神經(jīng)元抑制態(tài)問題：（1）sigmoid函數(shù)在實際梯度下降中，容易飽和和終止梯度傳遞（2）同時近乎有一半的神經(jīng)元被激活目前二十七頁\總數(shù)五十三頁\編于十二點§7.2從BP網(wǎng)絡(luò)看深度學(xué)習(xí)類似生物神經(jīng)元激勵函數(shù)與Sigmoid系的不同：（1）單側(cè)抑制（紅框里前端全沒激活）（2）相對寬闊的興奮邊界（3）稀疏激活性神經(jīng)科學(xué)家Dayan、Abott2001年模擬腦神經(jīng)元接受信號更精確的激勵模型█Softplus(x)=log(1+ex)具有（1）與（2）特性█ReLU（修正線性單元：RectifiedLinearUnit)：f(x)=max(0,x)具有三個特性可極大提升隨機梯度下降的收斂速度梯度計算非常簡單應(yīng)用很多神經(jīng)元的生物特性具有生物特性的激勵函數(shù)目前二十八頁\總數(shù)五十三頁\編于十二點假定神經(jīng)網(wǎng)絡(luò)的輸出O等于輸入I，即輸入I經(jīng)過這個系統(tǒng)變化之后沒有任何的信息損失，保持了不變，這意味著輸入I經(jīng)過每一層都沒有任何的信息損失,訓(xùn)練調(diào)整網(wǎng)絡(luò)參數(shù)（連接權(quán)）

每層的輸出就是輸入的另外一種表示特征system輸出O輸入Ii=o自動編碼器(AutoEncoder)§7.3

幾種典型的深度學(xué)習(xí)模型目前二十九頁\總數(shù)五十三頁\編于十二點§7.4

幾種典型的深度學(xué)習(xí)模型有標(biāo)簽數(shù)據(jù)的特征學(xué)習(xí)無標(biāo)簽數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征標(biāo)簽/無標(biāo)簽編碼目前三十頁\總數(shù)五十三頁\編于十二點無標(biāo)簽數(shù)據(jù)的無監(jiān)督特征學(xué)習(xí)編碼器產(chǎn)生特征增加分類器§7.3

幾種典型的深度學(xué)習(xí)模型目前三十一頁\總數(shù)五十三頁\編于十二點稀疏自動編碼器§7.3

幾種典型的深度學(xué)習(xí)模型目前三十二頁\總數(shù)五十三頁\編于十二點§7.4

幾種典型的深度學(xué)習(xí)模型自動編碼器(AutoEncoder)目前三十三頁\總數(shù)五十三頁\編于十二點深度信任網(wǎng)絡(luò)DBN受限可視層各節(jié)點間無連接隱含層各節(jié)點間無連接可視層作為向量輸入隱含層作為特征檢測器可為二值節(jié)點（可取0或1）或?qū)崝?shù)節(jié)點（0～1）可視層、隱含層的節(jié)點數(shù)量不定§7.3

幾種典型的深度學(xué)習(xí)模型RestrictedBoltzmanMachine(RBM)目前三十四頁\總數(shù)五十三頁\編于十二點RBM的能量對特定的(v,h)，其能量函數(shù)定義為對每種可能的p(v,h)分布滿足Boltzmann分布§7.3

幾種典型的深度學(xué)習(xí)模型目前三十五頁\總數(shù)五十三頁\編于十二點RBM的狀態(tài)更新/重采樣給定可視層每個節(jié)點v，隱含層的每個節(jié)點hj依下式確定的概率取1（條件獨立）同樣，給定隱含層每個節(jié)點h，可依下式確定的概率獲得可視層各結(jié)點的的無偏估計樣本（條件獨立）§7.3

幾種典型的深度學(xué)習(xí)模型目前三十六頁\總數(shù)五十三頁\編于十二點§7.3

幾種典型的深度學(xué)習(xí)模型將多個RBM層疊在一起前一層RBM的隱含層作為后一層RBM可視層的輸入深度信任網(wǎng)絡(luò)DBN的構(gòu)成概率生成模型多個受限玻爾茲曼機RBM層組成目前三十七頁\總數(shù)五十三頁\編于十二點§7.3幾種典型的深度學(xué)習(xí)模型深度信任網(wǎng)絡(luò)DBN的訓(xùn)練對比散度CD算法ContrastiveDivergence(Hinton,2002)預(yù)訓(xùn)練獲得生成模型的連接權(quán)（訓(xùn)練RBM可視層節(jié)點和隱節(jié)點間的權(quán)值）利用GibbsSampling已知v重采樣h已知h重采樣v定義上述操作為一輪，可多輪依據(jù)下式修正連接權(quán)wij目前三十八頁\總數(shù)五十三頁\編于十二點DBN每層RBM內(nèi)--隱含層對可見層進行特征提取層與層之間每層對前一層提取出的特征進行再提取第3層第2層第1層§7.4

幾種典型的深度學(xué)習(xí)模型目前三十九頁\總數(shù)五十三頁\編于十二點YannLeCunIn1995,YannLeCunandYoshuaBengiointroducedtheconceptofconvolutionalneuralnetworks.YoshuaBengio深度卷積網(wǎng)絡(luò)§7.3

幾種典型的深度學(xué)習(xí)模型在貝爾實驗室的研究--提高手寫識別濾波——池化目前四十頁\總數(shù)五十三頁\編于十二點§7.3

幾種典型的深度學(xué)習(xí)模型輸入圖像通過多個可訓(xùn)練的濾波器組進行非線性卷積，卷積后在每一層產(chǎn)生特征映射圖，再特征映射圖中每組池化（亞采樣），最終得到輸出值目前四十一頁\總數(shù)五十三頁\編于十二點§7.3

幾種典型的深度學(xué)習(xí)模型層間局部連接—稀疏連接方式深度卷積網(wǎng)絡(luò)多層感知器(MLP)的變種卷積神經(jīng)網(wǎng)絡(luò)中，層間的神經(jīng)元不是全連接，利用層間局部空間相關(guān)性，通過局部連接方式，上層的神經(jīng)元只與和它相近的下層神經(jīng)元相連，以大大降低神經(jīng)網(wǎng)絡(luò)的參數(shù)規(guī)模目前四十二頁\總數(shù)五十三頁\編于十二點§7.3

幾種典型的深度學(xué)習(xí)模型每個卷積濾波器共享相同的參數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中，卷積層的每個卷積濾波器重復(fù)作用于整個感受野中，對輸入圖像進行卷積，卷積結(jié)果構(gòu)成輸入圖像的特征圖，提取出圖像的局部特征神經(jīng)元共享權(quán)值一個特征映射面上的神經(jīng)元共享權(quán)值，大大降低學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)模型參數(shù)數(shù)量特征映射結(jié)構(gòu)采用sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)共享權(quán)值目前四十三頁\總數(shù)五十三頁\編于十二點§7.3

幾種典型的深度學(xué)習(xí)模型最大池化采樣—非線性降采樣方法最大池采樣方法對卷積特征進行降維，具有平移不變性Softmax回歸—有監(jiān)督學(xué)習(xí)算法，解決多分類問題訓(xùn)練樣本集由m個帶標(biāo)簽樣本構(gòu)成：最小化代價函數(shù)目前四十四頁\總數(shù)五十三頁\編于十二點§7.3

幾種典型的深度學(xué)習(xí)模型深度卷積網(wǎng)絡(luò)訓(xùn)練與BP網(wǎng)絡(luò)的向前傳播和反向調(diào)整權(quán)矩陣類似的一種多層的監(jiān)督學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，隱含層的卷積層和池化采樣層是實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)特征提取功能的核心卷積神經(jīng)網(wǎng)絡(luò)的低隱含層是由卷積層和最大池化采樣層交替組成，高層是全連接層對應(yīng)傳統(tǒng)多層感知器的隱含層和邏輯回歸分類器目前四十五頁\總數(shù)五十三頁\編于十二點§7.3

幾種典型的深度學(xué)習(xí)模型目前四十六頁\總數(shù)五十三頁\編于十二點§7.4開源深度學(xué)習(xí)框架

◆Caffe源自加州伯克利分校的Caffe被廣泛應(yīng)用，包括Pinterest這樣的web大戶。與TensorFlow一樣，Caffe也是由C++開發(fā)，Caffe也是Google今年早些時候發(fā)布的DeepDream項目（可以識別喵星人的人工智能神經(jīng)網(wǎng)絡(luò)）的基礎(chǔ)。

◆Theano2008年誕生于蒙特利爾理工學(xué)院，Theano派生出了大量深度學(xué)習(xí)Python軟件包，最著名的包括Blocks和Keras。目前四十七頁\總數(shù)五十三頁\編于十二點§7.4開源深度學(xué)習(xí)框架

◆TorchTorch誕生已經(jīng)有十年之久，但是真正起勢得益于去年Facebook開源了大量Torch的深度學(xué)習(xí)模塊和擴展。Torch另外一個特殊之處是采用了不怎么流行的編程語言Lua（該語言曾被用來開發(fā)視頻游戲）。

◆Brainstorm來自瑞士人工智能實驗室IDSIA的一個非常發(fā)展前景很不錯的深度學(xué)習(xí)軟件包，Brainstorm能夠處理上百層的超級深度神經(jīng)網(wǎng)絡(luò)——所謂的公路網(wǎng)絡(luò)HighwayNetworks。目前四十八頁\總數(shù)五十三頁\編于十二點§7.4開源深度學(xué)習(xí)框架

◆DeepLearning4j創(chuàng)業(yè)公司Skymind于2014年6月發(fā)布的一個面向生產(chǎn)環(huán)境和商業(yè)應(yīng)用的高成熟度深度學(xué)習(xí)開源庫，是”forJava”的深度學(xué)習(xí)框架，可與Hadoop和Spark集成，即插即用，方便開發(fā)者在APP中快速集成深度學(xué)習(xí)功能，可用于：人臉/圖像識別；語音搜索；語音轉(zhuǎn)文字（Speechtotext）;垃圾信息過濾（異常偵測）；電商欺詐偵測。埃森哲、雪弗蘭、博斯咨詢和IBM等明星企業(yè)都在使用。

◆Marvin是普林斯頓大學(xué)視覺工作組新推出的C++框架。該團隊還提供了一個文件用于將Caffe模型轉(zhuǎn)化成語Marvin兼容的模式。。目前四十九頁\總數(shù)五十三頁\編于十二點§7.4開源深度學(xué)習(xí)框架

◆ConvNetJS斯坦福大學(xué)博士生AndrejKarpathy開發(fā)瀏覽器插件，基于JavaScript可以在游覽器中訓(xùn)練神經(jīng)網(wǎng)絡(luò)。

◆。。。目前五十頁\總數(shù)五十三頁\編于十二點20世紀(jì)90年代人類腦計劃（HumanBrainProject,

HBP)繼人類基因計劃后，又一國際性科研大計劃2013年1月歐盟啟動“人類大腦計劃”(HumanBrainProject)巨型計算機模擬整個人類大腦（10億歐元）2013年4月美國“大腦活動圖譜計劃”(BrainActivityMapProject，或稱BrainInitiative)研究大腦活動中的所有神經(jīng)元，探索神經(jīng)元、神經(jīng)回路與大腦功能間的關(guān)系（38億美元）2014年科技部腦科學(xué)信息化重大專項“類人腦工程”2014年諾貝爾獎生理學(xué)醫(yī)學(xué)獎大腦的定位系統(tǒng)--“位置細胞”與“網(wǎng)格細胞”發(fā)現(xiàn)§7.5

深度學(xué)習(xí)的未來隨著神經(jīng)網(wǎng)絡(luò)研究的不斷變遷，其連接及其計算與生物神經(jīng)元的連接模型其實漸行漸遠？??！目前五十一頁\總數(shù)五十三頁\編于十二點開啟計算機“高智商”新時代

IBM成功構(gòu)建模擬人腦功能的認(rèn)知計算機芯片

（2011-8-18）

通過模擬大腦結(jié)構(gòu)，首次成功構(gòu)