深度學習入門：基于Python的理論與實現(xiàn)

深度學習入門：基于Python的理論與實現(xiàn)O'ReillyMedia,Inc.介紹01PartOneO'ReillyMedia,Inc.介紹A本書的理念B本書面向的讀者C本書不面向的讀者D本書的閱讀方法E讓我們開始吧F表述規(guī)則1Python入門02PartOne1Python入門1.1Python是什么A1.2Python的安裝B1.3Python解釋器C1.4Python腳本文件D1.5NumPyE1.6MatplotlibF1Python入門1.7小結1Python入門1.2Python的安裝CBA1.2.1Python版本1.2.2使用的外部庫1.2.3Anaconda發(fā)行版1.3Python解釋器1Python入門1.3.1算術計算1.3.2數(shù)據(jù)類型1.3.3變量1.3.6布爾型1.3.5字典1.3.4列表1.3Python解釋器1Python入門1.3.7if語句1.3.8for語句1.3.9函數(shù)1.4Python腳本文件1Python入門1.4.2類021.4.1保存為文件011.5NumPy1Python入門1.5.1導入NumPy1.5.2生成NumPy數(shù)組1.5.3NumPy的算術運算1.5.6訪問元素1.5.5廣播1.5.4NumPy的N維數(shù)組1Python入門1.6Matplotlib1.6.1繪制簡單圖形1.6.2pyplot的功能1.6.3顯示圖像2感知機03PartOne2感知機01032.1感知機是什么2.2簡單邏輯電路2.3感知機的實現(xiàn)020405062.4感知機的局限性2.5多層感知機2.6從與非門到計算機2感知機2.7小結2感知機2.2簡單邏輯電路2.2.2與非門和或門022.2.1與門012感知機2.3感知機的實現(xiàn)CBA2.3.1簡單的實現(xiàn)2.3.2導入權重和偏置2.3.3使用權重和偏置的實現(xiàn)2感知機2.4感知機的局限性2.4.1異或門12.4.2線性和非線性22感知機2.5多層感知機A2.5.1已有門電路的組合2.5.2異或門的實現(xiàn)B3神經網絡04PartOne3神經網絡3.1從感知機到神經網絡3.2激活函數(shù)3.3多維數(shù)組的運算3.6手寫數(shù)字識別3.5輸出層的設計3.43層神經網絡的實現(xiàn)3神經網絡3.7小結3神經網絡3.1從感知機到神經網絡3.1.1神經網絡的例子3.1.2復習感知機3.1.3激活函數(shù)登場3.2激活函數(shù)3神經網絡3.2.2階躍函數(shù)的實現(xiàn)3.2.4sigmoid函數(shù)的實現(xiàn)3.2.6非線性函數(shù)3.2.1sigmoid函數(shù)3.2.3階躍函數(shù)的圖形3.2.5sigmoid函數(shù)和階躍函數(shù)的比較3神經網絡3.2激活函數(shù)3.2.7ReLU函數(shù)3神經網絡3.3多維數(shù)組的運算3.3.1多維數(shù)組013.3.3神經網絡的內積033.3.2矩陣乘法023.43層神經網絡的實現(xiàn)3神經網絡CBA3.4.1符號確認3.4.2各層間信號傳遞的實現(xiàn)3.4.3代碼實現(xiàn)小結3.5輸出層的設計3神經網絡3.5.2實現(xiàn)softmax函數(shù)時的注意事項3.5.4輸出層的神經元數(shù)量3.5.1恒等函數(shù)和softmax函數(shù)3.5.3softmax函數(shù)的特征3神經網絡3.6手寫數(shù)字識別3.6.2神經網絡的推理處理3.6.3批處理3.6.1MNIST數(shù)據(jù)集4神經網絡的學習05PartOne4神經網絡的學習4.1從數(shù)據(jù)中學習A4.2損失函數(shù)B4.3數(shù)值微分C4.4梯度D4.5學習算法的實現(xiàn)E4.6小結F4神經網絡的學習4.1從數(shù)據(jù)中學習4.1.1數(shù)據(jù)驅動4.1.2訓練數(shù)據(jù)和測試數(shù)據(jù)4.2損失函數(shù)4神經網絡的學習4.2.2交叉熵誤差4.2.4mini-batch版交叉熵誤差的實現(xiàn)4.2.1均方誤差4.2.3mini-batch學習4.2.5為何要設定損失函數(shù)4神經網絡的學習4.3數(shù)值微分4.3.1導數(shù)4.3.2數(shù)值微分的例子4.3.3偏導數(shù)4.4梯度4神經網絡的學習4.4.1梯度法14.4.2神經網絡的梯度24神經網絡的學習4.5學習算法的實現(xiàn)CBA4.5.12層神經網絡的類4.5.2mini-batch的實現(xiàn)4.5.3基于測試數(shù)據(jù)的評價5誤差反向傳播法06PartOne5誤差反向傳播法015.1計算圖025.2鏈式法則035.3反向傳播045.4簡單層的實現(xiàn)055.5激活函數(shù)層的實現(xiàn)065.6Affine/Softmax層的實現(xiàn)5誤差反向傳播法5.8小結5.7誤差反向傳播法的實現(xiàn)5誤差反向傳播法5.1計算圖5.1.2局部計算1325.1.1用計算圖求解5.1.3為何用計算圖解題5誤差反向傳播法5.2鏈式法則CBA5.2.1計算圖的反向傳播5.2.2什么是鏈式法則5.2.3鏈式法則和計算圖5誤差反向傳播法5.3反向傳播5.3.2乘法節(jié)點的反向傳播5.3.3蘋果的例子5.3.1加法節(jié)點的反向傳播5誤差反向傳播法5.4簡單層的實現(xiàn)A5.4.1乘法層的實現(xiàn)5.4.2加法層的實現(xiàn)B5.5激活函數(shù)層的實現(xiàn)5誤差反向傳播法5.5.1ReLU層15.5.2Sigmoid層25誤差反向傳播法5.6Affine/Softmax層的實現(xiàn)5.6.2批版本的Affine層貳5.6.1Affine層壹5.6.3Softmax-with-Loss層叁5誤差反向傳播法5.7誤差反向傳播法的實現(xiàn)5.7.2對應誤差反向傳播法的神經網絡的實現(xiàn)02045.7.4使用誤差反向傳播法的學習5.7.1神經網絡學習的全貌圖035.7.3誤差反向傳播法的梯度確認016與學習相關的技巧07PartOne6與學習相關的技巧01036.1參數(shù)的更新6.2權重的初始值6.3BatchNormalization020405066.4正則化6.5超參數(shù)的驗證6.6小結6.1參數(shù)的更新6與學習相關的技巧6.1.1探險家的故事6.1.2SGD6.1.3SGD的缺點6.1.6Adam6.1.5AdaGrad6.1.4MomentumLOGOM.94275.CN6與學習相關的技巧6.1參數(shù)的更新AB6.1.8基于MNIST數(shù)據(jù)集的更新方法的比較6.1.7使用哪種更新方法呢6.2權重的初始值6與學習相關的技巧ADBC6.2.2隱藏層的激活值的分布6.2.3ReLU的權重初始值6.2.4基于MNIST數(shù)據(jù)集的權重初始值的比較6.2.1可以將權重初始值設為0嗎6與學習相關的技巧6.3BatchNormalizationAB6.3.2BatchNormalization的評估6.3.1BatchNormalization的算法6與學習相關的技巧6.4正則化016.4.1過擬合6.4.2權值衰減026.4.3Dropout036與學習相關的技巧6.5超參數(shù)的驗證6.5.2超參數(shù)的最優(yōu)化6.5.3超參數(shù)最優(yōu)化的實現(xiàn)6.5.1驗證數(shù)據(jù)7卷積神經網絡08PartOne7卷積神經網絡7.1整體結構7.2卷積層7.3池化層7.6CNN的可視化7.5CNN的實現(xiàn)7.4卷積層和池化層的實現(xiàn)7卷積神經網絡7.8小結7.7具有代表性的CNN7.2卷積層7卷積神經網絡7.2.1全連接層存在的問題7.2.2卷積運算7.2.3填充7.2.6結合方塊思考7.2.53維數(shù)據(jù)的卷積運算7.2.4步幅7卷積神經網絡7.2卷積層7.2.7批處理7卷積神經網絡7.3池化層池化層的特征7卷積神經網絡7.4卷積層和池化層的實現(xiàn)7.4.14維數(shù)組017.4.3卷積層的實現(xiàn)037.4.2基于im2col的展開027.4.4池化層的實現(xiàn)047卷積神經網絡7.6CNN的可視化17.6.1第1層權重的可視化27.6.2基于分層結構的信息提取7卷積神經網絡7.7具有代表性的CNN7.7.1LeNet7.7.2AlexNet8深度學習09PartOne8深度學習8.1加深網絡8.2深度學習的小歷史8.3深度學習的高速化8.6小結8.5深度學習的未來8.4深度學習的應用案例8深度學習8.1加深網絡CBA8.1.1向更深的網絡出發(fā)8.1.2進一步提高識別精度8.1.3加深層的動機8深度學習8.2深度學習的小歷史8.2.1ImageNet8.2.2VGG8.2.4ResNet8.2.3GoogLeNet8深度學習8.3深度學習的高速化8.3.1需要努力解決的問題018.3.2基于GPU的高速化028.3.3分布式學習038.3.4運算精度的位數(shù)縮減048深度學習8.4深度學習的