深度學(xué)習(xí)入門(mén)：基于Python的理論與實(shí)現(xiàn)

深度學(xué)習(xí)入門(mén)：基于Python的理論與實(shí)現(xiàn)O'ReillyMedia,Inc.介紹01PartOneO'ReillyMedia,Inc.介紹A本書(shū)的理念B本書(shū)面向的讀者C本書(shū)不面向的讀者D本書(shū)的閱讀方法E讓我們開(kāi)始吧F表述規(guī)則1Python入門(mén)02PartOne1Python入門(mén)1.1Python是什么A1.2Python的安裝B1.3Python解釋器C1.4Python腳本文件D1.5NumPyE1.6MatplotlibF1Python入門(mén)1.7小結(jié)1Python入門(mén)1.2Python的安裝CBA1.2.1Python版本1.2.2使用的外部庫(kù)1.2.3Anaconda發(fā)行版1.3Python解釋器1Python入門(mén)1.3.1算術(shù)計(jì)算1.3.2數(shù)據(jù)類(lèi)型1.3.3變量1.3.6布爾型1.3.5字典1.3.4列表1.3Python解釋器1Python入門(mén)1.3.7if語(yǔ)句1.3.8for語(yǔ)句1.3.9函數(shù)1.4Python腳本文件1Python入門(mén)1.4.2類(lèi)021.4.1保存為文件011.5NumPy1Python入門(mén)1.5.1導(dǎo)入NumPy1.5.2生成NumPy數(shù)組1.5.3NumPy的算術(shù)運(yùn)算1.5.6訪問(wèn)元素1.5.5廣播1.5.4NumPy的N維數(shù)組1Python入門(mén)1.6Matplotlib1.6.1繪制簡(jiǎn)單圖形1.6.2pyplot的功能1.6.3顯示圖像2感知機(jī)03PartOne2感知機(jī)01032.1感知機(jī)是什么2.2簡(jiǎn)單邏輯電路2.3感知機(jī)的實(shí)現(xiàn)020405062.4感知機(jī)的局限性2.5多層感知機(jī)2.6從與非門(mén)到計(jì)算機(jī)2感知機(jī)2.7小結(jié)2感知機(jī)2.2簡(jiǎn)單邏輯電路2.2.2與非門(mén)和或門(mén)022.2.1與門(mén)012感知機(jī)2.3感知機(jī)的實(shí)現(xiàn)CBA2.3.1簡(jiǎn)單的實(shí)現(xiàn)2.3.2導(dǎo)入權(quán)重和偏置2.3.3使用權(quán)重和偏置的實(shí)現(xiàn)2感知機(jī)2.4感知機(jī)的局限性2.4.1異或門(mén)12.4.2線性和非線性22感知機(jī)2.5多層感知機(jī)A2.5.1已有門(mén)電路的組合2.5.2異或門(mén)的實(shí)現(xiàn)B3神經(jīng)網(wǎng)絡(luò)04PartOne3神經(jīng)網(wǎng)絡(luò)3.1從感知機(jī)到神經(jīng)網(wǎng)絡(luò)3.2激活函數(shù)3.3多維數(shù)組的運(yùn)算3.6手寫(xiě)數(shù)字識(shí)別3.5輸出層的設(shè)計(jì)3.43層神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)3神經(jīng)網(wǎng)絡(luò)3.7小結(jié)3神經(jīng)網(wǎng)絡(luò)3.1從感知機(jī)到神經(jīng)網(wǎng)絡(luò)3.1.1神經(jīng)網(wǎng)絡(luò)的例子3.1.2復(fù)習(xí)感知機(jī)3.1.3激活函數(shù)登場(chǎng)3.2激活函數(shù)3神經(jīng)網(wǎng)絡(luò)3.2.2階躍函數(shù)的實(shí)現(xiàn)3.2.4sigmoid函數(shù)的實(shí)現(xiàn)3.2.6非線性函數(shù)3.2.1sigmoid函數(shù)3.2.3階躍函數(shù)的圖形3.2.5sigmoid函數(shù)和階躍函數(shù)的比較3神經(jīng)網(wǎng)絡(luò)3.2激活函數(shù)3.2.7ReLU函數(shù)3神經(jīng)網(wǎng)絡(luò)3.3多維數(shù)組的運(yùn)算3.3.1多維數(shù)組013.3.3神經(jīng)網(wǎng)絡(luò)的內(nèi)積033.3.2矩陣乘法023.43層神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)3神經(jīng)網(wǎng)絡(luò)CBA3.4.1符號(hào)確認(rèn)3.4.2各層間信號(hào)傳遞的實(shí)現(xiàn)3.4.3代碼實(shí)現(xiàn)小結(jié)3.5輸出層的設(shè)計(jì)3神經(jīng)網(wǎng)絡(luò)3.5.2實(shí)現(xiàn)softmax函數(shù)時(shí)的注意事項(xiàng)3.5.4輸出層的神經(jīng)元數(shù)量3.5.1恒等函數(shù)和softmax函數(shù)3.5.3softmax函數(shù)的特征3神經(jīng)網(wǎng)絡(luò)3.6手寫(xiě)數(shù)字識(shí)別3.6.2神經(jīng)網(wǎng)絡(luò)的推理處理3.6.3批處理3.6.1MNIST數(shù)據(jù)集4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)05PartOne4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)4.1從數(shù)據(jù)中學(xué)習(xí)A4.2損失函數(shù)B4.3數(shù)值微分C4.4梯度D4.5學(xué)習(xí)算法的實(shí)現(xiàn)E4.6小結(jié)F4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)4.1從數(shù)據(jù)中學(xué)習(xí)4.1.1數(shù)據(jù)驅(qū)動(dòng)4.1.2訓(xùn)練數(shù)據(jù)和測(cè)試數(shù)據(jù)4.2損失函數(shù)4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)4.2.2交叉熵誤差4.2.4mini-batch版交叉熵誤差的實(shí)現(xiàn)4.2.1均方誤差4.2.3mini-batch學(xué)習(xí)4.2.5為何要設(shè)定損失函數(shù)4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)4.3數(shù)值微分4.3.1導(dǎo)數(shù)4.3.2數(shù)值微分的例子4.3.3偏導(dǎo)數(shù)4.4梯度4神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)4.4.1梯度法14.4.2神經(jīng)網(wǎng)絡(luò)的梯度24神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)4.5學(xué)習(xí)算法的實(shí)現(xiàn)CBA4.5.12層神經(jīng)網(wǎng)絡(luò)的類(lèi)4.5.2mini-batch的實(shí)現(xiàn)4.5.3基于測(cè)試數(shù)據(jù)的評(píng)價(jià)5誤差反向傳播法06PartOne5誤差反向傳播法015.1計(jì)算圖025.2鏈?zhǔn)椒▌t035.3反向傳播045.4簡(jiǎn)單層的實(shí)現(xiàn)055.5激活函數(shù)層的實(shí)現(xiàn)065.6Affine/Softmax層的實(shí)現(xiàn)5誤差反向傳播法5.8小結(jié)5.7誤差反向傳播法的實(shí)現(xiàn)5誤差反向傳播法5.1計(jì)算圖5.1.2局部計(jì)算1325.1.1用計(jì)算圖求解5.1.3為何用計(jì)算圖解題5誤差反向傳播法5.2鏈?zhǔn)椒▌tCBA5.2.1計(jì)算圖的反向傳播5.2.2什么是鏈?zhǔn)椒▌t5.2.3鏈?zhǔn)椒▌t和計(jì)算圖5誤差反向傳播法5.3反向傳播5.3.2乘法節(jié)點(diǎn)的反向傳播5.3.3蘋(píng)果的例子5.3.1加法節(jié)點(diǎn)的反向傳播5誤差反向傳播法5.4簡(jiǎn)單層的實(shí)現(xiàn)A5.4.1乘法層的實(shí)現(xiàn)5.4.2加法層的實(shí)現(xiàn)B5.5激活函數(shù)層的實(shí)現(xiàn)5誤差反向傳播法5.5.1ReLU層15.5.2Sigmoid層25誤差反向傳播法5.6Affine/Softmax層的實(shí)現(xiàn)5.6.2批版本的Affine層貳5.6.1Affine層壹5.6.3Softmax-with-Loss層叁5誤差反向傳播法5.7誤差反向傳播法的實(shí)現(xiàn)5.7.2對(duì)應(yīng)誤差反向傳播法的神經(jīng)網(wǎng)絡(luò)的實(shí)現(xiàn)02045.7.4使用誤差反向傳播法的學(xué)習(xí)5.7.1神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的全貌圖035.7.3誤差反向傳播法的梯度確認(rèn)016與學(xué)習(xí)相關(guān)的技巧07PartOne6與學(xué)習(xí)相關(guān)的技巧01036.1參數(shù)的更新6.2權(quán)重的初始值6.3BatchNormalization020405066.4正則化6.5超參數(shù)的驗(yàn)證6.6小結(jié)6.1參數(shù)的更新6與學(xué)習(xí)相關(guān)的技巧6.1.1探險(xiǎn)家的故事6.1.2SGD6.1.3SGD的缺點(diǎn)6.1.6Adam6.1.5AdaGrad6.1.4MomentumLOGOM.94275.CN6與學(xué)習(xí)相關(guān)的技巧6.1參數(shù)的更新AB6.1.8基于MNIST數(shù)據(jù)集的更新方法的比較6.1.7使用哪種更新方法呢6.2權(quán)重的初始值6與學(xué)習(xí)相關(guān)的技巧ADBC6.2.2隱藏層的激活值的分布6.2.3ReLU的權(quán)重初始值6.2.4基于MNIST數(shù)據(jù)集的權(quán)重初始值的比較6.2.1可以將權(quán)重初始值設(shè)為0嗎6與學(xué)習(xí)相關(guān)的技巧6.3BatchNormalizationAB6.3.2BatchNormalization的評(píng)估6.3.1BatchNormalization的算法6與學(xué)習(xí)相關(guān)的技巧6.4正則化016.4.1過(guò)擬合6.4.2權(quán)值衰減026.4.3Dropout036與學(xué)習(xí)相關(guān)的技巧6.5超參數(shù)的驗(yàn)證6.5.2超參數(shù)的最優(yōu)化6.5.3超參數(shù)最優(yōu)化的實(shí)現(xiàn)6.5.1驗(yàn)證數(shù)據(jù)7卷積神經(jīng)網(wǎng)絡(luò)08PartOne7卷積神經(jīng)網(wǎng)絡(luò)7.1整體結(jié)構(gòu)7.2卷積層7.3池化層7.6CNN的可視化7.5CNN的實(shí)現(xiàn)7.4卷積層和池化層的實(shí)現(xiàn)7卷積神經(jīng)網(wǎng)絡(luò)7.8小結(jié)7.7具有代表性的CNN7.2卷積層7卷積神經(jīng)網(wǎng)絡(luò)7.2.1全連接層存在的問(wèn)題7.2.2卷積運(yùn)算7.2.3填充7.2.6結(jié)合方塊思考7.2.53維數(shù)據(jù)的卷積運(yùn)算7.2.4步幅7卷積神經(jīng)網(wǎng)絡(luò)7.2卷積層7.2.7批處理7卷積神經(jīng)網(wǎng)絡(luò)7.3池化層池化層的特征7卷積神經(jīng)網(wǎng)絡(luò)7.4卷積層和池化層的實(shí)現(xiàn)7.4.14維數(shù)組017.4.3卷積層的實(shí)現(xiàn)037.4.2基于im2col的展開(kāi)027.4.4池化層的實(shí)現(xiàn)047卷積神經(jīng)網(wǎng)絡(luò)7.6CNN的可視化17.6.1第1層權(quán)重的可視化27.6.2基于分層結(jié)構(gòu)的信息提取7卷積神經(jīng)網(wǎng)絡(luò)7.7具有代表性的CNN7.7.1LeNet7.7.2AlexNet8深度學(xué)習(xí)09PartOne8深度學(xué)習(xí)8.1加深網(wǎng)絡(luò)8.2深度學(xué)習(xí)的小歷史8.3深度學(xué)習(xí)的高速化8.6小結(jié)8.5深度學(xué)習(xí)的未來(lái)8.4深度學(xué)習(xí)的應(yīng)用案例8深度學(xué)習(xí)8.1加深網(wǎng)絡(luò)CBA8.1.1向更深的網(wǎng)絡(luò)出發(fā)8.1.2進(jìn)一步提高識(shí)別精度8.1.3加深層的動(dòng)機(jī)8深度學(xué)習(xí)8.2深度學(xué)習(xí)的小歷史8.2.1ImageNet8.2.2VGG8.2.4ResNet8.2.3GoogLeNet8深度學(xué)習(xí)8.3深度學(xué)習(xí)的高速化8.3.1需要努力解決的問(wèn)題018.3.2基于GPU的高速化028.3.3分布式學(xué)習(xí)038.3.4運(yùn)算精度的位數(shù)縮減048深度學(xué)習(xí)8.4深度學(xué)習(xí)的