《深度學(xué)習(xí)：基于PyTorch 》 課件 第3章：前饋神經(jīng)網(wǎng)絡(luò)

第三章：前饋神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)目標(biāo)前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)常見(jiàn)激活函數(shù)及其優(yōu)缺點(diǎn)常見(jiàn)損失函數(shù)的設(shè)置梯度下降算法及其擴(kuò)展反向傳播算法原理過(guò)擬合及其常用處理方法前饋神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)M-P神經(jīng)元模型M-P神經(jīng)元模型：首個(gè)模擬生物神經(jīng)元的結(jié)構(gòu)和工作原理構(gòu)造出來(lái)的一個(gè)抽象和簡(jiǎn)化了的數(shù)學(xué)模型。它由心理學(xué)家沃倫·麥卡洛克（WarrenMcCulloch）和數(shù)理邏輯學(xué)家沃爾特·皮茲（WalterPitts）在1943年提出并以二人的名字命名。該模型旨在模擬從多輸入到單輸出的信息處理單元。M-P模型的工作步驟：神經(jīng)元接受n個(gè)輸入信號(hào)。將輸入與權(quán)值參數(shù)進(jìn)行加權(quán)求和并經(jīng)過(guò)階躍函數(shù)激活。將激活結(jié)果作為結(jié)果輸出。人為設(shè)定參數(shù)值神經(jīng)元

激活函數(shù)激活函數(shù)就是指非線性變換。對(duì)線性組合的結(jié)果施加一個(gè)非線性變換，就為神經(jīng)網(wǎng)絡(luò)各層之間的連接方式提供了一種非線性的變換方式，而非線性變換打破了“線性組合的線性組合”這樣一種循環(huán)，多層神經(jīng)網(wǎng)絡(luò)相比于單層網(wǎng)絡(luò)有了更豐富的函數(shù)形式。 常用的激活函數(shù)：Sigmoid激活函數(shù)Tanh激活函數(shù)ReLu激活函數(shù)其他激活函數(shù)：leakyReLU、elu、cReLU、selu、ReLU6、softplus、softsign……Sigmoid激活函數(shù)值域有界，神經(jīng)元的輸出不會(huì)爆炸輸出非負(fù)，可以直接看做概率分布。連續(xù)可導(dǎo)，梯度可以顯式計(jì)算原函數(shù)導(dǎo)數(shù)無(wú)法實(shí)現(xiàn)神經(jīng)元的激活值為負(fù)有可能會(huì)發(fā)生梯度退化或消失對(duì)于復(fù)雜網(wǎng)絡(luò)求解梯度十分復(fù)雜Tanh激活函數(shù)繼承了Sigmoid函數(shù)一系列優(yōu)缺點(diǎn)區(qū)別在于Tanh函數(shù)更適合讓神經(jīng)元產(chǎn)生與輸入符號(hào)一致的非概率輸出原函數(shù)導(dǎo)數(shù)ReLU激活函數(shù)原函數(shù)導(dǎo)數(shù)導(dǎo)數(shù)簡(jiǎn)單，計(jì)算和優(yōu)化將更高效不是兩端飽和函數(shù)，緩解梯度消失問(wèn)題舍棄神經(jīng)元負(fù)信號(hào)，使神經(jīng)網(wǎng)絡(luò)具有稀疏的特點(diǎn)神經(jīng)元的輸入與輸出之間存在均值偏移有可能導(dǎo)致神經(jīng)元“死亡”的現(xiàn)象LeakyReLU緩解神經(jīng)元“死亡”現(xiàn)象四種激活函數(shù)示意圖前饋神經(jīng)網(wǎng)絡(luò)的構(gòu)成前饋神經(jīng)網(wǎng)絡(luò)具有很強(qiáng)的擬合能力，用具有有限多的隱藏層神經(jīng)元可以逼近任意的有限區(qū)間內(nèi)的曲線這被稱之為通用逼近定理UniversalApproximationTheorem

損失函數(shù)與梯度下降算法損失函數(shù)

梯度下降算法

小批量梯度下降算法

ImageNet14,197,122

images小批量梯度下降算法

小批量梯度下降算法

梯度下降算法的改進(jìn)梯度估計(jì)修正在MGD算法中，如果批量數(shù)比較小，損失會(huì)呈現(xiàn)震蕩的方式下降，說(shuō)明每次迭代的梯度估計(jì)和整個(gè)訓(xùn)練集上的最優(yōu)梯度不一致，具有一定的隨機(jī)性，此時(shí)可以進(jìn)行梯度估計(jì)修正改進(jìn)算法：動(dòng)量梯度下降、梯度加速法學(xué)習(xí)率調(diào)整學(xué)習(xí)率的設(shè)置也很重要，過(guò)大可能不會(huì)收斂，過(guò)小可能收斂太慢自適應(yīng)學(xué)習(xí)率調(diào)整算法：AdaGrad、AdaDelta、RMSprop綜合法Adam：動(dòng)量法+RMSprop法的結(jié)合動(dòng)量梯度下降算法

Nesterov梯度加速算法

AdaGrad算法

AdaGrad算法（續(xù)）優(yōu)點(diǎn)：可以進(jìn)行學(xué)習(xí)率的自適應(yīng)調(diào)整缺點(diǎn)：分母是所有歷史信息的求和，因此會(huì)隨著迭代變得越來(lái)越大，從而使得學(xué)習(xí)率衰減過(guò)快AdaDelta算法更新公式：解決AdaGrad中歷史梯度累積平方和單調(diào)遞增的問(wèn)題AdaDelta不再使用全部歷史信息，而是使用某個(gè)固定窗寬內(nèi)的歷史梯度信息計(jì)算累計(jì)平方和。計(jì)算固定窗寬內(nèi)的梯度累積平方和需要存儲(chǔ)多個(gè)歷史梯度平方的信息，AdaDelta轉(zhuǎn)而使用指數(shù)加權(quán)的方式累積歷史信息AdaDelta作者指出此前梯度類算法參數(shù)的單位沒(méi)有保持一致，因此又更新了第二階段的AdaDelta算法，詳見(jiàn)教材公式

均方根加速（RMSprop）更新公式：與AdaDelta算法思路十分相似，同年提出（但未發(fā)表），與第一階段AdaDelta公式一致。

Adam算法更新公式：將動(dòng)量法與RMSprop結(jié)合起來(lái)考慮的算法

各種算法的收斂過(guò)程推薦閱讀材料：/dl2017/html/lesson2-week2.html反向傳播算法：?jiǎn)蝹€(gè)神經(jīng)元

反向傳播算法：?jiǎn)蝹€(gè)神經(jīng)元反向傳播算法：?jiǎn)蝹€(gè)神經(jīng)元

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

反向傳播算法：兩層神經(jīng)網(wǎng)絡(luò)

神經(jīng)網(wǎng)絡(luò)的訓(xùn)練流程初始化參數(shù)。常用的初始化方法有常數(shù)初始化、正態(tài)分布類初始化、均勻分布類初始化等。切分batch數(shù)據(jù)。神經(jīng)網(wǎng)絡(luò)每一輪訓(xùn)練不是用全部數(shù)據(jù)，而是選取一定量的數(shù)據(jù)樣本作為輸入，這部分?jǐn)?shù)據(jù)樣本稱為一個(gè)batch。前向傳播建立損失函數(shù)反向傳播是否達(dá)到迭代次數(shù)，如果達(dá)到，則結(jié)束本輪訓(xùn)練，如果未達(dá)到，則繼續(xù)重復(fù)前面的步驟進(jìn)行新一輪迭代。神經(jīng)網(wǎng)絡(luò)的過(guò)擬合及處理方法過(guò)擬合

期望損失的極小值

過(guò)擬合欠擬合過(guò)擬合適度擬合過(guò)擬合（Overfitting）是指在模型訓(xùn)練過(guò)程中，模型對(duì)訓(xùn)練數(shù)據(jù)學(xué)習(xí)過(guò)度，將數(shù)據(jù)中包含的噪聲和誤差也學(xué)習(xí)了，使得模型在訓(xùn)練集上表現(xiàn)很好，而在測(cè)試集上表現(xiàn)很差的現(xiàn)象。偏差-方差分解

無(wú)法通過(guò)模型改變的理論下界

偏差-方差分解

偏差方差偏差：一個(gè)模型在不同訓(xùn)練集上的平均性能與最優(yōu)模型的差異，衡量模型的擬合能力。方差：一個(gè)模型在不同訓(xùn)練集上的差異，衡量一個(gè)模型是否容易過(guò)擬合。偏差-方差分解左上角：最理想的情況左下角：泛化能力很好，但擬合能力不足右上角：擬合能力很好，但泛化能力較差右下角：最差的情況訓(xùn)練誤差V.S.測(cè)試誤差判斷是否存在高偏差或高方差的關(guān)鍵：訓(xùn)練誤差V.S.測(cè)試誤差訓(xùn)練誤差5%20%20%1%測(cè)試誤差20%5%30%2%高方差高偏差高偏差&高方差低偏差&低方差高偏差：換一個(gè)更復(fù)雜的網(wǎng)絡(luò)或更先進(jìn)的算法、增加數(shù)據(jù)特征等高方差：降低模型復(fù)雜度、增加更多的數(shù)據(jù)集、集成模型等正則化方法

正則化方法權(quán)重衰減

Dropout方法Dropout方法由辛頓（Hinton）教授團(tuán)隊(duì)提出，它是指在神經(jīng)網(wǎng)絡(luò)訓(xùn)練的過(guò)程中，將某一層的單元（不包括輸出層的單元）