技術(shù)博客batch normaliz解讀

1、目錄目錄1-Motivation2-Normalization via Mini-Batch Statistics 測(cè)試BN before or after Activation3-Experiments本次所講的內(nèi)容為Batch Normalization，簡(jiǎn)稱(chēng)BN，來(lái)源于Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift，是一篇很好的paper。1-Motivation作者認(rèn)為：網(wǎng)絡(luò)訓(xùn)練過(guò)程中參數(shù)不斷改變導(dǎo)致后續(xù)每一層輸入的分布也發(fā)生變化，而學(xué)習(xí)的過(guò)程又 要

2、使每一層適應(yīng)輸入的分布，因此我們不得不降低學(xué)習(xí)率、 地初始化。作者將分布發(fā)生變化稱(chēng)之為 internal covariate shift。大家應(yīng)該都知道，我們一般在訓(xùn)練網(wǎng)絡(luò)的時(shí)會(huì)將輸入減去均值，還有些人甚至?xí)?duì)輸入做白化等操 作，目的是為了加快訓(xùn)練。為什么減均值、白化可以加快訓(xùn)練呢，這里做一個(gè)簡(jiǎn)單地說(shuō)明：首先，圖像數(shù)據(jù)是高度相關(guān)的，假設(shè)其分布如下圖a所示(簡(jiǎn)化為2維)。由于初始化的時(shí)候，我們的參 數(shù)一般都是0均值的，因此開(kāi)始的擬合y=Wx+b，基本過(guò)原點(diǎn)附近，如圖b紅色虛線。因此，網(wǎng)絡(luò)需 要經(jīng)過(guò)多次學(xué)習(xí)才能逐步達(dá)到如紫色實(shí)線的擬合，即收斂的比較慢。如果我們對(duì)輸入數(shù)據(jù)先作減均 值操作，如圖c，顯

3、然可以加快學(xué)習(xí)。更進(jìn)一步的，我們對(duì)數(shù)據(jù)再進(jìn)行去相關(guān)操作，使得數(shù)據(jù)更加容 易區(qū)分，這樣又會(huì)加快訓(xùn)練，如圖d。白化的方式有好幾種，常用的有PCA白化：即對(duì)數(shù)據(jù)進(jìn)行PCA操作之后，在進(jìn)行方差歸一化。這樣數(shù)據(jù)基本滿足0均值、 方差、弱相關(guān)性。作者首先考慮，對(duì)每一層數(shù)據(jù)都使用白化操作，但分析認(rèn)為這是不可取的。因?yàn)榘谆枰?jì)算協(xié)方差矩陣、求逆等操作，計(jì)算量很大，此外，反向時(shí)，白化操作不一定可導(dǎo)。于是，作者采用下面的Normalization方法。2-Normalization via Mini-Batch Statistics數(shù)據(jù)歸一化方法很簡(jiǎn)單，就是要讓數(shù)據(jù)具有0均值和 方差，如下式：但是作者又說(shuō)如果簡(jiǎn)

4、單的這么干，會(huì)降低層的表達(dá)能力。比如下圖，在使用sigmoid激活函數(shù)的時(shí)候，如果把數(shù)據(jù)限制到0均值 方差，那么相當(dāng)于只使用了激活函數(shù)中近似線性的部分，這顯然會(huì)降低模型表達(dá)能力。為此，作者又為BN增加了2個(gè)參數(shù)，用來(lái)保持模型的表達(dá)能力。于是最后的輸出為：上述公式中用到了均值E和方差Var，需要注意的是理想情況下E和Var應(yīng)該是 整個(gè)數(shù)據(jù)集的，但顯然這是不現(xiàn)實(shí)的。因此，作者做了簡(jiǎn)化，用一個(gè)Batch的均值和方差作為對(duì)整個(gè)數(shù)據(jù)集均值和方差的估計(jì)。整個(gè)BN的算法如下：求導(dǎo)的過(guò)程也非常簡(jiǎn)單，有地可以自己再推導(dǎo)一遍或者直接參見(jiàn)原文。測(cè)試實(shí)際測(cè)試網(wǎng)絡(luò)的時(shí)候，我們依然會(huì)應(yīng)用下面的式子：特別注意： 這里的均值和方差已經(jīng)不是 某一個(gè)Batch了，而是 整個(gè)數(shù)據(jù)集而言。因此，在訓(xùn)練過(guò)程中除了正常的前向 和反向求導(dǎo)之外，我們還要 每一個(gè)Batch的均值和方差，以便訓(xùn)練完成之后按照下式計(jì)算整體的均值和方差：BN before or after Activation作者在文章中說(shuō)應(yīng)該把BN放在激活函數(shù)之前，這是因?yàn)閃x+b具有更加一致和非稀疏的分布。但是也有人做實(shí)驗(yàn)表明放在激活函數(shù)后面效果更好。這是實(shí)驗(yàn)，里面有很多有意思的對(duì)比實(shí)驗(yàn)：3-Experiments作者在文章中也做了很多實(shí)驗(yàn)對(duì)比，我這里就簡(jiǎn)單說(shuō)明2個(gè)。下圖a說(shuō)明，BN可以訓(xùn)練。圖b和c則