卷積神經(jīng)網(wǎng)絡(luò)總結(jié)文獻(xiàn)

1、卷積神經(jīng)網(wǎng)絡(luò)總結(jié)1卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種，已成為 當(dāng)前圖像理解領(lǐng)域的研究熱點(diǎn)它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類 似于生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)模型的復(fù)雜度， 減少了權(quán)值的數(shù) 單。這個(gè)優(yōu)點(diǎn)在網(wǎng)絡(luò)的輸入是多維圖像時(shí)表現(xiàn)得更為明顯，圖像可以直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提 取和數(shù)據(jù)重建過程.卷積網(wǎng)絡(luò)是為識(shí)別二維形狀而特殊設(shè)計(jì)的一 個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)平移、 比例縮放以及其他形式的 變形具有一定不變性.在典型的CNN中，開始幾層通常是卷積層 和下采樣層的交替，在靠近輸出層的最后幾層網(wǎng)絡(luò)通常是全連接 網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程主要是學(xué)習(xí)卷積層的卷積核參數(shù)和 層間連

2、接權(quán)重等網(wǎng)絡(luò)參數(shù)，預(yù)測(cè)過程主要是基于輸入圖像和網(wǎng)絡(luò) 參數(shù)計(jì)算類別標(biāo)簽。卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是：網(wǎng)絡(luò)結(jié)構(gòu) （含卷積層、下采樣層、全 連接層等）和反向傳播算法等。在本節(jié)中，我們先介紹典型CNN的網(wǎng)絡(luò)結(jié)構(gòu)和反向傳播算法 然后概述常用的其他CNN網(wǎng)絡(luò)結(jié)構(gòu)和方法。神經(jīng)網(wǎng)絡(luò)參數(shù)的中文名稱主要參考文獻(xiàn)18卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和反向傳播算法主要參考文獻(xiàn)17。1.1網(wǎng)絡(luò)結(jié)構(gòu)1.1.1卷積層在卷積層，上一層的特征圖(Featuremap破一個(gè)可學(xué)習(xí)的卷積核進(jìn)行卷積,然后通過一個(gè)激活 函數(shù)(Activationfunction),就可以得到輸出特征圖.每個(gè)輸出特征 圖可以組合卷積多個(gè)特征圖的值17:其中，稱為卷積層l的

3、第j 個(gè)通道的凈激活(Netactivation),它通過對(duì)前一層輸出特征圖進(jìn)行 卷積求和與偏置后得到的，是卷積層l的第j個(gè)通道的輸出。稱為激活函數(shù)，通?？墒褂胹igmoid和tanh等函數(shù)。表示用于計(jì)算的輸入特征圖子集,是卷積核矩陣,是對(duì)卷積后特征圖的偏置。對(duì)于一個(gè)輸出特征圖，每個(gè)輸入特征圖對(duì)應(yīng)的卷積核可能不 同，”是卷積符號(hào)。下采樣層下采樣層將每個(gè)輸入特征圖通過下面的公式下 采樣輸出特征圖17：其中,稱為下采樣層l的第j通道的凈激活, 它由前一層輸出特征圖進(jìn)行下采樣加權(quán)、偏置后得到 ，是下采樣 層的權(quán)重系數(shù)，是下采樣層的偏置項(xiàng).符號(hào)表示下采樣函數(shù)，它通 過對(duì)輸入特征圖通過滑動(dòng)窗口方法劃分為

4、多個(gè)不重疊的圖像塊,然后對(duì)每個(gè)圖像塊內(nèi)的像素求和、求均值或最大值，于是輸出圖像在兩個(gè)維度上都縮小了n倍。全連接層在全連接網(wǎng)絡(luò)中，將所有二維圖像的特征圖拼 接為一維特征作為全連接網(wǎng)絡(luò)的輸入.全連接層l的輸出可通過對(duì)輸入加權(quán)求和并通過激活函數(shù)的響應(yīng)得到17：其中，稱為全連接層l的凈激活，它由前一層輸出特征圖進(jìn)行加權(quán)和偏置后得到 的。是全連接網(wǎng)絡(luò)的權(quán)重系數(shù)，是全連接層l的偏置項(xiàng)。1.2反向傳播算法神經(jīng)網(wǎng)絡(luò)有兩類基本運(yùn)算模式：前向傳播和學(xué)習(xí).前向傳播是指輸入信號(hào)通過前一節(jié)中一個(gè)或多個(gè)網(wǎng)絡(luò)層之 間傳遞信號(hào)，然后在輸出層得到輸出的過程.反向傳播算法是神經(jīng) 網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)中的一種常用方法，其目標(biāo)是根據(jù)訓(xùn)練樣

5、本和期望輸出來估計(jì)網(wǎng)絡(luò)參數(shù).對(duì)于卷積神經(jīng)網(wǎng)絡(luò)而言，主要優(yōu)化卷積核 參數(shù)k、下采樣層網(wǎng)絡(luò)權(quán)重 工全連接層網(wǎng)絡(luò)權(quán)重 w和各層的偏 置參數(shù)b等.反向傳播算法的本質(zhì)在于允許我們對(duì)每個(gè)網(wǎng)絡(luò)層計(jì) 算有效誤差，并由此推導(dǎo)出一個(gè)網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)規(guī)則，使得實(shí)際網(wǎng) 絡(luò)輸出更加接近目標(biāo)值18。我們以平方誤差損失函數(shù)的多分類問題為例介紹反向傳播算法的思路.考慮一個(gè)多分類問題的訓(xùn)練總誤差，定義為輸出端的期望輸出值和實(shí)際輸出值的差的平方17:其中，是第n個(gè)樣本的類 別標(biāo)簽真值，是第n個(gè)樣本通過前向傳播網(wǎng)絡(luò)預(yù)測(cè)輸出的類別標(biāo) 簽.對(duì)于多分類問題,輸出類別標(biāo)簽常用一維向量表示，即輸入樣本對(duì)應(yīng)的類別標(biāo)簽維度為正數(shù)，輸出類別標(biāo)簽的其

6、他維為 0或負(fù) 數(shù)，這取決于選擇的激活函數(shù)類型,當(dāng)激活函數(shù)選為 sigmoid,輸出 標(biāo)簽為0,當(dāng)激活函數(shù)為tanh輸出標(biāo)簽為-1。反向傳播算法主要基于梯度下降方法,網(wǎng)絡(luò)參數(shù)首先被初始化為隨機(jī)值，然后通過梯度下降法向訓(xùn)練誤差減小的方向調(diào)整.接下來，我們以多個(gè) 卷積層-采樣層”連接多個(gè)全連接層的卷積神經(jīng) 網(wǎng)絡(luò)為例介紹反向傳播算法。首先介紹網(wǎng)絡(luò)第l層的靈敏度(Sensitivity)17 , 18:其中，描述 了總誤差E怎樣隨著凈激活而變化.反向傳播算法實(shí)際上通過所 有網(wǎng)絡(luò)層的靈敏度建立總誤差對(duì)所有網(wǎng)絡(luò)參數(shù)的偏導(dǎo)數(shù),從而得到使得訓(xùn)練誤差減小的方向。卷積層為計(jì)算卷積層l的靈敏度，需要用下一層下采樣層

7、 1+1的靈敏度表示卷積層l的靈敏度，然后計(jì)算總誤差E對(duì)卷積層 參數(shù)(卷積核參數(shù)k、偏置參數(shù)b)的偏導(dǎo)數(shù).由于下采樣層的靈敏 度尺寸小于卷積層的靈敏度尺寸,因此需要將下采樣層1+1的靈 敏度上采樣到卷積層1的靈敏度大小，然后將第1層凈激活的激活 函數(shù)偏導(dǎo)與從第1+1層的上采樣得到的靈敏度逐項(xiàng)相乘.分別由 式(1)和(2),通過鏈?zhǔn)角髮?dǎo)可得第1層中第j個(gè)通道的靈敏度17: 其中,表示一個(gè)上采樣操作，符號(hào)塊示每個(gè)元素相乘.若下采樣因 子為n,則將每個(gè)像素在水平和垂直方向上復(fù)制n次，于是就可以從1+1層的靈敏度上采樣成卷積層1的靈敏度大小.函數(shù)可以用Kronecker乘積來實(shí)現(xiàn)。然后,使用靈敏度對(duì)卷

8、積層1中的參數(shù)計(jì)算偏導(dǎo).對(duì)于總誤差E 對(duì)偏移量的偏導(dǎo)，可以對(duì)卷積層1的靈敏度中所有節(jié)點(diǎn)進(jìn)行求和 來計(jì)算：對(duì)于總誤差關(guān)于卷積核參數(shù)的偏導(dǎo)，由式(1)，使用鏈?zhǔn)角髮?dǎo)時(shí)需要用所有與該卷積核相乘的特征圖元素來求偏導(dǎo)：其中，是在計(jì)算時(shí)，與逐元素相乘的元素.1.2.2下采樣層為計(jì)算下采樣層1 的靈敏度，需要用下一層卷積層1+1的靈敏度表示下采樣層1的靈 敏度，然后計(jì)算總誤差E對(duì)下采樣參數(shù)權(quán)重系數(shù)、偏置參數(shù)b的偏導(dǎo)數(shù).為計(jì)算我們需要下采樣層l的靈敏度，我們必須找到當(dāng)前 層的靈敏度與下一層的靈敏度的對(duì)應(yīng)點(diǎn)，這樣才能對(duì)靈敏度進(jìn)行遞推.另外，需要乘以輸入特征圖與輸出特征圖之間的連接權(quán)值,這個(gè)權(quán)值實(shí)際上就是卷積核的

9、參數(shù).分別由式 和(2),通過鏈?zhǔn)角髮?dǎo)可得第l層第j個(gè)通道的靈敏度17:其中,對(duì)卷積核旋轉(zhuǎn)180 度使用卷積函數(shù)計(jì)算互相關(guān)(在Matlab中，可用conv2函數(shù)實(shí)現(xiàn)), 對(duì)卷積邊界進(jìn)行補(bǔ)零處理.然后，總誤差對(duì)偏移量b的偏導(dǎo)與前面 卷積層的一樣,只要對(duì)靈敏度中所有元素的靈敏度求和即可：對(duì)于下采樣權(quán)重，我們先定義下采樣算子，然后可通過下面的公式計(jì) TOC o 1-5 h z 算總誤差E對(duì)的偏導(dǎo)：這里我們假定下采樣層的下一層為卷積層,如果下一層為全連接層，也可以做類似的推導(dǎo).全連接層l的靈敏 度可通過下式計(jì)算：輸出層的神經(jīng)元靈敏度可由下面的公式計(jì)算：總誤差對(duì)偏移項(xiàng)的偏導(dǎo)如下：接下來可以對(duì)每個(gè)神經(jīng)元運(yùn)

10、用靈敏 度進(jìn)行權(quán)值更新.對(duì)一個(gè)給定的全連接層l,權(quán)值更新方向可用該層的輸入和靈敏度的內(nèi)積來表示：1.2.4網(wǎng)絡(luò)參數(shù)更新過程卷積層 參數(shù)可用下式更新：下采樣層參數(shù)可用下式更新：全連接層參數(shù)可 用下式更新：其中，對(duì)于每個(gè)網(wǎng)絡(luò)參數(shù)都有一個(gè)特定的學(xué)習(xí)率.若學(xué)習(xí)率太小，則訓(xùn)練的速度慢；若學(xué)習(xí)率太大，則可導(dǎo)致系統(tǒng)發(fā)散. 在實(shí)際問題中，如果總誤差在學(xué)習(xí)過程中發(fā)散，那么將學(xué)習(xí)率調(diào)小 反之，如果學(xué)習(xí)速度過慢，那么將學(xué)習(xí)率調(diào)大.1.3常用的其他網(wǎng)絡(luò) 結(jié)構(gòu)和方法1.3.1卷積層傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的卷積層采用線性濾 波器與非線性激活函數(shù)，一種改進(jìn)的方法在卷積層使用多層感知機(jī)模型作為微型神經(jīng)網(wǎng)絡(luò)，通過在輸入圖像中滑動(dòng)微型

11、神經(jīng)網(wǎng)絡(luò)來得到特征圖，該方法能夠增加神經(jīng)網(wǎng)絡(luò)的表示能力,被稱為Networkinnet-work19.為了解決既能夠保證網(wǎng)絡(luò)的稀疏性 ，又能 夠利用稠密矩陣的高性能計(jì)算，Szegedy等11提出Inception網(wǎng) 絡(luò).Inception網(wǎng)絡(luò)的一層含有一個(gè)池化操作和三類卷積操作 ：1*1、 3*3、5*5 卷積。1.3.2池化池化(Pooling)是卷積神經(jīng)網(wǎng)絡(luò)中一個(gè)重要的操作，它能夠使特征減少，同時(shí)保持特征的局部不變性.常用的池化操作有 空 間金字塔池化(Spatialpyramidpooling,SPP)10、最大池化 (Maxpooling)、 平均池化(Meanpooling)、 隨機(jī)

12、池化 (Stochasticpooling)20等.1.3.3激活函數(shù)常用激活函數(shù) 有：ReLU8 、 LeaklyReLU21 、 ParametricReLU 、 RandomizedReLU、ELU 等.1.3.4損失函數(shù)損失函數(shù)的選擇在卷 積神經(jīng)網(wǎng)絡(luò)中起重要作用，代表性的損失函數(shù)有：平方誤差損失、 互嫡損失(Crossentropyloss)、Hinge損失等.1.3.5優(yōu)化方法和技巧 卷積神經(jīng)網(wǎng)絡(luò)常用的優(yōu)化方法包含隨機(jī)梯度下降方法 (Stochasticgradientdescent,SGD)常用的技巧有權(quán)值初始化 8、權(quán) 值衰減(Weightdecay)18、Batchnormalization22等.1.4 卷積神經(jīng) 網(wǎng)絡(luò)的優(yōu)勢(shì)卷積神經(jīng)網(wǎng)絡(luò)在下采樣層可以保持一定局部平移不 變形，在卷積層通過感受野和權(quán)值共享減少了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練 的參數(shù)的個(gè)數(shù).每個(gè)神經(jīng)元只需要感受局部的圖像區(qū)域，在更高層 將這些感受不同局部區(qū)域的神經(jīng)元綜合起來就可以得到全局的信息.因此，可以減少網(wǎng)絡(luò)連接的數(shù)目，即減少神經(jīng)網(wǎng)絡(luò)需積神經(jīng) 網(wǎng)絡(luò)以其權(quán)值共享的特殊結(jié)構(gòu)在圖像理解領(lǐng)域中有著獨(dú)特的優(yōu) 越，