【總結(jié)】卷積神經(jīng)網(wǎng)絡(luò)總結(jié)

1、1 卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是深度學(xué)習(xí)的一種， 已成為當(dāng)前圖像懂得領(lǐng)域的討論熱點它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)， 降低了網(wǎng)絡(luò)模型的復(fù)雜度， 削減了權(quán)值的數(shù)量； 這個優(yōu)點在網(wǎng)絡(luò)的輸入是多維圖像時表現(xiàn)得更為明顯 , 圖像可以直接作為網(wǎng)絡(luò)的輸入， 防止了傳統(tǒng)識別算法中復(fù)雜的特點提取和數(shù)據(jù)重建過程 . 卷積網(wǎng)絡(luò)是為識別二維外形而特別設(shè)計的一個多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對平移、比例縮放以及其他形式的變形具有肯定不變性. 在典型的 cnn中，開頭幾層通常是卷積層和下采樣層的交替, 在靠近輸出層的最終幾層網(wǎng)絡(luò)通常是全連接網(wǎng)絡(luò)； 卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程主要是學(xué)習(xí)卷積層的卷積核參數(shù)和層間連接權(quán)重等網(wǎng)

2、絡(luò)參數(shù) , 猜測過程主要是基于輸入圖像和網(wǎng)絡(luò)參數(shù)運算類別標簽；卷積神經(jīng)網(wǎng)絡(luò)的關(guān)鍵是：網(wǎng)絡(luò)結(jié)構(gòu) 含卷積層、下采樣層、全連接層等 和反向傳播算法等；在本節(jié)中, 我們先介紹典型 cnn的網(wǎng)絡(luò)結(jié)構(gòu)和反向傳播算法, 然后概述常用的其他cnn網(wǎng)絡(luò)結(jié)構(gòu)和方法；神經(jīng)網(wǎng)絡(luò)參數(shù)的中文名稱主要參考文獻18 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和反向傳播算法主要參考文獻17 ；1.1 網(wǎng)絡(luò)結(jié)構(gòu)1.1.1 卷積層在卷積層 , 上一層的特點圖 feature map 被一個可學(xué)習(xí)的卷積核進行卷積, 然后通過一個激活函數(shù) activation function,就可以得到輸出特點圖. 每個輸出特點圖可以組合卷積多個特點圖的值 17：xlf

3、ul jjulxl 1k lbl7 / 5其中 ,jjijj i m jjul 稱為卷積層 l的第j 個通道的凈激活 netactivation,它通過對前一層輸出特點xlj圖1 進行卷積求和與偏置后得到的,xlj 是卷積層 l的第 j 個通道的輸出；f g 稱為激活函數(shù), 通?？墒褂?sigmoid和tanh 等函數(shù)；m j 表示用于運算ulj 的輸入特點圖子集,lkij 是卷j積核矩陣 ,bl 是對卷積后特點圖的偏置；對于一個輸出特點圖ll 1xx對j ，每個輸入特點圖j應(yīng)的卷積核lkij 可能不同 ,“ * ”是卷積符號；1.1.2 下采樣層下采樣層將每個輸入特點圖通過下面的公式下采樣輸

4、出特點圖17：xlf ul jjull downxl 1blxjjjjjj其中 ,ul 稱為下采樣層 l的第 j 通道的凈激活 , 它由前一層輸出特點圖l 1 進行下采樣加權(quán)、偏置后得到 ,是下采樣層的權(quán)重系數(shù) ,lbj 是下采樣層的偏置項 . 符號downg 表示下采樣函數(shù) , 它通過對輸入特點圖l 1 通過滑動窗口方法劃分為多個不重疊的nn圖像塊 ,xj然后對每個圖像塊內(nèi)的像素求和、求均值或最大值, 于是輸出圖像在兩個維度上都縮小了n倍；1.1.3 全連接層在全連接網(wǎng)絡(luò)中 , 將全部二維圖像的特點圖拼接為一維特點作為全連接網(wǎng)絡(luò)的輸入. 全連接層 l的輸出可通過對輸入加權(quán)求和并通過激活函數(shù)的

5、響應(yīng)得到17 ：xlf ul jjulwl xl 1bl其中 ,ul 稱為全連接層 l 的凈激活 , 它由前一層輸出特點圖xl 1 進行加權(quán)和偏置后得到ll的； w 是全連接網(wǎng)絡(luò)的權(quán)重系數(shù),b 是全連接層 l 的偏置項；1.2 反向傳播算法神經(jīng)網(wǎng)絡(luò)有兩類基本運算模式: 前向傳播和學(xué)習(xí) . 前向傳播是指輸入信號通過前一節(jié)中一個或多個網(wǎng)絡(luò)層之間傳遞信號, 然后在輸出層得到輸出的過程. 反向傳播算法是神經(jīng)網(wǎng)絡(luò)有監(jiān)督學(xué)習(xí)中的一種常用方法, 其目標是依據(jù)訓(xùn)練樣本和期望輸出來估量網(wǎng)絡(luò)參數(shù). 對于卷積神經(jīng)網(wǎng)絡(luò)而言 , 主要優(yōu)化卷積核參數(shù) k、下采樣層網(wǎng)絡(luò)權(quán)重 、全連接層網(wǎng)絡(luò)權(quán)重 w 和各層的偏置參數(shù) b 等

6、. 反向傳播算法的本質(zhì)在于答應(yīng)我們對每個網(wǎng)絡(luò)層運算有效誤差, 并由此推導(dǎo)出一個網(wǎng)絡(luò)參數(shù)的學(xué)習(xí)規(guī)章, 使得實際網(wǎng)絡(luò)輸出更加接近目標值18 ；我們以平方誤差缺失函數(shù)的多分類問題為例介紹反向傳播算法的思路. 考慮一個多分類問題的訓(xùn)練總誤差 , 定義為輸出端的期望輸出值和實際輸出值的差的平方17:e w, k, b1 n2tnyn2 n1其中 ,tn是第 n 個樣本的類別標簽真值 ,yn 是第 n個樣本通過前向傳播網(wǎng)絡(luò)猜測輸出的類別標簽 . 對于多分類問題 , 輸出類別標簽常用一維向量表示, 即輸入樣本對應(yīng)的類別標簽維度為正數(shù) , 輸出類別標簽的其他維為0 或負數(shù) , 這取決于挑選的激活函數(shù)類型, 當(dāng)

7、激活函數(shù)選為 sigmoid, 輸出標簽為 0, 當(dāng)激活函數(shù)為 tanh, 輸出標簽為 -1；反向傳播算法主要基于梯度下降方法, 網(wǎng)絡(luò)參數(shù)第一被初始化為隨機值, 然后通過梯度下降法向訓(xùn)練誤差減小的方向調(diào)整. 接下來 , 我們以多個“卷積層 -采樣層”連接多個全連接層的卷積神經(jīng)網(wǎng)絡(luò)為例介紹反向傳播算法；第一介紹網(wǎng)絡(luò)第 l 層的靈敏度 sensitivity 17， 18 ：lelul其中 ,l 描述了總誤差 e 怎樣隨著凈激活u 而變化 . 反向傳播算法實際上通過全部網(wǎng)絡(luò)層的靈敏度建立總誤差對全部網(wǎng)絡(luò)參數(shù)的偏導(dǎo)數(shù), 從而得到使得訓(xùn)練誤差減小的方向；1.2.1 卷積層為運算卷積層 l 的靈敏度 ,

8、 需要用下一層下采樣層 l + 1的靈敏度表示卷積層 l 的靈敏度, 然后運算總誤差 e 對卷積層參數(shù) 卷積核參數(shù) k、偏置參數(shù) b 的偏導(dǎo)數(shù) .由于下采樣層的靈敏度尺寸小于卷積層的靈敏度尺寸, 因此需要將下采樣層 l + 1 的靈敏度上采樣到卷積層l 的靈敏度大小 , 然后將第 l 層凈激活的激活函數(shù)偏導(dǎo)與從第l + 1 層的上采樣得到的靈敏度逐項相乘 . 分別由式 1 和2,通過鏈式求導(dǎo)可得第 l 層中第 j 個通道的靈敏度 17:lel1 ful oupl 1 ujljjjj其中 ,up g 表示一個上采樣操作 , 符號 表示每個元素相乘. 如下采樣因子為 n, 就up g 將每個像素在

9、水平和垂直方向上復(fù)制n 次, 于是就可以從 l + 1 層的靈敏度上采樣成卷積層 l 的靈敏度大小 . 函數(shù)upg 可以用 kronecker乘積up xx1n n 來實現(xiàn)；然后 , 使用靈敏度對卷積層 l中的參數(shù)運算偏導(dǎo). 對于總誤差 e 對偏移量lbj 的偏導(dǎo) , 可l以對卷積層 l 的靈敏度中全部節(jié)點進行求和來運算：eblju ,vj u, v對于總誤差關(guān)于卷積核參數(shù)的偏導(dǎo), 由式 1, 使用鏈式求導(dǎo)時需要用全部與該卷積核相乘的特點圖元素來求偏導(dǎo):ekl1iju ,vj u,v pjll1u, v其中 , plu, v是在運算xl 時, 與lkij 逐元素相乘的l 1 元素 .jjxj1

10、.2.2 下采樣層為運算下采樣層 l 的靈敏度 , 需要用下一層卷積層 l + 1的靈敏度表示下采樣層l 的靈敏度 , 然后運算總誤差 e 對下采樣參數(shù)權(quán)重系數(shù)、偏置參數(shù) b的偏導(dǎo)數(shù) .為運算我們需要下采樣層l 的靈敏度 , 我們必需找到當(dāng)前層的靈敏度與下一層的靈敏度的對應(yīng)點 ,這樣才能對靈敏度進行遞推 . 另外, 需要乘以輸入特點圖與輸出特點圖之間的連接權(quán)值 , 這個權(quán)值實際上就是卷積核的參數(shù). 分別由式 1 和2,通過鏈式求導(dǎo)可得第 l 層第 j 個通道的靈敏度17:lll 1l 1jf u j oconv2j,rot 180k j , full 其中 , 對卷積核旋轉(zhuǎn) 180 度使用卷積

11、函數(shù)運算相互關(guān)在matlab中, 可用conv2函數(shù)實現(xiàn), 對卷積邊界進行補零處理.然后 , 總誤差對偏移量 b 的偏導(dǎo)與前面卷積層的一樣, 只要對靈敏度中全部元素的靈敏度求和即可 :eblju ,vlju, vd對于下采樣權(quán)重, 我們先定義下采樣算子ldownxl1 ， 然后可通過下面的公jj式運算總誤差 e 對的偏導(dǎo) :elllju ,vj od ju, v這里我們假定下采樣層的下一層為卷積層, 假如下一層為全連接層, 也可以做類似的推導(dǎo).全連接層 l 的靈敏度可通過下式運算:ll 1 tl 1 wo flu 輸出層的神經(jīng)元靈敏度可由下面的公式運算:ln ynt o flu 總誤差對偏移項

12、的偏導(dǎo)如下:ebleululblll接下來可以對每個神經(jīng)元運用靈敏度進行權(quán)值更新. 對一個給定的全連接層l, 權(quán)值更新方向可用該層的輸入xl 1和靈敏度的內(nèi)積來表示 :1.2.4 網(wǎng)絡(luò)參數(shù)更新過程卷積層參數(shù)可用下式更新:下采樣層參數(shù)可用下式更新:exlwlkl ijbll1 l tekl ijeblelblebl全連接層參數(shù)可用下式更新:wlewl其中 , 對于每個網(wǎng)絡(luò)參數(shù)都有一個特定的學(xué)習(xí)率.如學(xué)習(xí)率太小 , 就訓(xùn)練的速度慢; 如學(xué)習(xí)率太大 , 就可導(dǎo)致系統(tǒng)發(fā)散. 在實際問題中 , 假如總誤差在學(xué)習(xí)過程中發(fā)散, 那么將學(xué)習(xí)率調(diào)小 ; 反之, 假如學(xué)習(xí)速度過慢, 那么將學(xué)習(xí)率調(diào)大.1.3 常用

13、的其他網(wǎng)絡(luò)結(jié)構(gòu)和方法1.3.1 卷積層傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)的卷積層采納線性濾波器與非線性激活函數(shù), 一種改進的方法在卷積層使用多層感知機模型作為微型神經(jīng)網(wǎng)絡(luò), 通過在輸入圖像中滑動微型神經(jīng)網(wǎng)絡(luò)來得到特點圖 , 該方法能夠增加神經(jīng)網(wǎng)絡(luò)的表示才能, 被稱為 network in net-work 19. 為明白決既能夠保證網(wǎng)絡(luò)的稀疏性, 又能夠利用稠密矩陣的高性能運算, szegedy 等11 提出 inception 網(wǎng)絡(luò) . inception網(wǎng)絡(luò)的一層含有一個池化操作和三類卷積操作: 1 *1 、3 *3 、5 * 5卷積；1.3.2 池化池化 pooling是卷積神經(jīng)網(wǎng)絡(luò)中一個重要的操作, 它

14、能夠使特點削減, 同時保持特點的局部不變性 . 常用的池化操作有 : 空間金字塔池化 spatial pyramid pooling, spp 10、最大池化max pooling 、平均池化 mean pooling 、隨機池化 stochastic pooling20等.1.3.3 激活函數(shù)常用激活函數(shù)有 : relu 8 、leakly relu 21 、parametric relu 、randomized relu 、elu等.1.3.4 缺失函數(shù)缺失函數(shù)的挑選在卷積神經(jīng)網(wǎng)絡(luò)中起重要作用, 代表性的缺失函數(shù)有 : 平方誤差缺失、互熵缺失 cross entropy loss、hinge缺失等 .1.3.5 優(yōu)化方法和技巧卷積神經(jīng)網(wǎng)絡(luò)常用的優(yōu)化方法包含隨機梯度下降方法stochastic gradient descent, sgd,常用的技巧有權(quán)值初始化8 、權(quán)值衰減 weight decay18 、batch normalization22等.1.4 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)勢卷積神經(jīng)網(wǎng)絡(luò)在下采樣層可以保持肯定局部平移不變形, 在卷積層通過感受野和權(quán)值共享削減了神經(jīng)網(wǎng)絡(luò)需要訓(xùn)練的參數(shù)的個數(shù). 每個神經(jīng)元只需要感受局部的圖像區(qū)域, 在更高層將這些感受不同局部區(qū)域的神經(jīng)元綜合起來就可以得到全局的信息.因此 , 可以削減網(wǎng)絡(luò)連接的數(shù)目 , 即削減神經(jīng)網(wǎng)絡(luò)需積神經(jīng)網(wǎng)絡(luò)以其