神經(jīng)網(wǎng)絡(luò)到卷積神經(jīng)網(wǎng)絡(luò)原理與實踐

1、 神經(jīng)網(wǎng)絡(luò) 到 卷積神經(jīng)網(wǎng)絡(luò) 推導(dǎo)與實踐摘 要卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是一種源于人工神經(jīng)網(wǎng)絡(luò)(Neural Network, NN)的深度機器學(xué)習(xí)方法，近年來在圖像識別領(lǐng)域取得了巨大的成功。CNN由于采用局部連接和權(quán)值共享，保持了網(wǎng)絡(luò)的深層結(jié)構(gòu)，同時又大大減少了網(wǎng)絡(luò)參數(shù)，使模型具有良好的泛化能力又較容易訓(xùn)練。NN的訓(xùn)練算法是基于梯度下降的錯誤反向傳播（Back Propagate，BP）算法，CNN的訓(xùn)練算法是BP算法的一種變形。本文從梯度下降的數(shù)學(xué)推導(dǎo)中總結(jié)了NN訓(xùn)練過程中的錯誤信號傳播和權(quán)重修改策略，用切割小圖訓(xùn)練共權(quán)神經(jīng)網(wǎng)絡(luò)的方式

2、解釋了CNN中的卷積過程，并以特殊卷積的方式解釋了CNN的子采樣過程，最后將NN的錯誤信號傳播和權(quán)重修改策略移植到CNN的訓(xùn)練中。我們將推導(dǎo)出的CNN訓(xùn)練方法用C+編碼實現(xiàn)，用CNN應(yīng)用最早最典型的手寫數(shù)字識別問題驗證被編碼的推導(dǎo)過程，得到了正確的效果。目 錄摘 要I目 錄I圖目錄III第三章 神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)13.1 神經(jīng)網(wǎng)絡(luò)13.1.1 單層感知機33.1.2單輸出多層感知機73.1.3多輸出多層感知機83.2卷積神經(jīng)網(wǎng)絡(luò)103.2.1卷積神經(jīng)網(wǎng)絡(luò)的常用結(jié)構(gòu)113.2.2卷積與子采樣123.2.3卷積與權(quán)值共享133.2.4 CNN訓(xùn)練過程中的三次卷積過程143.2.5卷積的作用17

3、3.3 卷積神經(jīng)網(wǎng)絡(luò)實踐183.4 本章小結(jié)19第六章 總結(jié)與展望20圖目錄圖3.1神經(jīng)元的結(jié)構(gòu)242圖3.2神經(jīng)元之間的連接252圖3.3 sigmoid 函數(shù)3圖3.4單層感知機4圖3.5單層感知機的錯誤信號5圖3.6單輸出多層感知機7圖3.7多輸出多層感知機9圖3.8卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示例11圖3.9卷積過程12圖3.11 CNN中的卷積過程13圖3.12四個4*1的神經(jīng)網(wǎng)絡(luò)14圖3.13前向卷積過程15圖3.14錯誤傳播過程中的卷積16圖3.15四個4*1的神經(jīng)網(wǎng)絡(luò)的權(quán)重更新16圖3.16卷積核的權(quán)重修改量17圖3.17權(quán)重更新過程中的卷積17圖3.18兩個固定卷積核18圖3.19數(shù)字識

4、別使用的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)2619III第三章 神經(jīng)網(wǎng)絡(luò)與卷積神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)(Neural Network, NN)有50多年的歷史。神經(jīng)網(wǎng)絡(luò)的發(fā)展也經(jīng)歷過單層感知機，多層感知機，多層感知機變形幾個階段。卷積神經(jīng)網(wǎng)絡(luò)(Convolutional Neural Network, CNN)是多層感知機的一種變體。神經(jīng)網(wǎng)絡(luò)的訓(xùn)練方法是錯誤反向傳播算法（Back Propagate, BP），而錯誤反向傳播算法的數(shù)學(xué)基礎(chǔ)是梯度下降。在本章的前半部分，我給出單層感知機和多層感知機的工作原理，即BP算法。計算機學(xué)者從生物視覺的研究中得到啟示，一個視覺神經(jīng)細(xì)胞只與其距離較近的鄰層神經(jīng)元相連。鑒于此，CN

5、N的采用了局部感受野。為了簡化模型，一個特征平面的神經(jīng)元共享權(quán)值。CNN最早由Yann Lecun 實現(xiàn)并運用到手寫數(shù)字識別問題中，并取得該領(lǐng)域最高的識別率，至今未被超越。CNN是NN的一種變形，CNN與NN最大的不同在于CNN的卷積和子采樣過程，而子采樣可以被認(rèn)為是一種特殊的卷積過程。在本章的后半部分，將以切割小圖訓(xùn)練共享權(quán)值的NN的方式闡釋卷積神經(jīng)網(wǎng)絡(luò)中的卷積過程。本文按照BP的思想實現(xiàn)并訓(xùn)練了一個卷積神經(jīng)網(wǎng)絡(luò)模型。我使用經(jīng)典的手寫數(shù)字識別問題檢測CNN訓(xùn)練推導(dǎo)過程的準(zhǔn)確性。在實驗中，我使用6萬張圖片訓(xùn)練CNN，用1萬張數(shù)字圖片做測試，訓(xùn)練后的CNN模型在測試集上的準(zhǔn)確率高達(dá)98.6%。實

6、驗說明用切割小圖訓(xùn)練NN的方法推導(dǎo)的CNN訓(xùn)練方法是正確的。3.1 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)（neural network，NN）是生物科學(xué)和信息科學(xué)交叉的產(chǎn)物。生物學(xué)家研究人腦神經(jīng)的工作過程，發(fā)現(xiàn)神經(jīng)元（神經(jīng)細(xì)胞）和神經(jīng)元之間通過突起(軸突和樹突)的相連，神經(jīng)細(xì)胞感受到刺激之后產(chǎn)生興奮并通過細(xì)胞突起將興奮傳導(dǎo)給與之有連接的神經(jīng)元。神經(jīng)元的連接大多是相鄰層間的連接，神經(jīng)細(xì)胞總體上呈現(xiàn)分層結(jié)構(gòu)，感受器中的神經(jīng)接收外界刺激，神經(jīng)中樞的神經(jīng)元決定人腦的意識。如圖3.1為一個神經(jīng)細(xì)胞的結(jié)構(gòu)：圖3.1神經(jīng)元的結(jié)構(gòu)Error! Reference source not found.Figure 3.1 struc

7、ture of a neuron Error! Reference source not found.一個神經(jīng)元和其它神經(jīng)元的連接如圖3.2所示：圖3.2神經(jīng)元之間的連接Error! Reference source not found.Figure 3.2 the connection between neurons Error! Reference source not found.一個神經(jīng)元通常和若干個神經(jīng)元相連，連接有強有弱，不同的連接就像電子元件之間阻值不同的帶阻導(dǎo)體。一個非輸入神經(jīng)元在興奮傳導(dǎo)過程中受到的刺激總和為與之相連的神經(jīng)元傳遞來的興奮之和。我們用Y表示一個神經(jīng)元受到的興奮之

8、和，興奮來自于n個與之相連的前層神經(jīng)元，那么Y可以通過公式3-1來計算。在公式3-1中，x0=1，它并不是一個真實的興奮輸入，只是為了統(tǒng)一表示而虛擬出來的一個節(jié)點，w0反映神經(jīng)元基礎(chǔ)興奮度。一個神經(jīng)元與n個前層神經(jīng)元相連，xi是n個前層神經(jīng)元傳來的興奮值，w i 是其與前層n個神經(jīng)元的連接緊密程度。(3-1)一個神經(jīng)元受到總量為Y的刺激之后會在細(xì)胞內(nèi)部轉(zhuǎn)化一下，得到一個興奮輸出y，該輸出將傳導(dǎo)給與之相連的后層神經(jīng)元。我們假設(shè)y與Y滿足公式3-2（對應(yīng)整形函數(shù)，可以有多種定義）。Sigmoid函數(shù)是一個S形函數(shù)，圖3.3為sigmoid函數(shù)的圖像。Sigmoid函數(shù)在定義域單調(diào)遞增，當(dāng)Y取0時，

9、y=0.5；當(dāng)Y趨向正無窮時，y=1；當(dāng)Y趨向負(fù)無窮時，y=0。(3-2)圖3.3 sigmoid 函數(shù)Figure 3.3 sigmoid function3.1.1 單層感知機神經(jīng)網(wǎng)絡(luò)最簡單的結(jié)構(gòu)就是單輸出的單層感知機，單層感知機只有輸入層和輸出層，分別代表了神經(jīng)感受器和神經(jīng)中樞。圖3.4是一個只有2個輸入單元和1個輸出單元的簡單單層感知機。在圖3.4中，w 1、w2代表神經(jīng)網(wǎng)絡(luò)的輸入神經(jīng)元受到的刺激，w1、w2代表輸入神經(jīng)元和輸出神經(jīng)元間連接的緊密程度，w3代表輸出神經(jīng)元的興奮閾值。Y是輸出神經(jīng)元受到的刺激總和，y為輸出神經(jīng)元的輸出。圖3.4單層感知機Figure 3.4 a one-l

10、ayer perceptron如果整形函數(shù)（如sigmoid）確定，網(wǎng)絡(luò)拓?fù)浜瓦B接權(quán)重就足以表示一個網(wǎng)絡(luò)。在網(wǎng)絡(luò)拓?fù)浯_定的情況下，利用訓(xùn)練數(shù)據(jù)修改連接權(quán)重的過程就是BP算法。我們利用一個例子說明單層感知機的訓(xùn)練過程。有一個單層感知機的網(wǎng)絡(luò)拓?fù)淙鐖D3.5所示，權(quán)重wi（i=1,2,3）被初始化為01之間的隨機小數(shù)。一個訓(xùn)練的樣本我們用式子(x1, x2),T表示，x1，x2為輸入神經(jīng)元的興奮值，T教師信號，即期望輸出神經(jīng)元產(chǎn)生的輸出，T取值一般為0或者1。單層感知機的BP訓(xùn)練分為三個過程：前向過程、錯誤反向傳導(dǎo)過程和連接權(quán)重修改過程。（1） 前向過程：利用當(dāng)前的權(quán)重和輸入興奮計算Y和y的過程就是

11、BP訓(xùn)練的前向過程，前向過程模擬的是腦神經(jīng)的工作過程。Y和y的計算滿足公式3-3。(3-3)（2）錯誤信號反向傳播過程：圖3.5單層感知機的錯誤信號Figure 3.5 Error of one-layer perceptron對于未經(jīng)訓(xùn)練的網(wǎng)絡(luò)，y往往和期望輸出T不一樣，y和T的差值構(gòu)成整個神經(jīng)網(wǎng)絡(luò)的源錯誤信號，該信號要用來指導(dǎo)網(wǎng)絡(luò)權(quán)重的修正。我們按照圖3.5定義輸出神經(jīng)元的輸入錯誤信號Err(Y)和輸出錯誤信號Err(y)。（3）連接權(quán)重的修改：權(quán)重的修改，有兩個感性直觀的方法：a某個輸出神經(jīng)元的錯誤越大，與之相關(guān)的連接(w)就需要越多的修改；例如：Err(Y)很大，說明w修改量delta

12、(w)也應(yīng)該很大。b在輸入神經(jīng)元中，誰的興奮值越大，對錯誤產(chǎn)生的責(zé)任就越大，其與輸出神經(jīng)元的連接就需要越多的修改。例如：x1=0.1，x2=0.8。Err(Y)的出現(xiàn)，x2的責(zé)任更大，連接權(quán)重w2的修改量delta(w2)要比delta(w1)要更大。基于以上兩點，我們把一條連接權(quán)重的修改量定為該連接的前層神經(jīng)元的輸出x乘以后層神經(jīng)元的Err(Y)，用公式3-4表示： (3-4)再由公式3-5我們可以得到圖3.5中的各權(quán)重修改量為：(3-5)算出delta(w)之后，我們通過公式3-6完成對網(wǎng)絡(luò)的更新。 (3-6)我們可以從多元函數(shù)求極值角度解釋上述過程。模型的訓(xùn)練的理念是經(jīng)驗風(fēng)險最小化，也就

13、是要使訓(xùn)練數(shù)據(jù)的錯誤|Err(y)|最小，但是由于|Err(y)|帶有絕對值的目標(biāo)不方便求導(dǎo)，我們把模型訓(xùn)練目標(biāo)用函數(shù)lossFun表示。lossFun定義如公式3-7： (3-7)對于一個樣本(x1,x2),T，特征為x1、x2；類別或輸出目標(biāo)為T。lossFun是一個以(x1,x2),T為常量，以w1,w2,w3為變量的多元函數(shù)。模型的訓(xùn)練優(yōu)化可看成一個多元函數(shù)求極值的問題。已知條件為： (3-8)在公式3-8中，x1，x2，T為常量，w1、w2,、w3為變量。lossFun對w1求偏導(dǎo)得到： (3-9)同理可得： (3-10)訓(xùn)練樣本(x1,x2),T時，網(wǎng)絡(luò)參數(shù)按照梯度下降的方向求解。

14、偏導(dǎo)數(shù)算出的是lossFun上升最快的方向，W的修改量delta(W)是lossFun下降最快的方向，所以delta(W)方向與梯度方向相反。(3-11)3.1.2單輸出多層感知機在單層感知機的基礎(chǔ)上增加若干個（本文增加一個）隱層，得到多層感知機（Multi Perceptron Machine，MLP）。結(jié)構(gòu)如圖3.6所示： 圖3.6單輸出多層感知機 Figure 3.6 a MLP with single output圖3.6中各變量滿足公式3-12： (3-12)假如現(xiàn)在有一個樣本(x1，x2)，T，用該樣本訓(xùn)練網(wǎng)絡(luò)時，網(wǎng)絡(luò)優(yōu)化的目標(biāo)為lossFun最小。lossFun是一個關(guān)于變量w和

15、v多元函數(shù)。網(wǎng)絡(luò)的訓(xùn)練又變成多元函數(shù)求極值的問題。求v1的梯度：(3-13)同理可得vi的梯度： (3-14)求w11的梯度：(3-15)同理，可得wij的梯度 ：(3-16)通過上述方法算得單輸出多層感知機的各連接權(quán)重w和v的梯度，只要按照w和v的梯度下降方向更新網(wǎng)絡(luò)就能完成網(wǎng)絡(luò)訓(xùn)練。3.1.3多輸出多層感知機在前面兩節(jié)中的神經(jīng)網(wǎng)絡(luò)輸出節(jié)點都是一個，如果遇到多分類問題，我們便需要多輸出的神經(jīng)網(wǎng)絡(luò)。圖3.7為一個多輸出多層感知機。圖3.7多輸出多層感知機 Figure 3.7 a MLP with multi output在圖3.7的網(wǎng)絡(luò)中，各變量滿足公式3-17： (3-17)通過數(shù)學(xué)求導(dǎo)，

16、得到lossFun對vjk的梯度：(3-18)求導(dǎo)得到lossFun對wij的梯度：(3-19)在求出權(quán)重梯度之后，只要按照梯度下降的方向更新連接權(quán)重就可以完成網(wǎng)絡(luò)的訓(xùn)練。從公式3-21和3-22我們總結(jié)出：對于末層神經(jīng)元，輸出錯誤定義為：(3-20)對于非末層神經(jīng)元，輸出錯誤如Err(y)由與其相連的后層神經(jīng)元的輸入錯誤Err(Z)加權(quán)求和得到，如公式3-21所示。 (3-21)一個神經(jīng)元的輸入錯誤Err(Y)與輸出錯誤Err(y)滿足公式3-22。 (3-22)一條連接權(quán)重的更新量為該條連接前層神經(jīng)元的輸出乘以后層神經(jīng)元的輸入錯誤信號，如公式3-23所示。 (3-23)3.2卷積神經(jīng)網(wǎng)絡(luò)受

17、Hubel和Wiesel對貓視覺皮層電生理研究啟發(fā)，有人提出卷積神經(jīng)網(wǎng)絡(luò)（CNN），Yann Lecun 最早將CNN用于手寫數(shù)字識別并一直保持了其在該問題的霸主地位。近年來卷積神經(jīng)網(wǎng)絡(luò)在多個方向持續(xù)發(fā)力，在語音識別、人臉識別、通用物體識別、運動分析、自然語言處理甚至腦電波分析方面均有突破。卷積神經(jīng)網(wǎng)絡(luò)與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，卷積神經(jīng)網(wǎng)絡(luò)包含了一個由卷積層和子采樣層構(gòu)成的特征抽取器。在卷積神經(jīng)網(wǎng)絡(luò)的卷積層中，一個神經(jīng)元只與部分鄰層神經(jīng)元連接。在CNN的一個卷積層中，通常包含若干個特征平面(featureMap)，每個特征平面由一些矩形排列的的神經(jīng)元組成，同一特征平面的神經(jīng)元共享權(quán)值，這里共享

18、的權(quán)值就是卷積核。卷積核一般以隨機小數(shù)矩陣的形式初始化，在網(wǎng)絡(luò)的訓(xùn)練過程中卷積核將學(xué)習(xí)得到合理的權(quán)值。共享權(quán)值（卷積核）帶來的直接好處是減少網(wǎng)絡(luò)各層之間的連接，同時又降低了過擬合的風(fēng)險。子采樣也叫做池化（pooling），通常有均值子采樣（mean pooling）和最大值子采樣（max pooling）兩種形式。子采樣可以看作一種特殊的卷積過程。卷積和子采樣大大簡化了模型復(fù)雜度，減少了模型的參數(shù)。3.2.1卷積神經(jīng)網(wǎng)絡(luò)的常用結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)通常采用若干個卷積和子采樣層的疊加結(jié)構(gòu)作為特征抽取器。卷積層與子采樣層不斷將特征圖縮小，但是特征圖的數(shù)量往往增多。特征抽取器后面接一個分類器，分類器通常由

19、一個多層感知機構(gòu)成。在特征抽取器的末尾，我們將所有的特征圖展開并排列成為一個向量，稱為特征向量，該特征向量作為后層分類器的輸入。 圖3.8卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)示例Figure 3.8 a sample structrue of CNN3.2.2卷積與子采樣圖3.9卷積過程Figure 3.9 procesure of convolution 卷積過程有三個二維矩陣參與，它們分別是兩個特征圖和一個卷積核：原圖inputX、輸出圖outputY卷積核kernelW。卷積過程可以理解為卷積核kernalW覆蓋在原圖inputX的一個局部的面上，kernalW對應(yīng)位置的權(quán)重乘于inputX對應(yīng)神經(jīng)元的輸出

20、，對各項乘積求和并賦值到outputY矩陣的對應(yīng)位置。卷積核在inputX圖中從左向右，從上至下每次移動一個位置，完成整張inputX的卷積過程。卷積過程如圖3.9所示。子采樣有兩種形式，一種是均值子采樣（mean-pooling），一種是最大值子采樣（max-pooling）。兩種子采樣看成特殊的卷積過程，如圖3.10所示：(1)均值子采樣的卷積核中每個權(quán)重都是0.25，卷積核在原圖inputX上的滑動的步長為2。均值子采樣的效果相當(dāng)于把原圖模糊縮減至原來的1/4。(2)最大值子采樣的卷積核中各權(quán)重值中只有一個為1，其余均為0，卷積核中為1的位置對應(yīng)inputX被卷積核覆蓋部分值最大的位置。

21、卷積核在原圖inputX上的滑動步長為2。最大值子采樣的效果是把原圖縮減至原來的1/4，并保留每個2*2區(qū)域的最強輸入。圖 3.10子采樣過程的卷積式表示Figure 3.10 max-pooling and mean-pooling in form of convolution 3.2.3卷積與權(quán)值共享在卷積神經(jīng)網(wǎng)絡(luò)的卷積層，卷積核本質(zhì)是神經(jīng)元之間相互連接的權(quán)重，而且該權(quán)重被屬于同一特征圖的神經(jīng)元所共享。在實際的網(wǎng)絡(luò)訓(xùn)練過程中，輸入神經(jīng)元組成的特征圖被交疊切割成卷積核大小的小圖。每個小圖通過卷積核與后層特征圖的一個神經(jīng)元連接。一個特征圖上的所有小圖和后層特征圖中某個神經(jīng)元的連接使用的是相同的

22、卷積核，也就是同特征圖的神經(jīng)元共享了連接權(quán)重。 圖3.11 CNN中的卷積過程Figure 3.11 convolution in CNN圖3.11展示了卷積神經(jīng)網(wǎng)絡(luò)中興奮在卷積層由前向后傳播的一次卷積過程。這個過程相當(dāng)于把inputX切割成和kernalW一樣大小的4各小圖，4張小圖對應(yīng)4個4*1的神經(jīng)網(wǎng)絡(luò)，這四個小神經(jīng)網(wǎng)絡(luò)共享權(quán)值KernalW，如圖3.12所示。圖3.12四個4*1的神經(jīng)網(wǎng)絡(luò)Figure 3.12 four NN of 4*1在人工神經(jīng)網(wǎng)絡(luò)中，一個非輸入神經(jīng)元表征了某種特征，一個非輸入神經(jīng)元又可以由與之相關(guān)的前層連接表示，通過權(quán)重的還原，我們可以看到每個神經(jīng)元代表的特征，

23、神經(jīng)元特征是逐層具象化的Error! Reference source not found.。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積核是神經(jīng)元之間的連接權(quán)重，如果只用來訓(xùn)練局部，可以代表局部某種特征，但是它被一個特征圖共享，用來訓(xùn)練整個特征圖，代表了比較通用（適用于全圖）的某種的特征。中我們往往在卷積神經(jīng)網(wǎng)絡(luò)中設(shè)置多個卷積層，在一個卷積層中設(shè)置多個卷積核，以得到豐富的特征供尾部的分類器使用。3.2.4 CNN訓(xùn)練過程中的三次卷積過程在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練中包含興奮前向傳遞、錯誤信號反向傳遞和權(quán)重修改三個過程，在卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程中存在三次卷積過程與之對應(yīng)。這三次卷積分別是前向過程的圖像卷積、錯誤反向傳導(dǎo)過程中的

24、錯誤傳導(dǎo)卷積和權(quán)值更新卷積。前向圖像卷積、權(quán)值更新卷積采用的是valid卷積模式，錯誤信號傳導(dǎo)卷積采用的是full卷積模式。卷積過程可以通過切割小圖（如圖3.11與3.12）訓(xùn)練神經(jīng)網(wǎng)絡(luò)的方式（公式3.233.26）論證。卷積神經(jīng)網(wǎng)絡(luò)的一次迭代訓(xùn)練分為三個過程。第一個過程為由原始興奮輸入，經(jīng)過前向卷積和子采樣過程以及后層分類器的前向過程得到分類器的輸出。第二個過程為由分類器輸出和教師信號得到末層網(wǎng)絡(luò)的錯誤信號，并根據(jù)梯度下降法將錯誤信號依次往前傳遞到所有非輸入層的神經(jīng)元中。第三個過程為根據(jù)神經(jīng)元上的錯誤信號以及神經(jīng)元的輸出更新網(wǎng)絡(luò)的權(quán)重，包括后層分類器的權(quán)重更新和卷積核更新。在特征抽取器通過三

25、次卷積完成以上三個過程中。3.2.4.1前向過程的卷積前向過程的卷積為典型valid的卷積過程，即卷積核kernalW覆蓋在輸入圖inputX上，對應(yīng)位置求積再求和得到一個值并賦給輸出圖OutputY對應(yīng)的位置。每次卷積核在inputX上移動一個位置，從上到下從左到右交疊覆蓋一遍之后得到輸出矩陣outputY(如圖3.11與圖3.13所示)。如果卷積核的輸入圖inputX為Mx*Nx大小，卷積核為Mw*Nw大小，那么輸出圖Y為（Mx-Mw+1）*（Nx-Nw+1）大小。圖3.13前向卷積過程Figure 3.13 forward convolutional procedure3.2.4.2錯誤

26、反向傳導(dǎo)過程的卷積在錯誤信號反向傳播過程中，先按照神經(jīng)網(wǎng)絡(luò)的錯誤反傳方式得到尾部分類器中各神經(jīng)元的錯誤信號，然后錯誤信號由分類器向前面的特征抽取器傳播。錯誤信號從子采樣層的特征圖（subFeatureMap）往前面卷積層的特征圖（featureMap）傳播要通過一次full卷積過程來完成（如圖3.14）。這里的卷積和上一節(jié)卷積的略有區(qū)別。如果卷積核kernalW的長度為Mw*Mw的方陣，那么subFeatureMap的錯誤信號矩陣Q_err需要上下左右各拓展Mw-1行或列，與此同時卷積核自身旋轉(zhuǎn)180度。subFeatureMap的錯誤信號矩陣P_err等于featureMap的誤差矩陣Q_e

27、rr卷積旋轉(zhuǎn)180度的卷積核W_rot180。圖3.14中的卷積過程可以通過公式3-24和四個4*1的NN誤差反向傳播的過程（圖3.12）論證。對于圖3.14中錯誤信號矩陣Q_err中的A，它的產(chǎn)生是P中左上2*2小方塊（對應(yīng)圖3.12中的）導(dǎo)致的，該2*2的小方塊的對A的責(zé)任正好可以用卷積核W表示，錯誤信號A通過卷積核將錯誤信號加權(quán)傳遞到與錯誤信號量為A的神經(jīng)元所相連的神經(jīng)元a、b、d、e中（如圖3.11與3.12），所以在圖3.14中的P_err左上角的2*2位置錯誤值包含A、2A、3A、4A。同理，我們可以論證錯誤信號B、C、D的反向傳播過程。綜上所述，錯誤信號反向傳播過程可以用圖3.1

28、4中的卷積過程表示。圖3.14錯誤傳播過程中的卷積Figure 3.14 convolution in Error propagate3.2.4.3權(quán)值更新過程中的卷積卷積神經(jīng)網(wǎng)絡(luò)中卷積層的權(quán)重更新過程本質(zhì)是卷積核的更新過程。由神經(jīng)網(wǎng)絡(luò)的權(quán)重修改策略(公式3-26)我們知道一條連接權(quán)重的更新量為該條連接的前層神經(jīng)元的興奮輸出乘以后層神經(jīng)元的輸入錯誤信號，卷積核的更新也是按照這個規(guī)律來進行。圖3.15四個4*1的神經(jīng)網(wǎng)絡(luò)的權(quán)重更新Figure 3.15 weight update of 4 NN of 4*1在前向卷積過程(圖3.13)中，卷積核的每個元素（鏈接權(quán)重）被使用過四次，所以卷積核每個

29、元素的產(chǎn)生四個更新量。把前向卷積過程當(dāng)做切割小圖進行多個神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程， 我們得到四個4*1的神經(jīng)網(wǎng)絡(luò)的前層興奮輸入和后層輸入錯誤信號，如圖3.16所示。圖3.16卷積核的權(quán)重修改量Figure 3.16 W_delta of Kernal W根據(jù)神經(jīng)網(wǎng)絡(luò)的權(quán)重修改策略（公式3-26），我們可以算出如圖3.16所示卷積核的更新量W_delta。權(quán)重更新量W_delta可由P_out和Q_err卷積得到，如圖3.17所示。圖3.17權(quán)重更新過程中的卷積Figure 3.17 convolution in weight update3.2.5卷積的作用通過實驗我們發(fā)現(xiàn)，訓(xùn)練之后的卷積核有些能突顯圖像的邊緣特征，有些能對原圖產(chǎn)生了震顫效果。通過豐富的卷積核，卷積可以提煉原題的某些特征，同時模型將對目標(biāo)在