卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座

Contents機(jī)器學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)之間關(guān)系什么是神經(jīng)網(wǎng)絡(luò)梯度下降算法反向傳輸算法神經(jīng)網(wǎng)絡(luò)訓(xùn)練什么是卷積什么是池化LeNet-5其它工作1卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第1頁ConvolutionalNeuralNetworks機(jī)器學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)深度學(xué)習(xí)CNN/RNN2機(jī)器學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)之間關(guān)系卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第2頁ConvolutionalNeuralNetworks3什么是神經(jīng)網(wǎng)絡(luò)？人工神經(jīng)網(wǎng)絡(luò)（Artificialneuralnetwork,ANN），簡稱神經(jīng)網(wǎng)絡(luò)（NN）神經(jīng)網(wǎng)絡(luò)其實(shí)就是按照一定規(guī)則連接起來多個(gè)神經(jīng)元神經(jīng)元： ,每個(gè)連接都有一個(gè)權(quán)值

圖1.一個(gè)全連接神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第3頁ConvolutionalNeuralNetworks梯度下降算法4梯度下降算法是用來求函數(shù)最小值算法每次沿著梯度反方向，即函數(shù)值下降最快方向，去修改值，就能走到函數(shù)最小值附近（之所以是最小值附近而不是最小值那個(gè)點(diǎn)，是因?yàn)槲覀兠看我苿硬介L不會那么恰到好處，有可能最終一次迭代走遠(yuǎn)了越過了最小值那個(gè)點(diǎn)）卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第4頁ConvolutionalNeuralNetworks反向傳輸算法（Back

Propagation）反向傳輸算法是計(jì)算多層復(fù)合函數(shù)全部變量偏導(dǎo)數(shù)利器，上面梯度下降例子中就是求梯度，簡單了解就是鏈?zhǔn)椒▌t5依據(jù)鏈?zhǔn)椒▌t，我們求e對a偏導(dǎo)和e對d偏導(dǎo)是以下所表示:能夠看出，它們都求了e對c偏導(dǎo)。對于權(quán)值動則數(shù)萬深度模型中神經(jīng)網(wǎng)絡(luò)，這么冗余所造成計(jì)算量是相當(dāng)大BP算法則機(jī)智地避開了這種冗余，BP算法是反向(自上往下)來求偏導(dǎo)。

卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第5頁ConvolutionalNeuralNetworks梯度下降算法+反向傳輸算法6

卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第6頁ConvolutionalNeuralNetworks

7卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第7頁ConvolutionalNeuralNetworks

8卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第8頁ConvolutionalNeuralNetworks

9卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第9頁ConvolutionalNeuralNetworks什么是卷積？10右圖展示了卷積過程，和信號處理卷積有所區(qū)分卷積降低了網(wǎng)絡(luò)模型復(fù)雜度（對于極難學(xué)習(xí)深層結(jié)構(gòu)來說，這是非常主要），降低了權(quán)值數(shù)量黃色部分是卷積核卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第10頁ConvolutionalNeuralNetworks什么是池化？11池化層主要作用是下采樣，經(jīng)過去掉FeatureMap中不主要樣本，深入降低參數(shù)數(shù)量。池化方法很多，最慣用是MaxPooling。MaxPooling實(shí)際上就是在n*n樣本中取最大值，作為采樣后樣本值。右圖是2*2max卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第11頁ConvolutionalNeuralNetworksLeNet-5

12卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第12頁LeNet-51.輸入圖像是32x32大小，卷積核大小是5x5，因?yàn)椴豢紤]對圖像邊界進(jìn)行拓展，則卷積核將有28x28個(gè)不一樣位置，也就是C1層大小是28x28。這里設(shè)定有6個(gè)不一樣C1層，每一個(gè)C1層內(nèi)權(quán)值是相同。2.S2層是一個(gè)下采樣層，即池化層。在斯坦福關(guān)于深度學(xué)習(xí)教程中，這個(gè)過程叫做Pool。但在LeNet-5系統(tǒng)，下采樣層比較復(fù)雜，由4個(gè)點(diǎn)下采樣加權(quán)平均為1個(gè)點(diǎn)，，因?yàn)檫@4個(gè)加權(quán)系數(shù)也需要學(xué)習(xí)得到，這顯然增加了模型復(fù)雜度。13卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第13頁LeNet-53.

依據(jù)對前面C1層一樣了解，我們很輕易得到C3層大小為10x10.

只不過，C3層變成了16個(gè)10x10網(wǎng)絡(luò)，有16個(gè)卷積核。

假如S2層只有1個(gè)平面，那么由S2層得到C3就和由輸入層得到C1層是完全一樣。不過，S2層由多層，那么，只需要按照一定順利組合這些層就能夠了。詳細(xì)組合規(guī)則，在

LeNet-5系統(tǒng)中給出了下面表格：簡單說，比如對于C3層第0張?zhí)卣鲌D，其每一個(gè)節(jié)點(diǎn)與S2層第0張?zhí)卣鲌D，第1張?zhí)卣鲌D，第2張?zhí)卣鲌D，總共3個(gè)5x5個(gè)節(jié)點(diǎn)相連接。后面依次類推，C3層每一張?zhí)卣饔成鋱D權(quán)值是相同14C3層featuremapS2層featuremap卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第14頁LeNet-5S4層是在C3層基礎(chǔ)上下采樣，前面已述。C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層全部16個(gè)單元5*5鄰域相連，故C5特征圖大小為1*1：這組成了S4和C5之間全連接。之所以仍將C5標(biāo)示為卷積層而非全連接層，是因?yàn)榧偃鏛eNet-5輸入變大，而其它保持不變，那么此時(shí)特征圖維數(shù)就會比1*1大。C5層有48120個(gè)可訓(xùn)練連接。F6層有84個(gè)單元（之所以選這個(gè)數(shù)字原因來自于輸出層設(shè)計(jì)），與C5層全相連。有10164個(gè)可訓(xùn)練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F(xiàn)6層計(jì)算輸入向量和權(quán)重向量之間點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生節(jié)點(diǎn)輸出。15卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第15頁LetNet-5

16比特面編碼：將一個(gè)灰度圖像為8bit/像素中每個(gè)像素第j個(gè)比特抽取出來，就得到一個(gè)稱為比特平面二值圖像，于是圖像完全能夠用一組共8個(gè)比特平面來表示，對灰度圖像編碼轉(zhuǎn)為對比特平面二值化方塊編碼。為此，將每個(gè)比特面分為不重合m×n個(gè)元素子塊。卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第16頁卷積層訓(xùn)練17 layerl-1 layerlL-1層誤差L-1層輸出L層誤差L層輸入？卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第17頁卷積層誤差傳輸

18

卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第18頁卷積層誤差傳輸

19卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第19頁卷積層誤差傳輸

20

卷積操作卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第20頁卷積層filter權(quán)重梯度計(jì)算

21卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第21頁卷積層filter權(quán)重梯度計(jì)算22與誤差傳輸類似，相當(dāng)于l層

誤差項(xiàng)（sensitivitymap）與l-1層輸出項(xiàng)做卷積操作，得到卷積核（filter）梯度

卷積神經(jīng)網(wǎng)絡(luò)純凈版專家講座第22頁池化層