卷積神經(jīng)網(wǎng)路概要ppt課件

1、;.1卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡;.2目錄 1.概述 2.核心思想 3.文字識別系統(tǒng)LeNet-5 4.優(yōu)點;.31.概述 卷積神經(jīng)網(wǎng)絡是人工神經(jīng)網(wǎng)絡的一種，已成為當前語音分析和圖像識別領域的研究熱點。 它的權值共享網(wǎng)絡結構使之更類似于生物神經(jīng)網(wǎng)絡，降低了網(wǎng)絡模型的復雜度，減少了權值的數(shù)量。 該優(yōu)點在網(wǎng)絡的輸入是多維圖像時表現(xiàn)的更為明顯，使圖像可以直接作為網(wǎng)絡的輸入，避免了傳統(tǒng)識別算法中復雜的特征提取和數(shù)據(jù)重建過程。;.4 在CNN中，圖像的一小部分（局部感受區(qū)域）作為層級結構的最低層的輸入，信息再依次傳輸?shù)讲煌膶?，每層通過一個數(shù)字濾波器去獲得觀測數(shù)據(jù)的最顯著的特征。 這個方法能夠獲取對平移、

2、縮放和旋轉不變的觀測數(shù)據(jù)的顯著特征，因為圖像的局部感受區(qū)域允許神經(jīng)元或者處理單元可以訪問到最基礎的特征，例如定向邊緣或者角點。;.52.核心思想卷積神經(jīng)網(wǎng)絡通過以下特性來保證圖像對位移、縮放、扭曲的魯棒性：局部感受野權值共享時間/空間亞采樣;.6局部感受野BP神經(jīng)網(wǎng)絡全連接卷積神經(jīng)網(wǎng)絡卷積神經(jīng)網(wǎng)絡 局部連接局部連接;.7全連接網(wǎng)絡。如果我們有全連接網(wǎng)絡。如果我們有1000 x1000像素的圖像，像素的圖像，有有1百萬個隱層神經(jīng)元，每個隱層神經(jīng)元都連接圖像百萬個隱層神經(jīng)元，每個隱層神經(jīng)元都連接圖像的每一個像素點，就有的每一個像素點，就有1000 x1000 x1000000=1012個連接，也就

3、是個連接，也就是1012個權值參數(shù)。個權值參數(shù)。局部連接網(wǎng)絡，每一個節(jié)點與上層節(jié)點同位置附件局部連接網(wǎng)絡，每一個節(jié)點與上層節(jié)點同位置附件10 x10的窗口相連接，則的窗口相連接，則1百萬個隱層神經(jīng)元就只有百萬個隱層神經(jīng)元就只有100w乘以乘以100，即，即108個參數(shù)。其權值連接個數(shù)比原個參數(shù)。其權值連接個數(shù)比原來減少了四個數(shù)量級。來減少了四個數(shù)量級。;.8權值共享 隱含層的每一個神經(jīng)元都連接10 x10個圖像區(qū)域，也就是說每一個神經(jīng)元存在10 x10=100個連接權值參數(shù)。 如果設定每個神經(jīng)元這100個參數(shù)是相同的，也就是說每個神經(jīng)元用的是同一個卷積核去卷積圖像，參數(shù)個數(shù)與神經(jīng)元個數(shù)無關。

4、無論隱層的神經(jīng)元個數(shù)有多少，兩層間的連接只有100個參數(shù) 隱層的參數(shù)個數(shù)和隱層的神經(jīng)元個數(shù)無關，只和濾波器的大小和濾波器種類的多少有關。;.9;.10Feature Map 假如一種濾波器，也就是一種卷積核就是提出圖像的一種特征。 提取不同的特征，需要多個濾波器。每種濾波器的參數(shù)不一樣，表示它提出輸入圖像的不同特征。這樣每種濾波器去卷積圖像就得到對圖像的不同特征的放映，我們稱之為Feature Map。 100種卷積核就有100個Feature Map。這100個Feature Map就組成了一層神經(jīng)元。 每層參數(shù)個數(shù)=100種卷積核x每種卷積核共享100個參數(shù)=100 x100=10K，也就

5、是1萬個參數(shù)。;.11隱層神經(jīng)元個數(shù) 隱層的神經(jīng)元個數(shù)和原圖像，也就是輸入的大小（神經(jīng)元個數(shù)）、濾波器的大小和濾波器在圖像中的滑動步長都有關。 例如，圖像是1000 x1000像素，而濾波器大小是10 x10，假設濾波器沒有重疊，也就是步長為10，這樣隱層的神經(jīng)元個數(shù)就是(1000 x1000 )/ (10 x10)=100 x100個神經(jīng)元了。 注意：這只是一種濾波器，也就是一個Feature Map的神經(jīng)元個數(shù)如果100個Feature Map就是100倍了。 由此可見，圖像越大，神經(jīng)元個數(shù)和需要訓練的權值參數(shù)個數(shù)的差距就越大;.12網(wǎng)絡結構 卷積神經(jīng)網(wǎng)絡含多層； 每層含多個二維Featu

6、re Map； 每個Feature Map含多個神經(jīng)元。;.13 C層為特征提取層，每個神經(jīng)元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關系也隨之確定下來； S層是特征映射層，網(wǎng)絡的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經(jīng)元的權值相等。 卷積神經(jīng)網(wǎng)絡中的每一個特征提取層（C-層）都緊跟著一個用來求局部平均與二次提取的計算層（S-層）。;.143.文字識別系統(tǒng)LeNet-5;.15;.16 1. 輸入圖像是32x32的大小，局部滑動窗的大小是5x5的，由于不考慮對圖像的邊界進行拓展，則滑動窗將有28x28個不同的位

7、置，也就是C1層的大小是28x28。 C1層是一個卷積層（通過卷積運算，可以使原信號特征增強，并且降低噪音），由6個特征圖Feature Map構成。特征圖中每個神經(jīng)元與輸入中5*5的鄰域相連。;.17 C1有156個可訓練參數(shù)（每個濾波器5*5=25個unit參數(shù)和一個bias參數(shù)，一共6個濾波器，共(5*5+1)*6=156個參數(shù)），共156*(28*28)=122,304個連接。;.18C1層：輸入圖片大小：32*32卷積窗大?。?*5卷積窗種類： 6輸出特征圖數(shù)量：6輸出特征圖大?。?8*28(32-5+1)神經(jīng)元數(shù)量：4707 (28*28)*6)連接數(shù)：12304 (5*5+1)*

8、6*(28*28)可訓練參數(shù)：156 (5*5+1)*6;.19 2. S2層是一個下采樣層，利用圖像局部相關性的原理，對圖像進行子抽樣，可以減少數(shù)據(jù)處理量同時保留有用信息。 S2層每個單元的4個輸入相加，乘以一個可訓練參數(shù)，再加上一個可訓練偏置，結果通過sigmoid函數(shù)計算。;.20 簡單的說，由4個點下采樣為1個點，也就是4個數(shù)的加權平均。因此S2中每個特征圖的大小是C1中特征圖大小的1/4（行和列各1/2），因此有6個14*14的特征圖。 S2層有（1+1）*6=12個可訓練參數(shù)，有（2*2+1）*14*14*6=5880個連接。;.21S2層：輸入圖片大?。?28*28)*6卷積窗大

9、?。?*2卷積窗種類：6輸出下采樣圖數(shù)量：6輸出下采樣圖大?。?14*14)*6神經(jīng)元數(shù)量：1176(14*14)*6連接數(shù)：5880(4+1)*(14*14)*6可訓練參數(shù)：12(6*2);.22卷積和子采樣過程卷積和子采樣過程;.23 卷積過程包括：用一個可訓練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個偏置bx ，得到卷積層Cx 。;.24;.25 子采樣過程包括：每鄰域四個像素求和變?yōu)橐粋€像素，然后通過標量子采樣過程包括：每鄰域四個像素求和變?yōu)橐粋€像素，然后通過標量Wx+1加權，再增加偏置加權，再增加偏置bx+1 ，然后通過，然后

10、通過一個一個sigmoid激活函數(shù)，產(chǎn)生一個大概縮小四倍的特征映射圖激活函數(shù)，產(chǎn)生一個大概縮小四倍的特征映射圖Sx+1 。;.26 從一個平面到下一個平面的映射可以看作是作卷積運算，S-層可看作是模糊濾波器，起到二次特征提取的作用。 隱層與隱層之間空間分辨率遞減，而每層所含的平面數(shù)遞增，這樣可用于檢測更多的特征信息。;.27 3. C3層也是一個卷積層，它同樣通過5x5的卷積核去卷積層S2，然后得到的特征map就只有10 x10個神經(jīng)元，但是它有16種不同的卷積核，所以就存在16個特征map了。 注意：C3中的每個特征map是連接到S2中的所有6個或者幾個特征map的，表示本層的特征map是上

11、一層提取到的特征map的不同組合;.28C3層：輸入圖片大?。?14*14)*6卷積窗大?。?*5卷積窗種類：16輸出特征圖數(shù)量：16輸出特征圖大小：10*10(14-5+1)神經(jīng)元數(shù)量：1600 (10*10)*16)連接數(shù)：151600 （部分連接）可訓練參數(shù)：1516 ;.29簡單的說，例如對于簡單的說，例如對于C3層第層第0張?zhí)卣鲌D，其每一個節(jié)點與張?zhí)卣鲌D，其每一個節(jié)點與S2層的第層的第0張?zhí)卣鲌D，第張?zhí)卣鲌D，第1張?zhí)卣鲌D，第張?zhí)卣鲌D，第2張?zhí)貜執(zhí)卣鲌D，總共征圖，總共3個個5x5個節(jié)點相連接。后面依次類推，個節(jié)點相連接。后面依次類推，C3層每一張?zhí)卣饔成鋱D的權值是相同的。層每一張?zhí)卣饔?/p>

12、射圖的權值是相同的。;.30 前6個feature map與S2層相連的3個feature map相連接，后面6個feature map與S2層相連的4個feature map相連接，后面3個feature map與S2層部分不相連的4個feature map相連接，最后一個與S2層的所有feature map相連。 卷積核大小依然為5*5，所以總共有6*（3*5*5+1）+6*（4*5*5+1）+3*（4*5*5+1）+1*（6*5*5+1）=1516個參數(shù)。而圖像大小為10*10，所以共有151600個連接。;.31 4. S4層是一個下采樣層，由16個5*5大小的特征圖構成。特征圖中的每

13、個單元與C3中相應特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。 S4層有32個可訓練參數(shù)（每個特征圖1個因子和一個偏置）和16*5*5（2*2+1）=2000個連接。;.32S4層：輸入圖片大?。?10*10)*16卷積窗大?。?*2卷積窗種類：16輸出下采樣圖數(shù)量：16輸出下采樣圖大小：(5*5)*16神經(jīng)元數(shù)量：400(5*5)*16連接數(shù)：2000(4+1)*(5*5)*16可訓練參數(shù)：32(16*2);.33 5.C5是卷積層，總共120個feature map，每個feature map與S4層所有的feature map相連接，卷積核大小是5*5，而S4層的feature

14、 map的大小也是5*5，這構成了S4和C5之間的全連接，所以C5的feature map就變成了1個點，共計有120（25*16+1）=48120個參數(shù)。;.34C5層：輸入圖片大?。?5*5)*16卷積窗大小：5*5卷積窗種類：120輸出特征圖數(shù)量：120輸出特征圖大?。?*1(5-5+1)神經(jīng)元數(shù)量：120 (1*120)連接數(shù)：48120 16*25+1*1*120(全連接）可訓練參數(shù)：48120 16*25+1*1*120;.35 6. F6層有84個單元（之所以選這個數(shù)字的原因來自于輸出層的設計），與C5層全相連。有84*（120+1）=10164個可訓練參數(shù)。 如同經(jīng)典神經(jīng)網(wǎng)絡，

15、F6層計算輸入向量和權重向量之間的點積，再加上一個偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個狀態(tài)。;.36F6層：輸入圖片大?。?1*1)*120卷積窗大?。?*1卷積窗種類：84輸出特征圖數(shù)量：84輸出特征圖大小：1神經(jīng)元數(shù)量：84 連接數(shù)：10164 120*84（全連接）可訓練參數(shù)：10164 120*84;.37OUTPUT層：輸入圖片大?。?*84輸出特征圖數(shù)量：1*10;.384.卷積神經(jīng)網(wǎng)路的優(yōu)點 （1）識別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測層通過訓練數(shù)據(jù)進行學習，所以在使用CNN時，避免了顯式的特征抽取，而隱式地從訓練數(shù)據(jù)中進行學習；再者由于同一特征映射面上的神經(jīng)元權值相同，所以網(wǎng)絡可以并行學習，這也是卷積網(wǎng)絡相對于神經(jīng)元彼此相連網(wǎng)絡的一大優(yōu)勢。;.39 （2）卷積神經(jīng)網(wǎng)絡以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經(jīng)網(wǎng)絡，權值共享降低了網(wǎng)絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網(wǎng)絡這一特點避免了特征提取和分類過程中數(shù)據(jù)重建的復雜度。;.40 （3）它可以直接處理灰度圖片，能夠直接用于處理基于圖像的分類。 流的分類方式幾乎都是基于統(tǒng)計特征的，這就意味著在進行分辨前必須提取某些特征。然而，顯式的特征提取并不容易，在一些應用問題中也并非總是可靠的。卷