卷積神經網絡講義課件

卷積神經網絡卷積神經網絡主要內容

卷積神經網絡—誕生背景與歷程卷積神經網絡的結構卷積神經網絡應用—LeNet-5手寫數字識別主要內容卷積神經網絡—誕生背景與歷程

深度學習的優(yōu)勢深度學習通過學習一種深層非線性網絡結構，只需簡單的網絡結構即可實現復雜函數的逼近，并展現了強大的從大量無標注樣本集中學習數據集本質特征的能力。深度學習能夠獲得可更好地表示數據的特征，同時由于模型的層次深）、表達能力強，因此有能力表示大規(guī)模數據。對于圖像、語音這種特征不明顯（需要手工設計且很多沒有直觀的物理含義）的問題，深度模型能夠在大規(guī)模訓練數據上取得更好的效果。

深度學習的優(yōu)勢深度學習通過學習一種深層非線性網絡結構，只需卷積神經網絡(Convolutional

Neural

Networks：CNN)是人工神經網絡(ANN)的一種，是深度學習的一種學習算法。它在圖像識別和分類、自然語言處理廣告系統(tǒng)中都有應用。

CNNs它利用空間關系減少需要學習的參數數目以提高一般前向BP算法的訓練性能。CNNs作為一個深度學習架構提出是為了最小化數據的預處理要求。在CNN中，圖像的一小部分（局部感受區(qū)域）作為層級結構的最低層的輸入，信息再依次傳輸到不同的層，每層通過一個數字濾波器去獲得觀測數據的最顯著的特征。這個方法能夠獲取對平移、縮放和旋轉不變的觀測數據的顯著特征，因為圖像的局部感受區(qū)域允許神經元或者處理單元可以訪問到最基礎的特征，例如定向邊緣。卷積神經網絡(Convolutional

Neural

Ne卷積神經網絡講義課件卷積神經網絡的結構卷積神經網絡是一個多層的神經網絡，每層由多個二維平面組成，而每個平面由多個獨立神經元組成。卷積神經網絡的結構卷積神經網絡是一個多層的神經輸入圖像通過和三個可訓練的濾波器和可加偏置進行卷積，濾波過程如圖，卷積后在C1層產生三個特征映射圖，然后特征映射圖中每組的四個像素再進行求和，加權值，加偏置，通過一個Sigmoid函數得到三個S2層的特征映射圖。這些映射圖再進過濾波得到C3層。這個層級結構再和S2一樣產生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經網絡，得到輸出。輸入圖像通過和三個可訓練的濾波器和可加偏置進行卷積，濾波過程C層為卷積層(Convolution)，每個神經元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關系也隨之確定下來C層為卷積層(Convolution)，每個神經元的輸入與前S層是采樣層（subsampling）也叫池化層（pooling），網絡的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經元的權值相等。pooling的目的就是為了使參數量減少，使得特征映射具有某種不變性（旋轉、平移、伸縮等）。S層是采樣層（subsampling）也叫池化層（pooli卷積神經網絡講義課件卷積神經網絡講義課件參數減少與權值共享參數減少與權值共享

如果我們有1000x1000像素的圖像，有1百萬個隱層神經元，那么他們全連接的話（每個隱層神經元都連接圖像的每一個像素點），就有1000x1000x1000000=10^12個連接，也就是10^12個權值參數。然而圖像的空間聯系是局部的，就像人是通過一個局部的感受野去感受外界圖像一樣，每一個神經元都不需要對全局圖像做感受，每個神經元只感受局部的圖像區(qū)域，然后在更高層，將這些感受不同局部的神經元綜合起來就可以得到全局的信息了。這樣，我們就可以減少連接的數目，也就是減少神經網絡需要訓練的權值參數的個數了。假如局部感受野是10x10，隱層每個感受野只需要和這10x10的局部圖像相連接，所以1百萬個隱層神經元就只有一億個連接，即10^8個參數。比原來減少了四個0（數量級），這樣訓練起來就沒那么費力了。隱含層的每一個神經元都連接10x10個圖像區(qū)域，也就是說每一個神經元存在10x10=100個連接權值參數。那如果我們每個神經元這100個參數是相同，每個神經元用的是同一個卷積核去卷積圖像，這就是權值共享。如果我們有1000x1000像素的圖像，有1百萬個隱

一方面，重復單元能夠對特征進行識別，而不考慮它在可視域中的位置。另一方面，權值共享使得我們能更有效的進行特征抽取，因為它極大的減少了需要學習的自由變量的個數。通過控制模型的規(guī)模，卷積網絡對視覺問題可以具有很好的泛化能力。權值共享的優(yōu)點：一方面，重復單元能夠對特征進行識別，而不考慮它卷積神經網絡應用LeNet-5手寫數字識別卷積神經網絡應用LeNet-5手寫數字識別C1層：輸入圖片大?。?32*32卷積窗大?。?5*5卷積窗種類： 6輸出特征圖數量：6輸出特征圖大?。?8*28 神經元數量： 4707連接數： 122304可訓練參數： 156

C1層是一個卷積層，卷積運算一個重要的特點就是，通過卷積運算，可以使原信號特征增強，并且降低干擾，由6個特征圖FeatureMap構成。特征圖中每個神經元與輸入中5*5的鄰域相連。特征圖的大小為28*28，這樣能防止輸入的連接掉到邊界之外。C1有156個可訓練參數（每個濾波器5*5=25個unit參數和一個bias參數，一共6個濾波器，共(5*5+1)*6=156個參數），共(5*5+1)*6*(28*28)=122,304個連接。C1層：C1層是一個卷積層，卷積運算一個重要S2層：輸入圖片大?。?(28*28)*6卷積窗大小： 2*2卷積窗種類： 6輸出下采樣圖數量：6輸出下采樣圖大?。?14*14)*6神經元數量： 1176 連接數： 5880 可訓練參數： 12 S2層是一個采樣層，利用圖像局部相關性的原理，對圖像進行子抽樣，可以減少數據處理量同時保留有用信息，有6個14*14的特征圖。特征圖中的每個單元與C1中相對應特征圖的2*2鄰域相連接。6個2*2的小方框,每個有一個參數,加上一個偏置,也就是(1+1)*6=12個可訓練參數，對于S2層的每一個圖的每一個點,連接數是(2*2+1)=5,總共是14*14*6*(2*2+1)=5880個連接。S2層：S2層是一個采樣層，利用圖像局部相關性卷積和子采樣過程：卷積過程包括：用一個可訓練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個偏置bx，得到卷積層Cx。子采樣過程包括：每鄰域四個像素求和變?yōu)橐粋€像素，然后通過標量Wx+1加權，再增加偏置bx+1，然后通過一個sigmoid激活函數，產生一個大概縮小四倍的特征映射圖Sx+1。卷積和子采樣過程：C3層：輸入圖片大?。?(14*14)*6卷積窗大?。?5*5卷積窗種類： 16輸出特征圖數量：16輸出特征圖大?。?0*10 神經元數量： 1600連接數： 151600可訓練參數： 1516 C3層也是一個卷積層，它同樣通過5x5的卷積核去卷積層S2，然后得到的特征map就只有10x10個神經元，但是它有16種不同的卷積核，所以就存在16個特征map了。C3的前6個特征圖以S2中3個相鄰的特征圖子集為輸入。接下來6個特征圖以S2中4個相鄰特征圖子集為輸入。然后的3個以不相鄰的4個特征圖子集為輸入。最后一個將S2中所有特征圖為輸入。C3層：C3層也是一個卷積層，它同樣通過5x5的C3的角度看,它有16個圖.把每個圖對應的參數加起來6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+1*(6*25+1)=1516個可訓練參數1516*10*10=151600個連接C3的角度看,它有16個圖.把每個圖對應的參數加起來S4層：輸入圖片大?。?(10*10)*16卷積窗大?。?2*2卷積窗種類： 16輸出下采樣圖數量：16輸出下采樣圖大小：(5*5)*16神經元數量： 400 連接數： 2000 可訓練參數： 32 S4層是一個采樣層，由16個5*5大小的特征圖構成。特征圖中的每個單元與C3中相應特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。S4層有32個可訓練參數（每個特征圖1個因子和一個偏置）和5*5*16*(2*2+1)=2000個連接。S4層：S4層是一個采樣層，由16個5*5大小C5層：輸入圖片大?。?(5*5)*16卷積窗大小： 5*5卷積窗種類： 120輸出特征圖數量：120輸出特征圖大?。?*1 神經元數量： 120 連接數： 48120(全連接）可訓練參數： 48120C5層是一個卷積層，有120個特征圖。每個單元與S4層的全部16個單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1：這構成了S4和C5之間的全連接。之所以仍將C5標示為卷積層而非全相聯層，是因為如果LeNet-5的輸入變大，而其他的保持不變，那么此時特征圖的維數就會比1*1大。C5層有120*(5*5*16+1)=48120個可訓練連接。C5層：C5層是一個卷積層，有120個特征圖。F6層：輸入圖片大?。?(1*1)*120卷積窗大?。?1*1卷積窗種類： 84輸出特征圖數量：84輸出特征圖大?。? 神經元數量： 84 連接數： 10164（全連接）可訓練參數： 10164F6層有84個單元（之所以選這個數字的原因來自于輸出層的設計），與C5層全相連。有84*(120+1)=10164個可訓練參數。如同經典神經網絡，F6層計算輸入向量和權重向量之間的點積，再加上一個偏置。然后將其傳遞給sigmoid函數產生單元i的一個狀態(tài)。F6層：F6層有84個單元（之所以選這個數字的

最后，輸出層由歐式徑向基函數（EuclideanRadialBasisFunction）單元組成，每類一個單元，每個有84個輸入。換句話說，每個輸出RBF單元計算輸入向量和參數向量之間的歐式距離。輸入離參數向量越遠，RBF輸出的越大。一個RBF輸出可以被理解為衡量輸入模式和與RBF相關聯類的一個模型的匹配程度的懲罰項。用概率術語來說，即模式的的期望分類足夠接近。簡而言之，通過噪音過濾和特征提取，強化出真正有用的筆畫拓撲關系，以此為基礎，識別字母。通過大量的訓練，能把不同字母的各種區(qū)分特征識別出來，只要足以區(qū)分不同字母，跳出非字母，就可以實現識別。最后，輸出層由歐式徑向基函數（EuclideanR第一階段，向前傳播階段：a）從樣本集中取一個樣本(X,Yp)，將X輸入網絡；b）計算相應的實際輸出Op。

在此階段，信息從輸入層經過逐級的變換，傳送到輸出層。這個過程也是網絡在完成訓練后正常運行時執(zhí)行的過程。在此過程中，網絡執(zhí)行的是計算（實際上就是輸入與每層的權值矩陣相點乘，得到最后的輸出結果）：

Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））第二階段，向后傳播階段a）算實際輸出Op與相應的理想輸出Yp的差；b）按極小化誤差的方法反向傳播調整權矩陣。訓練算法分為兩個階段第一階段，向前傳播階段：訓練算法分為兩個階段

卷積神經網絡CNN主要用來識別位移、縮放及其他形式扭曲不變性的二維圖形。由于CNN的特征檢測層通過訓練數據進行學習，所以在使用CNN時，避免了顯式的特征抽取，而隱式地從訓練數據中進行學習；再者由于同一特征映射面上的神經元權值相同，所以網絡可以并行學習，這也是卷積網絡相對于神經元彼此相連網絡的一大優(yōu)勢。卷積神經網絡以其局部權值共享的特殊結構在語音識別和圖像處理方面有著獨特的優(yōu)越性，其布局更接近于實際的生物神經網絡，權值共享降低了網絡的復雜性，特別是多維輸入向量的圖像可以直接輸入網絡這一特點避免了特征提取和分類過程中數據重建的復雜度。卷積網絡較一般神經網絡在圖像處理方面有如下優(yōu)點：a）輸入圖像和網絡的拓撲結構能很好的吻合；b）特征提取和模式分類同時進行，并同時在訓練中產生；c）權重共享可以減少網絡的訓練參數，使神經網絡結構變得更簡單，適應性更強。卷積神經網絡的優(yōu)點卷積神經網絡CNN主要用來識別位移、縮放及其他形式扭一維卷積神經網絡：時序信號，文本

文本分類音樂體裁分類用于語音識別的聲學模型時間序列預測二維卷積神經網絡：圖像，時間-頻率表征（語音與音頻）物體檢測，定位，識別三維卷積神經網絡：視頻，立體圖像，層析成像視頻識別/理解生物醫(yī)學圖像分析高光譜圖像分析cnn應用一維卷積神經網絡：時序信號，文本cnn應用

謝謝！謝謝！卷積神經網絡卷積神經網絡主要內容

卷積神經網絡—誕生背景與歷程卷積神經網絡的結構卷積神經網絡應用—LeNet-5手寫數字識別主要內容卷積神經網絡—誕生背景與歷程

深度學習的優(yōu)勢深度學習通過學習一種深層非線性網絡結構，只需簡單的網絡結構即可實現復雜函數的逼近，并展現了強大的從大量無標注樣本集中學習數據集本質特征的能力。深度學習能夠獲得可更好地表示數據的特征，同時由于模型的層次深）、表達能力強，因此有能力表示大規(guī)模數據。對于圖像、語音這種特征不明顯（需要手工設計且很多沒有直觀的物理含義）的問題，深度模型能夠在大規(guī)模訓練數據上取得更好的效果。

深度學習的優(yōu)勢深度學習通過學習一種深層非線性網絡結構，只需卷積神經網絡(Convolutional

Neural

Networks：CNN)是人工神經網絡(ANN)的一種，是深度學習的一種學習算法。它在圖像識別和分類、自然語言處理廣告系統(tǒng)中都有應用。

CNNs它利用空間關系減少需要學習的參數數目以提高一般前向BP算法的訓練性能。CNNs作為一個深度學習架構提出是為了最小化數據的預處理要求。在CNN中，圖像的一小部分（局部感受區(qū)域）作為層級結構的最低層的輸入，信息再依次傳輸到不同的層，每層通過一個數字濾波器去獲得觀測數據的最顯著的特征。這個方法能夠獲取對平移、縮放和旋轉不變的觀測數據的顯著特征，因為圖像的局部感受區(qū)域允許神經元或者處理單元可以訪問到最基礎的特征，例如定向邊緣。卷積神經網絡(Convolutional

Neural

Ne卷積神經網絡講義課件卷積神經網絡的結構卷積神經網絡是一個多層的神經網絡，每層由多個二維平面組成，而每個平面由多個獨立神經元組成。卷積神經網絡的結構卷積神經網絡是一個多層的神經輸入圖像通過和三個可訓練的濾波器和可加偏置進行卷積，濾波過程如圖，卷積后在C1層產生三個特征映射圖，然后特征映射圖中每組的四個像素再進行求和，加權值，加偏置，通過一個Sigmoid函數得到三個S2層的特征映射圖。這些映射圖再進過濾波得到C3層。這個層級結構再和S2一樣產生S4。最終，這些像素值被光柵化，并連接成一個向量輸入到傳統(tǒng)的神經網絡，得到輸出。輸入圖像通過和三個可訓練的濾波器和可加偏置進行卷積，濾波過程C層為卷積層(Convolution)，每個神經元的輸入與前一層的局部感受野相連，并提取該局部的特征，一旦該局部特征被提取后，它與其他特征間的位置關系也隨之確定下來C層為卷積層(Convolution)，每個神經元的輸入與前S層是采樣層（subsampling）也叫池化層（pooling），網絡的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經元的權值相等。pooling的目的就是為了使參數量減少，使得特征映射具有某種不變性（旋轉、平移、伸縮等）。S層是采樣層（subsampling）也叫池化層（pooli卷積神經網絡講義課件卷積神經網絡講義課件參數減少與權值共享參數減少與權值共享

如果我們有1000x1000像素的圖像，有1百萬個隱層神經元，那么他們全連接的話（每個隱層神經元都連接圖像的每一個像素點），就有1000x1000x1000000=10^12個連接，也就是10^12個權值參數。然而圖像的空間聯系是局部的，就像人是通過一個局部的感受野去感受外界圖像一樣，每一個神經元都不需要對全局圖像做感受，每個神經元只感受局部的圖像區(qū)域，然后在更高層，將這些感受不同局部的神經元綜合起來就可以得到全局的信息了。這樣，我們就可以減少連接的數目，也就是減少神經網絡需要訓練的權值參數的個數了。假如局部感受野是10x10，隱層每個感受野只需要和這10x10的局部圖像相連接，所以1百萬個隱層神經元就只有一億個連接，即10^8個參數。比原來減少了四個0（數量級），這樣訓練起來就沒那么費力了。隱含層的每一個神經元都連接10x10個圖像區(qū)域，也就是說每一個神經元存在10x10=100個連接權值參數。那如果我們每個神經元這100個參數是相同，每個神經元用的是同一個卷積核去卷積圖像，這就是權值共享。如果我們有1000x1000像素的圖像，有1百萬個隱

一方面，重復單元能夠對特征進行識別，而不考慮它在可視域中的位置。另一方面，權值共享使得我們能更有效的進行特征抽取，因為它極大的減少了需要學習的自由變量的個數。通過控制模型的規(guī)模，卷積網絡對視覺問題可以具有很好的泛化能力。權值共享的優(yōu)點：一方面，重復單元能夠對特征進行識別，而不考慮它卷積神經網絡應用LeNet-5手寫數字識別卷積神經網絡應用LeNet-5手寫數字識別C1層：輸入圖片大?。?32*32卷積窗大?。?5*5卷積窗種類： 6輸出特征圖數量：6輸出特征圖大?。?8*28 神經元數量： 4707連接數： 122304可訓練參數： 156

C1層是一個卷積層，卷積運算一個重要的特點就是，通過卷積運算，可以使原信號特征增強，并且降低干擾，由6個特征圖FeatureMap構成。特征圖中每個神經元與輸入中5*5的鄰域相連。特征圖的大小為28*28，這樣能防止輸入的連接掉到邊界之外。C1有156個可訓練參數（每個濾波器5*5=25個unit參數和一個bias參數，一共6個濾波器，共(5*5+1)*6=156個參數），共(5*5+1)*6*(28*28)=122,304個連接。C1層：C1層是一個卷積層，卷積運算一個重要S2層：輸入圖片大小： (28*28)*6卷積窗大?。?2*2卷積窗種類： 6輸出下采樣圖數量：6輸出下采樣圖大?。?14*14)*6神經元數量： 1176 連接數： 5880 可訓練參數： 12 S2層是一個采樣層，利用圖像局部相關性的原理，對圖像進行子抽樣，可以減少數據處理量同時保留有用信息，有6個14*14的特征圖。特征圖中的每個單元與C1中相對應特征圖的2*2鄰域相連接。6個2*2的小方框,每個有一個參數,加上一個偏置,也就是(1+1)*6=12個可訓練參數，對于S2層的每一個圖的每一個點,連接數是(2*2+1)=5,總共是14*14*6*(2*2+1)=5880個連接。S2層：S2層是一個采樣層，利用圖像局部相關性卷積和子采樣過程：卷積過程包括：用一個可訓練的濾波器fx去卷積一個輸入的圖像（第一階段是輸入的圖像，后面的階段就是卷積特征map了），然后加一個偏置bx，得到卷積層Cx。子采樣過程包括：每鄰域四個像素求和變?yōu)橐粋€像素，然后通過標量Wx+1加權，再增加偏置bx+1，然后通過一個sigmoid激活函數，產生一個大概縮小四倍的特征映射圖Sx+1。卷積和子采樣過程：C3層：輸入圖片大?。?(14*14)*6卷積窗大?。?5*5卷積窗種類： 16輸出特征圖數量：16輸出特征圖大?。?0*10 神經元數量： 1600連接數： 151600可訓練參數： 1516 C3層也是一個卷積層，它同樣通過5x5的卷積核去卷積層S2，然后得到的特征map就只有10x10個神經元，但是它有16種不同的卷積核，所以就存在16個特征map了。C3的前6個特征圖以S2中3個相鄰的特征圖子集為輸入。接下來6個特征圖以S2中4個相鄰特征圖子集為輸入。然后的3個以不相鄰的4個特征圖子集為輸入。最后一個將S2中所有特征圖為輸入。C3層：C3層也是一個卷積層，它同樣通過5x5的C3的角度看,它有16個圖.把每個圖對應的參數加起來6*(3*25+1)+6*(4*25+1)+3*(4*25+1)+1*(6*25+1)=1516個可訓練參數1516*10*10=151600個連接C3的角度看,它有16個圖.把每個圖對應的參數加起來S4層：輸入圖片大?。?(10*10)*16卷積窗大小： 2*2卷積窗種類： 16輸出下采樣圖數量：16輸出下采樣圖大?。?5*5)*16神經元數量： 400 連接數： 2000 可訓練參數： 32 S4層是一個采樣層，由16個5*5大小的特征圖構成。特征圖中的每個單元與C3中相應特征圖的2*2鄰域相連接，跟C1和S2之間的連接一樣。S4層有32個可訓練參數（每個特征圖1個因子和一個偏置）和5*5*16*(2*2+1)=2000個連接。S4層：S4層是一個采樣層，由16個5*5大小C5層：輸入圖片大小： (5*5)*16卷積窗大?。?5*5卷積窗種類： 120輸出特征圖數量：120輸出特征圖大小：1*1 神經元數量： 120 連接數： 48120(全連接）可訓練參數： 48120C5層是一個卷積層，有120個特征圖。每個單元與S4層的全部16個單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1：這構成了S4和C5之間的全連接。之所以仍將C5標示為卷積層而非全相聯層，是因為如果LeNet-5的輸入變大，而其他的保持不變，那么此時特征圖的維數就會比1*1大。C5層有120*(5*5*16+1)=48120個可訓練連接。C5層：C5層是一個卷積層，有120個特征圖。F6層：輸入圖片大?。?(1*1)*120卷積窗大?。?1*1卷積窗種類： 84輸出特征圖數量：84輸出特征圖大?。? 神經元數量： 84 連接數： 10164（全連接）可訓練參數： 10164F6層有84個單元（之所以選這個數字的原因來自于輸出層的設計），與C5層全相連。有84*(120+1)=10164個可訓練參數。如同經典神經網絡，F6層計算輸入向量和權重向量之間的點積，再加上一個偏置。然后將其傳遞給sigmoid函數產生單元i的一個狀態(tài)。F6層：F6層有84個單元（之所以選這個數字的

最后，輸出層由歐式徑向基函數（EuclideanRadialBasisFunction）單元組成，每類一個單元，每個有84個輸入。換句話說，每個輸出RBF單元計算輸入向量和參數向量之間的歐式距離。輸入離參數向量越遠，RBF輸出的越大。一個RBF輸出可以被理解為衡量輸入模式和與RBF相關聯類的一個模型的匹配程度的懲罰項。用概率術語來說，即模式的的期望分類足夠