卷積神經(jīng)網(wǎng)絡(luò)CNN圖解

卷積神經(jīng)網(wǎng)絡(luò)CNN圖解之前在網(wǎng)上搜索了好多好多關(guān)于CNN的文章，由于網(wǎng)絡(luò)上的文章很多斷章取義或者描述不清晰，看了很多youtobe上面的教學(xué)視頻還是沒有弄懂，最后經(jīng)過痛苦漫長的煎熬之后對于神經(jīng)網(wǎng)絡(luò)和卷積有了粗淺的了解。于是在這里記錄下所學(xué)到的知識，關(guān)于CNN卷積神經(jīng)網(wǎng)絡(luò)，需要總結(jié)深入的知識有很多：人工神經(jīng)網(wǎng)絡(luò)ANN卷積神經(jīng)網(wǎng)絡(luò)CNN卷積神經(jīng)網(wǎng)絡(luò)CNN-BP算法卷積神經(jīng)網(wǎng)絡(luò)CNN-LetNet分析卷積神經(jīng)網(wǎng)絡(luò)CNN-caffe應(yīng)用全卷積神經(jīng)網(wǎng)FCN如果對于人工神經(jīng)網(wǎng)絡(luò)或者神經(jīng)元模型不是太了解，建議先去了解《人工神經(jīng)網(wǎng)絡(luò)ANN》。卷積神經(jīng)網(wǎng)絡(luò)

卷積神經(jīng)網(wǎng)絡(luò)說白了就是神經(jīng)網(wǎng)絡(luò)的一種分支，因此看懂神經(jīng)元尤為重要：

卷積神經(jīng)網(wǎng)絡(luò)沿用了普通的神經(jīng)元網(wǎng)絡(luò)即多層感知器的結(jié)構(gòu)，是一個前饋網(wǎng)絡(luò)。以應(yīng)用于圖像領(lǐng)域的CNN為例，大體結(jié)構(gòu)如圖。

根據(jù)上圖卷積神經(jīng)網(wǎng)絡(luò)ConvNet可以分為4大層：1.圖像輸入ImageInput：為了減小后續(xù)BP算法處理的復(fù)雜度，一般建議使用灰度圖像。也可以使用RGB彩色圖像，此時輸入圖像原始圖像的RGB三通道。對于輸入的圖像像素分量為[0,255]，為了計算方便一般需要?dú)w一化，如果使用sigmoid激活函數(shù)，則歸一化到[0,1]，如果使用tanh激活函數(shù)，則歸一化到[-1,1]。2.卷積層(ConvolutionLayer)：特征提取層(C層)-特征映射層(S層)。將上一層的輸出圖像與本層卷積核(權(quán)重參數(shù)w)加權(quán)值，加偏置，通過一個Sigmoid函數(shù)得到各個C層，然后下采樣subsampling得到各個S層。C層和S層的輸出稱為FeatureMap(特征圖)。3.光柵化(Rasterization)：為了與傳統(tǒng)的多層感知器MLP全連接，把上一層的所有FeatureMap的每個像素依次展開，排成一列。4.多層感知器(MLP)：最后一層為分類器，一般使用Softmax，如果是二分類，當(dāng)然也可以使用線性回歸LogisticRegression，SVM，RBM。詳細(xì)地展開2卷積層：C層：特征提取層。每個神經(jīng)元的輸入與前一層的局部接受域相連，并提取該局部的特征。一旦該局部特征被提取后，它與其它特征間的位置關(guān)系也隨之確定下來。S層：特征映射層。網(wǎng)絡(luò)的每個計算層由多個特征映射組成，每個特征映射為一個平面，平面上所有神經(jīng)元的權(quán)值相等。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。特征映射結(jié)構(gòu)采用影響函數(shù)核小的sigmoid函數(shù)作為卷積網(wǎng)絡(luò)的激活函數(shù)，使得特征映射具有位移不變性。此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)。卷積神經(jīng)網(wǎng)絡(luò)中的每一個卷積層都緊跟著一個用來求局部平均與二次提取的計算層，這種特有的兩次特征提取結(jié)構(gòu)減小了特征分辨率。此外，由于一個映射面上的神經(jīng)元共享權(quán)值，因而減少了網(wǎng)絡(luò)自由參數(shù)的個數(shù)，降低了網(wǎng)絡(luò)參數(shù)選擇的復(fù)雜度。卷積神經(jīng)網(wǎng)絡(luò)中的每一個特征提取層（C層）都緊跟著一個用來求局部平均與二次提取的計算層（S層），這種特有的兩次特征提取結(jié)構(gòu)使網(wǎng)絡(luò)在識別時對輸入樣本有較高的畸變?nèi)萑棠芰Α?/p>

1卷積卷積層是卷積核在上一級輸入層上通過逐一滑動窗口計算而得，卷積核中的每一個參數(shù)都相當(dāng)于傳統(tǒng)神經(jīng)網(wǎng)絡(luò)中的權(quán)值參數(shù)，與對應(yīng)的局部像素相連接，將卷積核的各個參數(shù)與對應(yīng)的局部像素值相乘之和，（通常還要再加上一個偏置參數(shù)），得到卷積層上的結(jié)果。如下圖所示。

今天公司學(xué)通訊的同事跟我討論到底卷積是個什么東西，給我說通過卷積后，信號當(dāng)中特別是時域會放大，https://en.wikipedia.org/wiki/Convolution。因此在FCN當(dāng)中會通過卷積越變越大，但是這明明違背了圖像卷積的概念。下面這個動圖更好地解釋：

2CNN三大核心思想卷積神經(jīng)網(wǎng)絡(luò)CNN的出現(xiàn)是為了解決MLP多層感知器全連接和梯度發(fā)散的問題。其引入三個核心思想：1