(完整word版)深度學(xué)習(xí)-卷積神經(jīng)網(wǎng)絡(luò)算法簡介

1、深度學(xué)習(xí)卷積神經(jīng)網(wǎng)絡(luò)算法簡介李宗賢北京信息科技大學(xué)智能科學(xué)與技術(shù)系卷積神經(jīng)網(wǎng)絡(luò)是近年來廣泛應(yīng)用在模式識(shí)別、圖像處理領(lǐng)域的一種高效識(shí)別算法，具有簡單結(jié)構(gòu)、訓(xùn)練參數(shù)少和適應(yīng)性強(qiáng)的特點(diǎn)。它的權(quán)值共享網(wǎng)絡(luò)結(jié)構(gòu)使之更類似與生物神經(jīng)網(wǎng)絡(luò)，降低了網(wǎng)絡(luò)的復(fù)雜度，減少了權(quán)值的數(shù)量。以二維圖像直接作為網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)是被算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積神經(jīng)網(wǎng)絡(luò)是為識(shí)別二維形狀特殊設(shè)計(jì)的一個(gè)多層感知器，這種網(wǎng)絡(luò)結(jié)構(gòu)對(duì)于平移、比例縮放、傾斜和其他形式的變形有著高度的不變形。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一種多層的感知器，每層由二維平面組成，而每個(gè)平面由多個(gè)獨(dú)立的神經(jīng)元組成，網(wǎng)絡(luò)中包含一些簡單元和復(fù)雜元

2、，分別記為C元和S元。C元聚合在一起構(gòu)成卷積層，S元聚合在一起構(gòu)成下采樣層。輸入圖像通過和濾波器和可加偏置進(jìn)行卷積，在c層產(chǎn)生N個(gè)特征圖（N值可人為設(shè)定），然后特征映射圖經(jīng)過求和、加權(quán)值和偏置，再通過一個(gè)激活函數(shù)（通常選用Sigmoid函數(shù)）得到S層的特征映射圖。根據(jù)人為設(shè)定C層和S層的數(shù)量，以上工作依次循環(huán)進(jìn)行。最終，對(duì)最尾部的下采樣和輸出層進(jìn)行全連接，得到最后的輸出。卷積的過程：用一個(gè)可訓(xùn)練的濾波器fx去卷積一個(gè)輸入的圖像（在C1層是輸入圖像，之后的卷積層輸入則是前一層的卷積特征圖）,通過一個(gè)激活函數(shù)（一般使用的是Sigmoid函數(shù)），然后加一個(gè)偏置bx,得到卷積層Cx。具體運(yùn)算如下式，式

3、中Mj是輸入特征圖的值：刖曲-1*恰+號(hào)）子采樣的過程包括：每鄰域的m個(gè)像素（m是人為設(shè)定）求和變?yōu)橐粋€(gè)像素，然后通過標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過激活函數(shù)Sigmoid產(chǎn)生特征映射圖。從一個(gè)平面到下一個(gè)平面的映射可以看作是作卷積運(yùn)算，S層可看作是模糊濾波器，起到了二次特征提取的作用。隱層與隱層之間的空間分辨率遞減，而每層所含的平面數(shù)遞增，這樣可用于檢測更多的特征信息。對(duì)于子采樣層來說，有N個(gè)輸入特征圖，就有N個(gè)輸出特征圖，只是每個(gè)特征圖的的尺寸得到了相應(yīng)的改變，具體運(yùn)算如下式，式中down（）表示下采樣函數(shù)。（皿down（X!-1）+b!）X!）丿丿）卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程卷

4、積神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習(xí)大量的輸入和輸出之間的映射關(guān)系，而不需要任何輸入和輸出之間的精確數(shù)學(xué)表達(dá)式。用已知的模式對(duì)卷積網(wǎng)絡(luò)加以訓(xùn)練，網(wǎng)絡(luò)就具有了輸入輸出對(duì)之間的映射能力。卷積神經(jīng)網(wǎng)絡(luò)執(zhí)行的是有監(jiān)督的導(dǎo)師訓(xùn)練所以樣本集是由形如（輸入向量，理想輸出向量）的向量對(duì)構(gòu)成。卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練算法類似于BP算法，主要分為4步，這4步分為兩個(gè)階段：1、向前傳播過程1）從樣本集中讀取（X,Y），將X輸入網(wǎng)絡(luò)2）計(jì)算相應(yīng)的實(shí)際輸出Op。在此階段，信息從輸入層經(jīng)過逐層變換，傳送到輸出層，輸入與每層的權(quán)值矩陣點(diǎn)乘，得到輸出結(jié)果：Op=Fn（F2（F1（XpW（i）W）W（n）2、向后傳播階段1）計(jì)算實(shí)際輸出和理想輸出的差值2）按極小誤差發(fā)反向傳播調(diào)整權(quán)值矩陣卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)主要用于識(shí)別位移、縮放及其它形式扭曲不變形的二維圖像。由卷積神經(jīng)網(wǎng)絡(luò)的特征檢測層通過訓(xùn)練，由于同一特征平面上的神經(jīng)元權(quán)值相同，所以網(wǎng)絡(luò)可以并行學(xué)習(xí)，這種以局部權(quán)值共享的特殊結(jié)構(gòu)在語音識(shí)別和圖像處理方面具有獨(dú)特的優(yōu)越性，使其布局更類似于生物神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別方面有如下優(yōu)點(diǎn)：1）以二維圖像為網(wǎng)絡(luò)的直接輸入，減少了復(fù)雜特征提取和數(shù)據(jù)重建等計(jì)算過程。2)輸入圖像和網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)能有很好的吻合。3) 特征提取和模式分類同時(shí)進(jìn)行，并在訓(xùn)練中產(chǎn)生。4) 權(quán)值