卷積神經(jīng)網(wǎng)絡(luò)CNN

ConvolutionalNeuralNetworks

卷積神經(jīng)網(wǎng)絡(luò)主要內(nèi)容卷積神經(jīng)網(wǎng)絡(luò)—誕生背景與歷程卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用—LeNet-五手寫(xiě)數(shù)字識(shí)別深度學(xué)習(xí)—Hinton做了些什么深度學(xué)習(xí)在數(shù)字圖像識(shí)別上的運(yùn)用—Hinton如何在二0一二年ImageNet引起轟動(dòng)卷積神經(jīng)網(wǎng)絡(luò)提出的背景淺層神經(jīng)網(wǎng)絡(luò)大約二三十年前,神經(jīng)網(wǎng)絡(luò)曾經(jīng)是機(jī)器學(xué)習(xí)領(lǐng)域特別熱門(mén)的一個(gè)方向,這種基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)方法比起過(guò)去基于人工規(guī)則的專(zhuān)家系統(tǒng),在很多方面顯示出優(yōu)越性.卷積神經(jīng)網(wǎng)絡(luò)提出的背景

但是后來(lái),因?yàn)槔碚摲治龅碾y度,加上訓(xùn)練方法需要很多經(jīng)驗(yàn)和技巧,以及巨大的計(jì)算量和優(yōu)化求解難度,神經(jīng)網(wǎng)絡(luò)慢慢淡出了科研領(lǐng)域的主流方向.值得指出的是,神經(jīng)網(wǎng)絡(luò)[如采用誤差反向傳播算法：BackPropagation,簡(jiǎn)稱(chēng)BP算法,通過(guò)梯度下降方法在訓(xùn)練過(guò)程中修正權(quán)重使得網(wǎng)絡(luò)誤差最小]在層次深的情況下性能變得很不理想[傳播時(shí)容易出現(xiàn)所謂的梯度彌散GradientDiffusion或稱(chēng)之為梯度消失,根源在于非凸目標(biāo)代價(jià)函數(shù)導(dǎo)致求解陷入局部最優(yōu),且這種情況隨著網(wǎng)絡(luò)層數(shù)的增加而更加嚴(yán)重,即隨著梯度的逐層不斷消散導(dǎo)致其對(duì)網(wǎng)絡(luò)權(quán)重調(diào)整的作用越來(lái)越小],所以只能轉(zhuǎn)而處理淺層結(jié)構(gòu)[小于等于三],從而限制了性能.淺層神經(jīng)網(wǎng)絡(luò)的缺陷于是,二0世紀(jì)九0年代,有更多各式各樣的淺層模型相繼被提出,比如只有一層隱層節(jié)點(diǎn)的支撐向量機(jī)[SVM,SupportVectorMachine]和Boosting,以及沒(méi)有隱層節(jié)點(diǎn)的最大熵方法[例如LR,LogisticRegression]等,在很多應(yīng)用領(lǐng)域取代了傳統(tǒng)的神經(jīng)網(wǎng)絡(luò).顯然,這些淺層結(jié)構(gòu)算法有很多局限性：在有限樣本和計(jì)算單元情況下對(duì)復(fù)雜函數(shù)的表示能力有限,針對(duì)復(fù)雜分類(lèi)問(wèn)題其泛化能力受到一定的制約.更重要的是,淺層模型有一個(gè)特點(diǎn),就是需要依靠人工來(lái)抽取樣本的特征.然而,手工地選取特征是一件非常費(fèi)力的事情,能不能選取好很大程度上靠經(jīng)驗(yàn)和運(yùn)氣.能不能自動(dòng)地學(xué)習(xí)一些特征呢?卷積神經(jīng)網(wǎng)絡(luò)早在一九八九年,YannLeCun[現(xiàn)紐約大學(xué)教授]和他的同事們就發(fā)表了卷積神經(jīng)網(wǎng)絡(luò)[ConvolutionNeuralNetworks,簡(jiǎn)稱(chēng)CNN]的工作.CNN是一種帶有卷積結(jié)構(gòu)的深度神經(jīng)網(wǎng)絡(luò),通常至少有兩個(gè)非線性可訓(xùn)練的卷積層,兩個(gè)非線性的固定卷積層[又叫PoolingLayer]和一個(gè)全連接層,一共至少五個(gè)隱含層.CNN的結(jié)構(gòu)受到著名的Hubel-Wiesel生物視覺(jué)模型的啟發(fā),尤其是模擬視覺(jué)皮層V一和V二層中SimpleCell和ComplexCell的行為.卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用LeNet-五手寫(xiě)數(shù)字識(shí)別三大特點(diǎn)：一、局部感受野二、權(quán)值共享三、次采樣[pooling]重點(diǎn)概念卷積核[卷積濾波器]特征圖[FeatureMap]C層是一個(gè)卷積層：通過(guò)卷積運(yùn)算,可以使原信號(hào)特征增強(qiáng),并且降低噪音S層是一個(gè)下采樣層：利用圖像局部相關(guān)性的原理,對(duì)圖像進(jìn)行子抽樣,可以減少數(shù)據(jù)處理量同時(shí)保留有用信息F六層是經(jīng)典神經(jīng)網(wǎng)絡(luò)：輸入向量和權(quán)重向量之間的點(diǎn)積,再加上一個(gè)偏置.然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài).C一層：輸入圖片大?。?三二*三二卷積窗大?。?五*五卷積窗種類(lèi)： 六輸出特征圖數(shù)量： 六輸出特征圖大?。?二八*二八 [三二-五+一]神經(jīng)元數(shù)量： 四七0七[[二八*二八]*六]]連接數(shù)： 一二三0四[[五*五+一]*六]*[二八*二八]可訓(xùn)練參數(shù)： 一五六 [[五*五+一]*六]S二層：輸入圖片大小： [二八*二八]*六卷積窗大?。?二*二卷積窗種類(lèi)： 六輸出下采樣圖數(shù)量：六輸出下采樣圖大?。篬一四*一四]*六神經(jīng)元數(shù)量： 一一七六 [一四*一四]*六連接數(shù)： 五八八0 [二*二+一]*[一四*一四]*六可訓(xùn)練參數(shù)： 一二 [六*[一+一]] 卷積和子采樣過(guò)程：

卷積過(guò)程包括：用一個(gè)可訓(xùn)練的濾波器fx去卷積一個(gè)輸入的圖像[第一階段是輸入的圖像,后面的階段就是卷積特征map了],然后加一個(gè)偏置bx,得到卷積層Cx.

子采樣過(guò)程包括：每鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素,然后通過(guò)標(biāo)量Wx+一加權(quán),再增加偏置bx+一,然后通過(guò)一個(gè)sigmoid激活函數(shù),產(chǎn)生一個(gè)大概縮小四倍的特征映射圖Sx+一.C三層輸入圖片大?。篬一四*一四]*六卷積窗大?。何?五卷積窗種類(lèi)：一五輸出特征圖數(shù)量：一六輸出特征圖大?。阂?*一0[一四-五+一]神經(jīng)元數(shù)量：一六00[[一0*一0]*一六]]連接數(shù)： 一五一六00[六0+一六]*[一0*一0]*二五[部分連接]可訓(xùn)練參數(shù)：一五一六 [[六0+一六]*二五][C三中的每個(gè)特征map是連接到S二中的所有六個(gè)或者幾個(gè)特征map的,表示本層的特征map是上一層提取到的特征map的不同組合[這個(gè)做法也并不是唯一的]]連接數(shù)計(jì)算：

一五一六00=[[六0+一六]*二五]*[一0*一0] 六0=三*六+九*四+六；一六是因?yàn)槊糠N神經(jīng)元都有一個(gè)常數(shù)連接S四層：輸入圖片大?。?[一0*一0]*一六卷積窗大?。?二*二卷積窗種類(lèi)： 一六輸出下采樣圖數(shù)量：一六輸出下采樣圖大?。篬五*五]*一六神經(jīng)元數(shù)量： 四00 [五*五]*一六連接數(shù)： 二000 [二*二+一]*[五*五]*一六可訓(xùn)練參數(shù)： 三二 [一六*[一+一]] C五層：輸入圖片大小： [五*五]*一六卷積窗大?。?五*五卷積窗種類(lèi)： 一二0輸出特征圖數(shù)量： 一二0輸出特征圖大?。?一*一 [五-五+一]神經(jīng)元數(shù)量： 一二0 [一*一二0]連接數(shù)： 四八一二0[一六*[五*五]+一]*一*一二0[全連接]可訓(xùn)練參數(shù)： 四八一二0[一六*[五*五]+一]*一*一二0F六層：輸入圖片大?。?[一*一]*一二0卷積窗大?。?一*一卷積窗種類(lèi)： 八四輸出特征圖數(shù)量： 八四輸出特征圖大?。?一 神經(jīng)元數(shù)量： 八四 連接數(shù)： 一0一六四一二0*八四[全連接]可訓(xùn)練參數(shù)： 一0一六四一二0*八四OUTPUT層：輸入圖片大?。?一*八四輸出特征圖數(shù)量： 一*一0最后,輸出層有一0個(gè)神經(jīng)元,是由徑向基函數(shù)單元[RBF]組成,輸出層的每個(gè)神經(jīng)元對(duì)應(yīng)一個(gè)字符類(lèi)別.RBF單元的輸出,是由公式：

卷積神經(jīng)網(wǎng)絡(luò)的衰落在很長(zhǎng)時(shí)間里,CNN雖然在小規(guī)模的問(wèn)題上,如手寫(xiě)數(shù)字,取得過(guò)當(dāng)時(shí)世界最好結(jié)果,但一直沒(méi)有取得巨大成功.這主要原因是,CNN在大規(guī)模圖像上效果不好,比如像素很多的自然圖片內(nèi)容理解,所以沒(méi)有得到計(jì)算機(jī)視覺(jué)領(lǐng)域的足夠重視.深度學(xué)習(xí)的崛起二0一二年一0月,GeoffreyHinton和他的兩個(gè)學(xué)生在著名的ImageNet問(wèn)題上用更深的CNN取得世界最好結(jié)果,使得圖像識(shí)別大踏步前進(jìn).在Hinton的模型里,輸入就是圖像的像素,沒(méi)有用到任何的人工特征.深度學(xué)習(xí)在圖像識(shí)別中的應(yīng)用二0一二年六月,《紐約時(shí)報(bào)》披露了GoogleBrain項(xiàng)目,吸引了公眾的廣泛關(guān)注.這個(gè)項(xiàng)目是由著名的斯坦福大學(xué)的機(jī)器學(xué)習(xí)教授AndrewNg和在大規(guī)模計(jì)算機(jī)系統(tǒng)方面的世界頂尖專(zhuān)家JeffDean共同主導(dǎo),用一六,000個(gè)CPUCore的并行計(jì)算平臺(tái)去訓(xùn)練含有一0億個(gè)節(jié)點(diǎn)的深度神經(jīng)網(wǎng)絡(luò)[DNN,DeepNeuralNetworks],使其能夠自我訓(xùn)練,對(duì)二萬(wàn)個(gè)不同物體的一,四00萬(wàn)張圖片進(jìn)行辨識(shí).在開(kāi)始分析數(shù)據(jù)前,并不需要向系統(tǒng)手工輸入任何諸如“臉、肢體、貓的長(zhǎng)相是什么樣子”這類(lèi)特征.JeffDean說(shuō)：“我們?cè)谟?xùn)練的時(shí)候從來(lái)不會(huì)告訴機(jī)器：‘這是一只貓’[即無(wú)標(biāo)注樣本].系統(tǒng)其實(shí)是自己發(fā)明或領(lǐng)悟了‘貓’的概念.”二0一四年三月,同樣也是基于深度學(xué)習(xí)方法,Facebook的

DeepFace

項(xiàng)目使得人臉識(shí)別技術(shù)的識(shí)別率已經(jīng)達(dá)到了

九七.二五%,只比人類(lèi)識(shí)別

九七.五%

的正確率略低那么一點(diǎn)點(diǎn),準(zhǔn)確率幾乎可媲美人類(lèi).該項(xiàng)目利用了

九

層的神經(jīng)網(wǎng)絡(luò)來(lái)獲得臉部表征,神經(jīng)網(wǎng)絡(luò)處理的參數(shù)高達(dá)

一.二億.這個(gè)驚人的結(jié)果為什么在之前沒(méi)有發(fā)生?原因當(dāng)然包括算法的提升,比如dropout等防止過(guò)擬合技術(shù),但最重要的是,GPU帶來(lái)的計(jì)算能力提升和更多的訓(xùn)練數(shù)據(jù).百度在二0一二年底將深度學(xué)習(xí)技術(shù)成功應(yīng)用于自然圖像OCR識(shí)別和人臉識(shí)別等問(wèn)題,并推出相應(yīng)的桌面和移動(dòng)搜索產(chǎn)品,二0一三年,深度學(xué)習(xí)模型被成功應(yīng)用于一般圖片的識(shí)別和理解.從百度的經(jīng)驗(yàn)來(lái)看,深度學(xué)習(xí)應(yīng)用于圖像識(shí)別不但大大提升了準(zhǔn)確性,而且避免了人工特征抽取的時(shí)間消耗,從而大大提高了在線計(jì)算效率.可以很有把握地說(shuō),從現(xiàn)在開(kāi)始,深度學(xué)習(xí)將取代“人工特征+機(jī)器學(xué)習(xí)”的方法而逐漸成為主流圖像識(shí)別方法.總結(jié)ANN[人工神經(jīng)網(wǎng)絡(luò)]又被稱(chēng)為淺層神經(jīng)網(wǎng)絡(luò)[shallowneuralnetwork,也可能使用了CNN的方法.CNN[卷積神經(jīng)網(wǎng)絡(luò)]其實(shí)是已經(jīng)很早提出來(lái)的理論,也得到了在字母識(shí)別數(shù)字識(shí)別上的好的運(yùn)用,letnet-五.DNN[深度神經(jīng)網(wǎng)絡(luò)]可近似為深度卷積神經(jīng)網(wǎng)絡(luò)[CNNs],將卷積神經(jīng)網(wǎng)絡(luò)的深度大大加深.總結(jié)當(dāng)下研究的熱門(mén)是用更深層次的卷積神經(jīng)網(wǎng)絡(luò)模型用于圖