cnn論文總結(jié).docx

CNN論文總結(jié)1、 基于卷積神經(jīng)網(wǎng)絡(luò)的深度學(xué)習(xí)算法與應(yīng)用研究 1、CNN整體框架2、 三種對(duì)LE-NET5改進(jìn)方法 2.1.12.1.22.1.32、 CNN在交通標(biāo)示識(shí)別中的應(yīng)用2.1原始圖像預(yù)處理（三種方法）其中CLAHE的效果更好2.2 CNN與MLP結(jié)合2.3 構(gòu)建多列深度卷積神經(jīng)網(wǎng)絡(luò)（MCDNN）Adaboost+DNN=MCDNN3 本篇論文總結(jié)2、 基于卷積神經(jīng)網(wǎng)絡(luò)的交通標(biāo)識(shí)識(shí)別研究與應(yīng)用三基于卷積神經(jīng)網(wǎng)絡(luò)的人臉檢測(cè)和性別識(shí)別研究四、基于卷積神經(jīng)網(wǎng)絡(luò)的目標(biāo)跟蹤算法研究與實(shí)現(xiàn)五、基于CNN的字符識(shí)別方法研究六、改進(jìn)的卷積神經(jīng)網(wǎng)絡(luò)模型及其應(yīng)用研究1、選用基于稀疏MAXOUT激勵(lì)函數(shù)，解決了激勵(lì)函數(shù)選擇困難的問(wèn)題。（maxout與dropout結(jié)合效果最好， Dropout是指在模型訓(xùn)練時(shí)隨機(jī)讓網(wǎng)絡(luò)某些隱含層節(jié)點(diǎn)的權(quán)重不工作，不工作的那些節(jié)點(diǎn)可以暫時(shí)認(rèn)為不是網(wǎng)絡(luò)結(jié)構(gòu)的一部分，但是它的權(quán)重得保留下來(lái)（只是暫時(shí)不更新而已），因?yàn)橄麓螛颖据斎霑r(shí)它可能又得工作了，可以看出使用Dropout后，雖然訓(xùn)練樣本的錯(cuò)誤率較高，但是訓(xùn)練樣本的錯(cuò)誤率降低了，說(shuō)明Dropout的泛化能力不錯(cuò)，可以防止過(guò)擬合）2、3、 卷積神經(jīng)網(wǎng)絡(luò)的監(jiān)督學(xué)習(xí)4、 稀疏maxout激勵(lì)函數(shù)利用ReLU函數(shù)給maxout函數(shù)帶來(lái)稀疏性。5、 基于k-means的無(wú)監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)其實(shí)差距并不大，而且無(wú)監(jiān)督的正確率要低于監(jiān)督學(xué)習(xí)。七、基于卷積神經(jīng)網(wǎng)絡(luò)的場(chǎng)景理解方法研究CNN原理C1層：輸入圖片大小： 32*32卷積窗大?。?5*5卷積窗種類： 6輸出特征圖數(shù)量： 6輸出特征圖的大小： 28*28（步長(zhǎng)為1,32-5+1）神經(jīng)元數(shù)量： 4704（28*28*6）可訓(xùn)練參數(shù)： 156（5*5+1）*6）每個(gè)過(guò)濾器5*5個(gè)unit參數(shù)和一個(gè)bias參數(shù)連接數(shù)： 122304（156*28*28）卷積運(yùn)算一個(gè)重要的特點(diǎn)就是，通過(guò)卷積運(yùn)算，可以使原信號(hào)特征增強(qiáng)，并且降低噪音。S2層：輸入圖片大小： 28*28*6卷積窗大?。?2*2卷積窗種類： 6輸出下采樣圖數(shù)量： 6輸出下采樣圖的大?。?14*14*6神經(jīng)元數(shù)量： 1176（14*14*6）可訓(xùn)練參數(shù)： 12連接數(shù)： 5580 （4+1）*14*14*6）S2層是一個(gè)下采樣層，特征圖中的每個(gè)單元與C1中相對(duì)應(yīng)特征圖的2*2鄰域相連接。S2層每個(gè)單元的4個(gè)輸入相加，乘以一個(gè)可訓(xùn)練參數(shù)，再加上一個(gè)可訓(xùn)練偏置，結(jié)果通過(guò)sigmoid函數(shù)計(jì)算。因?yàn)槊總€(gè)單元的2*2感受野并不重疊，因此S2中每個(gè)特征圖的大小是C1中特征圖大小的1/4.卷積和下采樣層總結(jié)：卷積過(guò)程： 用一個(gè)可訓(xùn)練濾波器fx去卷積一個(gè)輸入的圖像，然后加上一個(gè)偏置bx，得到卷積層Cx。子采樣過(guò)程：每個(gè)鄰域四個(gè)像素求和變?yōu)橐粋€(gè)像素，然后通過(guò)標(biāo)量Wx+1加權(quán)，再增加偏置bx+1，然后通過(guò)一個(gè)sigmoid激活函數(shù)，產(chǎn)生一個(gè)大概縮小四倍的特征映射圖Sx+1。C3層：輸入圖片大?。?14*14*6卷積窗大?。?5*5卷積窗種類： 16輸出特征圖數(shù)量： 16輸出特征圖的大小： 10*10神經(jīng)元數(shù)量： 1600（10*10*6）可訓(xùn)練參數(shù)： 1516（6*（3*25+1）+6*（4*25+1）+3*（4*25+1）+（25*6+1）=1516）連接數(shù)： 151600（1516*10*10）（部分連接：1、不完全的連接機(jī)制將連接的數(shù)量控制在合理的范圍內(nèi)。2、破壞網(wǎng)絡(luò)的對(duì)稱性。由于不同的特征圖有不同的輸入，所以迫使他們抽取不同的特征（希望是互補(bǔ)的）。分析C3層：因?yàn)镾2是多層，所以需要按照一定的規(guī)則組合這些層。S4層：輸入圖片大?。?16*5*5卷積窗大?。?2*2卷積窗種類： 16輸出下采樣圖數(shù)量： 16輸出下采樣圖的大小： 120神經(jīng)元數(shù)量： 400（16*5*5）可訓(xùn)練參數(shù)： 32（16*（1+1）連接數(shù)： 2000 （4+1）*400）。C5層是一個(gè)卷積層，有120個(gè)特征圖。每個(gè)單元與S4層的全部16個(gè)單元的5*5鄰域相連。由于S4層特征圖的大小也為5*5（同濾波器一樣），故C5特征圖的大小為1*1：這構(gòu)成了S4和C5之間的全連接。之所以仍將C5標(biāo)示為卷積層而非全相聯(lián)層，是因?yàn)槿绻鸏eNet-5的輸入變大，而其他的保持不變，那么此時(shí)特征圖的維數(shù)就會(huì)比1*1大。C5層有48120個(gè)可訓(xùn)練連接。120*(16*5*5+1)=48120。 F6層有84個(gè)單元（之所以選這個(gè)數(shù)字的原因來(lái)自于輸出層的設(shè)計(jì)），與C5層全相連。有10164個(gè)可訓(xùn)練參數(shù)。如同經(jīng)典神經(jīng)網(wǎng)絡(luò)，F(xiàn)6層計(jì)算輸入向量和權(quán)重向量之間的點(diǎn)積，再加上一個(gè)偏置。然后將其傳遞給sigmoid函數(shù)產(chǎn)生單元i的一個(gè)狀態(tài)。84*(120*(1+1)+1)=10164.。最后，輸出層由歐式徑向基函數(shù)（Euclidean Radial Basis Function）單元組成，每類一個(gè)單元，每個(gè)有84個(gè)輸入。二、訓(xùn)練過(guò)程：在開(kāi)始訓(xùn)練之前，所有的權(quán)都應(yīng)該用一些不同的小隨機(jī)數(shù)進(jìn)行初始化?！靶‰S機(jī)數(shù)”用來(lái)保證網(wǎng)絡(luò)不會(huì)因權(quán)值過(guò)大而進(jìn)入飽和狀態(tài)，從而導(dǎo)致訓(xùn)練失??；“不同”用來(lái)保證網(wǎng)絡(luò)可以正常的學(xué)習(xí)訓(xùn)練方法分為4步第一階段，向前傳播階段：a）從樣本集中取一個(gè)樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；b） 計(jì)算相應(yīng)的實(shí)際輸出Op。在此階段，信息從輸入層經(jīng)過(guò)逐級(jí)的變換，傳送到輸出層。這個(gè)過(guò)程也是網(wǎng)絡(luò)在完成訓(xùn)練后正常運(yùn)行時(shí)執(zhí)行的過(guò)程。在此過(guò)程中，網(wǎng)絡(luò)執(zhí)行的是計(jì)算（實(shí)際上就是輸入與每層的權(quán)值矩陣相點(diǎn)乘，得到最后的輸出結(jié)果