基于深度卷積神經(jīng)網(wǎng)絡(luò)的圖像分類

MACROBUTTONMTEditEquationSection2SEQMTEqn\r\hSEQMTSec\r1\hSEQMTChap\r1\hSHANGHAIJIAOTONGUNIVERSITY論文題目：基于卷積神經(jīng)網(wǎng)絡(luò)的自然圖像分類技術(shù)研究姓名:高小寧專業(yè)：控制科學(xué)與工程基于卷積神經(jīng)網(wǎng)絡(luò)的自然圖像分類技術(shù)研究摘要：卷積神經(jīng)網(wǎng)絡(luò)已在圖像分類領(lǐng)域取得了很好的效果，但其網(wǎng)絡(luò)結(jié)構(gòu)及參數(shù)的選擇對(duì)圖像分類的效果和效率有較大的影響。為改善卷積網(wǎng)絡(luò)的圖像分類性能，本文對(duì)卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行了詳細(xì)的理論分析，并通過(guò)大量的比照實(shí)驗(yàn)，得出了影響卷積網(wǎng)絡(luò)性能的因素。結(jié)合理論分析及比照實(shí)驗(yàn)，本文設(shè)計(jì)了一個(gè)卷積層數(shù)為8層的深度卷積網(wǎng)絡(luò)，并結(jié)合BatchNormalization、dropout等方法，在CIFAR-10數(shù)據(jù)集上取得了88.1%的分類精度，有效地提高了卷積神經(jīng)網(wǎng)絡(luò)的分類效果。關(guān)鍵詞：卷積神經(jīng)網(wǎng)絡(luò)，圖像分類，BatchNormalization，DropoutResearchonNaturalImageClassificationBasedonConvolutionNeuralNetworkAbstract:Convolutionneuralnetworkhasachievedverygoodresultsinimageclassification,butitsnetworkstructureandthechoiceofparametershaveagreaterimpactonimageclassificationefficiencyandefficiency.Inordertoimprovetheimageclassificationperformanceoftheconvolutionnetwork,aconvolutionalneuralnetworkmodelisanalyzedindetail,andalargenumberofcontrastiveexperimentsareconductedtogetthefactorsthatinfluencetheperformanceoftheconvolutionnetwork.Combiningthetheoryanalysisandcontrastexperiment,aconvolutionlayerdepthconvolutionnetworkwith8layersisdesigned.CombinedwithBatchNormalizationanddropout,88.1%classificationaccuracyisachievedonCIFAR-10dataset.Whichimprovestheclassificationeffectofconvolutionneuralnetwork.KeyWords:Convolutionneuralnetwork(CNN),imageclassification,BatchNormalization,Dropout目錄基于卷積神經(jīng)網(wǎng)絡(luò)的自然圖像分類技術(shù)研究 )其中，，分別是對(duì)梯度的一階矩估計(jì)和二階矩估計(jì)，可以看作對(duì)期望，的估計(jì)；，是對(duì)，的校正，這樣可以近似為對(duì)期望的無(wú)偏估計(jì)?？梢钥闯觯苯訉?duì)梯度的矩估計(jì)對(duì)內(nèi)存沒(méi)有額外的要求，而且可以根據(jù)梯度進(jìn)行動(dòng)態(tài)調(diào)整，而對(duì)學(xué)習(xí)率形成一個(gè)動(dòng)態(tài)約束，而且有明確的范圍。特點(diǎn)如下：具有善于處理稀疏梯度和非平穩(wěn)目標(biāo)的優(yōu)點(diǎn)對(duì)內(nèi)存需求較小為不同的參數(shù)計(jì)算不同的自適應(yīng)學(xué)習(xí)率適用于大多非凸優(yōu)化問(wèn)題，也適用于大數(shù)據(jù)集和高維空間通常情況下且迭代速度快于SGD，但是其收斂精度一般不如SGD2.6Dropout權(quán)值衰減(L2正那么化)是通過(guò)修改代價(jià)函數(shù)來(lái)實(shí)現(xiàn)的，但是Dropout通過(guò)修改神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)來(lái)實(shí)現(xiàn)的，它是在訓(xùn)練神經(jīng)網(wǎng)絡(luò)時(shí)用的一種優(yōu)化方法。Dropout是指在模型訓(xùn)練時(shí)隨機(jī)讓網(wǎng)絡(luò)局部隱含層單元的不工作，不工作的那些單元可以暫時(shí)不作為網(wǎng)絡(luò)的局部計(jì)算，但保存它的權(quán)重(暫時(shí)不更新)，因?yàn)橄麓螛颖据斎霑r(shí)它可能又工作。在訓(xùn)練過(guò)程中，Dropout是以一定概率將隱含層節(jié)點(diǎn)的輸出清0，而用反向傳播更新權(quán)值時(shí)，不再更新與該節(jié)點(diǎn)相連的權(quán)值，未設(shè)置Dropout與設(shè)置Dropout的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)如下：〔a〕無(wú)Dropout的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)〔b〕設(shè)置Dropout的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)圖2-4Dropout示意圖2.7BatchNormalization我們知道，在訓(xùn)練深度神經(jīng)網(wǎng)絡(luò)時(shí)，常常會(huì)發(fā)生“梯度彌散〞問(wèn)題,即當(dāng)我們使用反向傳播方法計(jì)算梯度導(dǎo)數(shù)的時(shí)候，隨著網(wǎng)絡(luò)深度的增加，反向傳播的梯度〔從輸出層到網(wǎng)絡(luò)的最初幾層〕的幅度值會(huì)急劇地減小。一個(gè)簡(jiǎn)單的例子就是：，結(jié)果就造成了整體的代價(jià)函數(shù)對(duì)最初幾層網(wǎng)絡(luò)的權(quán)值的導(dǎo)數(shù)非常小。這樣，當(dāng)使用梯度下降法的時(shí)候，最初幾層的權(quán)重變化非常緩慢，以至于它們不能夠從樣本中進(jìn)行有效的學(xué)習(xí)。為了解決梯度彌散問(wèn)題，Google在2023年的ICML大會(huì)上提出了BatchNormalization的方法。BatchNormalization嘛，即“批標(biāo)準(zhǔn)化〞，即在每次進(jìn)行隨機(jī)梯度下降時(shí)，通過(guò)mini-batch來(lái)對(duì)相應(yīng)的激活輸出做標(biāo)準(zhǔn)化操作，使得結(jié)果〔輸出信號(hào)各個(gè)維度〕的均值為0，方差為1。具體的“批標(biāo)準(zhǔn)化〞算法如下：在BatchNormalization中，通過(guò)將激活函數(shù)的輸出標(biāo)準(zhǔn)為均值和方差一致的手段使得原本會(huì)減小的輸出的變大，從而在很大程度上解決了梯度彌散問(wèn)題，并加快了深度神經(jīng)網(wǎng)絡(luò)的訓(xùn)練。3模型設(shè)計(jì)與實(shí)驗(yàn)分析3.1CIFAR-10數(shù)據(jù)集CIFAR-10數(shù)據(jù)集含有6萬(wàn)張的自然圖像，共分為10種類型，由AlexKrizhevsky,VinodNair和GeoffreyHinton收集而來(lái)。包含50000張訓(xùn)練圖片，10000張測(cè)試圖片，數(shù)據(jù)集的數(shù)據(jù)存在一個(gè)的數(shù)組中〔按行存儲(chǔ)，每一行表示一副圖像〕，前1024位是R值，中間1024位是G值，最后1024位是Ｂ值，數(shù)據(jù)集樣例如圖3-1所示。我們對(duì)實(shí)驗(yàn)數(shù)據(jù)集僅作簡(jiǎn)單的裁剪與白化處理后將像素值送入神經(jīng)網(wǎng)絡(luò)中進(jìn)行訓(xùn)練。圖3-1CIFAR-10數(shù)據(jù)集樣例3.2模型設(shè)計(jì)在上一章中我們對(duì)卷積神經(jīng)網(wǎng)絡(luò)性能的影響因素進(jìn)行了分析，如何選擇感受野大小、核個(gè)數(shù)、池化大小、網(wǎng)絡(luò)的層數(shù)等。對(duì)此，我們根據(jù)這些影響因素并結(jié)合CIFAR-10數(shù)據(jù)集，設(shè)計(jì)了兩個(gè)模型。一種是淺層卷積網(wǎng)絡(luò)模型，一種是深度卷積網(wǎng)絡(luò)模型，淺層卷積網(wǎng)絡(luò)模型受GoogleTensorFlow的教學(xué)手冊(cè)啟發(fā)，深度卷積網(wǎng)絡(luò)模型是結(jié)合了影響卷積網(wǎng)絡(luò)性能的影響因素設(shè)計(jì)而成。淺層卷積網(wǎng)絡(luò)與深度卷積網(wǎng)絡(luò)的結(jié)構(gòu)圖分別如圖3-2與圖3-3所示。圖3-2淺層卷積網(wǎng)絡(luò)圖3-3深度卷積網(wǎng)絡(luò)兩個(gè)網(wǎng)絡(luò)的架構(gòu)圖分別如表3-1與表3-2所示。表3-1淺層卷積網(wǎng)絡(luò)架構(gòu)圖typePatchSize/stridesFeatureMapsdepthactivationlearningruleconvolution3×3321ReLuSGD+Momentummaxpool3×3/[1,2,2,1]320convolution3×3641maxpool3×3/[1,2,2,1]640Fullconnection1×3384/1922softmax101表3-2深度卷積網(wǎng)絡(luò)架構(gòu)圖typePatchSize/stridesFeatureMapsdepthactivationlearningruleconvolution3×3322ReLuSGD+Momentummaxpool3×3/[1,2,2,1]320convolution3×3642maxpool3×3/[1,2,2,1]640convolution3×31282maxpool3×3/[1,2,2,1]1280convolution3×32562maxpool3×3/[1,2,2,1]2560Fullconnection1×3384/1922softmax101假設(shè)我們將下采樣層(pooling)與歸一化層〔BatchNormalization〕不計(jì)入網(wǎng)絡(luò)層數(shù)的計(jì)算，那么我們?cè)O(shè)計(jì)的淺層網(wǎng)絡(luò)的深度為5，深度網(wǎng)絡(luò)的深度為11。3.3實(shí)驗(yàn)結(jié)果與分析實(shí)驗(yàn)環(huán)境與根本參數(shù)設(shè)置：實(shí)驗(yàn)中我們采用Python+tensorflow進(jìn)行編程，tensorflow是Google開(kāi)發(fā)的一種深度學(xué)習(xí)框架，其提供了C++與Python接口，主要支持Linux與MacOS，這種框架主要采用先進(jìn)的圖計(jì)算，即使用有向圖的節(jié)點(diǎn)和邊共同描述數(shù)學(xué)計(jì)算。graph中的nodes代表數(shù)學(xué)操作，也可以表示數(shù)據(jù)輸入輸出的端點(diǎn)。邊表示節(jié)點(diǎn)之間的關(guān)系，傳遞操作之間互相使用的多位數(shù)組〔tensors，張量〕，tensor在graph中流動(dòng)——這也就是TensorFlow名字的由來(lái)。一旦節(jié)點(diǎn)相連的邊傳來(lái)了數(shù)據(jù)流，節(jié)點(diǎn)就被分配到計(jì)算設(shè)備上異步的〔節(jié)點(diǎn)間〕、并行的〔節(jié)點(diǎn)內(nèi)〕執(zhí)行，這種靈活的架構(gòu)允許我們使用相同的API在單或多CPUs或GPU，效勞器及移動(dòng)設(shè)備上進(jìn)行計(jì)算。本文的編程環(huán)境處于Linux之中，具體的實(shí)驗(yàn)室環(huán)境如表3-3所示：表3-3實(shí)驗(yàn)環(huán)境CPUi5-6500CPU@3.20GHzGPUGTX750ti@2GB內(nèi)存8GB操作系統(tǒng)Linuxmint18深度學(xué)習(xí)框架GoogleTensorFlow〔r0.12〕編程語(yǔ)言Python2.7為了后續(xù)進(jìn)行比照實(shí)驗(yàn)，我們配置了根本的實(shí)驗(yàn)參數(shù)，后續(xù)相關(guān)的實(shí)驗(yàn)參數(shù)也是在根本參數(shù)上進(jìn)行變動(dòng)。權(quán)值衰減的實(shí)現(xiàn)是在代價(jià)函數(shù)中增加懲罰項(xiàng)，隨機(jī)訓(xùn)練樣本會(huì)造成這懲罰項(xiàng)產(chǎn)生較大的隨機(jī)突變，干擾梯度更新方向的穩(wěn)定性，同時(shí)增大訓(xùn)練誤差，故懲罰項(xiàng)的參數(shù)需要非常小，一般都要小于0.001；另外，對(duì)神經(jīng)元隨機(jī)失能的比例不能太大，否那么隨機(jī)噪聲會(huì)淹沒(méi)訓(xùn)練集的作用；批處理尺寸〔batchsize〕不能太大，負(fù)責(zé)會(huì)造成迭代過(guò)慢及內(nèi)存溢出問(wèn)題，我們?cè)贑NN的訓(xùn)練時(shí)間、準(zhǔn)確率和穩(wěn)定性之間進(jìn)行折中后的根本實(shí)驗(yàn)參數(shù)如表3-4所示。表3-4根本實(shí)驗(yàn)參數(shù)參數(shù)取值輸入圖像尺寸〔image_size〕批處理尺寸〔batchsize〕128初始學(xué)習(xí)速率〔〕0.1學(xué)習(xí)速率衰減率〔〕0.1衰減間隔〔NUM_EPOCHS_PER_DECAY〕350動(dòng)量系數(shù)〔〕0.9Dropout比例〔〕0.5權(quán)值衰減項(xiàng)權(quán)重〔〕[0,0.001]最大迭代步數(shù)〔max_steps〕10003.3.2不同batchsize比照實(shí)驗(yàn)我們采取不同的batchsize，并選取隨機(jī)梯度下降學(xué)習(xí)算法，在CIFAR-10數(shù)據(jù)集上進(jìn)行了比照實(shí)驗(yàn)，各種不同batchsize對(duì)應(yīng)的代價(jià)函數(shù)曲線如圖3-4所示。(a)batchsize=128(b)batchsize=256(c)batchsize=512(d)batchsize=1024圖3-4不同batchsize的代價(jià)函數(shù)曲線從圖3-4可以看出，batchsize為128與256時(shí)，代價(jià)函數(shù)的震蕩較劇烈，隨著batchsize增大到512與1024，代價(jià)函數(shù)的下降變得相對(duì)平穩(wěn)，這是由于batchsize越大越能代表總體的訓(xùn)練集樣本分布，但是batchsize越大，每次迭代所需時(shí)間就近線性增長(zhǎng)，在實(shí)驗(yàn)室中，不同的batchsize對(duì)應(yīng)的處理速度如表3-5。表3-5不同batchsize的處理速度batchsize處理速度〔sec/batch〕1280.102560.215120.4310240.85在后續(xù)實(shí)驗(yàn)中，為了加快收斂速度，我們?nèi)atchsize=128。3.3.3不同激活函數(shù)比照實(shí)驗(yàn)我們分別選擇三種激活函數(shù)，均采取Adam學(xué)習(xí)算法，經(jīng)過(guò)1000次迭代后的代價(jià)函數(shù)曲線如圖3-5所示。(a)sigmoid(b)tanh(c)ReLu圖3-5不同激活函數(shù)的代價(jià)函數(shù)曲線從上圖中我們可以看出，在相同的迭代次數(shù)下，sigmoid型激活函數(shù)對(duì)應(yīng)的代價(jià)函數(shù)值降低到2.0左右，而tanh型激活函數(shù)的代價(jià)函數(shù)下降到一個(gè)更小的值〔1.0~1.5〕，最后ReLu激活函數(shù)的震蕩更小，對(duì)應(yīng)代價(jià)函數(shù)下降到一個(gè)比tanh型函數(shù)更小的值，這與其特性〔①單側(cè)抑制②相對(duì)寬闊的興奮邊界③稀疏激活性〕有關(guān)，所以ReLu型激活函數(shù)更適用于深度神經(jīng)網(wǎng)絡(luò)，后續(xù)我們的實(shí)驗(yàn)也是默認(rèn)采用ReLu激活函數(shù)。不同學(xué)習(xí)算法比照實(shí)驗(yàn)在保持根本實(shí)驗(yàn)參數(shù)設(shè)置的情況下，三種不同的學(xué)習(xí)算法的代價(jià)函數(shù)曲線如圖3-6所示。從曲線圖我們可以看出，SGD〔隨機(jī)梯度下降法〕收斂速度最慢，而且曲線震蕩明顯；SGD+Momentum(隨機(jī)梯度下降加動(dòng)量因子)震蕩減小且收斂速度加快，如果迭代次數(shù)足夠多，可以收斂到一個(gè)比擬理想的值；Adam(自適應(yīng)矩估計(jì)法)收斂速度最快，且震蕩較小，如果對(duì)精度沒(méi)有嚴(yán)格要求話，Adam是一個(gè)較理想的選擇〔后續(xù)比照實(shí)驗(yàn)也默認(rèn)采用Adam學(xué)習(xí)算法〕。(a)SGD(b)SGD+Momentum(c)Adam圖3-6不同學(xué)習(xí)算法的代價(jià)函數(shù)曲線3.3.5不同特征圖個(gè)數(shù)比照實(shí)驗(yàn)我們以之前設(shè)計(jì)的淺層卷積網(wǎng)絡(luò)為根底，分別設(shè)置兩層卷積層的特征圖〔FeatureMaps〕個(gè)數(shù)為16-16,32-32,64-64，卷積核尺寸為5×5，pooling窗口尺寸為3×3，其他層保持不變，迭代10000步后，不同數(shù)目的特征圖對(duì)應(yīng)的測(cè)試集分類精度如表3-6所示。表3-6不同F(xiàn)eatureMaps對(duì)應(yīng)的測(cè)試集精度FeatureMapsPresion16-1670.0%32-3275.0%64-6479.5%由表3-5可知，在一定范圍內(nèi)，隨著特征圖〔FeatureMaps〕個(gè)數(shù)的增多，對(duì)應(yīng)的分類精度就越大，這是由于特征圖個(gè)數(shù)越多，從輸入圖像中提取到的特征也就越多，模型的表達(dá)能力也就越強(qiáng)，所以在計(jì)算能力允許的情況下我們應(yīng)該盡量增加特征圖的數(shù)目，提高圖像特征的提取質(zhì)量進(jìn)而增強(qiáng)模型的表達(dá)能力。不同池化方式比照實(shí)驗(yàn)我們保持根本實(shí)驗(yàn)參數(shù)不變，分別采用averagepooling〔均值采樣〕與maxpooling〔最大采樣〕兩種池化方式，迭代10000次后的對(duì)應(yīng)的測(cè)試集分類精度如表3-6所示，相應(yīng)的代價(jià)函數(shù)曲線如圖3-7所示。表3-7不同池化方式對(duì)應(yīng)的測(cè)試集精度PoolingPresionAveragepoling77.9%Maxpooling79.5%(a)averagepooling(b)maxpooling圖3-7不同pooling方式對(duì)應(yīng)的代價(jià)函數(shù)曲線從表3-6可以看出采用maxpooling取得了更高的分類精度，從兩者的代價(jià)函數(shù)曲線也可以看出maxpooling可以將代價(jià)函數(shù)降到更低，這是由于maxpooling減小了卷積層參數(shù)誤差造成的估計(jì)均值偏移，所以后續(xù)的實(shí)驗(yàn)中我們也將采用maxpooling的方式。不同卷積層數(shù)比照實(shí)驗(yàn)我們?cè)谥霸O(shè)計(jì)的淺層卷積網(wǎng)絡(luò)的根底上增加兩層卷積層，并與淺層卷積網(wǎng)絡(luò)、深度卷積網(wǎng)絡(luò)一起進(jìn)行比照實(shí)驗(yàn)，保持根本的實(shí)驗(yàn)參數(shù)不變，采用Adam學(xué)習(xí)算法，迭代10000次后的分類精度如表3-8所示。表3-8不同卷積層數(shù)對(duì)應(yīng)的測(cè)試集精度卷積層數(shù)Presion279.5%683.1%883.6%由表3-8可知，隨著卷積層數(shù)的增多相應(yīng)的分類精度也在提高，這是由于卷積層數(shù)越多，對(duì)特征的抽象能力也就越強(qiáng)大，最后提取到的特征質(zhì)量也就越高，所以一般來(lái)說(shuō)，深度卷積網(wǎng)絡(luò)比淺層卷積網(wǎng)絡(luò)的性能要好。深度卷積網(wǎng)絡(luò)模型實(shí)驗(yàn)我們?cè)O(shè)置最大迭代次數(shù)為50000次，采用SGD+Momentum的學(xué)習(xí)算法，初始化學(xué)習(xí)率，每隔125次Epoch學(xué)習(xí)率衰減為上一次的0.1倍，其他參數(shù)保持根本參數(shù)不變，對(duì)應(yīng)的代價(jià)函數(shù)曲線如圖3-8所示。圖3-8深度卷積網(wǎng)絡(luò)模型代價(jià)函數(shù)曲線經(jīng)過(guò)50000次迭代后，代價(jià)函數(shù)大約穩(wěn)定在0.20左右，最低為0.10，最后的分類精度為88.1%，CIFAR-10局部論文的分類精度如圖3-9所示。從圖中可以看出，本文的分類精度優(yōu)于許多論文得到的分類精度，但是由于本文的方法并未對(duì)訓(xùn)練集圖像做精細(xì)的預(yù)處理，所以本文的分類精度比一些做過(guò)相應(yīng)預(yù)處理的論文結(jié)果要低；觀察代價(jià)函數(shù)曲線可知，假設(shè)迭代次數(shù)再增大，代價(jià)函數(shù)可以再進(jìn)一步下降，但由于本文中使用的計(jì)算機(jī)計(jì)算能力有限，假設(shè)迭代更多的次數(shù)需要的時(shí)間會(huì)很長(zhǎng)，就不做進(jìn)一步的迭代。圖3-9CIFAR-10局部論文分類精度4結(jié)論本文通過(guò)分析影響卷積神經(jīng)網(wǎng)絡(luò)模型的各個(gè)因素〔網(wǎng)絡(luò)層數(shù)、學(xué)習(xí)算法、卷積核大小、pooling方式、激活函數(shù)、Dropout、BatchNormalization等〕，針對(duì)CIFAR-10圖像數(shù)據(jù)集，設(shè)計(jì)了兩個(gè)卷積網(wǎng)絡(luò)模型〔淺層網(wǎng)絡(luò)模型與深度網(wǎng)絡(luò)模型〕，經(jīng)過(guò)實(shí)驗(yàn)比照，本文設(shè)計(jì)的深度網(wǎng)絡(luò)模型的分類精度更高，并取得了88.1%的分類精度，比CIFAR-10官網(wǎng)上公布的大局部論文的分類精度要高，假設(shè)想進(jìn)一步提高分類精度，可以從以下幾個(gè)方面進(jìn)行改良：對(duì)學(xué)習(xí)率進(jìn)行更加精細(xì)的設(shè)計(jì)，使得在代價(jià)函數(shù)降低到0.2以下時(shí)可以有更加適合的學(xué)習(xí)率與之對(duì)應(yīng)。對(duì)輸入圖像進(jìn)行精細(xì)的預(yù)處理〔比方濾波、白化等〕原數(shù)據(jù)集進(jìn)行數(shù)據(jù)增強(qiáng)，并進(jìn)行更屢次的迭代。參考文獻(xiàn)[1]李曉普.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類[D].大連理工大學(xué),2023.[2]楚敏南.基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類技術(shù)研