基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別

基于卷積神經(jīng)網(wǎng)絡(luò)的手寫數(shù)字識別第1頁/共20頁第2頁/共20頁第3頁/共20頁卷積神經(jīng)網(wǎng)絡(luò)基于人工神經(jīng)網(wǎng)絡(luò)使用卷積核作為特征抽取器自動訓練特征抽取器（即卷積核，即閾值參數(shù)）卷積核一次訓練多次使用，可以在線學習（模型在訓練好之后，在使用中繼續(xù)訓練）。局部感受野+權(quán)值共享+下采樣使模型參數(shù)大幅減小。第4頁/共20頁第5頁/共20頁第6頁/共20頁7卷積w13w12w11w23w22w21w33w32w3110-110-110-1ConvolvewithThresholdw13w12w11w23w22w21w33w32w31卷積其實是一個圖像處理核卷積用于增強圖像的某種特征，降低噪音第7頁/共20頁8卷積features第8頁/共20頁9卷積第9頁/共20頁子采樣利用圖像局部相關(guān)性的原理，減少訓練維數(shù)，同時保留了有用信息降低圖像分辨率增強網(wǎng)絡(luò)對大小變化的適用性第10頁/共20頁子采樣第11頁/共20頁第12頁/共20頁為什么不把S2中的每個特征圖連接到每個C3的特征圖呢？原因有2點。第一，不完全的連接機制將連接的數(shù)量保持在合理的范圍內(nèi)。第二，也是最重要的，其破壞了網(wǎng)絡(luò)的對稱性。由于不同的特征圖有不同的輸入，所以迫使他們抽取不同的特征。第13頁/共20頁訓練過程訓練算法與傳統(tǒng)的BP算法差不多。主要包括4步，這4步被分為兩個階段：第一階段，向前傳播階段：a）從樣本集中取一個樣本(X,Yp)，將X輸入網(wǎng)絡(luò)；b）計算相應(yīng)的實際輸出Op。

在此階段，信息從輸入層經(jīng)過逐級的變換，傳送到輸出層。這個過程也是網(wǎng)絡(luò)在完成訓練后正常運行時執(zhí)行的過程。在此過程中，網(wǎng)絡(luò)執(zhí)行的是計算（實際上就是輸入與每層的權(quán)值矩陣相點乘，得到最后的輸出結(jié)果）：

Op=Fn（…（F2（F1（XpW（1））W（2））…）W（n））第二階段，向后傳播階段a）算實際輸出Op與相應(yīng)的理想輸出Yp的差；b）按極小化誤差的方法反向傳播調(diào)整權(quán)矩陣。第14頁/共20頁15LeNet5第15頁/共20頁16LeNet5第16頁/共20頁優(yōu)點

卷積神經(jīng)網(wǎng)絡(luò)較一般神經(jīng)網(wǎng)絡(luò)在圖像處理方面有如下優(yōu)點：

a）輸入圖像和網(wǎng)絡(luò)的拓撲結(jié)構(gòu)能很好的吻合；b）特征提取和模式分類同時進行，并同時在訓練中產(chǎn)生；c）權(quán)重共享可以減少網(wǎng)絡(luò)的訓練參數(shù)，使神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)變得更簡單，適應(yīng)性更強。第17頁/共20頁缺點實踐中，具有類標號的數(shù)據(jù)較少，而不具有類標號的數(shù)據(jù)非常豐富，為每個數(shù)據(jù)人工設(shè)置類標號是非常費時和枯燥的。然而，為了使得監(jiān)督卷積神經(jīng)網(wǎng)絡(luò)通過訓練具有較高的泛化能力，需要大量具有類標號的訓練樣本，這也是制約臨督卷積神經(jīng)網(wǎng)絡(luò)在實踐巾應(yīng)用的主要因素。第18頁/共20頁卷積神經(jīng)網(wǎng)絡(luò)的非監(jiān)督深層網(wǎng)絡(luò)含有較多的權(quán)值，當具有類標號的訓練樣本較少時，僅使用監(jiān)督訓練的方法不能充分訓練深層網(wǎng)絡(luò)。近年來，深層學習的研究表明，可以先使用沒有類標號的訓練樣本逐層非脆督訓練深層網(wǎng)絡(luò)，而后，再使用少量具有類標號的訓練樣本監(jiān)督訓練深層網(wǎng)絡(luò)，進行權(quán)值微調(diào)，這樣在具有類標號的訓練樣本較少時，也能訓練出泛化能力較高的深層網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的非監(jiān)督訓練算法主要