卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座

目錄卷積神經(jīng)網(wǎng)絡(luò)發(fā)展及其特點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)模型卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉識別卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第1頁Hubel和Wiesel在研究貓腦皮層中用于局部敏感方向選擇神經(jīng)元時，發(fā)覺其獨(dú)特網(wǎng)絡(luò)結(jié)構(gòu)能夠有效降低反饋神經(jīng)網(wǎng)絡(luò)復(fù)雜性。Fukushima提出了第一個基于神經(jīng)元之間局部連接型和層次結(jié)構(gòu)組織用于轉(zhuǎn)化圖像網(wǎng)絡(luò)Neocognition.依據(jù)Fukushima觀點(diǎn)，LeCun提出了以LeNet為代表卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)發(fā)展卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第2頁卷積神經(jīng)網(wǎng)絡(luò)特點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)是一類尤其設(shè)計(jì)用來處理二維數(shù)據(jù)多層神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)被認(rèn)為是第一個真正成功采取多層層次結(jié)構(gòu)網(wǎng)絡(luò)含有魯棒性深度學(xué)習(xí)方法。用卷積神經(jīng)網(wǎng)絡(luò)做圖像處理時，原始圖像不需要太多預(yù)處理就能夠很好地學(xué)習(xí)到圖像不變性特征。權(quán)值共享、局部感受野和子采樣是卷積神經(jīng)網(wǎng)絡(luò)不一樣于其它神經(jīng)網(wǎng)絡(luò)三個主要特征。卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第3頁卷積神經(jīng)網(wǎng)絡(luò)模型輸入圖像經(jīng)過濾波器和可加偏置進(jìn)行卷積得到C1層；對C1層特征圖進(jìn)行下采樣得到S2層；對S2層特征圖進(jìn)行卷積得到C3層；對C3層特征圖進(jìn)行下采樣得到S4層；S4層特征圖光柵化后變成向量輸入到傳統(tǒng)全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行深入分類，得到輸出；輸入C1S2C3S4NN卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第4頁卷積和下采樣（降采樣）過程

∑

X∑

*∑input

卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第5頁卷積過程池化過程：取某個特定區(qū)域最大值或平均值1110001110001110011001100101010101111011001

×圖像卷積特征5249386161839138取平均值94卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第6頁卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練過程第一階段：前向傳輸過程第二階段：反向傳輸過程從樣本集中取一個樣本輸入到網(wǎng)絡(luò)中；計(jì)算對應(yīng)實(shí)際輸出；在這個階段，輸入信息經(jīng)過逐層變換，傳輸?shù)捷敵鰧?。主要是前向特征提取。?jì)算實(shí)際輸出與期望輸出差；按極小化誤差方法反向傳輸，調(diào)整權(quán)值矩陣；反向傳輸就是誤差反向反饋和權(quán)值更新。卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第7頁網(wǎng)絡(luò)訓(xùn)練流程圖圖像輸入卷積和采樣過程全連接層輸出層是否符合期望輸出結(jié)果參數(shù)初始化前向反饋?zhàn)儞Q、計(jì)算增強(qiáng)、邏輯回歸是前向傳輸否誤差反饋權(quán)值更新反向傳輸卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第8頁OlivettiFaces人臉數(shù)據(jù)集介紹OlivettiFaces是紐約大學(xué)一個比較小人臉庫包含40個人人臉圖片，每個人10張人臉樣本，共400份樣本卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第9頁程序所參考卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：LeNet-5兩個“卷積+子采樣層”LeNetConvPoolLayer全連接層相當(dāng)于MLP（多層感知機(jī)）中隱含層HiddenLayer輸出層采取邏輯回歸LogisticRegressioninput+layer0(LeNetConvPoolLayer)+layer1(LeNetConvPoolLayer)+layer2(HiddenLayer)+layer3(LogisticRegression)卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第10頁程序模塊介紹加載圖像數(shù)據(jù)函數(shù)：load_data(dataset_path)卷積+采樣層：classLeNetConvPoolLayer(object)全連接層（隱藏層）：classHiddenLayer(object)分類器，即CNN最終一層：classLogisticRegression(object)保留訓(xùn)練參數(shù)函數(shù)：save_params(param1,param2,param3,param4)卷積神經(jīng)網(wǎng)絡(luò)在圖像識別中的應(yīng)用專家講座第11頁learning_rate=0.05 //學(xué)習(xí)速率batch_size=40 //一次輸入CNN樣本數(shù)n_epochs=100 //最大訓(xùn)練步數(shù)nkerns=[20,50]

//第一層卷積核個數(shù)為20，

第二層卷積核個數(shù)為50poolsize=(2,2) //從