卷積神經(jīng)網(wǎng)絡(luò)報告課件

卷積神經(jīng)網(wǎng)絡(luò)介紹

AnnualReport匯報人：1卷積神經(jīng)網(wǎng)絡(luò)介紹

AnnualReport匯報人：1受Hubel和Wiesel對貓視覺皮層電生理研究啟發(fā)，有人提出卷積神經(jīng)網(wǎng)絡(luò)（CNN），YannLecun最早將CNN用于手寫數(shù)字識別并一直保持了其在該問題的霸主地位。與普通神經(jīng)網(wǎng)絡(luò)的區(qū)別在于，卷積神經(jīng)網(wǎng)絡(luò)增加了卷積層和池化層的概念。單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容卷積神經(jīng)網(wǎng)絡(luò)概述2受Hubel和Wiesel對貓視覺皮層電生理研究啟發(fā)，有人提傳統(tǒng)的BP網(wǎng)絡(luò)包括輸入層、隱藏層、輸出層。下面的CNN網(wǎng)絡(luò)以一張圖片作為輸入，先經(jīng)過卷積層得到C1，再經(jīng)過池化層得到S1，再經(jīng)過卷積層得到C2，再經(jīng)過池化層得到S2。將S2的所有圖片展開生成X，之后連接上普通的全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行圖片的分類。需要注意的是S1到C2的的連接，C2層的每個神經(jīng)元只是部分與S1層的神經(jīng)元連接，而傳統(tǒng)的BP網(wǎng)絡(luò)中每個神經(jīng)元會與上一層的所有神經(jīng)元進(jìn)行連接。單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容傳統(tǒng)的BP網(wǎng)絡(luò)和CNN網(wǎng)絡(luò)的區(qū)別3傳統(tǒng)的BP網(wǎng)絡(luò)包括輸入層、隱藏層、輸出層。單擊添加標(biāo)題，建議單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容卷積的過程左邊是被卷積圖片的像素顯示，其中的數(shù)字代表每個像素點的像素值。中間的小圖片就是卷積核，卷積核會從圖片的左上角開始從左到右從上到下的進(jìn)行卷積操作，每一次的卷積操作如右圖所示：卷積核里的每個值與其對應(yīng)位置的圖片像素值相乘，再將所有相乘的結(jié)果求和就得到了結(jié)果。卷積核中的參數(shù)值最開始是隨即生成的，CNN網(wǎng)絡(luò)訓(xùn)練的目的就是訓(xùn)練卷積核里的這些參數(shù)，這些參數(shù)相當(dāng)于BP網(wǎng)絡(luò)中的權(quán)重w。4單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容卷積的過程右圖是一個卷積的動態(tài)過程，黃色區(qū)域就是卷積核，右下角的小數(shù)字是卷積核的參數(shù)，這里卷積核的移動步長是一個單位。若原圖尺寸為a*a，卷積核尺寸為b*b，則卷積操作生成的圖片尺寸為(a-b+1)*(a-b+1)，也就是說生成的圖片一般會比原圖小一些。5單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容池化的過程一般經(jīng)過卷積操作后生成的圖像尺寸還是太大，為了減少網(wǎng)絡(luò)計算的復(fù)雜度，需要把卷及操作后的圖片進(jìn)行縮小，也就是進(jìn)行池化(Pooling)。池化字面理解就是把圖片分成一個個池子，常用的池化有最大池化和平均池化，右圖展示的是最大池化，把圖片分為了四個2*2的池子，選取每個池子中的最大值作為結(jié)果。平均池化就是取每個池子的平均值作為結(jié)果。右圖中經(jīng)過池化圖片尺寸就縮減為原圖的一半。6單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容CNN網(wǎng)絡(luò)的執(zhí)行過程在這個例子中，CNN的輸入是一張32*32像素的黑白圖片，其中每個像素點的像素值的范圍在0~255。首先它會經(jīng)過第一層卷積層得到C1層，這個卷積層有六個神經(jīng)元，每個神經(jīng)元包含一個卷積核，每個卷積核對輸入圖片進(jìn)行卷積操作生成一張新的28*28的圖片，這樣經(jīng)過了這層卷積層，就能得到圖中C1層所示的六張圖片。7單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容CNN網(wǎng)絡(luò)的執(zhí)行過程右圖展示了Input圖片經(jīng)過卷基層的過程，該卷基層有六個神經(jīng)元，每個神經(jīng)元有一個卷積核。8單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容CNN網(wǎng)絡(luò)的執(zhí)行過程由C1到S2的過程就是池化的過程，對C1層的六張圖片進(jìn)行池化操作，讓每張圖片的尺寸變?yōu)樵瓉淼囊话搿?單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容CNN網(wǎng)絡(luò)的執(zhí)行過程從S2到C3的過程是我認(rèn)為最重要也是最難理解的過程，從S2經(jīng)過第二層卷積層生成了C3，這個過程和從Input到C1一樣是一個卷積的過程，但從Input到C1的過程輸入只有一張圖片也就是Input，但S2卻有六張圖片作為輸入，下面來說明一下從S2到C3的過程。10單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容CNN網(wǎng)絡(luò)的執(zhí)行過程由于S2層和C3層所涉及的圖片太多，不方便說明原理，所以這里假設(shè)S2層有三張圖片，C3層有兩張圖片。這里有一個規(guī)則：有多少張輸出圖片，就有多少個神經(jīng)元；有多少張輸入圖片，每個神經(jīng)元就有多少個卷積核。右圖中有三張圖片的輸入，兩張圖片的輸出，所以卷積層有兩個神經(jīng)元，每個神經(jīng)元有三個卷積核。11單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容CNN網(wǎng)絡(luò)的執(zhí)行過程右邊的動圖顯示的是上一張圖片的動態(tài)過程，左邊三張藍(lán)色圖片對應(yīng)S2層的三張輸入圖片，中間的兩列的紅色圖片對應(yīng)兩個神經(jīng)元中的卷積核，右邊兩個綠色的圖片對應(yīng)C3層的兩張輸出圖片。12單擊添加標(biāo)題，建議您在展示時采用微軟雅黑字體單擊此處編輯內(nèi)容單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單擊此處輯內(nèi)容CNN網(wǎng)絡(luò)的執(zhí)行過程由C3到S4的過程又是一個池化的過程，對C3層的十六張圖片進(jìn)行池化操作，讓每張圖片的尺寸變?yōu)樵瓉淼囊话?。S4之后就是全連接層了，S4層的十六張圖片需要展開成一個向量作為全連接層的輸入。13單擊此處編輯內(nèi)容單擊添加標(biāo)題，建議您在展示時采用微軟雅黑體單單擊添加標(biāo)題，建議您在展示時采用微軟