卷積神經(jīng)網(wǎng)絡(luò)課件

卷積神經(jīng)網(wǎng)絡(luò)

人工智能卷積神經(jīng)網(wǎng)絡(luò)

人工智能1什么是卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是深度度學(xué)習(xí)的代表算法之一

。卷積神經(jīng)網(wǎng)絡(luò)具有表征學(xué)習(xí)能力，能夠按其階層結(jié)構(gòu)對(duì)輸入信息進(jìn)行平移不變分類，因此也被稱為“平移不變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)”。前饋神經(jīng)網(wǎng)絡(luò)：每個(gè)神經(jīng)元只與前一層的神經(jīng)元相連。接收前一層的輸出，并輸出給下一層．各層間沒(méi)有反饋。表征學(xué)習(xí)：特征學(xué)習(xí)，將原始數(shù)據(jù)轉(zhuǎn)換成為能夠被機(jī)器學(xué)習(xí)來(lái)有效開(kāi)發(fā)的一種形式。它避免了手動(dòng)提取特征的麻煩，允許計(jì)算機(jī)學(xué)習(xí)使用特征的同時(shí)，也學(xué)習(xí)如何提取特征：學(xué)習(xí)如何學(xué)習(xí)。特征學(xué)習(xí)：如果人們選擇圖像中的連續(xù)范圍作為池化區(qū)域，并且只是池化相同(重復(fù))的隱藏單元產(chǎn)生的特征，那么，這些池化單元就具有平移不變性。這就意味著即使圖像經(jīng)歷了一個(gè)小的平移之后，依然會(huì)產(chǎn)生相同的(池化的)特征。什么是卷積神經(jīng)網(wǎng)絡(luò)是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)2發(fā)展歷程1959年發(fā)現(xiàn)動(dòng)物視覺(jué)原理提出人工神經(jīng)感知機(jī)1980年1990年提出CNN的原始版本1998年提出基于梯度學(xué)習(xí)的LeNet-52012年提出更有深度結(jié)果的AlexNet2013年

ZFNet2014年VGGNet、GoogLeNet至今

ResNet等發(fā)展歷程1959年發(fā)現(xiàn)動(dòng)物視覺(jué)原理提出人工神經(jīng)感知機(jī)19803動(dòng)物視覺(jué)原理1958年，DavidHubel和TorstenWiesel在JohnHopkinsUniversity，研究瞳孔區(qū)域與大腦皮層神經(jīng)元的對(duì)應(yīng)關(guān)系。他們?cè)谪埖暮竽X頭骨上，開(kāi)了一個(gè)3毫米的小洞，向洞里插入電極，測(cè)量神經(jīng)元的活躍程度。發(fā)現(xiàn)方向選擇性細(xì)胞。當(dāng)瞳孔發(fā)現(xiàn)了眼前的物體的邊緣，而且這個(gè)邊緣指向某個(gè)方向時(shí)，這種神經(jīng)元細(xì)胞就會(huì)活躍。

這個(gè)發(fā)現(xiàn)激發(fā)了人們對(duì)于神經(jīng)系統(tǒng)的進(jìn)一步思考。神經(jīng)-中樞大腦的工作過(guò)程，或許是一個(gè)不斷迭代、不斷抽象的過(guò)程。動(dòng)物視覺(jué)原理1958年，DavidHubel和Tors4神經(jīng)感知機(jī)S型細(xì)胞

用于提取局部特征。C型細(xì)胞

對(duì)S型細(xì)胞的輸入進(jìn)行一些處理,如圖像較小的位移或輕微變形等。神經(jīng)感知機(jī)S型細(xì)胞5圖像特征

復(fù)雜圖形，往往由一些基本結(jié)構(gòu)組成。一個(gè)圖可以通過(guò)用64種正交的edges（可以理解成正交的基本結(jié)構(gòu)）來(lái)線性表示。比如樣例中的小圖片可以用1-64個(gè)edges中的三個(gè)按照0.8,0.3,0.5的權(quán)重調(diào)和而成。而其他基本edge沒(méi)有貢獻(xiàn)，因此均為0。圖像特征復(fù)雜圖形，往往由一些基本結(jié)構(gòu)組成。6舉個(gè)例子

首先，底層神經(jīng)元感知像素（pixeis）,第二層V2在V1的基礎(chǔ)上抽象出了edges,V3繼續(xù)在V2基礎(chǔ)上抽象，直到最后一層組合出了具體的圖像。舉個(gè)例子首先，底層神經(jīng)元感知像素（pixeis7總結(jié)在此處添加總結(jié)?？偨Y(jié)在此處添加總結(jié)。8

另外人們還發(fā)現(xiàn)，不光圖像有這樣的特性，聲音也有。人們經(jīng)過(guò)研究從未標(biāo)注的聲音中發(fā)現(xiàn)了20種基本的聲音結(jié)構(gòu)。另外人們還發(fā)現(xiàn)，不光圖像有這樣的特性，聲音也有9卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多個(gè)二維平面(特征圖)組成，每個(gè)平面通過(guò)一個(gè)卷積濾波器提取一個(gè)特征。而每個(gè)平面由多個(gè)獨(dú)立神經(jīng)元組成。組成：輸入層、卷積層、池化層、全連接層、輸出層。

上圖第一層為輸入層，第二層為卷積層，第三層為池化層，第四層為卷積層，第五層為池化層，第六層為全連接層，最后為輸出層。卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)卷積神經(jīng)網(wǎng)絡(luò)是一個(gè)多層的神經(jīng)網(wǎng)絡(luò)，每層由多10工作過(guò)程輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，濾波過(guò)程如圖一，卷積后在C1層產(chǎn)生三個(gè)特征映射圖，然后特征映射圖中每組的四個(gè)像素再進(jìn)行求和，加權(quán)值，加偏置，通過(guò)一個(gè)Sigmoid函數(shù)得到三個(gè)S2層的特征映射圖。這些映射圖再進(jìn)過(guò)濾波得到C3層。這個(gè)層級(jí)結(jié)構(gòu)再和S2一樣產(chǎn)生S4。最終，這些像素值被光柵化，并連接成一個(gè)向量輸入到傳統(tǒng)的神經(jīng)網(wǎng)絡(luò)，得到輸出。工作過(guò)程輸入圖像通過(guò)和三個(gè)可訓(xùn)練的濾波器和可加偏置進(jìn)行卷積，11卷積層輸入層就是讀取圖像，這里不多說(shuō)。卷積層：通過(guò)卷積核與圖像卷積，提取圖像特征。另外卷積核的參數(shù)是可以訓(xùn)練的。比如現(xiàn)在有一個(gè)3X3的卷積核：我們用它來(lái)卷積圖下面的圖像-1-1-1-18-1-1-1-1卷積層輸入層就是讀取圖像，這里不多說(shuō)。-1-1-1-18-112第一張是原圖，第二張是卷積結(jié)果。通過(guò)觀察我們發(fā)現(xiàn)，通過(guò)卷積核的卷積處理，圖像的高頻特征被提取出來(lái)了。第一張是原圖，第二張是卷積結(jié)果。13池化層池化層，就是把每四個(gè)單元里的值用一個(gè)值來(lái)代替。池化分為很多種，最常見(jiàn)的是最大值池化和平均池化加入有四個(gè)單元：如果是最大池化，則為9，如果是平均池化則為(5+4+7+9)/4。5479池化層池化層，就是把每四個(gè)單元里的值用一個(gè)值來(lái)代替。547914

特征提取后傳給，池化層（pooling）采樣后，數(shù)據(jù)量就會(huì)變小。池化層得到數(shù)據(jù)后又和下一次卷積層卷積，進(jìn)一步提取特征。經(jīng)過(guò)多次提取采樣后與傳給全連接層全，連接層處理后，輸出結(jié)果。特征提取后傳給，池化層（pooling）采樣后15全連接層如上圖，全連接層的每一個(gè)神經(jīng)元都和前一層相連，然后其通過(guò)分類器，根據(jù)全連接得到的數(shù)據(jù)對(duì)圖像進(jìn)行分類。根據(jù)分類輸出分類結(jié)果。全連接層如上圖，全連接層的每一個(gè)神經(jīng)元都和前一層相連，然后其16回顧卷積神經(jīng)網(wǎng)絡(luò)整個(gè)過(guò)程Conv——卷積relu——線性整流函數(shù)pool——池化層FC——全連接層回顧卷積神經(jīng)網(wǎng)絡(luò)整個(gè)過(guò)程Conv——卷積17LeNet-5

用于識(shí)別手寫(xiě)體字符的算法。LeNet-5用于識(shí)別手寫(xiě)體字符的算法。18AlexNetAlexNet網(wǎng)絡(luò)