人工智能概論 課件 第5章 人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)

高職高專人工智能通識課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【素養(yǎng)目標(biāo)】通過深度學(xué)習(xí)的教學(xué)，培養(yǎng)學(xué)生探索未知、追求真理、勇攀科學(xué)高峰的責(zé)任感和使命感；通過學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，提高學(xué)生正確認(rèn)識問題、分析問題和解決問題的能力；通過學(xué)習(xí)孫劍等科學(xué)家的人物事跡，培養(yǎng)學(xué)生的科學(xué)精神、奮斗精神和開拓創(chuàng)新精神。本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【知識目標(biāo)】掌握人工神經(jīng)網(wǎng)絡(luò)的概念及發(fā)展歷程；掌握生物神經(jīng)元、MP模型的結(jié)構(gòu)和工作過程；理解感知機(jī)模型及學(xué)習(xí)過程；掌握BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法思想；掌握深度學(xué)習(xí)的概念；理解卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)的工作原理及應(yīng)用場景；了解常用激活函數(shù)及特點。本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【能力目標(biāo)】能夠針對人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)具體應(yīng)用功能，闡述其實現(xiàn)原理；能夠針對工作生活場景中的具體需求，提出人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)技術(shù)解決思路；會使用深度學(xué)習(xí)可視化工具Playground。本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【思維導(dǎo)圖】第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實訓(xùn)5.7拓展知識5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.1神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)可以分為兩種，一種是生物神經(jīng)網(wǎng)絡(luò)，另一種是人工神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)一般是指由生物的大腦神經(jīng)元、細(xì)胞、觸點等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識，幫助生物進(jìn)行思考和行動。人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），簡單來說，就是模仿人類大腦神經(jīng)網(wǎng)絡(luò)而創(chuàng)建的一種網(wǎng)絡(luò)架構(gòu)。它是20世紀(jì)80年代以來人工智能領(lǐng)域興起的研究熱點。近些年來，人工神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域得到了廣泛的應(yīng)用。例如，Google公司推出的AlphaGo和AlphaGoZero，經(jīng)過短暫的學(xué)習(xí)就戰(zhàn)勝了當(dāng)今世界排名前三的圍棋選手；科大訊飛公司推出的智能語音系統(tǒng)，識別正確率高達(dá)97％以上，成為AI領(lǐng)域領(lǐng)跑者；百度公司推出的無人駕駛系統(tǒng)Apollo順利上路完成公測，使得無人駕駛汽車離人們的生活越來越近。多種成就讓人們體會到人工神經(jīng)網(wǎng)絡(luò)的價值和魅力。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程通常將人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程分為4個時期，即啟蒙時期、低潮時期、復(fù)興時期和新時期，如圖所示。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程1.啟蒙時期（1890～1968年）1890年，心理學(xué)家威廉·詹姆斯（WilliamJames）出版了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》，他認(rèn)為一個神經(jīng)細(xì)胞受到刺激并被激活后，可以把刺激傳播到另一個神經(jīng)細(xì)胞，并且神經(jīng)細(xì)胞被激活是細(xì)胞所有輸入疊加的結(jié)果。他的這個猜想后來得到了證實，并且現(xiàn)在設(shè)計的人工神經(jīng)網(wǎng)絡(luò)也基于這個理論。1943年，心理學(xué)家麥卡洛克（McCulloch）和數(shù)學(xué)家皮茨（Pitts）發(fā)表文章，提出神經(jīng)元的數(shù)學(xué)描述和結(jié)構(gòu)（MP模型），并且證明了只要有足夠的簡單神經(jīng)元，在這些神經(jīng)元互相連接并同步運行的情況下，就可以模擬任何計算函數(shù)。他們所做的開創(chuàng)性的工作被認(rèn)為是人工神經(jīng)網(wǎng)絡(luò)的起點。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程1.啟蒙時期（1890～1968年）1949年，心理學(xué)家赫布（Hebb）在其著作《行為組織學(xué)》中提出了改變神經(jīng)元連接強(qiáng)度的“Hebb規(guī)則”，即當(dāng)一個神經(jīng)元A反復(fù)激活另一個神經(jīng)元B時，神經(jīng)元A和B之間的連接就會變得更加強(qiáng)大。1958年，計算機(jī)科學(xué)家羅森布拉特（Rosenblatt）提出了一種稱為“感知機(jī)”（Perceptron）的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)采用單層神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)。他提出的感知機(jī)是世界上第一個真正意義上的人工神經(jīng)網(wǎng)絡(luò)。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程2.低潮時期（1969～1981年）1969年，符號主義學(xué)派的代表人物明斯基（Minsky）在其著作《感知機(jī)》中分析了當(dāng)時的感知機(jī)，指出它有非常嚴(yán)重的局限性：簡單神經(jīng)網(wǎng)絡(luò)只能運用于線性問題的求解，無法解決“異或”問題等非線性可分問題?；诿魉够膶W(xué)術(shù)地位和影響力，讓人們對感知機(jī)的學(xué)習(xí)能力產(chǎn)生了懷疑，導(dǎo)致政府停止了對人工神經(jīng)網(wǎng)絡(luò)研究的大量投資。不少研究人員紛紛放棄這方面的研究，對人工神經(jīng)網(wǎng)絡(luò)的研究陷入了低潮。1974年，沃博斯（Werbos）在哈佛大學(xué)攻讀博士學(xué)位期間，在其博士論文中首次提出了反向傳播算法，并構(gòu)建了反饋神經(jīng)網(wǎng)絡(luò)，他構(gòu)建的多層神經(jīng)網(wǎng)絡(luò)能夠解決“異或”等問題，但當(dāng)時并沒有引起重視。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程3.復(fù)興時期（1982～1986年）1982年，美國加州理工學(xué)院的物理學(xué)家霍普菲爾德（Hopfield）提出了一種新穎的人工神經(jīng)網(wǎng)絡(luò)模型，即Hopfield模型，并用簡單的模擬電路實現(xiàn)了這種模型。該模型被成功運用于“旅行推銷商”問題的求解、4位A/D轉(zhuǎn)換器的實現(xiàn)等問題，并獲得了滿意的結(jié)果?；羝辗茽柕碌难芯砍晒麨樯窠?jīng)計算機(jī)（Neurocomputer）的研制奠定了基礎(chǔ)，也開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計算的新途徑。1986年，心理學(xué)家魯梅爾哈特（Rumelhart）、辛頓（Hinton）和威廉姆斯（Williams）共同提出了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法（BP算法），徹底扭轉(zhuǎn)明斯基《感知機(jī)》一書帶來的負(fù)面影響，多層神經(jīng)網(wǎng)絡(luò)的有效性終于再次得到了學(xué)術(shù)界的普遍認(rèn)可，從而將神經(jīng)網(wǎng)絡(luò)的研究推向了新的高潮。至今，BP算法仍是應(yīng)用最為普遍的多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程4.新時期（1987至今）1987年6月，首屆國際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會議在美國加州圣地亞哥召開，到會代表有1600余人。之后，國際人工神經(jīng)網(wǎng)絡(luò)學(xué)會和美國電子電氣工程師協(xié)會（IEEE）聯(lián)合召開了每年一次的國際學(xué)術(shù)會議。1986年之后，人工神經(jīng)網(wǎng)絡(luò)蓬勃發(fā)展起來了，特別是近幾年，人工神經(jīng)網(wǎng)絡(luò)呈現(xiàn)出一種爆發(fā)趨勢，人工神經(jīng)網(wǎng)絡(luò)開始應(yīng)用在各行各業(yè)，各種新的人工神經(jīng)網(wǎng)絡(luò)模型不斷被提出。2006年，辛頓（Hinton）等人提出了深度學(xué)習(xí)（DeepLearning，DL）的概念，2009年，辛頓把深層人工神經(jīng)網(wǎng)絡(luò)介紹給研究語音的學(xué)者們。2010年，語音識別獲得了巨大突破。

2012年，卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）被應(yīng)用在圖像識別領(lǐng)域，并取得了令人矚目的成績。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實訓(xùn)5.7拓展知識5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.1生物神經(jīng)元人的神經(jīng)系統(tǒng)非常復(fù)雜，其基本組成單位是生物神經(jīng)元，成人的大腦約有1000多億個生物神經(jīng)元，這些神經(jīng)元彼此連接構(gòu)成生物神經(jīng)網(wǎng)絡(luò)。早在1904年，生物學(xué)家就已經(jīng)知道了生物神經(jīng)元的組成結(jié)構(gòu)。神經(jīng)元是大腦處理信息的基本單元。神經(jīng)元主要由細(xì)胞體、細(xì)胞核、樹突、軸突和突觸組成。一個神經(jīng)元通常具有多個樹突，主要用來接收來自其他神經(jīng)元的信息；而軸突只有一條，其主要作用是將神經(jīng)元細(xì)胞體所產(chǎn)生的興奮沖動傳導(dǎo)至其他神經(jīng)元；軸突尾端有許多突觸，可以給其他神經(jīng)元傳遞信息。5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.1生物神經(jīng)元神經(jīng)元有兩種狀態(tài)：興奮和抑制。一般情況下，大多數(shù)神經(jīng)元處于抑制狀態(tài)，但是一旦某個神經(jīng)元受到刺激，當(dāng)它的累積電位超過一個“閾值”時，這個神經(jīng)元就會被激活，就會處于“興奮”狀態(tài)，進(jìn)而向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)（其實就是信息）。5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.2MP模型的結(jié)構(gòu)1943年，心理學(xué)家麥卡洛克（McCulloch）和數(shù)學(xué)家皮茨（Pitts）參考了生物神經(jīng)元的結(jié)構(gòu)，提出了人工神經(jīng)元的數(shù)學(xué)模型——MP模型。MP模型是對神經(jīng)元的工作過程進(jìn)行簡單的抽象和模擬，其結(jié)構(gòu)如圖所示。這個模型的結(jié)構(gòu)很簡單，包含輸入、計算模塊和輸出三個部分。輸入可以類比為神經(jīng)元的樹突，而輸出可以類比為神經(jīng)元的軸突，計算則可以類比為細(xì)胞核。5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.2MP模型的結(jié)構(gòu)

5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.2MP模型的結(jié)構(gòu)

5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.3MP模型實現(xiàn)邏輯“與”運算功能采用MP模型可以實現(xiàn)邏輯“與”運算功能?！芭c”運算有兩個輸入和一個輸出，其輸入信號x1、x2和輸出信號y的對應(yīng)關(guān)系如下表所示，該表稱為“與”運算真值表。“與”運算的規(guī)則是：僅在兩個輸入均為1時輸出1，其他情況則輸出0。這里1代表“真”值，0代表“假”值。x1x2yx1x2y0001000101115.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.3MP模型實現(xiàn)邏輯“與”運算功能

第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實訓(xùn)5.7拓展知識5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.1感知機(jī)

5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程

5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程現(xiàn)在的問題是感知機(jī)是如何學(xué)習(xí)到參數(shù)w1、w2、b的值的。感知機(jī)起初并不知道正確的權(quán)值參數(shù)（可能有多個），因此就首先將權(quán)值參數(shù)設(shè)置為隨機(jī)值，然后再把已經(jīng)知道結(jié)果的數(shù)據(jù)（訓(xùn)練數(shù)據(jù)）逐個輸入模型進(jìn)行計算。由于起初的權(quán)值參數(shù)是隨機(jī)設(shè)置的，會產(chǎn)生很多錯誤的輸出，通過計算誤差（實際值與輸出值之間的差）來調(diào)整權(quán)值參數(shù)，使修改后重新計算的結(jié)果誤差減小，經(jīng)過這樣的多次迭代，最后，當(dāng)輸入的每個數(shù)據(jù)都能計算出正確的結(jié)果時，感知機(jī)就已經(jīng)正確學(xué)習(xí)到了所有的參數(shù)。5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程

5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實現(xiàn)邏輯“異或”運算功能邏輯“異或”運算的真值表如下表所示。無論直線怎么變動也無法分割兩種類型。由感知機(jī)的幾何意義可以得知，單層感知機(jī)通過超平面來進(jìn)行分類，無法解決線性不可分問題。這就是明斯基的質(zhì)疑，單層感知機(jī)連“異或”問題都無法解決，從而讓人們對感知機(jī)的學(xué)習(xí)能力產(chǎn)生了懷疑，造成了人工神經(jīng)領(lǐng)域發(fā)展的長年停滯及低潮。x1x2yx1x2y0001010111105.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實現(xiàn)邏輯“異或”運算功能隨著研究的進(jìn)行，人們發(fā)現(xiàn)在輸入層與輸出層之間增加隱藏層，構(gòu)成一種多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這樣的結(jié)構(gòu)就可以解決非線性分類的問題，增強(qiáng)感知機(jī)的分類能力，這就是多層感知機(jī)，如圖所示。5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實現(xiàn)邏輯“異或”運算功能利用如圖所示的兩層感知機(jī)（輸入層不算入神經(jīng)網(wǎng)絡(luò)的層次）就可實現(xiàn)邏輯“異或”運算的功能。5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實現(xiàn)邏輯“異或”運算功能用如圖所示的兩層感知機(jī)（輸入層不算入神經(jīng)網(wǎng)絡(luò)的層次）就可實現(xiàn)邏輯“異或”運算的功能。在兩層感知機(jī)中，設(shè)置權(quán)值參數(shù)w11＝1，w12＝－1，w21＝1，w22＝－1，w3＝1，w4＝1，b1＝－0.5，b2＝1.5，b3＝－1.5，激活函數(shù)f(x)為階躍函數(shù)。（1）x1、x2分別為0、0時，輸出y＝0，計算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×0＋1×0－0.5）＝0神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×0＋（－1）×0＋1.5）＝1神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×0＋1×1－1.5）＝05.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實現(xiàn)邏輯“異或”運算功能（2）x1、x2分別為0、1時，輸出y＝1，計算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×0＋1×1－0.5）＝1神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×0＋（－1）×1＋1.5）＝1神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×1＋1×1－1.5）＝1（3）x1、x2分別為1、0時，輸出y＝1，計算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×1＋1×0－0.5）＝1神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×1＋（－1）×0＋1.5）＝1神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×1＋1×1－1.5）＝1（4）x1、x2分別為1、1時，輸出y＝0，計算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×1＋1×1－0.5）＝1神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×1＋（－1）×1＋1.5）＝0神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×1＋1×0－1.5）＝0第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實訓(xùn)5.7拓展知識5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1986年，魯梅爾哈特（Rumelhart）、辛頓（Hinton）和威廉姆斯（Williams）等人提出了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的誤差反向傳播（BackPropagation，BP）神經(jīng)網(wǎng)絡(luò)算法，徹底解決了兩層神經(jīng)網(wǎng)絡(luò)的計算量問題，從而帶動了業(yè)界研究多層神經(jīng)網(wǎng)絡(luò)的熱潮。由于神經(jīng)網(wǎng)絡(luò)在解決復(fù)雜問題時提供了一種相對簡單的方法，因此近年來越來越受到人們的關(guān)注。BP神經(jīng)網(wǎng)絡(luò)在感知機(jī)的基礎(chǔ)上加入了一個隱藏層，如圖所示。BP神經(jīng)網(wǎng)絡(luò)，即誤差反向傳播算法的學(xué)習(xí)過程，由信息正向傳播和誤差反向傳播兩個過程組成。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層組成，每一層都由若干個神經(jīng)元組成。它的相鄰層之間的各個神經(jīng)元實現(xiàn)全連接，即相鄰層的所有神經(jīng)元之間都存在連接，這種連接方式稱為全連接，而同一層中的上下各神經(jīng)元之間無連接。需要注意的是，輸入層不計入神經(jīng)網(wǎng)絡(luò)的層數(shù)。圖5-11所示是具有三個神經(jīng)元輸入的兩層BP神經(jīng)網(wǎng)絡(luò)模型，它包含一個有四個神經(jīng)元的隱藏層和一個有三個神經(jīng)元的輸出層。（1）輸入層：在輸入階段，由來自外部的信息提供給網(wǎng)絡(luò)的部分，統(tǒng)稱為“輸入層”。輸入層對于輸入的信息不做任何處理，即輸入節(jié)點都不執(zhí)行計算，只負(fù)責(zé)將信息傳遞至隱藏層。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（2）隱藏層：隱藏層的節(jié)點與外界沒有直接聯(lián)系，就像一個黑盒子，因此得名“隱藏層”。隱藏層的神經(jīng)元負(fù)責(zé)執(zhí)行運算，并將信息從輸入節(jié)點傳輸?shù)捷敵龉?jié)點。神經(jīng)網(wǎng)絡(luò)只有一個輸入層和輸出層，但是可以擁有多個隱藏層。（3）輸出層：輸出節(jié)點統(tǒng)稱為“輸出層”，負(fù)責(zé)計算并將信息從網(wǎng)絡(luò)輸出到外部。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在正常情況下，一個多層神經(jīng)網(wǎng)絡(luò)的計算流程是從數(shù)據(jù)進(jìn)入輸入層開始，輸入層將其傳遞到第一層隱藏層，然后經(jīng)過第一層隱藏層中的神經(jīng)元運算（乘上權(quán)值，加上偏置，激活函數(shù)運算一次），得到輸出，再把第一層隱藏層的輸出作為第二層隱藏層的輸入，重復(fù)進(jìn)行運算，得到第二層隱藏層的輸出，直到所有隱藏層計算完畢，最后數(shù)據(jù)被輸出至輸出層進(jìn)行運算，得到輸出結(jié)果。這個過程也稱為神經(jīng)網(wǎng)絡(luò)信息的正向傳播過程。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下圖所示為有兩個隱藏層的BP神經(jīng)網(wǎng)絡(luò)模型，輸入層輸入訓(xùn)練數(shù)據(jù)，輸出層輸出計算結(jié)果，中間有兩個隱藏層，使輸入數(shù)據(jù)向前傳播到輸出層。從這個過程也可以看出，對于多層神經(jīng)網(wǎng)絡(luò)，需要計算每個節(jié)點對其下一層節(jié)點的影響，求出各個神經(jīng)元的權(quán)值參數(shù)和偏置的值，使得輸出結(jié)果達(dá)到要求。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)在多層神經(jīng)網(wǎng)絡(luò)中，上層節(jié)點的輸出和下層節(jié)點的輸入之間具有一個函數(shù)關(guān)系，這個函數(shù)稱為激活函數(shù)。如果不使用激活函數(shù)，則每一層節(jié)點的輸入都是上一層輸出的線性函數(shù)，無論神經(jīng)網(wǎng)絡(luò)有多少層，輸出都是輸入的線性組合，與沒有隱藏層的效果相當(dāng)，這種情況就是最原始的感知機(jī)，那么神經(jīng)網(wǎng)絡(luò)的逼近能力就相當(dāng)有限。為了解決線性輸出問題，引入非線性函數(shù)作為激活函數(shù)，這樣多層神經(jīng)網(wǎng)絡(luò)的表達(dá)能力就更強(qiáng)，可處理非線性問題。常用的激活函數(shù)有：Sigmoid函數(shù)、Tanh函數(shù)、Relu函數(shù)等。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)

5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)

5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)

5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法對于BP神經(jīng)網(wǎng)絡(luò)來說，它的工作程序由“信息的正向傳播”和“誤差的反向傳播”組成。（1）信息的正向傳播：輸入的樣本從輸入層進(jìn)入BP神經(jīng)網(wǎng)絡(luò)，經(jīng)各隱藏層逐層處理后，傳遞至輸出層，信息傳播的路徑是“輸入層—隱藏層—輸出層”。（2）誤差的反向傳播：當(dāng)正向傳播結(jié)束之后，如果輸出層的輸出結(jié)果與期望結(jié)果不符，那么BP神經(jīng)網(wǎng)絡(luò)體系就會將這一誤差值反向傳播，即誤差信息的傳輸路徑為“輸出層—隱藏層—輸入層”。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法誤差的反向傳播是將輸出誤差以某種形式通過隱藏層向輸入層逐層反向傳播，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號，此誤差信號即作為修正各單元權(quán)值參數(shù)的依據(jù)。這種通過信息的正向傳播與誤差的反向傳播，對各層權(quán)值參數(shù)進(jìn)行調(diào)整的過程，是周而復(fù)始地進(jìn)行的。權(quán)值參數(shù)不斷調(diào)整的過程，也就是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到神經(jīng)網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法以兩層BP神經(jīng)網(wǎng)絡(luò)為例，介紹其學(xué)習(xí)過程。（1）隨機(jī)初始化隱藏層和輸出層的權(quán)值參數(shù)和閾值，給定學(xué)習(xí)率和激活函數(shù)，給定樣本的輸入值和期望結(jié)果。（2）根據(jù)隱藏層的權(quán)值參數(shù)和閾值，計算隱藏層的輸出結(jié)果。（3）根據(jù)輸出層的權(quán)值參數(shù)和閾值，計算輸出層的輸出結(jié)果。（4）根據(jù)期望結(jié)果與輸出層的輸出結(jié)果，計算誤差。（5）判斷誤差是否滿足要求，如果滿足要求，則學(xué)習(xí)結(jié)束；否則繼續(xù)向下執(zhí)行。（6）更新輸出層的權(quán)值參數(shù)和閾值。（7）反向傳遞誤差，更新隱藏層的權(quán)值參數(shù)和閾值，然后跳轉(zhuǎn)到步驟（2）。如此反復(fù)迭代，直到誤差滿足要求或?qū)W習(xí)次數(shù)達(dá)到要求為止。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實訓(xùn)5.7拓展知識5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.1深度學(xué)習(xí)的概念深度學(xué)習(xí)可以理解為“深度”和“學(xué)習(xí)”這兩個名詞的組合。“深度”體現(xiàn)在神經(jīng)網(wǎng)絡(luò)的層數(shù)上，一般來說，典型的深度學(xué)習(xí)模型是指具有“多隱藏層”的神經(jīng)網(wǎng)絡(luò)，這里的“多隱藏層”代表有三個以上的隱藏層，通常有八九層甚至更多隱藏層，層數(shù)越多，學(xué)習(xí)效果越好；“學(xué)習(xí)”體現(xiàn)為神經(jīng)網(wǎng)絡(luò)可以通過不斷地使用訓(xùn)練數(shù)據(jù)來自動校正權(quán)值參數(shù)、偏置等參數(shù)，以擬合更好的學(xué)習(xí)效果。2012年，深度學(xué)習(xí)在圖像識別領(lǐng)域發(fā)揮了作用，辛頓和他的學(xué)生在ImageNet競賽中，用多層神經(jīng)網(wǎng)絡(luò)成功地對覆蓋1000個類別100萬張圖片進(jìn)行了訓(xùn)練，取得了分類錯誤率15%的好成績，比第二名高了11個百分點，充分證明了多層神經(jīng)網(wǎng)絡(luò)在識別領(lǐng)域的優(yōu)越性。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.1深度學(xué)習(xí)的概念說到深度學(xué)習(xí)，值得一提的是我國科學(xué)家—孫劍。孫劍（1976年10月—2022年6月），男，出生于西安，人工智能領(lǐng)域科學(xué)家，生前為曠視科技首席科學(xué)家、曠視研究院院長、西安交通大學(xué)人工智能學(xué)院首任院長。孫劍于1997年在西安交通大學(xué)獲工學(xué)學(xué)士學(xué)位，2000年在西安交通大學(xué)獲工學(xué)碩士學(xué)位，2003年在西安交通大學(xué)獲工學(xué)博士學(xué)位；2003年在微軟亞洲研究院擔(dān)任首席研究員，2016年7月加入北京曠視科技有限公司，并任首席科學(xué)家和曠視研究院（MegviiResearch）負(fù)責(zé)人。孫劍的主要研究方向是計算機(jī)視覺和計算攝影學(xué)、人臉識別和基于深度學(xué)習(xí)的圖像理解。在孫劍的帶領(lǐng)下，曠視研究院研發(fā)了移動端高效卷積神經(jīng)網(wǎng)絡(luò)ShuffleNet、開源深度學(xué)習(xí)框架天元MegEngine、AI生產(chǎn)力平臺Brain++等多項創(chuàng)新技術(shù)，其提出的“深度殘差網(wǎng)絡(luò)ResNets”成功地解決了深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的世界級難題。2015年，孫劍帶領(lǐng)團(tuán)隊獲得圖像識別國際大賽五項冠軍（ImageNet分類、檢測、定位、MSCOCO檢測和分割）；2017年帶領(lǐng)曠視研究院擊敗谷歌、Facebook、微軟等企業(yè)，獲得COCO&Places圖像理解國際大賽三項冠軍（COCO物體檢測、人體關(guān)鍵點、Places物體分割）；2017—2019年帶領(lǐng)團(tuán)隊獲得MSCOCO物體檢測世界比賽三連冠。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）是一類包含卷積計算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是目前深度學(xué)習(xí)技術(shù)領(lǐng)域中非常具有代表性的神經(jīng)網(wǎng)絡(luò)之一。20世紀(jì)60年代，休伯爾（Hubel）和維厄瑟爾（Wiesel）在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時，發(fā)現(xiàn)其獨特的局部互連網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)。卷積是一種數(shù)學(xué)運算。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積操作是一種特殊的線性變換，卷積核（也稱為濾波器）在輸入數(shù)據(jù)上進(jìn)行滑動，以每次計算與卷積核重疊部分的“點乘和”。通過這樣的操作可以提取輸入數(shù)據(jù)的局部特征，實現(xiàn)特征的共享和抽象，從而使得網(wǎng)絡(luò)對輸入數(shù)據(jù)的變化更加魯棒（Robust的發(fā)音，健壯和強(qiáng)壯的意思）和準(zhǔn)確。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個多層感知機(jī)，采用了局部連接和共享權(quán)值的方式，使得神經(jīng)網(wǎng)絡(luò)易于優(yōu)化，降低過擬合的風(fēng)險。卷積神經(jīng)網(wǎng)絡(luò)可以使用圖像直接作為神經(jīng)網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積神經(jīng)網(wǎng)絡(luò)能自行抽取圖像特征（顏色、紋理、形狀及圖像的拓?fù)浣Y(jié)構(gòu)等），在識別位移、縮放及其它形式扭曲不變性的應(yīng)用上具有良好的魯棒性和運算效率等特性，允許樣品有較大的缺損、畸變，運行速度快，自適應(yīng)性能好，具有較高的分辨率。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)最主要的功能是特征提取和降維。特征提取是計算機(jī)視覺和圖像處理中的一個概念，指的是使用計算機(jī)提取圖像信息，決定每個圖像的點是否屬于一個圖像特征。特征提取的結(jié)果是把圖像上的點分為不同的子集，這些子集往往屬于孤立的點、連續(xù)的曲線或者連續(xù)的區(qū)域。降維是指通過線性或非線性映射，將樣本從高維度空間映射到低維度空間，從而獲得高維度數(shù)據(jù)的一個有意義的低維度表示過程。通過特征提取和降維，可以有效地進(jìn)行信息綜合及無用信息的擯棄，從而大大降低了計算的復(fù)雜程度，減少了冗余信息。如果一張小狗的圖像通過特征提取和降維后，尺寸縮小一半后還能被認(rèn)出是一張小狗的照片，則說明這張圖像中仍保留著小狗的最重要的特征。圖像降維時去掉的信息只是一些無關(guān)緊要的信息，而留下的信息則是最能表達(dá)圖像特征的信息。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個方面：一方面，它的神經(jīng)元的連接是非全連接的（局部連接或稀疏連接）；另一方面，同一層中某些神經(jīng)元之間的連接的權(quán)值參數(shù)是共享的（即相同的）。它的局部連接和權(quán)值參數(shù)共享的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值參數(shù)的數(shù)量。同時，卷積神經(jīng)網(wǎng)絡(luò)是一種監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)模型，具有極強(qiáng)的適應(yīng)性，善于挖掘數(shù)據(jù)局部特征，提取全局訓(xùn)練特征和分類，在模式識別各個領(lǐng)域都取得了很好的成果。卷積神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，只要用已知的訓(xùn)練集數(shù)據(jù)對卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，神經(jīng)網(wǎng)絡(luò)就具有輸入輸出對之間的映射能力。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)下面以動物識別為例，描述對小狗進(jìn)行識別訓(xùn)練時的整個流程。當(dāng)小狗的圖片（數(shù)字化圖像）被傳輸入卷積神經(jīng)網(wǎng)絡(luò)時，需要通過多次的卷積（Convolution）→池化（Pooling）運算，最后通過全連接層，輸出為屬于貓、狗等各個動物類別的概率，如下圖所示。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積卷積是指進(jìn)行卷積操作，這也是卷積神經(jīng)網(wǎng)絡(luò)名字的由來。在了解卷積操作前，首先看如左下圖所示的圖片。無論圖中的“X”被怎么旋轉(zhuǎn)或者縮放，人眼都能很容易地識別出“X”。但計算機(jī)不同，它“看到”的其實是一個個的像素矩陣，如右下圖所示。對像素矩陣進(jìn)行特征的提取其實就是卷積操作要做的事情。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積仔細(xì)觀察圖片可以發(fā)現(xiàn)，“X”即使進(jìn)行了旋轉(zhuǎn)，但是方框標(biāo)記的區(qū)間在兩張圖片中還是一致的，某種程度上，這其實就是“X”的特征。因此可以將這3個特征的區(qū)間提取出來，假設(shè)提取的尺寸大小是3像素×3像素，就形成了如右下圖所示的3個卷積核。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積卷積核是如何進(jìn)行卷積操作的呢？其實很簡單，可以看一下圖片，其實就是拿著卷積核在圖片的矩陣上一步一步地平移，就像掃地一樣。每掃到一處地方就可以進(jìn)行卷積的運算，計算方法很簡單，左上角的卷積核掃到紅色框的位置，則卷積核矩陣的數(shù)字就和掃到的位置的矩陣的數(shù)字逐一對應(yīng)相乘然后相加，最后取均值，該均值就是卷積核提取的特征。使用不同的卷積核就能提取出不同的特征圖。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積可以看到，卷積操作通過卷積核是可以分別提取到圖片特征的，但是如何提前知道卷積核呢？像上面的例子，很容易可以找到3個卷積核，但是如果是要進(jìn)行人臉識別，對具有成千上萬個特征的圖片，則無法提前知道什么是合適的卷積核的。其實也沒必要知道，因為無論選擇什么樣的卷積核，都可以通過訓(xùn)練不斷優(yōu)化。初始時只需要隨機(jī)設(shè)置一些卷積核，通過訓(xùn)練，模型自己就可以學(xué)習(xí)到合適的卷積核，這也是卷積神經(jīng)網(wǎng)絡(luò)模型強(qiáng)大的地方。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)2.池化池化，也稱下采樣，其實就是對數(shù)據(jù)進(jìn)行縮小。因為語音識別和人臉識別等，通過卷積操作可以得到成千上萬個特征圖，每個特征圖有很多像素點，在后續(xù)的運算時，時間會變得很長。池化其實就是對每個特征圖進(jìn)一步提煉的過程。如圖所示，原來4×4的特征圖經(jīng)過池化操作之后就變成了更小的2×2的矩陣。池化的常用方法有兩種，一是最大池化（MaxPooling），即對鄰域內(nèi)特征點取最大值作為最后的特征值；另一種是均值池化（AveragePooling），即取鄰域內(nèi)特征點的平均值作為最后的特征值。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)3.全連接層通過前面不斷的卷積和池化操作，就得到了樣本的多層特征圖，然后將最終得到的特征圖排成一列，即將多層的特征映射拉直為一個一維的向量，形成全連接層，如圖所示。全連接層中的每個特征值與輸出層的每一個節(jié)點相連接，打破了卷積特征的空間限制，對卷積層獲得的不同的特征進(jìn)行加權(quán)運算，目的是得到一個可以對不同類別進(jìn)行區(qū)分的得分或概率，這樣就最終形成了卷積神經(jīng)網(wǎng)絡(luò)。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)3.全連接層深度學(xué)習(xí)的優(yōu)異能力主要歸功于以下兩點。（1）深度網(wǎng)絡(luò)有自動特征發(fā)現(xiàn)的潛質(zhì)和特性。研究者發(fā)現(xiàn)，多于一個隱藏層的前饋網(wǎng)絡(luò)有自動發(fā)現(xiàn)或創(chuàng)造設(shè)計者沒有明確引入的特征的特性，而且隱藏層中的節(jié)點越多就可以發(fā)現(xiàn)或創(chuàng)造出越復(fù)雜的特征。（2）深度學(xué)習(xí)采用的是“逐層訓(xùn)練、多級學(xué)習(xí)（抽象）”等技術(shù)技巧。“逐層訓(xùn)練、多級學(xué)習(xí)（抽象）”就是從最原始的輸入數(shù)據(jù)開始，對網(wǎng)絡(luò)各隱藏層逐級分別進(jìn)行訓(xùn)練，將每一層所抽象出的特征作為下一層的輸入，從而使所得特征的級別逐層提高，直到從最后一個隱藏層抽象出級別最高的特征。例如，下圖就是由一個圖像的原始數(shù)據(jù)通過逐層訓(xùn)練、多級學(xué)習(xí)（抽象）而得到的人臉圖像。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)4.經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型楊立昆（YannLeCun），于1960年出生于法國巴黎附近，擔(dān)任Facebook首席人工智能科學(xué)家和紐約大學(xué)教授，2018年圖靈獎（TuringAward）得主。楊立昆在1998年提出的用于手寫數(shù)字識別的LeNet-5模型是非常經(jīng)典的模型，它是第一個成功大規(guī)模應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)，在MNIST數(shù)據(jù)集中的正確率可以高達(dá)99.2%。LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型一共有7層，包含卷積層、池化層（下采樣層）、全連接層等。首先需要把包含手寫字符的原始圖像處理成為32×32像素的圖像，并作為輸入；后面的神經(jīng)網(wǎng)絡(luò)層采用卷積層和池化層交替分布的方式。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)4.經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型第一層（C1）是卷積層，分別采用了6個不同的卷積核，每個卷積核尺寸均為5×5，對32×32的輸入數(shù)據(jù)進(jìn)行縱向、橫向步長均為1的卷積計算，得到6個28×28的特征圖，每個特征圖中的28×28個神經(jīng)元共享這25個卷積核權(quán)值參數(shù)。第二層（S2）是一個池化層，池化采樣區(qū)域為2×2，對6個特征圖分別進(jìn)行池化操作，得到6個14×14的特征圖。第三層（C3）又是一個卷積層，這次采用了16個多層的5×5的卷積核（可以認(rèn)為是三維卷積核），得到16個10×10的特征圖，而且本層產(chǎn)生不同特征圖數(shù)據(jù)的每個神經(jīng)元并不是和S2層中的所有6個特征圖連接，而是只連接其中某幾個特征圖，這樣可以讓不同的特征圖抽取出不同的局部特征。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)4.經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型第四層（S4)又是一個池化層，池化采樣區(qū)域為2×2，對16個C3的特征圖分別進(jìn)行池化處理，得到16個5×5的特征圖。第五層（C5）是一個全連接層，由120個16層的5×5的不同三維卷積核組成。與上一層的16個（層）5×5的特征圖卷積后，得到120個1×1大小的特征圖。第六層（F6）則包含84個神經(jīng)元，與C5進(jìn)行全連接，每個神經(jīng)元經(jīng)過激活函數(shù)產(chǎn)生數(shù)據(jù)，輸出給最后一層。最后一層是輸出層。因為是對10個手寫數(shù)字字符進(jìn)行識別，輸出層設(shè)置了10個神經(jīng)元，這10個神經(jīng)元分別對應(yīng)手寫數(shù)字字符0、1、2、3、4、5、6、7、8、9的識別，每個神經(jīng)元的輸出結(jié)果是其所對應(yīng)手寫數(shù)字字符的識別概率。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一種對序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò)，即一個序列當(dāng)前的輸出與前面的輸出也有關(guān)。循環(huán)神經(jīng)網(wǎng)絡(luò)會對前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計算中，因此循環(huán)神經(jīng)網(wǎng)絡(luò)適合處理和預(yù)測序列數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示。循環(huán)神經(jīng)網(wǎng)絡(luò)的主體結(jié)構(gòu)A做的事情都是一樣的，因此圖中箭頭左側(cè)的部分可以展開成箭頭右側(cè)部分的形式。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是其中一個主體結(jié)構(gòu)重復(fù)使用的結(jié)果，所以稱之為循環(huán)神經(jīng)網(wǎng)絡(luò)。與普通的神經(jīng)網(wǎng)絡(luò)相比，循環(huán)神經(jīng)網(wǎng)絡(luò)的不同之處在于，其隱藏層節(jié)點之間是有連接的，并且隱藏層的輸入不僅包括輸入層的數(shù)據(jù)，還包括上一時刻隱藏層的輸出。這使得循環(huán)神經(jīng)網(wǎng)絡(luò)通過循環(huán)反饋連接保留前面所有時刻的信息，賦予了循環(huán)神經(jīng)網(wǎng)絡(luò)記憶功能。這些特點使得循環(huán)神經(jīng)網(wǎng)絡(luò)非常適用于對時序信號進(jìn)行處理。循環(huán)神經(jīng)網(wǎng)絡(luò)可以往前看，獲得任意多個輸入值，即輸出y與輸入序列的前t個時刻都有關(guān)，這造成了它有長期依賴的缺點。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.長短期記憶神經(jīng)網(wǎng)絡(luò)解決循環(huán)神經(jīng)網(wǎng)絡(luò)長期依賴問題最有效的方法是進(jìn)行有選擇的遺忘，同時也進(jìn)行有選擇的更新。1997年，塞普·霍赫萊特和于爾根·施密德胡貝爾提出的長短期記憶神經(jīng)網(wǎng)絡(luò)（LongShortTermMemory，LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種特殊類型。在標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)中，重復(fù)的結(jié)構(gòu)是一個簡單的循環(huán)體，然而LSTM神經(jīng)網(wǎng)絡(luò)的循環(huán)體是一個擁有4個相互關(guān)聯(lián)的全連接前饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)，如圖所示。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM神經(jīng)網(wǎng)絡(luò)利用3個門操作來管理和控制神經(jīng)元的狀態(tài)信息。LSTM算法的第一步是用遺忘門確定從上一個時刻的狀態(tài)中丟棄什么信息；第二步是用輸入門確定哪些輸入信息要保存到神經(jīng)元的狀態(tài)中；第三步是更新上一時刻的狀態(tài)Ct-1為當(dāng)前時刻的狀態(tài)Ct；第四步是用輸出門確定神經(jīng)元的輸出ht?？傊?，遺忘門決定的是先前步驟有關(guān)的重要信息，輸入門決定的是從當(dāng)前步驟中添加哪些重要信息，輸出門決定下一個隱藏狀態(tài)是什么。

其中，σ

是Sigmoid函數(shù)，tanh是雙曲正切函數(shù)。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實訓(xùn)5.7拓展知識5.6本章實訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗可視化工具PlaygroundPlayGround是Google公司推出的一個對神經(jīng)網(wǎng)絡(luò)進(jìn)行在線演示的實驗平臺，是一個非常直觀的入門級的神經(jīng)網(wǎng)絡(luò)網(wǎng)站。這個圖形化平臺非常強(qiáng)大，可以直接可視化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，同時也能讓初學(xué)者對TensorFlow有一個感性的認(rèn)識。（1）在瀏覽器的地址欄中輸入，打開的主頁面如圖所示。5.6本章實訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗可視化工具Playground（2）選擇數(shù)據(jù)集為“圓形（Circle）”，特征向量設(shè)置為X1和X2，單擊相應(yīng)的“+”“-”按鈕，設(shè)置隱藏層為1層，設(shè)置隱藏層的神經(jīng)元為1個，再單擊運行按鈕

，開始迭代訓(xùn)練，當(dāng)Testloss和Trainingloss的值不再變化時，單擊暫停按鈕

，結(jié)果如圖所示，可見，在迭代1154次后，使用單層單個神經(jīng)元不能對訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。5.6本章實訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗可視化工具Playground（3）單擊“+”按鈕，再增加一個神經(jīng)元，單擊運行按鈕，開始迭代訓(xùn)練，當(dāng)Testloss和Trainingloss的值不再變化時，單擊暫停按鈕，結(jié)果如圖所示，可見，在迭代1127次后，使用單層兩個神經(jīng)元仍然不能對訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。5.6本章實訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗可視化工具Playground（4）單擊“+”按鈕，再增加一個神經(jīng)元，單擊運行按鈕，開始迭代訓(xùn)練，當(dāng)Testloss和Trainingloss的值不再變化時，單擊暫停按鈕，結(jié)果如圖所示，可見，在迭代1179次后，使用單層三個神經(jīng)元可以完美地對訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。5.6本章實訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗可視化工具Playground（5）在系統(tǒng)初始化時，連接線的權(quán)值參數(shù)是由系統(tǒng)隨機(jī)設(shè)置的實數(shù)，將鼠標(biāo)置于第一條連接線的上方，可以看到權(quán)值參數(shù)的具體值（0.21），單擊該連線還可編輯權(quán)值參數(shù)，如左下圖所示。訓(xùn)練完成后，可再次查看第一條連接線的權(quán)值參數(shù)（-0.71），如右下圖所示。（6）請讀者選擇數(shù)據(jù)集為“異或（Exclusiveor）”，自行設(shè)計隱藏層的層數(shù)和每層的神經(jīng)元數(shù)，嘗試對訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實訓(xùn)5.7拓展知識5.7

拓展知識第5章