人工智能概論 課件 錢玲 第5、6章 人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)、計(jì)算機(jī)視覺

高職高專人工智能通識(shí)課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【素養(yǎng)目標(biāo)】通過深度學(xué)習(xí)的教學(xué)，培養(yǎng)學(xué)生探索未知、追求真理、勇攀科學(xué)高峰的責(zé)任感和使命感；通過學(xué)習(xí)BP神經(jīng)網(wǎng)絡(luò)、卷積神經(jīng)網(wǎng)絡(luò)和循環(huán)神經(jīng)網(wǎng)絡(luò)，提高學(xué)生正確認(rèn)識(shí)問題、分析問題和解決問題的能力；通過學(xué)習(xí)孫劍等科學(xué)家的人物事跡，培養(yǎng)學(xué)生的科學(xué)精神、奮斗精神和開拓創(chuàng)新精神。本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【知識(shí)目標(biāo)】掌握人工神經(jīng)網(wǎng)絡(luò)的概念及發(fā)展歷程；掌握生物神經(jīng)元、MP模型的結(jié)構(gòu)和工作過程；理解感知機(jī)模型及學(xué)習(xí)過程；掌握BP神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)及算法思想；掌握深度學(xué)習(xí)的概念；理解卷積神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)的工作原理及應(yīng)用場景；了解常用激活函數(shù)及特點(diǎn)。本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【能力目標(biāo)】能夠針對(duì)人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)具體應(yīng)用功能，闡述其實(shí)現(xiàn)原理；能夠針對(duì)工作生活場景中的具體需求，提出人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)技術(shù)解決思路；會(huì)使用深度學(xué)習(xí)可視化工具Playground。本章學(xué)習(xí)目標(biāo)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)【思維導(dǎo)圖】第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識(shí)課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實(shí)訓(xùn)5.7拓展知識(shí)5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.1神經(jīng)網(wǎng)絡(luò)簡介神經(jīng)網(wǎng)絡(luò)可以分為兩種，一種是生物神經(jīng)網(wǎng)絡(luò)，另一種是人工神經(jīng)網(wǎng)絡(luò)。生物神經(jīng)網(wǎng)絡(luò)一般是指由生物的大腦神經(jīng)元、細(xì)胞、觸點(diǎn)等組成的網(wǎng)絡(luò)，用于產(chǎn)生生物的意識(shí)，幫助生物進(jìn)行思考和行動(dòng)。人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetwork，ANN），簡單來說，就是模仿人類大腦神經(jīng)網(wǎng)絡(luò)而創(chuàng)建的一種網(wǎng)絡(luò)架構(gòu)。它是20世紀(jì)80年代以來人工智能領(lǐng)域興起的研究熱點(diǎn)。近些年來，人工神經(jīng)網(wǎng)絡(luò)在眾多領(lǐng)域得到了廣泛的應(yīng)用。例如，Google公司推出的AlphaGo和AlphaGoZero，經(jīng)過短暫的學(xué)習(xí)就戰(zhàn)勝了當(dāng)今世界排名前三的圍棋選手；科大訊飛公司推出的智能語音系統(tǒng)，識(shí)別正確率高達(dá)97％以上，成為AI領(lǐng)域領(lǐng)跑者；百度公司推出的無人駕駛系統(tǒng)Apollo順利上路完成公測(cè)，使得無人駕駛汽車離人們的生活越來越近。多種成就讓人們體會(huì)到人工神經(jīng)網(wǎng)絡(luò)的價(jià)值和魅力。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程通常將人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程分為4個(gè)時(shí)期，即啟蒙時(shí)期、低潮時(shí)期、復(fù)興時(shí)期和新時(shí)期，如圖所示。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程1.啟蒙時(shí)期（1890～1968年）1890年，心理學(xué)家威廉·詹姆斯（WilliamJames）出版了第一部詳細(xì)論述人腦結(jié)構(gòu)及功能的專著《心理學(xué)原理》，他認(rèn)為一個(gè)神經(jīng)細(xì)胞受到刺激并被激活后，可以把刺激傳播到另一個(gè)神經(jīng)細(xì)胞，并且神經(jīng)細(xì)胞被激活是細(xì)胞所有輸入疊加的結(jié)果。他的這個(gè)猜想后來得到了證實(shí)，并且現(xiàn)在設(shè)計(jì)的人工神經(jīng)網(wǎng)絡(luò)也基于這個(gè)理論。1943年，心理學(xué)家麥卡洛克（McCulloch）和數(shù)學(xué)家皮茨（Pitts）發(fā)表文章，提出神經(jīng)元的數(shù)學(xué)描述和結(jié)構(gòu)（MP模型），并且證明了只要有足夠的簡單神經(jīng)元，在這些神經(jīng)元互相連接并同步運(yùn)行的情況下，就可以模擬任何計(jì)算函數(shù)。他們所做的開創(chuàng)性的工作被認(rèn)為是人工神經(jīng)網(wǎng)絡(luò)的起點(diǎn)。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程1.啟蒙時(shí)期（1890～1968年）1949年，心理學(xué)家赫布（Hebb）在其著作《行為組織學(xué)》中提出了改變神經(jīng)元連接強(qiáng)度的“Hebb規(guī)則”，即當(dāng)一個(gè)神經(jīng)元A反復(fù)激活另一個(gè)神經(jīng)元B時(shí)，神經(jīng)元A和B之間的連接就會(huì)變得更加強(qiáng)大。1958年，計(jì)算機(jī)科學(xué)家羅森布拉特（Rosenblatt）提出了一種稱為“感知機(jī)”（Perceptron）的人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，該結(jié)構(gòu)采用單層神經(jīng)元的網(wǎng)絡(luò)結(jié)構(gòu)。他提出的感知機(jī)是世界上第一個(gè)真正意義上的人工神經(jīng)網(wǎng)絡(luò)。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程2.低潮時(shí)期（1969～1981年）1969年，符號(hào)主義學(xué)派的代表人物明斯基（Minsky）在其著作《感知機(jī)》中分析了當(dāng)時(shí)的感知機(jī)，指出它有非常嚴(yán)重的局限性：簡單神經(jīng)網(wǎng)絡(luò)只能運(yùn)用于線性問題的求解，無法解決“異或”問題等非線性可分問題。基于明斯基的學(xué)術(shù)地位和影響力，讓人們對(duì)感知機(jī)的學(xué)習(xí)能力產(chǎn)生了懷疑，導(dǎo)致政府停止了對(duì)人工神經(jīng)網(wǎng)絡(luò)研究的大量投資。不少研究人員紛紛放棄這方面的研究，對(duì)人工神經(jīng)網(wǎng)絡(luò)的研究陷入了低潮。1974年，沃博斯（Werbos）在哈佛大學(xué)攻讀博士學(xué)位期間，在其博士論文中首次提出了反向傳播算法，并構(gòu)建了反饋神經(jīng)網(wǎng)絡(luò)，他構(gòu)建的多層神經(jīng)網(wǎng)絡(luò)能夠解決“異或”等問題，但當(dāng)時(shí)并沒有引起重視。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程3.復(fù)興時(shí)期（1982～1986年）1982年，美國加州理工學(xué)院的物理學(xué)家霍普菲爾德（Hopfield）提出了一種新穎的人工神經(jīng)網(wǎng)絡(luò)模型，即Hopfield模型，并用簡單的模擬電路實(shí)現(xiàn)了這種模型。該模型被成功運(yùn)用于“旅行推銷商”問題的求解、4位A/D轉(zhuǎn)換器的實(shí)現(xiàn)等問題，并獲得了滿意的結(jié)果?；羝辗茽柕碌难芯砍晒麨樯窠?jīng)計(jì)算機(jī)（Neurocomputer）的研制奠定了基礎(chǔ)，也開創(chuàng)了人工神經(jīng)網(wǎng)絡(luò)用于聯(lián)想記憶和優(yōu)化計(jì)算的新途徑。1986年，心理學(xué)家魯梅爾哈特（Rumelhart）、辛頓（Hinton）和威廉姆斯（Williams）共同提出了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的反向傳播算法（BP算法），徹底扭轉(zhuǎn)明斯基《感知機(jī)》一書帶來的負(fù)面影響，多層神經(jīng)網(wǎng)絡(luò)的有效性終于再次得到了學(xué)術(shù)界的普遍認(rèn)可，從而將神經(jīng)網(wǎng)絡(luò)的研究推向了新的高潮。至今，BP算法仍是應(yīng)用最為普遍的多層神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法。5.1

人工神經(jīng)網(wǎng)絡(luò)概述第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷程4.新時(shí)期（1987至今）1987年6月，首屆國際人工神經(jīng)網(wǎng)絡(luò)學(xué)術(shù)會(huì)議在美國加州圣地亞哥召開，到會(huì)代表有1600余人。之后，國際人工神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)和美國電子電氣工程師協(xié)會(huì)（IEEE）聯(lián)合召開了每年一次的國際學(xué)術(shù)會(huì)議。1986年之后，人工神經(jīng)網(wǎng)絡(luò)蓬勃發(fā)展起來了，特別是近幾年，人工神經(jīng)網(wǎng)絡(luò)呈現(xiàn)出一種爆發(fā)趨勢(shì)，人工神經(jīng)網(wǎng)絡(luò)開始應(yīng)用在各行各業(yè)，各種新的人工神經(jīng)網(wǎng)絡(luò)模型不斷被提出。2006年，辛頓（Hinton）等人提出了深度學(xué)習(xí)（DeepLearning，DL）的概念，2009年，辛頓把深層人工神經(jīng)網(wǎng)絡(luò)介紹給研究語音的學(xué)者們。2010年，語音識(shí)別獲得了巨大突破。

2012年，卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）被應(yīng)用在圖像識(shí)別領(lǐng)域，并取得了令人矚目的成績。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識(shí)課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實(shí)訓(xùn)5.7拓展知識(shí)5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.1生物神經(jīng)元人的神經(jīng)系統(tǒng)非常復(fù)雜，其基本組成單位是生物神經(jīng)元，成人的大腦約有1000多億個(gè)生物神經(jīng)元，這些神經(jīng)元彼此連接構(gòu)成生物神經(jīng)網(wǎng)絡(luò)。早在1904年，生物學(xué)家就已經(jīng)知道了生物神經(jīng)元的組成結(jié)構(gòu)。神經(jīng)元是大腦處理信息的基本單元。神經(jīng)元主要由細(xì)胞體、細(xì)胞核、樹突、軸突和突觸組成。一個(gè)神經(jīng)元通常具有多個(gè)樹突，主要用來接收來自其他神經(jīng)元的信息；而軸突只有一條，其主要作用是將神經(jīng)元細(xì)胞體所產(chǎn)生的興奮沖動(dòng)傳導(dǎo)至其他神經(jīng)元；軸突尾端有許多突觸，可以給其他神經(jīng)元傳遞信息。5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.1生物神經(jīng)元神經(jīng)元有兩種狀態(tài)：興奮和抑制。一般情況下，大多數(shù)神經(jīng)元處于抑制狀態(tài)，但是一旦某個(gè)神經(jīng)元受到刺激，當(dāng)它的累積電位超過一個(gè)“閾值”時(shí)，這個(gè)神經(jīng)元就會(huì)被激活，就會(huì)處于“興奮”狀態(tài)，進(jìn)而向其他神經(jīng)元發(fā)送化學(xué)物質(zhì)（其實(shí)就是信息）。5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.2MP模型的結(jié)構(gòu)1943年，心理學(xué)家麥卡洛克（McCulloch）和數(shù)學(xué)家皮茨（Pitts）參考了生物神經(jīng)元的結(jié)構(gòu)，提出了人工神經(jīng)元的數(shù)學(xué)模型——MP模型。MP模型是對(duì)神經(jīng)元的工作過程進(jìn)行簡單的抽象和模擬，其結(jié)構(gòu)如圖所示。這個(gè)模型的結(jié)構(gòu)很簡單，包含輸入、計(jì)算模塊和輸出三個(gè)部分。輸入可以類比為神經(jīng)元的樹突，而輸出可以類比為神經(jīng)元的軸突，計(jì)算則可以類比為細(xì)胞核。5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.2MP模型的結(jié)構(gòu)

5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.2MP模型的結(jié)構(gòu)

5.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.3MP模型實(shí)現(xiàn)邏輯“與”運(yùn)算功能采用MP模型可以實(shí)現(xiàn)邏輯“與”運(yùn)算功能?！芭c”運(yùn)算有兩個(gè)輸入和一個(gè)輸出，其輸入信號(hào)x1、x2和輸出信號(hào)y的對(duì)應(yīng)關(guān)系如下表所示，該表稱為“與”運(yùn)算真值表?！芭c”運(yùn)算的規(guī)則是：僅在兩個(gè)輸入均為1時(shí)輸出1，其他情況則輸出0。這里1代表“真”值，0代表“假”值。x1x2yx1x2y0001000101115.2MP模型第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.2.3MP模型實(shí)現(xiàn)邏輯“與”運(yùn)算功能

第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識(shí)課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實(shí)訓(xùn)5.7拓展知識(shí)5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.1感知機(jī)

5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程

5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程現(xiàn)在的問題是感知機(jī)是如何學(xué)習(xí)到參數(shù)w1、w2、b的值的。感知機(jī)起初并不知道正確的權(quán)值參數(shù)（可能有多個(gè)），因此就首先將權(quán)值參數(shù)設(shè)置為隨機(jī)值，然后再把已經(jīng)知道結(jié)果的數(shù)據(jù)（訓(xùn)練數(shù)據(jù)）逐個(gè)輸入模型進(jìn)行計(jì)算。由于起初的權(quán)值參數(shù)是隨機(jī)設(shè)置的，會(huì)產(chǎn)生很多錯(cuò)誤的輸出，通過計(jì)算誤差（實(shí)際值與輸出值之間的差）來調(diào)整權(quán)值參數(shù)，使修改后重新計(jì)算的結(jié)果誤差減小，經(jīng)過這樣的多次迭代，最后，當(dāng)輸入的每個(gè)數(shù)據(jù)都能計(jì)算出正確的結(jié)果時(shí)，感知機(jī)就已經(jīng)正確學(xué)習(xí)到了所有的參數(shù)。5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.2感知機(jī)的學(xué)習(xí)過程

5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實(shí)現(xiàn)邏輯“異或”運(yùn)算功能邏輯“異或”運(yùn)算的真值表如下表所示。無論直線怎么變動(dòng)也無法分割兩種類型。由感知機(jī)的幾何意義可以得知，單層感知機(jī)通過超平面來進(jìn)行分類，無法解決線性不可分問題。這就是明斯基的質(zhì)疑，單層感知機(jī)連“異或”問題都無法解決，從而讓人們對(duì)感知機(jī)的學(xué)習(xí)能力產(chǎn)生了懷疑，造成了人工神經(jīng)領(lǐng)域發(fā)展的長年停滯及低潮。x1x2yx1x2y0001010111105.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實(shí)現(xiàn)邏輯“異或”運(yùn)算功能隨著研究的進(jìn)行，人們發(fā)現(xiàn)在輸入層與輸出層之間增加隱藏層，構(gòu)成一種多層神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，這樣的結(jié)構(gòu)就可以解決非線性分類的問題，增強(qiáng)感知機(jī)的分類能力，這就是多層感知機(jī)，如圖所示。5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實(shí)現(xiàn)邏輯“異或”運(yùn)算功能利用如圖所示的兩層感知機(jī)（輸入層不算入神經(jīng)網(wǎng)絡(luò)的層次）就可實(shí)現(xiàn)邏輯“異或”運(yùn)算的功能。5.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實(shí)現(xiàn)邏輯“異或”運(yùn)算功能用如圖所示的兩層感知機(jī)（輸入層不算入神經(jīng)網(wǎng)絡(luò)的層次）就可實(shí)現(xiàn)邏輯“異或”運(yùn)算的功能。在兩層感知機(jī)中，設(shè)置權(quán)值參數(shù)w11＝1，w12＝－1，w21＝1，w22＝－1，w3＝1，w4＝1，b1＝－0.5，b2＝1.5，b3＝－1.5，激活函數(shù)f(x)為階躍函數(shù)。（1）x1、x2分別為0、0時(shí)，輸出y＝0，計(jì)算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×0＋1×0－0.5）＝0神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×0＋（－1）×0＋1.5）＝1神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×0＋1×1－1.5）＝05.3感知機(jī)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.3.3多層感知機(jī)實(shí)現(xiàn)邏輯“異或”運(yùn)算功能（2）x1、x2分別為0、1時(shí)，輸出y＝1，計(jì)算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×0＋1×1－0.5）＝1神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×0＋（－1）×1＋1.5）＝1神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×1＋1×1－1.5）＝1（3）x1、x2分別為1、0時(shí)，輸出y＝1，計(jì)算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×1＋1×0－0.5）＝1神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×1＋（－1）×0＋1.5）＝1神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×1＋1×1－1.5）＝1（4）x1、x2分別為1、1時(shí)，輸出y＝0，計(jì)算過程如下：神經(jīng)元1輸出s1＝f（w11x1＋w21x2＋b1）＝f（1×1＋1×1－0.5）＝1神經(jīng)元2輸出s2＝f（w12x1＋w22x2＋b2）＝f（－1×1＋（－1）×1＋1.5）＝0神經(jīng)元3輸出s3＝f（w3s1＋w4s2＋b3）＝f（1×1＋1×0－1.5）＝0第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識(shí)課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實(shí)訓(xùn)5.7拓展知識(shí)5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)1986年，魯梅爾哈特（Rumelhart）、辛頓（Hinton）和威廉姆斯（Williams）等人提出了訓(xùn)練多層神經(jīng)網(wǎng)絡(luò)的誤差反向傳播（BackPropagation，BP）神經(jīng)網(wǎng)絡(luò)算法，徹底解決了兩層神經(jīng)網(wǎng)絡(luò)的計(jì)算量問題，從而帶動(dòng)了業(yè)界研究多層神經(jīng)網(wǎng)絡(luò)的熱潮。由于神經(jīng)網(wǎng)絡(luò)在解決復(fù)雜問題時(shí)提供了一種相對(duì)簡單的方法，因此近年來越來越受到人們的關(guān)注。BP神經(jīng)網(wǎng)絡(luò)在感知機(jī)的基礎(chǔ)上加入了一個(gè)隱藏層，如圖所示。BP神經(jīng)網(wǎng)絡(luò)，即誤差反向傳播算法的學(xué)習(xí)過程，由信息正向傳播和誤差反向傳播兩個(gè)過程組成。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)BP神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層和輸出層組成，每一層都由若干個(gè)神經(jīng)元組成。它的相鄰層之間的各個(gè)神經(jīng)元實(shí)現(xiàn)全連接，即相鄰層的所有神經(jīng)元之間都存在連接，這種連接方式稱為全連接，而同一層中的上下各神經(jīng)元之間無連接。需要注意的是，輸入層不計(jì)入神經(jīng)網(wǎng)絡(luò)的層數(shù)。圖5-11所示是具有三個(gè)神經(jīng)元輸入的兩層BP神經(jīng)網(wǎng)絡(luò)模型，它包含一個(gè)有四個(gè)神經(jīng)元的隱藏層和一個(gè)有三個(gè)神經(jīng)元的輸出層。（1）輸入層：在輸入階段，由來自外部的信息提供給網(wǎng)絡(luò)的部分，統(tǒng)稱為“輸入層”。輸入層對(duì)于輸入的信息不做任何處理，即輸入節(jié)點(diǎn)都不執(zhí)行計(jì)算，只負(fù)責(zé)將信息傳遞至隱藏層。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（2）隱藏層：隱藏層的節(jié)點(diǎn)與外界沒有直接聯(lián)系，就像一個(gè)黑盒子，因此得名“隱藏層”。隱藏層的神經(jīng)元負(fù)責(zé)執(zhí)行運(yùn)算，并將信息從輸入節(jié)點(diǎn)傳輸?shù)捷敵龉?jié)點(diǎn)。神經(jīng)網(wǎng)絡(luò)只有一個(gè)輸入層和輸出層，但是可以擁有多個(gè)隱藏層。（3）輸出層：輸出節(jié)點(diǎn)統(tǒng)稱為“輸出層”，負(fù)責(zé)計(jì)算并將信息從網(wǎng)絡(luò)輸出到外部。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)在正常情況下，一個(gè)多層神經(jīng)網(wǎng)絡(luò)的計(jì)算流程是從數(shù)據(jù)進(jìn)入輸入層開始，輸入層將其傳遞到第一層隱藏層，然后經(jīng)過第一層隱藏層中的神經(jīng)元運(yùn)算（乘上權(quán)值，加上偏置，激活函數(shù)運(yùn)算一次），得到輸出，再把第一層隱藏層的輸出作為第二層隱藏層的輸入，重復(fù)進(jìn)行運(yùn)算，得到第二層隱藏層的輸出，直到所有隱藏層計(jì)算完畢，最后數(shù)據(jù)被輸出至輸出層進(jìn)行運(yùn)算，得到輸出結(jié)果。這個(gè)過程也稱為神經(jīng)網(wǎng)絡(luò)信息的正向傳播過程。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.1BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)下圖所示為有兩個(gè)隱藏層的BP神經(jīng)網(wǎng)絡(luò)模型，輸入層輸入訓(xùn)練數(shù)據(jù)，輸出層輸出計(jì)算結(jié)果，中間有兩個(gè)隱藏層，使輸入數(shù)據(jù)向前傳播到輸出層。從這個(gè)過程也可以看出，對(duì)于多層神經(jīng)網(wǎng)絡(luò)，需要計(jì)算每個(gè)節(jié)點(diǎn)對(duì)其下一層節(jié)點(diǎn)的影響，求出各個(gè)神經(jīng)元的權(quán)值參數(shù)和偏置的值，使得輸出結(jié)果達(dá)到要求。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)在多層神經(jīng)網(wǎng)絡(luò)中，上層節(jié)點(diǎn)的輸出和下層節(jié)點(diǎn)的輸入之間具有一個(gè)函數(shù)關(guān)系，這個(gè)函數(shù)稱為激活函數(shù)。如果不使用激活函數(shù)，則每一層節(jié)點(diǎn)的輸入都是上一層輸出的線性函數(shù)，無論神經(jīng)網(wǎng)絡(luò)有多少層，輸出都是輸入的線性組合，與沒有隱藏層的效果相當(dāng)，這種情況就是最原始的感知機(jī)，那么神經(jīng)網(wǎng)絡(luò)的逼近能力就相當(dāng)有限。為了解決線性輸出問題，引入非線性函數(shù)作為激活函數(shù)，這樣多層神經(jīng)網(wǎng)絡(luò)的表達(dá)能力就更強(qiáng)，可處理非線性問題。常用的激活函數(shù)有：Sigmoid函數(shù)、Tanh函數(shù)、Relu函數(shù)等。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)

5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)

5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.2激活函數(shù)

5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法對(duì)于BP神經(jīng)網(wǎng)絡(luò)來說，它的工作程序由“信息的正向傳播”和“誤差的反向傳播”組成。（1）信息的正向傳播：輸入的樣本從輸入層進(jìn)入BP神經(jīng)網(wǎng)絡(luò)，經(jīng)各隱藏層逐層處理后，傳遞至輸出層，信息傳播的路徑是“輸入層—隱藏層—輸出層”。（2）誤差的反向傳播：當(dāng)正向傳播結(jié)束之后，如果輸出層的輸出結(jié)果與期望結(jié)果不符，那么BP神經(jīng)網(wǎng)絡(luò)體系就會(huì)將這一誤差值反向傳播，即誤差信息的傳輸路徑為“輸出層—隱藏層—輸入層”。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法誤差的反向傳播是將輸出誤差以某種形式通過隱藏層向輸入層逐層反向傳播，并將誤差分?jǐn)偨o各層的所有單元，從而獲得各層單元的誤差信號(hào)，此誤差信號(hào)即作為修正各單元權(quán)值參數(shù)的依據(jù)。這種通過信息的正向傳播與誤差的反向傳播，對(duì)各層權(quán)值參數(shù)進(jìn)行調(diào)整的過程，是周而復(fù)始地進(jìn)行的。權(quán)值參數(shù)不斷調(diào)整的過程，也就是神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)訓(xùn)練過程。此過程一直進(jìn)行到神經(jīng)網(wǎng)絡(luò)輸出的誤差減少到可接受的程度，或進(jìn)行到預(yù)先設(shè)定的學(xué)習(xí)次數(shù)為止。5.4BP神經(jīng)網(wǎng)絡(luò)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.4.3BP神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法以兩層BP神經(jīng)網(wǎng)絡(luò)為例，介紹其學(xué)習(xí)過程。（1）隨機(jī)初始化隱藏層和輸出層的權(quán)值參數(shù)和閾值，給定學(xué)習(xí)率和激活函數(shù)，給定樣本的輸入值和期望結(jié)果。（2）根據(jù)隱藏層的權(quán)值參數(shù)和閾值，計(jì)算隱藏層的輸出結(jié)果。（3）根據(jù)輸出層的權(quán)值參數(shù)和閾值，計(jì)算輸出層的輸出結(jié)果。（4）根據(jù)期望結(jié)果與輸出層的輸出結(jié)果，計(jì)算誤差。（5）判斷誤差是否滿足要求，如果滿足要求，則學(xué)習(xí)結(jié)束；否則繼續(xù)向下執(zhí)行。（6）更新輸出層的權(quán)值參數(shù)和閾值。（7）反向傳遞誤差，更新隱藏層的權(quán)值參數(shù)和閾值，然后跳轉(zhuǎn)到步驟（2）。如此反復(fù)迭代，直到誤差滿足要求或?qū)W習(xí)次數(shù)達(dá)到要求為止。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識(shí)課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實(shí)訓(xùn)5.7拓展知識(shí)5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.1深度學(xué)習(xí)的概念深度學(xué)習(xí)可以理解為“深度”和“學(xué)習(xí)”這兩個(gè)名詞的組合?！吧疃取斌w現(xiàn)在神經(jīng)網(wǎng)絡(luò)的層數(shù)上，一般來說，典型的深度學(xué)習(xí)模型是指具有“多隱藏層”的神經(jīng)網(wǎng)絡(luò)，這里的“多隱藏層”代表有三個(gè)以上的隱藏層，通常有八九層甚至更多隱藏層，層數(shù)越多，學(xué)習(xí)效果越好；“學(xué)習(xí)”體現(xiàn)為神經(jīng)網(wǎng)絡(luò)可以通過不斷地使用訓(xùn)練數(shù)據(jù)來自動(dòng)校正權(quán)值參數(shù)、偏置等參數(shù)，以擬合更好的學(xué)習(xí)效果。2012年，深度學(xué)習(xí)在圖像識(shí)別領(lǐng)域發(fā)揮了作用，辛頓和他的學(xué)生在ImageNet競賽中，用多層神經(jīng)網(wǎng)絡(luò)成功地對(duì)覆蓋1000個(gè)類別100萬張圖片進(jìn)行了訓(xùn)練，取得了分類錯(cuò)誤率15%的好成績，比第二名高了11個(gè)百分點(diǎn)，充分證明了多層神經(jīng)網(wǎng)絡(luò)在識(shí)別領(lǐng)域的優(yōu)越性。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.1深度學(xué)習(xí)的概念說到深度學(xué)習(xí)，值得一提的是我國科學(xué)家—孫劍。孫劍（1976年10月—2022年6月），男，出生于西安，人工智能領(lǐng)域科學(xué)家，生前為曠視科技首席科學(xué)家、曠視研究院院長、西安交通大學(xué)人工智能學(xué)院首任院長。孫劍于1997年在西安交通大學(xué)獲工學(xué)學(xué)士學(xué)位，2000年在西安交通大學(xué)獲工學(xué)碩士學(xué)位，2003年在西安交通大學(xué)獲工學(xué)博士學(xué)位；2003年在微軟亞洲研究院擔(dān)任首席研究員，2016年7月加入北京曠視科技有限公司，并任首席科學(xué)家和曠視研究院（MegviiResearch）負(fù)責(zé)人。孫劍的主要研究方向是計(jì)算機(jī)視覺和計(jì)算攝影學(xué)、人臉識(shí)別和基于深度學(xué)習(xí)的圖像理解。在孫劍的帶領(lǐng)下，曠視研究院研發(fā)了移動(dòng)端高效卷積神經(jīng)網(wǎng)絡(luò)ShuffleNet、開源深度學(xué)習(xí)框架天元MegEngine、AI生產(chǎn)力平臺(tái)Brain++等多項(xiàng)創(chuàng)新技術(shù)，其提出的“深度殘差網(wǎng)絡(luò)ResNets”成功地解決了深度神經(jīng)網(wǎng)絡(luò)訓(xùn)練困難的世界級(jí)難題。2015年，孫劍帶領(lǐng)團(tuán)隊(duì)獲得圖像識(shí)別國際大賽五項(xiàng)冠軍（ImageNet分類、檢測(cè)、定位、MSCOCO檢測(cè)和分割）；2017年帶領(lǐng)曠視研究院擊敗谷歌、Facebook、微軟等企業(yè)，獲得COCO&Places圖像理解國際大賽三項(xiàng)冠軍（COCO物體檢測(cè)、人體關(guān)鍵點(diǎn)、Places物體分割）；2017—2019年帶領(lǐng)團(tuán)隊(duì)獲得MSCOCO物體檢測(cè)世界比賽三連冠。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)（ConvolutionalNeuralNetworks，CNN）是一類包含卷積計(jì)算且具有深度結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，是目前深度學(xué)習(xí)技術(shù)領(lǐng)域中非常具有代表性的神經(jīng)網(wǎng)絡(luò)之一。20世紀(jì)60年代，休伯爾（Hubel）和維厄瑟爾（Wiesel）在研究貓腦皮層中用于局部敏感和方向選擇的神經(jīng)元時(shí)，發(fā)現(xiàn)其獨(dú)特的局部互連網(wǎng)絡(luò)結(jié)構(gòu)可以有效地降低神經(jīng)網(wǎng)絡(luò)的復(fù)雜性，繼而提出了卷積神經(jīng)網(wǎng)絡(luò)。卷積是一種數(shù)學(xué)運(yùn)算。在卷積神經(jīng)網(wǎng)絡(luò)中，卷積操作是一種特殊的線性變換，卷積核（也稱為濾波器）在輸入數(shù)據(jù)上進(jìn)行滑動(dòng)，以每次計(jì)算與卷積核重疊部分的“點(diǎn)乘和”。通過這樣的操作可以提取輸入數(shù)據(jù)的局部特征，實(shí)現(xiàn)特征的共享和抽象，從而使得網(wǎng)絡(luò)對(duì)輸入數(shù)據(jù)的變化更加魯棒（Robust的發(fā)音，健壯和強(qiáng)壯的意思）和準(zhǔn)確。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)本質(zhì)上是一個(gè)多層感知機(jī)，采用了局部連接和共享權(quán)值的方式，使得神經(jīng)網(wǎng)絡(luò)易于優(yōu)化，降低過擬合的風(fēng)險(xiǎn)。卷積神經(jīng)網(wǎng)絡(luò)可以使用圖像直接作為神經(jīng)網(wǎng)絡(luò)的輸入，避免了傳統(tǒng)識(shí)別算法中復(fù)雜的特征提取和數(shù)據(jù)重建過程。卷積神經(jīng)網(wǎng)絡(luò)能自行抽取圖像特征（顏色、紋理、形狀及圖像的拓?fù)浣Y(jié)構(gòu)等），在識(shí)別位移、縮放及其它形式扭曲不變性的應(yīng)用上具有良好的魯棒性和運(yùn)算效率等特性，允許樣品有較大的缺損、畸變，運(yùn)行速度快，自適應(yīng)性能好，具有較高的分辨率。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)最主要的功能是特征提取和降維。特征提取是計(jì)算機(jī)視覺和圖像處理中的一個(gè)概念，指的是使用計(jì)算機(jī)提取圖像信息，決定每個(gè)圖像的點(diǎn)是否屬于一個(gè)圖像特征。特征提取的結(jié)果是把圖像上的點(diǎn)分為不同的子集，這些子集往往屬于孤立的點(diǎn)、連續(xù)的曲線或者連續(xù)的區(qū)域。降維是指通過線性或非線性映射，將樣本從高維度空間映射到低維度空間，從而獲得高維度數(shù)據(jù)的一個(gè)有意義的低維度表示過程。通過特征提取和降維，可以有效地進(jìn)行信息綜合及無用信息的擯棄，從而大大降低了計(jì)算的復(fù)雜程度，減少了冗余信息。如果一張小狗的圖像通過特征提取和降維后，尺寸縮小一半后還能被認(rèn)出是一張小狗的照片，則說明這張圖像中仍保留著小狗的最重要的特征。圖像降維時(shí)去掉的信息只是一些無關(guān)緊要的信息，而留下的信息則是最能表達(dá)圖像特征的信息。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)卷積神經(jīng)網(wǎng)絡(luò)是一種特殊的深層神經(jīng)網(wǎng)絡(luò)模型，它的特殊性體現(xiàn)在兩個(gè)方面：一方面，它的神經(jīng)元的連接是非全連接的（局部連接或稀疏連接）；另一方面，同一層中某些神經(jīng)元之間的連接的權(quán)值參數(shù)是共享的（即相同的）。它的局部連接和權(quán)值參數(shù)共享的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)使之更類似于生物神經(jīng)網(wǎng)絡(luò)，降低了神經(jīng)網(wǎng)絡(luò)模型的復(fù)雜度，減少了權(quán)值參數(shù)的數(shù)量。同時(shí)，卷積神經(jīng)網(wǎng)絡(luò)是一種監(jiān)督學(xué)習(xí)的機(jī)器學(xué)習(xí)模型，具有極強(qiáng)的適應(yīng)性，善于挖掘數(shù)據(jù)局部特征，提取全局訓(xùn)練特征和分類，在模式識(shí)別各個(gè)領(lǐng)域都取得了很好的成果。卷積神經(jīng)網(wǎng)絡(luò)在本質(zhì)上是一種輸入到輸出的映射，它能夠?qū)W習(xí)大量的輸入與輸出之間的映射關(guān)系，只要用已知的訓(xùn)練集數(shù)據(jù)對(duì)卷積神經(jīng)網(wǎng)絡(luò)加以訓(xùn)練，神經(jīng)網(wǎng)絡(luò)就具有輸入輸出對(duì)之間的映射能力。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)下面以動(dòng)物識(shí)別為例，描述對(duì)小狗進(jìn)行識(shí)別訓(xùn)練時(shí)的整個(gè)流程。當(dāng)小狗的圖片（數(shù)字化圖像）被傳輸入卷積神經(jīng)網(wǎng)絡(luò)時(shí)，需要通過多次的卷積（Convolution）→池化（Pooling）運(yùn)算，最后通過全連接層，輸出為屬于貓、狗等各個(gè)動(dòng)物類別的概率，如下圖所示。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積卷積是指進(jìn)行卷積操作，這也是卷積神經(jīng)網(wǎng)絡(luò)名字的由來。在了解卷積操作前，首先看如左下圖所示的圖片。無論圖中的“X”被怎么旋轉(zhuǎn)或者縮放，人眼都能很容易地識(shí)別出“X”。但計(jì)算機(jī)不同，它“看到”的其實(shí)是一個(gè)個(gè)的像素矩陣，如右下圖所示。對(duì)像素矩陣進(jìn)行特征的提取其實(shí)就是卷積操作要做的事情。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積仔細(xì)觀察圖片可以發(fā)現(xiàn)，“X”即使進(jìn)行了旋轉(zhuǎn)，但是方框標(biāo)記的區(qū)間在兩張圖片中還是一致的，某種程度上，這其實(shí)就是“X”的特征。因此可以將這3個(gè)特征的區(qū)間提取出來，假設(shè)提取的尺寸大小是3像素×3像素，就形成了如右下圖所示的3個(gè)卷積核。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積卷積核是如何進(jìn)行卷積操作的呢？其實(shí)很簡單，可以看一下圖片，其實(shí)就是拿著卷積核在圖片的矩陣上一步一步地平移，就像掃地一樣。每掃到一處地方就可以進(jìn)行卷積的運(yùn)算，計(jì)算方法很簡單，左上角的卷積核掃到紅色框的位置，則卷積核矩陣的數(shù)字就和掃到的位置的矩陣的數(shù)字逐一對(duì)應(yīng)相乘然后相加，最后取均值，該均值就是卷積核提取的特征。使用不同的卷積核就能提取出不同的特征圖。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)1.卷積可以看到，卷積操作通過卷積核是可以分別提取到圖片特征的，但是如何提前知道卷積核呢？像上面的例子，很容易可以找到3個(gè)卷積核，但是如果是要進(jìn)行人臉識(shí)別，對(duì)具有成千上萬個(gè)特征的圖片，則無法提前知道什么是合適的卷積核的。其實(shí)也沒必要知道，因?yàn)闊o論選擇什么樣的卷積核，都可以通過訓(xùn)練不斷優(yōu)化。初始時(shí)只需要隨機(jī)設(shè)置一些卷積核，通過訓(xùn)練，模型自己就可以學(xué)習(xí)到合適的卷積核，這也是卷積神經(jīng)網(wǎng)絡(luò)模型強(qiáng)大的地方。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)2.池化池化，也稱下采樣，其實(shí)就是對(duì)數(shù)據(jù)進(jìn)行縮小。因?yàn)檎Z音識(shí)別和人臉識(shí)別等，通過卷積操作可以得到成千上萬個(gè)特征圖，每個(gè)特征圖有很多像素點(diǎn)，在后續(xù)的運(yùn)算時(shí)，時(shí)間會(huì)變得很長。池化其實(shí)就是對(duì)每個(gè)特征圖進(jìn)一步提煉的過程。如圖所示，原來4×4的特征圖經(jīng)過池化操作之后就變成了更小的2×2的矩陣。池化的常用方法有兩種，一是最大池化（MaxPooling），即對(duì)鄰域內(nèi)特征點(diǎn)取最大值作為最后的特征值；另一種是均值池化（AveragePooling），即取鄰域內(nèi)特征點(diǎn)的平均值作為最后的特征值。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)3.全連接層通過前面不斷的卷積和池化操作，就得到了樣本的多層特征圖，然后將最終得到的特征圖排成一列，即將多層的特征映射拉直為一個(gè)一維的向量，形成全連接層，如圖所示。全連接層中的每個(gè)特征值與輸出層的每一個(gè)節(jié)點(diǎn)相連接，打破了卷積特征的空間限制，對(duì)卷積層獲得的不同的特征進(jìn)行加權(quán)運(yùn)算，目的是得到一個(gè)可以對(duì)不同類別進(jìn)行區(qū)分的得分或概率，這樣就最終形成了卷積神經(jīng)網(wǎng)絡(luò)。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)3.全連接層深度學(xué)習(xí)的優(yōu)異能力主要?dú)w功于以下兩點(diǎn)。（1）深度網(wǎng)絡(luò)有自動(dòng)特征發(fā)現(xiàn)的潛質(zhì)和特性。研究者發(fā)現(xiàn)，多于一個(gè)隱藏層的前饋網(wǎng)絡(luò)有自動(dòng)發(fā)現(xiàn)或創(chuàng)造設(shè)計(jì)者沒有明確引入的特征的特性，而且隱藏層中的節(jié)點(diǎn)越多就可以發(fā)現(xiàn)或創(chuàng)造出越復(fù)雜的特征。（2）深度學(xué)習(xí)采用的是“逐層訓(xùn)練、多級(jí)學(xué)習(xí)（抽象）”等技術(shù)技巧。“逐層訓(xùn)練、多級(jí)學(xué)習(xí)（抽象）”就是從最原始的輸入數(shù)據(jù)開始，對(duì)網(wǎng)絡(luò)各隱藏層逐級(jí)分別進(jìn)行訓(xùn)練，將每一層所抽象出的特征作為下一層的輸入，從而使所得特征的級(jí)別逐層提高，直到從最后一個(gè)隱藏層抽象出級(jí)別最高的特征。例如，下圖就是由一個(gè)圖像的原始數(shù)據(jù)通過逐層訓(xùn)練、多級(jí)學(xué)習(xí)（抽象）而得到的人臉圖像。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)4.經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型楊立昆（YannLeCun），于1960年出生于法國巴黎附近，擔(dān)任Facebook首席人工智能科學(xué)家和紐約大學(xué)教授，2018年圖靈獎(jiǎng)（TuringAward）得主。楊立昆在1998年提出的用于手寫數(shù)字識(shí)別的LeNet-5模型是非常經(jīng)典的模型，它是第一個(gè)成功大規(guī)模應(yīng)用的卷積神經(jīng)網(wǎng)絡(luò)，在MNIST數(shù)據(jù)集中的正確率可以高達(dá)99.2%。LeNet-5卷積神經(jīng)網(wǎng)絡(luò)模型一共有7層，包含卷積層、池化層（下采樣層）、全連接層等。首先需要把包含手寫字符的原始圖像處理成為32×32像素的圖像，并作為輸入；后面的神經(jīng)網(wǎng)絡(luò)層采用卷積層和池化層交替分布的方式。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)4.經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型第一層（C1）是卷積層，分別采用了6個(gè)不同的卷積核，每個(gè)卷積核尺寸均為5×5，對(duì)32×32的輸入數(shù)據(jù)進(jìn)行縱向、橫向步長均為1的卷積計(jì)算，得到6個(gè)28×28的特征圖，每個(gè)特征圖中的28×28個(gè)神經(jīng)元共享這25個(gè)卷積核權(quán)值參數(shù)。第二層（S2）是一個(gè)池化層，池化采樣區(qū)域?yàn)?×2，對(duì)6個(gè)特征圖分別進(jìn)行池化操作，得到6個(gè)14×14的特征圖。第三層（C3）又是一個(gè)卷積層，這次采用了16個(gè)多層的5×5的卷積核（可以認(rèn)為是三維卷積核），得到16個(gè)10×10的特征圖，而且本層產(chǎn)生不同特征圖數(shù)據(jù)的每個(gè)神經(jīng)元并不是和S2層中的所有6個(gè)特征圖連接，而是只連接其中某幾個(gè)特征圖，這樣可以讓不同的特征圖抽取出不同的局部特征。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.2卷積神經(jīng)網(wǎng)絡(luò)4.經(jīng)典卷積神經(jīng)網(wǎng)絡(luò)LeNet-5模型第四層（S4)又是一個(gè)池化層，池化采樣區(qū)域?yàn)?×2，對(duì)16個(gè)C3的特征圖分別進(jìn)行池化處理，得到16個(gè)5×5的特征圖。第五層（C5）是一個(gè)全連接層，由120個(gè)16層的5×5的不同三維卷積核組成。與上一層的16個(gè)（層）5×5的特征圖卷積后，得到120個(gè)1×1大小的特征圖。第六層（F6）則包含84個(gè)神經(jīng)元，與C5進(jìn)行全連接，每個(gè)神經(jīng)元經(jīng)過激活函數(shù)產(chǎn)生數(shù)據(jù)，輸出給最后一層。最后一層是輸出層。因?yàn)槭菍?duì)10個(gè)手寫數(shù)字字符進(jìn)行識(shí)別，輸出層設(shè)置了10個(gè)神經(jīng)元，這10個(gè)神經(jīng)元分別對(duì)應(yīng)手寫數(shù)字字符0、1、2、3、4、5、6、7、8、9的識(shí)別，每個(gè)神經(jīng)元的輸出結(jié)果是其所對(duì)應(yīng)手寫數(shù)字字符的識(shí)別概率。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)（RecurrentNeuralNetwork，RNN）是一種對(duì)序列數(shù)據(jù)建模的神經(jīng)網(wǎng)絡(luò)，即一個(gè)序列當(dāng)前的輸出與前面的輸出也有關(guān)。循環(huán)神經(jīng)網(wǎng)絡(luò)會(huì)對(duì)前面的信息進(jìn)行記憶并應(yīng)用于當(dāng)前輸出的計(jì)算中，因此循環(huán)神經(jīng)網(wǎng)絡(luò)適合處理和預(yù)測(cè)序列數(shù)據(jù)。循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)如下圖所示。循環(huán)神經(jīng)網(wǎng)絡(luò)的主體結(jié)構(gòu)A做的事情都是一樣的，因此圖中箭頭左側(cè)的部分可以展開成箭頭右側(cè)部分的形式。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是其中一個(gè)主體結(jié)構(gòu)重復(fù)使用的結(jié)果，所以稱之為循環(huán)神經(jīng)網(wǎng)絡(luò)。與普通的神經(jīng)網(wǎng)絡(luò)相比，循環(huán)神經(jīng)網(wǎng)絡(luò)的不同之處在于，其隱藏層節(jié)點(diǎn)之間是有連接的，并且隱藏層的輸入不僅包括輸入層的數(shù)據(jù)，還包括上一時(shí)刻隱藏層的輸出。這使得循環(huán)神經(jīng)網(wǎng)絡(luò)通過循環(huán)反饋連接保留前面所有時(shí)刻的信息，賦予了循環(huán)神經(jīng)網(wǎng)絡(luò)記憶功能。這些特點(diǎn)使得循環(huán)神經(jīng)網(wǎng)絡(luò)非常適用于對(duì)時(shí)序信號(hào)進(jìn)行處理。循環(huán)神經(jīng)網(wǎng)絡(luò)可以往前看，獲得任意多個(gè)輸入值，即輸出y與輸入序列的前t個(gè)時(shí)刻都有關(guān)，這造成了它有長期依賴的缺點(diǎn)。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.長短期記憶神經(jīng)網(wǎng)絡(luò)解決循環(huán)神經(jīng)網(wǎng)絡(luò)長期依賴問題最有效的方法是進(jìn)行有選擇的遺忘，同時(shí)也進(jìn)行有選擇的更新。1997年，塞普·霍赫萊特和于爾根·施密德胡貝爾提出的長短期記憶神經(jīng)網(wǎng)絡(luò)（LongShortTermMemory，LSTM）是循環(huán)神經(jīng)網(wǎng)絡(luò)的一種特殊類型。在標(biāo)準(zhǔn)的循環(huán)神經(jīng)網(wǎng)絡(luò)中，重復(fù)的結(jié)構(gòu)是一個(gè)簡單的循環(huán)體，然而LSTM神經(jīng)網(wǎng)絡(luò)的循環(huán)體是一個(gè)擁有4個(gè)相互關(guān)聯(lián)的全連接前饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜結(jié)構(gòu)，如圖所示。5.5深度學(xué)習(xí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.5.3循環(huán)神經(jīng)網(wǎng)絡(luò)1.長短期記憶神經(jīng)網(wǎng)絡(luò)LSTM神經(jīng)網(wǎng)絡(luò)利用3個(gè)門操作來管理和控制神經(jīng)元的狀態(tài)信息。LSTM算法的第一步是用遺忘門確定從上一個(gè)時(shí)刻的狀態(tài)中丟棄什么信息；第二步是用輸入門確定哪些輸入信息要保存到神經(jīng)元的狀態(tài)中；第三步是更新上一時(shí)刻的狀態(tài)Ct-1為當(dāng)前時(shí)刻的狀態(tài)Ct；第四步是用輸出門確定神經(jīng)元的輸出ht?？傊?，遺忘門決定的是先前步驟有關(guān)的重要信息，輸入門決定的是從當(dāng)前步驟中添加哪些重要信息，輸出門決定下一個(gè)隱藏狀態(tài)是什么。

其中，σ

是Sigmoid函數(shù)，tanh是雙曲正切函數(shù)。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識(shí)課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實(shí)訓(xùn)5.7拓展知識(shí)5.6本章實(shí)訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗(yàn)可視化工具PlaygroundPlayGround是Google公司推出的一個(gè)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行在線演示的實(shí)驗(yàn)平臺(tái)，是一個(gè)非常直觀的入門級(jí)的神經(jīng)網(wǎng)絡(luò)網(wǎng)站。這個(gè)圖形化平臺(tái)非常強(qiáng)大，可以直接可視化神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程，同時(shí)也能讓初學(xué)者對(duì)TensorFlow有一個(gè)感性的認(rèn)識(shí)。（1）在瀏覽器的地址欄中輸入，打開的主頁面如圖所示。5.6本章實(shí)訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗(yàn)可視化工具Playground（2）選擇數(shù)據(jù)集為“圓形（Circle）”，特征向量設(shè)置為X1和X2，單擊相應(yīng)的“+”“-”按鈕，設(shè)置隱藏層為1層，設(shè)置隱藏層的神經(jīng)元為1個(gè)，再單擊運(yùn)行按鈕

，開始迭代訓(xùn)練，當(dāng)Testloss和Trainingloss的值不再變化時(shí)，單擊暫停按鈕

，結(jié)果如圖所示，可見，在迭代1154次后，使用單層單個(gè)神經(jīng)元不能對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。5.6本章實(shí)訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗(yàn)可視化工具Playground（3）單擊“+”按鈕，再增加一個(gè)神經(jīng)元，單擊運(yùn)行按鈕，開始迭代訓(xùn)練，當(dāng)Testloss和Trainingloss的值不再變化時(shí)，單擊暫停按鈕，結(jié)果如圖所示，可見，在迭代1127次后，使用單層兩個(gè)神經(jīng)元仍然不能對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。5.6本章實(shí)訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗(yàn)可視化工具Playground（4）單擊“+”按鈕，再增加一個(gè)神經(jīng)元，單擊運(yùn)行按鈕，開始迭代訓(xùn)練，當(dāng)Testloss和Trainingloss的值不再變化時(shí)，單擊暫停按鈕，結(jié)果如圖所示，可見，在迭代1179次后，使用單層三個(gè)神經(jīng)元可以完美地對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。5.6本章實(shí)訓(xùn)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)體驗(yàn)可視化工具Playground（5）在系統(tǒng)初始化時(shí)，連接線的權(quán)值參數(shù)是由系統(tǒng)隨機(jī)設(shè)置的實(shí)數(shù)，將鼠標(biāo)置于第一條連接線的上方，可以看到權(quán)值參數(shù)的具體值（0.21），單擊該連線還可編輯權(quán)值參數(shù)，如左下圖所示。訓(xùn)練完成后，可再次查看第一條連接線的權(quán)值參數(shù)（-0.71），如右下圖所示。（6）請(qǐng)讀者選擇數(shù)據(jù)集為“異或（Exclusiveor）”，自行設(shè)計(jì)隱藏層的層數(shù)和每層的神經(jīng)元數(shù)，嘗試對(duì)訓(xùn)練數(shù)據(jù)進(jìn)行區(qū)分。第五章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.1人工神經(jīng)網(wǎng)絡(luò)概述5.2

MP模型5.3感知機(jī)高職高專人工智能通識(shí)課規(guī)劃教材5.4

BP神經(jīng)網(wǎng)絡(luò)5.5深度學(xué)習(xí)5.6本章實(shí)訓(xùn)5.7拓展知識(shí)5.7

拓展知識(shí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.7拓展知識(shí)：3位AI科學(xué)家榮獲2018年圖靈獎(jiǎng)2019年3月27日，美國計(jì)算機(jī)協(xié)會(huì)（ACM）發(fā)布消息，2018年圖靈獎(jiǎng)?lì)C給3位深度學(xué)習(xí)之父約書亞·本吉奧（YoshuaBengio）、杰弗里·辛頓（GeoffreyHinton）和楊立昆（YannLeCun），以表彰他們?cè)谌斯ぶ悄苌疃葘W(xué)習(xí)領(lǐng)域做出的重大貢獻(xiàn)。5.7

拓展知識(shí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.7拓展知識(shí)：3位AI科學(xué)家榮獲2018年圖靈獎(jiǎng)1.辛頓的主要成就（1）反向傳播。1986年論文《學(xué)習(xí)誤差傳播內(nèi)部表示》，Hinton證明神經(jīng)網(wǎng)絡(luò)反向傳播算法可以發(fā)現(xiàn)自己的內(nèi)部表示的數(shù)據(jù)，使其可以用神經(jīng)網(wǎng)絡(luò)來解決問題。在這之前，認(rèn)為是是做不到的。反向傳播算法是目前大多數(shù)神經(jīng)網(wǎng)絡(luò)的標(biāo)準(zhǔn)算法。5.7

拓展知識(shí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.7拓展知識(shí)：3位AI科學(xué)家榮獲2018年圖靈獎(jiǎng)1.辛頓的主要成就（2）玻爾茲曼機(jī)。1983年，Hinton與特倫斯·塞諾斯基一起發(fā)明了玻爾茲曼機(jī)器(一種由二值隨機(jī)神經(jīng)元構(gòu)成的兩層對(duì)稱連接神經(jīng)網(wǎng)絡(luò)，其權(quán)值通過優(yōu)化玻爾茲曼能量函數(shù)獲得)，這是第一個(gè)能夠?qū)W習(xí)不屬于輸入或輸出的神經(jīng)元內(nèi)部表征的神經(jīng)網(wǎng)絡(luò)。（3）卷積神經(jīng)網(wǎng)絡(luò)的改進(jìn)。2012年，Hinton和他的學(xué)生一起，利用校正的線性神經(jīng)元和dropout正則化改進(jìn)了卷積神經(jīng)網(wǎng)絡(luò)。在著名的ImageNet比賽中，Hinton和他的學(xué)生幾乎將物體識(shí)別的錯(cuò)誤率減半，重塑了計(jì)算機(jī)視覺領(lǐng)域。5.7

拓展知識(shí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.7拓展知識(shí)：3位AI科學(xué)家榮獲2018年圖靈獎(jiǎng)2.本吉奧的主要成就（1）序列的概率模型。20世紀(jì)90年代，Bengio將神經(jīng)網(wǎng)絡(luò)與序列的概率模型相結(jié)合，如隱馬爾可夫模型。這些想法被納入AT&T/NCR用于閱讀手寫支票的系統(tǒng)。（2）高維詞嵌入與注意力。2000年，Bengio發(fā)表了具有里程碑意義的論文《神經(jīng)概率語言模型》，引入高維詞嵌入作為詞的意義表示。他的團(tuán)隊(duì)還引入了一種注意力機(jī)制，這種注意力機(jī)制在機(jī)器翻譯方面取得了突破。（3）生成對(duì)抗網(wǎng)絡(luò)。他與恩·古德費(fèi)洛(IanGoodfellow)共同開發(fā)的生成對(duì)抗網(wǎng)絡(luò)(GANs)，在計(jì)算機(jī)視覺和計(jì)算機(jī)圖形學(xué)領(lǐng)域引發(fā)了一場革命。在這項(xiàng)工作的一個(gè)引人入勝的應(yīng)用中，電腦實(shí)際上可以創(chuàng)造原始圖像，讓人想起被認(rèn)為是人類智慧標(biāo)志的創(chuàng)造力。5.7

拓展知識(shí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.7拓展知識(shí)：3位AI科學(xué)家榮獲2018年圖靈獎(jiǎng)3.楊立昆的主要成就（1）卷積神經(jīng)網(wǎng)絡(luò)。上世紀(jì)80年代末，LeCun在多倫多大學(xué)和貝爾實(shí)驗(yàn)室(BellLabs)工作時(shí)，他是第一個(gè)訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)系統(tǒng)處理手寫數(shù)字圖像的人。（2）改進(jìn)后的反向傳播算法。LeCun提出了早期版本的反向傳播算法(backprop)，并基于變分原理對(duì)其進(jìn)行了清晰的推導(dǎo)。他的工作加速了反向傳播算法。（3）拓寬神經(jīng)網(wǎng)絡(luò)的應(yīng)用。在識(shí)別圖像的背景下，他研究了如何在神經(jīng)網(wǎng)絡(luò)中學(xué)習(xí)分層特征表示——這一概念現(xiàn)在經(jīng)常用于許多識(shí)別任務(wù)。他和LeonBottou一起提出了一個(gè)理念，這個(gè)理念被應(yīng)用于每一個(gè)現(xiàn)代深度學(xué)習(xí)軟件中，即學(xué)習(xí)系統(tǒng)可以被構(gòu)建為復(fù)雜的模塊網(wǎng)絡(luò)，在這個(gè)網(wǎng)絡(luò)中，反向傳播通過自動(dòng)分化來執(zhí)行。他們還提出了能夠操作結(jié)構(gòu)化數(shù)據(jù)（如graph）的深度學(xué)習(xí)體系結(jié)構(gòu)。5.7

拓展知識(shí)第5章人工神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)5.7拓展知識(shí)：3位AI科學(xué)家榮獲2018年圖靈獎(jiǎng)4.關(guān)于圖靈獎(jiǎng)圖靈獎(jiǎng)由美國計(jì)算機(jī)協(xié)會(huì)（ACM）于1966年設(shè)立，專門獎(jiǎng)勵(lì)那些對(duì)計(jì)算機(jī)事業(yè)做出重要貢獻(xiàn)的個(gè)人。其名稱取自計(jì)算機(jī)科學(xué)的先驅(qū)、英國科學(xué)家艾倫·圖靈。由于圖靈獎(jiǎng)對(duì)獲獎(jiǎng)條件要求極高，評(píng)獎(jiǎng)程序又是極嚴(yán)，一般每年只獎(jiǎng)勵(lì)一名計(jì)算機(jī)科學(xué)家，只有極少數(shù)年度有兩名合作者或在同一方向做出貢獻(xiàn)的科學(xué)家共享此獎(jiǎng)。因此它是計(jì)算機(jī)界最負(fù)盛名、最崇高的一個(gè)獎(jiǎng)項(xiàng)，有“計(jì)算機(jī)界的諾貝爾獎(jiǎng)”之稱。ACM約在每年三、四月份評(píng)出上一年的圖靈獎(jiǎng)。圖靈獎(jiǎng)初期獎(jiǎng)金為20萬美元，1989年起增加到25萬美元，獎(jiǎng)金通常由計(jì)算機(jī)界的一些大企業(yè)提供（通過與ACM簽訂協(xié)議）。目前，圖靈獎(jiǎng)由Google公司贊助，獎(jiǎng)金為100萬美元。高職高專人工智能通識(shí)課規(guī)劃教材人工智能概論本章學(xué)習(xí)目標(biāo)第6章計(jì)算機(jī)視覺【素養(yǎng)目標(biāo)】通過計(jì)算機(jī)視覺相關(guān)知識(shí)的學(xué)習(xí)，培養(yǎng)學(xué)生科學(xué)精神，激發(fā)學(xué)生科技報(bào)國情懷；通過學(xué)習(xí)人工智能領(lǐng)域科技成果案例，加強(qiáng)愛國主義教育，增強(qiáng)民族自信心、自豪感；通過學(xué)習(xí)計(jì)算機(jī)視覺應(yīng)用，培養(yǎng)學(xué)生追求真理，勇攀科學(xué)高峰的責(zé)任感和使命感。本章學(xué)習(xí)目標(biāo)第6章計(jì)算機(jī)視覺【知識(shí)目標(biāo)】掌握計(jì)算機(jī)視覺、圖像處理、人臉識(shí)別的概念；理解圖像的基本原理、人臉識(shí)別應(yīng)用的技術(shù)原理；了解計(jì)算機(jī)視覺系統(tǒng)、人臉識(shí)別的一般步驟；掌握人臉檢測(cè)、人臉配準(zhǔn)、人臉屬性識(shí)別、人臉特征提取、人臉比對(duì)、人臉驗(yàn)證、人臉識(shí)別、人臉檢索、人臉聚類、人臉活體檢測(cè)等人臉識(shí)別基本技術(shù)；了解人臉識(shí)別的應(yīng)用。本章學(xué)習(xí)目標(biāo)第6章計(jì)算機(jī)視覺【能力目標(biāo)】能夠針對(duì)計(jì)算機(jī)視覺具體應(yīng)用功能，闡述其實(shí)現(xiàn)原理；能夠針對(duì)工作生活場景中的具體需求，提出計(jì)算機(jī)視覺技術(shù)解決思路；會(huì)使用圖像處理技術(shù)、人臉識(shí)別技術(shù)。本章學(xué)習(xí)目標(biāo)第6章計(jì)算機(jī)視覺【思維導(dǎo)圖】第六章計(jì)算機(jī)視覺6.1計(jì)算機(jī)視覺概述6.2圖像處理與視覺系統(tǒng)6.3人臉識(shí)別高職高專人工智能通識(shí)課規(guī)劃教材6.4本章實(shí)訓(xùn)6.5拓展知識(shí)6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺計(jì)算機(jī)視覺是研究如何讓機(jī)器“看”的科學(xué)，是人工智能的主要應(yīng)用領(lǐng)域之一。人們或許沒有意識(shí)到自己的視覺系統(tǒng)是如此的強(qiáng)大。嬰兒在出生幾個(gè)小時(shí)后就能識(shí)別出母親的容貌；在大霧的天氣，學(xué)生看見來人朦朧的身體形態(tài)，就能辨別出來人是否為自己的班主任；游客可以根據(jù)網(wǎng)上攻略的圖片，就可以找到旅游目的地；乒乓球運(yùn)動(dòng)員根據(jù)對(duì)手細(xì)微的動(dòng)作，就可以判別對(duì)手發(fā)球的方向。有實(shí)驗(yàn)證實(shí)，人們接受的信息80％以上來自于視覺。倘若要讓機(jī)器像人一樣有視覺系統(tǒng)，就首先需要機(jī)器“看懂”圖像。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.1什么是計(jì)算機(jī)視覺為了讓機(jī)器像人一樣“看懂”圖像，首先需要研究人類視覺系統(tǒng)。人類視覺系統(tǒng)包含眼球（接收光信號(hào)）、視網(wǎng)膜（光信號(hào)轉(zhuǎn)換為電信號(hào)，并傳輸?shù)酱竽X）、大腦皮層（提取電信號(hào)中的有效特征，并引導(dǎo)人做出反應(yīng)）。為了讓機(jī)器模擬人類視覺系統(tǒng)，研究者用攝像頭模擬眼球以獲得圖像信息；用數(shù)字圖像處理模擬視網(wǎng)膜，并將模擬圖像變成數(shù)字圖像，以便讓計(jì)算機(jī)能識(shí)別；用計(jì)算機(jī)視覺模擬大腦皮層，并設(shè)計(jì)算法提取圖像特征，以進(jìn)行識(shí)別檢測(cè)等任務(wù)。機(jī)器模擬人類視覺系統(tǒng)便是機(jī)器視覺，也稱計(jì)算機(jī)視覺（ComputerVision，CV），是在解決機(jī)器如何“看”的問題。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.1什么是計(jì)算機(jī)視覺計(jì)算機(jī)視覺是一門研究如何使機(jī)器“看”的科學(xué)，更直觀地說，就是指用攝影機(jī)和計(jì)算機(jī)代替人眼，對(duì)目標(biāo)進(jìn)行識(shí)別、跟蹤和測(cè)量等機(jī)器視覺，并進(jìn)一步做圖形處理，再用計(jì)算機(jī)將其處理成為更適合人眼觀察或傳送給儀器檢測(cè)的圖像。作為一個(gè)科學(xué)學(xué)科，計(jì)算機(jī)視覺研究相關(guān)的理論和技術(shù)，試圖建立一個(gè)能夠從圖像或者多維數(shù)據(jù)中獲取“信息”的人工智能系統(tǒng)。計(jì)算機(jī)視覺是從圖像或視頻中提取出符號(hào)或數(shù)值信息，分析計(jì)算該信息以進(jìn)行目標(biāo)的識(shí)別、檢測(cè)和跟蹤等。更形象地說，計(jì)算機(jī)視覺就是讓計(jì)算機(jī)像人類一樣能看到并理解圖像。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.1什么是計(jì)算機(jī)視覺計(jì)算機(jī)視覺是一個(gè)跨學(xué)科的領(lǐng)域，涉及的部分學(xué)科如圖所示。計(jì)算機(jī)視覺應(yīng)用非常廣泛，有圖像分類、目標(biāo)檢測(cè)、圖像分割、人臉檢測(cè)與識(shí)別、光學(xué)字符識(shí)別（OCR）等。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.2計(jì)算機(jī)視覺的發(fā)展歷程1966年，人工智能學(xué)家馬文·明斯基（MarvinMinsky）在給學(xué)生布置的作業(yè)中，要求學(xué)生通過編寫一個(gè)程序，讓計(jì)算機(jī)告訴人們它通過攝像頭看到了什么，這也被認(rèn)為是計(jì)算機(jī)視覺最早的任務(wù)描述。20世紀(jì)七八十年代，隨著現(xiàn)代電子計(jì)算機(jī)的發(fā)展，計(jì)算機(jī)視覺技術(shù)也開始逐步發(fā)展。人們開始嘗試讓計(jì)算機(jī)回答出它看到了什么事物，于是首先想到的是從人類看事物的方法中獲得借鑒。借鑒之一是當(dāng)時(shí)人們普遍認(rèn)為，人類能看到并理解事物，是因?yàn)槿祟愅ㄟ^兩只眼睛可以立體地觀察事物。因此要想讓計(jì)算機(jī)理解它所看到的圖像，就必須首先將事物從二維的圖像中恢復(fù)出三維模型，這就是所謂的“三維重構(gòu)”的方法。借鑒之二是人們認(rèn)為人之所以能識(shí)別出一個(gè)蘋果，是因?yàn)槿藗円呀?jīng)知道了蘋果的先驗(yàn)知識(shí)，比如蘋果是紅色的、圓的、表面光滑的，如果給機(jī)器也建立一個(gè)這樣的知識(shí)庫，讓機(jī)器將看到的圖像與數(shù)據(jù)庫里的儲(chǔ)備知識(shí)進(jìn)行匹配，就可以讓機(jī)器識(shí)別乃至理解它所看到的事物，這是所謂的“先驗(yàn)知識(shí)庫”的方法。這一階段的應(yīng)用主要是一些光學(xué)字符識(shí)別、工件識(shí)別、顯微/航空?qǐng)D片的識(shí)別等。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.2計(jì)算機(jī)視覺的發(fā)展歷程20世紀(jì)九十年代，計(jì)算機(jī)視覺技術(shù)取得了更大的發(fā)展，并開始廣泛應(yīng)用于工業(yè)領(lǐng)域。一方面原因是CPU、DSP等圖像處理硬件技術(shù)有了飛速進(jìn)步；另一方面是人們也開始嘗試不同的算法，包括統(tǒng)計(jì)方法和局部特征描述符的引入。進(jìn)入21世紀(jì)，得益于互聯(lián)網(wǎng)興起和數(shù)碼相機(jī)出現(xiàn)帶來的海量數(shù)據(jù)，加之機(jī)器學(xué)習(xí)方法的廣泛應(yīng)用，計(jì)算機(jī)視覺迅速發(fā)展。以往許多基于規(guī)則的處理方式，都被機(jī)器學(xué)習(xí)所替代，計(jì)算機(jī)能夠自動(dòng)從海量數(shù)據(jù)中總結(jié)歸納物體的特征，然后進(jìn)行識(shí)別和判斷。這一階段涌現(xiàn)出了非常多的應(yīng)用，包括典型的相機(jī)人臉檢測(cè)、安防人臉識(shí)別、車牌識(shí)別等等。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.2計(jì)算機(jī)視覺的發(fā)展歷程2010年以后，借助深度學(xué)習(xí)技術(shù)，計(jì)算機(jī)視覺技術(shù)得到了爆發(fā)式增長和深度的產(chǎn)業(yè)化。通過深度神經(jīng)網(wǎng)絡(luò)，各類視覺相關(guān)任務(wù)的識(shí)別精度都得到了大幅提升。在全球權(quán)威的計(jì)算機(jī)視覺競賽ILSVR上，比賽冠軍的模型錯(cuò)誤率在2010年和2011年分別為28.20％和25.80％，從2012年引入深度學(xué)習(xí)技術(shù)之后，后續(xù)6年分別為16.40％、11.70％、6.70％、3.57％、2.88％、2.25％，出現(xiàn)了顯著突破，識(shí)別錯(cuò)誤率已經(jīng)超過了人眼（5.10％）。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.3計(jì)算機(jī)視覺的主要任務(wù)計(jì)算機(jī)視覺的主要任務(wù)有圖像分類、目標(biāo)檢測(cè)、圖像分割、目標(biāo)定位與跟蹤等。（1）圖像分類。將圖像劃分為不同的類別，如狗、貓、花等類別。這是計(jì)算機(jī)視覺最基本的任務(wù)。（2）目標(biāo)檢測(cè)。在圖像中檢測(cè)不同的物體實(shí)例，并給出其邊界框（位置和大?。┖皖悇e標(biāo)簽。這是計(jì)算機(jī)視覺領(lǐng)域最主要的研究方向之一。分類任務(wù)關(guān)心整體，給出的是整張圖片的內(nèi)容描述，而檢測(cè)則關(guān)注特定的物體目標(biāo)，要求同時(shí)獲得這一目標(biāo)的類別信息和位置信息。（3）圖像分割。將圖像分割成不同的區(qū)域，并對(duì)每個(gè)像素賦予相應(yīng)的類別標(biāo)簽，實(shí)現(xiàn)像素級(jí)的分類。這也是計(jì)算機(jī)視覺領(lǐng)域的重要研究內(nèi)容。（4）目標(biāo)定位與跟蹤。在視頻序列中定位與追蹤特定目標(biāo)的運(yùn)動(dòng)軌跡。這一任務(wù)需要綜合應(yīng)用圖像分類、目標(biāo)檢測(cè)和圖像分割等技術(shù)。6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.4計(jì)算機(jī)視覺的主要應(yīng)用計(jì)算機(jī)視覺技術(shù)已經(jīng)在許多領(lǐng)域得到廣泛應(yīng)用，包括自動(dòng)駕駛、醫(yī)學(xué)影像、安防監(jiān)控、機(jī)器人視覺、無人機(jī)視覺等。（1）自動(dòng)駕駛。將計(jì)算機(jī)視覺用于檢測(cè)車道線、交通信號(hào)、車輛和行人等方面，理解場景并做出響應(yīng)，實(shí)現(xiàn)自動(dòng)駕駛。該應(yīng)用需要目標(biāo)檢測(cè)、目標(biāo)定位與跟蹤、圖像分類和圖像分割等技術(shù)，是計(jì)算機(jī)視覺應(yīng)用的前沿與難點(diǎn)。（2）醫(yī)學(xué)影像。將計(jì)算機(jī)視覺技術(shù)應(yīng)用于檢測(cè)和診斷疾病等方面，分析CT、MRI等醫(yī)學(xué)掃描圖像，實(shí)現(xiàn)計(jì)算機(jī)輔助診斷等工作。該應(yīng)用需要識(shí)別人體解剖結(jié)構(gòu)、器官和病灶，對(duì)醫(yī)療資源與治療方案的分配具有重要作用。（3）安防監(jiān)控。將計(jì)算機(jī)視覺技術(shù)應(yīng)用于檢測(cè)特定目標(biāo)如人臉、車牌等方面，追蹤并分析可疑目標(biāo)，實(shí)現(xiàn)視頻監(jiān)控與警戒等工作。該應(yīng)用需要在復(fù)雜場景下準(zhǔn)確檢測(cè)各類目標(biāo)，并理解其活動(dòng)規(guī)律，是智能安防的關(guān)鍵技術(shù)。

6.1

計(jì)算機(jī)視覺概述第6章計(jì)算機(jī)視覺6.1.3計(jì)算機(jī)視覺的主要應(yīng)用（4）機(jī)器人視覺。將計(jì)算機(jī)視覺技術(shù)應(yīng)用于捕捉三維場景、建立環(huán)境地圖、檢測(cè)和識(shí)別各類對(duì)象，為機(jī)器人的自主導(dǎo)航與操作提供視覺信息。該應(yīng)用需要從圖像序列中重建三維空間，在動(dòng)態(tài)場景下定位自身與目標(biāo)物體，是機(jī)器人技術(shù)的重要組成部分。（5）無人機(jī)視覺。將計(jì)算機(jī)視覺技術(shù)應(yīng)用于探索環(huán)境、規(guī)劃航線、避障和目標(biāo)跟蹤，實(shí)現(xiàn)無人機(jī)的自動(dòng)駕駛與遙控。該應(yīng)用需要分析空中圖像，快速判斷周圍障礙與航線，準(zhǔn)確鎖定目標(biāo)和計(jì)算自身的位置和姿態(tài)，對(duì)無人機(jī)操作具有關(guān)鍵作用。計(jì)算機(jī)視覺還應(yīng)用于手寫體識(shí)別、產(chǎn)品質(zhì)量檢測(cè)、農(nóng)業(yè)監(jiān)測(cè)、車牌識(shí)別等其他領(lǐng)域。它的應(yīng)用十分廣泛，隨著技術(shù)的發(fā)展其應(yīng)用范圍也在不斷擴(kuò)展，計(jì)算機(jī)視覺已成為一種通用技能，對(duì)各行各業(yè)都具有重要影響。

第六章計(jì)算機(jī)視覺6.1計(jì)算機(jī)視覺概述6.2圖像處理與視覺系統(tǒng)6.3人臉識(shí)別高職高專人工智能通識(shí)課規(guī)劃教材6.4本章實(shí)訓(xùn)6.5拓展知識(shí)6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.1圖像的基本原理如果將一幅圖像放大，就可以看到它是由一個(gè)個(gè)的小格子組成的（灰度圖），如下圖所示，每個(gè)小格子都是一個(gè)色塊，這些小格子被稱為像素。像素是組成圖像的基本單元，圖片是包含很多個(gè)像素的集合。像素是圖片中某個(gè)點(diǎn)的顏色，很多個(gè)像素點(diǎn)排列起來，就可以組成一個(gè)二維平面點(diǎn)陣，這就是圖像。比如計(jì)算機(jī)桌面背景的分辨率是1920×1080像素，那么就意味著像素點(diǎn)有1920列、1080行，共1920×1080（=2073600）個(gè)像素。色彩空間的表達(dá)通涉及RGB圖像、灰度等概念。

6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.1圖像的基本原理在計(jì)算機(jī)中，灰度圖中的像素通常用0～255之間的一個(gè)整數(shù)數(shù)字表示，0表示黑色，255表示白色，數(shù)字從0變到255表示顏色由黑變白的一個(gè)過程。顏色越黑則數(shù)字越接近0，顏色越白則數(shù)字越接近255，如下圖所示。可以對(duì)灰度值進(jìn)行歸一化處理，將分布于[0,255]區(qū)間的原始像素值歸一化至[0,1]，也就是將0對(duì)應(yīng)為0，將255對(duì)應(yīng)為1，中間的數(shù)值按比例對(duì)應(yīng)至0～1之間。輸入特征的標(biāo)準(zhǔn)化有利于提升分類算法的學(xué)習(xí)效率和性能。

6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.1圖像的基本原理在RGB彩色空間中，紅（Red）、綠（Green）、藍(lán)（Blue）為三原色，其他的顏色都可以由這三種顏色按照不同的比例混合后生成。同樣地，單色的可見光也可以被分解為這三種顏色的組合，這就是三原色原理，如圖所示。可以使用三個(gè)整數(shù)數(shù)字來代表RGB彩色空間中的一個(gè)像素，如(0,100,200)，分別代表紅色部分的顏色值為0，綠色部分為100，藍(lán)色部分為200。RGB分別代表英文單詞Red、Green和Blue，其對(duì)應(yīng)的取值范圍都是0～255，數(shù)值越大表示顏色越純。所以，RGB像素不同的組合總數(shù)為：256×256×256=16777216種顏色，其中(0,0,0)表示黑色，(255,255,255)表示白色。

6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.1圖像的基本原理RGB圖像又稱為三通道彩色圖，分別對(duì)應(yīng)紅色、綠色和藍(lán)色通道，每個(gè)通道像素點(diǎn)的數(shù)值為0～255，表示每一種顏色的強(qiáng)度，如圖所示。灰度圖也可以叫作單通道圖。6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.2圖像處理技術(shù)計(jì)算機(jī)視覺的圖像處理技術(shù)主要有圖像分類、目標(biāo)檢測(cè)、圖像分割、目標(biāo)定位與目標(biāo)跟蹤等。1.圖像分類圖像分類是計(jì)算機(jī)視覺領(lǐng)域的基礎(chǔ)任務(wù)，也是應(yīng)用比較廣泛的任務(wù)。圖像分類用來解決“是什么”的問題，如針對(duì)給定的圖片，用標(biāo)簽描述圖片的主要內(nèi)容。圖像分類指的是根據(jù)各自在圖像信息中所反映的不同特征，把不同類別的目標(biāo)區(qū)分開來的圖像處理方法。圖像分類是計(jì)算機(jī)視覺中的基礎(chǔ)任務(wù)，也是圖像檢測(cè)、語義分割、實(shí)例分割、圖像搜索等高級(jí)技術(shù)的基礎(chǔ)。6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.2圖像處理技術(shù)圖像分類包含了通用圖像分類和細(xì)粒度圖像分類。通用圖像分類主要解決識(shí)別圖像上主體類別的問題，如識(shí)別圖像中是貓還是狗，如圖所示；細(xì)粒度圖像分類則解決如何將大類進(jìn)行細(xì)分類的問題，如在狗這一類別下，識(shí)別其品種（如吉娃娃、泰迪、松獅、哈士奇等）。6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.2圖像處理技術(shù)圖像分類的效果容易受視角、光照、背景、形變、部分遮擋等的影響，所以在現(xiàn)實(shí)工程中的實(shí)現(xiàn)難度仍然不小。深度學(xué)習(xí)在圖像分類中的應(yīng)用以卷積神經(jīng)網(wǎng)絡(luò)為代表，主要通過監(jiān)督的方法讓計(jì)算機(jī)學(xué)習(xí)如何表達(dá)圖片的特征。目前，計(jì)算機(jī)視覺領(lǐng)域大多數(shù)優(yōu)秀的深度學(xué)習(xí)算法都需要大量的訓(xùn)練數(shù)據(jù)集，其中最為出名的便是ImageNet。但在實(shí)際工程中，通常只擁有少量的數(shù)據(jù)樣本。此時(shí)，如果從頭訓(xùn)練（隨機(jī)初始化神經(jīng)網(wǎng)絡(luò)參數(shù)），過擬合將是大概率事件。圖像分類在許多領(lǐng)域都有著廣泛的應(yīng)用。例如，安防領(lǐng)域的人臉識(shí)別和智能視頻分析、交通領(lǐng)域的交通場景識(shí)別、互聯(lián)網(wǎng)領(lǐng)域的基于內(nèi)容的圖像檢索和相冊(cè)自動(dòng)歸類、醫(yī)學(xué)領(lǐng)域的醫(yī)學(xué)影像識(shí)別等。圖像分類問題面臨很多挑戰(zhàn)，如視點(diǎn)變化、尺寸變化、類內(nèi)變化、圖像變形、圖像遮擋、照明條件和背景干擾等。6.2圖像處理與視覺系統(tǒng)第6章計(jì)算機(jī)視覺6.2.2圖像處理技術(shù)2.目標(biāo)檢測(cè)目標(biāo)檢測(cè)是最常見的計(jì)算機(jī)視覺的圖像處理技術(shù)之一。目標(biāo)檢測(cè)用來解決“在哪里”的問題，如輸入一張圖片，輸出待檢測(cè)目標(biāo)的類別和所在位置的坐標(biāo)（矩形框的坐標(biāo)值表示）。目標(biāo)檢測(cè)采用算法判斷圖片中是否包含特定目標(biāo)，并且在圖片中標(biāo)記該目標(biāo)的位置，通常用邊框或紅色方框把目標(biāo)圈起來。例如，查找圖片中是否有貓，如果找到了，就把它框起來，如圖所示。目標(biāo)檢測(cè)和圖像分類的區(qū)別是，目標(biāo)檢測(cè)側(cè)重于目標(biāo)的搜索