華中科技大學(xué)人工智能 神經(jīng)網(wǎng)絡(luò)課件

神經(jīng)網(wǎng)絡(luò)基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理感知機(jī)學(xué)習(xí)算法基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)10/11/20221計(jì)算智能信息科學(xué)與生命科學(xué)的相互交叉、相互滲透和相互促進(jìn)是現(xiàn)代科學(xué)技術(shù)發(fā)展的一個(gè)顯著特點(diǎn)。計(jì)算智能(CI)涉及神經(jīng)網(wǎng)絡(luò)(NN)、模糊邏輯、進(jìn)化計(jì)算和人工生命等領(lǐng)域，它的研究和發(fā)展正反映了當(dāng)代科學(xué)技術(shù)多學(xué)科交叉與集成的重要發(fā)展趨勢(shì)。CI-ComputationalIntelligenceNN-NeuralNets10/11/20222什么是計(jì)算智能把神經(jīng)網(wǎng)絡(luò)（NN）歸類于人工智能（AI）可能不大合適，而歸類于計(jì)算智能（CI）更能說(shuō)明問(wèn)題實(shí)質(zhì)。進(jìn)化計(jì)算、人工生命和模糊邏輯系統(tǒng)的某些課題，也都?xì)w類于計(jì)算智能。計(jì)算智能取決于制造者（manufacturers）提供的數(shù)值數(shù)據(jù)，不依賴于知識(shí)；另一方面，人工智能應(yīng)用知識(shí)精品（knowledgetidbits）。人工神經(jīng)網(wǎng)絡(luò)應(yīng)當(dāng)稱為計(jì)算神經(jīng)網(wǎng)絡(luò)。10/11/202231960年威德羅和霍夫率先把神經(jīng)網(wǎng)絡(luò)用于自動(dòng)控制研究。60年代末期至80年代中期，神經(jīng)網(wǎng)絡(luò)控制與整個(gè)神經(jīng)網(wǎng)絡(luò)研究一樣，處于低潮。80年代后期以來(lái)，隨著人工神經(jīng)網(wǎng)絡(luò)研究的復(fù)蘇和發(fā)展，對(duì)神經(jīng)網(wǎng)絡(luò)控制的研究也十分活躍。這方面的研究進(jìn)展主要在神經(jīng)網(wǎng)絡(luò)自適應(yīng)控制和模糊神經(jīng)網(wǎng)絡(luò)控制及其在機(jī)器人控制中的應(yīng)用上。人工神經(jīng)網(wǎng)絡(luò)研究的進(jìn)展10/11/20224ANN的發(fā)展史20世紀(jì)40年代：興起與蕭條1943年M-Pmodel心理學(xué)家W.S.McCulloch和數(shù)學(xué)家W.Pitts提出：形式神經(jīng)元的數(shù)學(xué)描述與構(gòu)造方法與閾值神經(jīng)元model基本相同，權(quán)值固定1949年心理學(xué)家D.O.Hebb提出突觸強(qiáng)度可調(diào)的假設(shè)：學(xué)習(xí)過(guò)程發(fā)生在突觸上Hebb規(guī)則：10/11/2022520世紀(jì)60年代,低潮1969年Minsky和Papert編寫(xiě)的《Perceptron》出版 使NN的研究進(jìn)入低潮Problems：僅可解線性問(wèn)題 當(dāng)時(shí)現(xiàn)狀：數(shù)學(xué)機(jī)發(fā)達(dá)，認(rèn)為可解決一切問(wèn)題但工作并未停止10/11/202271975年Albus提出CMAC網(wǎng)絡(luò)（CerebellaModelArticulationController）1977年英國(guó)Grossberg提出ART網(wǎng)絡(luò)（AdaptiveResonanceTheory）Kohonen提出自組織映射理論福島邦彥（K.Fukushima）提出認(rèn)識(shí)機(jī)（Neocognitron）模型甘利俊（S.Amari）：NN數(shù)學(xué)理論10/11/20228J.J.Hopfield1982年Hopfield網(wǎng)絡(luò)模型：網(wǎng)絡(luò)能量數(shù)據(jù)、網(wǎng)絡(luò)穩(wěn)定性判據(jù)1984年HNN用電子線路實(shí)現(xiàn)HNN用途：聯(lián)想記憶、優(yōu)化計(jì)算機(jī)的新途徑1984年Hilton引入模擬退火法，提出Boltzmann機(jī)網(wǎng)絡(luò)1986年Rumelhart提出EBP學(xué)習(xí)算法，解決了MLP隱含層weights學(xué)習(xí)問(wèn)題（errorBack-Propagation）10/11/2022101987年Nielson提出了對(duì)向傳播（CounterPropagation）神經(jīng)網(wǎng)絡(luò)1988年L.O.Chua提出細(xì)胞神經(jīng)網(wǎng)絡(luò)（CNN）模型自1958年來(lái)已有近40種NNmodel10/11/202211NN研究學(xué)術(shù)機(jī)構(gòu)1987年國(guó)際神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)定期召開(kāi)ICNN會(huì)議1988年《IEEETransactiononNeuralNetwork》創(chuàng)刊1990.12CCNN（中國(guó)）第一次會(huì)議1991年中國(guó)神經(jīng)網(wǎng)絡(luò)學(xué)會(huì)10/11/202212應(yīng)用研究神經(jīng)網(wǎng)絡(luò)軟件模擬和硬件實(shí)現(xiàn)的研究NN在各個(gè)技術(shù)領(lǐng)域中應(yīng)用研究e.g.模式識(shí)別、信號(hào)處理、知識(shí)工程、專家系統(tǒng)、優(yōu)化組合、智能控制等10/11/202214生理神經(jīng)元的結(jié)構(gòu)

大多數(shù)神經(jīng)元由一個(gè)細(xì)胞體(cellbody或soma)和突(process)兩部分組成。突分兩類，即軸突(axon)和樹(shù)突(dendrite)，如圖所示。軸突是個(gè)突出部分，長(zhǎng)度可達(dá)1m，把本神經(jīng)元的輸出發(fā)送至其它相連接的神經(jīng)元。樹(shù)突也是突出部分，但一般較短，且分枝很多，與其它神經(jīng)元的軸突相連，以接收來(lái)自其它神經(jīng)元的生物信號(hào)。神經(jīng)網(wǎng)絡(luò)的組成與特性

10/11/202215腦神經(jīng)生理學(xué)研究結(jié)果表明，每個(gè)人腦大約含有1011-1012個(gè)神經(jīng)元，每一神經(jīng)元又約有103-104個(gè)突觸。神經(jīng)元通過(guò)突觸形成的網(wǎng)絡(luò)，傳遞神經(jīng)元間的興奮與抑制。大腦的全部神經(jīng)元構(gòu)成極其復(fù)雜的拓?fù)渚W(wǎng)絡(luò)群體，用于實(shí)現(xiàn)記憶與思維。

10/11/202217人工神經(jīng)元的組成

人工神經(jīng)網(wǎng)絡(luò)(artificialneuralnets,ANN)或模擬神經(jīng)網(wǎng)絡(luò)是由模擬神經(jīng)元組成的，可把ANN看成是以處理單元PE(processingelement)為節(jié)點(diǎn)，用加權(quán)有向弧(鏈)相互連接而成的有向圖。其中，處理單元是對(duì)生理神經(jīng)元的模擬，而有向弧則是軸突-突觸-樹(shù)突對(duì)的模擬。有向弧的權(quán)值表示兩處理單元間相互作用的強(qiáng)弱。10/11/202218圖中，來(lái)自其它神經(jīng)元的輸入乘以權(quán)值，然后相加。把所有總和與閾值電平比較。當(dāng)總和高于閾值時(shí)，其輸出為1；否則，輸出為0。大的正權(quán)對(duì)應(yīng)于強(qiáng)的興奮，小的負(fù)權(quán)對(duì)應(yīng)于弱的抑制。在簡(jiǎn)單的人工神經(jīng)網(wǎng)模型中，用權(quán)和乘法器模擬突觸特性，用加法器模擬樹(shù)突的互聯(lián)作用，而且與閾值比較來(lái)模擬細(xì)胞體內(nèi)電化學(xué)作用產(chǎn)生的開(kāi)關(guān)特性。人工神經(jīng)網(wǎng)絡(luò)的組成10/11/202219人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)-1Wj1X1X2Wj2XnWjn···Σ(_)Yi圖4.2神經(jīng)元模型10/11/202220圖中的神經(jīng)元單元由多個(gè)輸入xi，i=1,2,...,n和一個(gè)輸出y組成。中間狀態(tài)由輸入信號(hào)的權(quán)和表示，而輸出為

-1Wj1X1X2Wj2XnWjn···Σ(_)Yj式中，j為神經(jīng)元單元的偏置，wji為連接權(quán)系數(shù)。n為輸入信號(hào)數(shù)目，yj為神經(jīng)元輸出，t為時(shí)間，f(_)為輸出變換函數(shù)10/11/202221輸出變換函數(shù)的基本作用控制輸入對(duì)輸出的激活作用；對(duì)輸入、輸出進(jìn)行函數(shù)轉(zhuǎn)換；將可能無(wú)限域的輸入變換成指定的有限范圍內(nèi)的輸出。

10/11/202222人工神經(jīng)網(wǎng)絡(luò)的基本特性和結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)是具有下列特性的有向圖：對(duì)于每個(gè)節(jié)點(diǎn)i存在一個(gè)狀態(tài)變量xi；從節(jié)點(diǎn)j至節(jié)點(diǎn)i，存在一個(gè)連接權(quán)系數(shù)wij；對(duì)于每個(gè)節(jié)點(diǎn)i，存在一個(gè)閾值i；對(duì)于每個(gè)節(jié)點(diǎn)i，定義一個(gè)變換函數(shù)fi；對(duì)于最一般的情況，此函數(shù)取形式。10/11/202224遞歸（反饋）網(wǎng)絡(luò):在遞歸網(wǎng)絡(luò)中，多個(gè)神經(jīng)元互連以組織一個(gè)互連神經(jīng)網(wǎng)絡(luò)。反饋網(wǎng)絡(luò)x1x2xnV1V2Vn輸入輸出x1’x2’xn’有些神經(jīng)元的輸出被反饋至同層或前層神經(jīng)元10/11/202225前饋網(wǎng)絡(luò)特點(diǎn)

1.神經(jīng)元分層排列，可有多層2.層間無(wú)連接3.方向由入到出感知網(wǎng)絡(luò)（perceptron即為此）應(yīng)用最為廣泛

10/11/202227互聯(lián)網(wǎng)絡(luò)結(jié)構(gòu)圖每個(gè)元都與其它元相連

例：HopfieldBoltzmann機(jī)10/11/202228基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示在這里，知識(shí)并不像在產(chǎn)生式系統(tǒng)中那樣獨(dú)立地表示為每一條規(guī)則，而是將某一問(wèn)題的若干知識(shí)在同一網(wǎng)絡(luò)中表示。例如，在有些神經(jīng)網(wǎng)絡(luò)系統(tǒng)中，知識(shí)是用神經(jīng)網(wǎng)絡(luò)所對(duì)應(yīng)的有向權(quán)圖的鄰接矩陣及閾值向量表示的。10/11/202229基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理對(duì)圖所示的異或邏輯的神經(jīng)網(wǎng)絡(luò)來(lái)說(shuō)，其鄰接矩陣為：異或邏輯的神經(jīng)網(wǎng)絡(luò)表示12345123451234510/11/202230基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理如果用產(chǎn)生式規(guī)則描述，則該網(wǎng)絡(luò)代表下述四條規(guī)則：IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=010/11/202231基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理醫(yī)療診斷例子10/11/202232基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理假設(shè)x1,x2…,x10對(duì)應(yīng)的節(jié)點(diǎn)分別為節(jié)點(diǎn)1,2,…,10；xa,xb,xc對(duì)應(yīng)的節(jié)點(diǎn)為別為節(jié)點(diǎn)11,12,13，與x11相連的節(jié)點(diǎn)為節(jié)點(diǎn)141.畫(huà)出該神經(jīng)網(wǎng)絡(luò)對(duì)應(yīng)的學(xué)習(xí)矩陣，注：此網(wǎng)絡(luò)為前向網(wǎng)絡(luò)，sowij=0ifi>=jwij=0ifi,j無(wú)連接其余為連接弧標(biāo)示值10/11/202233基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理Xj=∑wijxixj’=1ifXj>0 xj’=0ifXj=0 xj’=-1ifXj<0

Xj表示節(jié)點(diǎn)j輸入的加權(quán)和，xj’表示節(jié)點(diǎn)j的輸出。增加了w0jx0,即-j,x0=1;即w0j=-j,j是節(jié)點(diǎn)j的閾值。試計(jì)算x7? x7=w07+w17x1+w27x2+w37x3 其中w07=-7,7是節(jié)點(diǎn)7的閾值,wij和7的值可直接從網(wǎng)絡(luò)中得到； x7=-7+w17x1+w27x2+w37x3 =-0+2x1-2x2+3x310/11/202234基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理在用神經(jīng)網(wǎng)絡(luò)推理時(shí)，即使已知的信息不完全，照樣可以進(jìn)行推理考慮若x1=x3=1,x7=-0

+2x1-

2x2+3x3 知：無(wú)論x2出現(xiàn)或者不出現(xiàn)，可以確定x7為正數(shù) Ii=∑wijxj；xj已知 Ui=∑∣wijxj∣；xj未知當(dāng)∣Ii∣>Ui時(shí)，未知部分不會(huì)影響xi的判別符號(hào) Soxi=1ifIi>0 xi=-1ifIi<010/11/202235基于神經(jīng)網(wǎng)絡(luò)的推理基于神經(jīng)網(wǎng)絡(luò)的推理是通過(guò)網(wǎng)絡(luò)計(jì)算實(shí)現(xiàn)的。把用戶提供的初始證據(jù)用作網(wǎng)絡(luò)的輸入，通過(guò)網(wǎng)絡(luò)計(jì)算最終得到輸出結(jié)果。一般來(lái)說(shuō)，正向網(wǎng)絡(luò)推理的步驟如下：把已知數(shù)據(jù)輸入網(wǎng)絡(luò)輸入層的各個(gè)節(jié)點(diǎn)。利用特性函數(shù)分別計(jì)算網(wǎng)絡(luò)中各層的輸出。用閾值函數(shù)對(duì)輸出層的輸出進(jìn)行判定，從而得到輸出結(jié)果。10/11/202236人工神經(jīng)網(wǎng)絡(luò)的主要學(xué)習(xí)算法有師學(xué)習(xí)算法：能夠根據(jù)期望的和實(shí)際的網(wǎng)絡(luò)輸出（對(duì)應(yīng)于給定輸入）間的差來(lái)調(diào)整神經(jīng)元間連接的強(qiáng)度或權(quán)。無(wú)師學(xué)習(xí)算法：不需要知道期望輸出。強(qiáng)化學(xué)習(xí)算法：采用一個(gè)“評(píng)論員”來(lái)評(píng)價(jià)與給定輸入相對(duì)應(yīng)的神經(jīng)網(wǎng)絡(luò)輸出的優(yōu)度（質(zhì)量因數(shù)）。強(qiáng)化學(xué)習(xí)算法的一個(gè)例子是遺傳算法（GA）。10/11/202237神經(jīng)網(wǎng)絡(luò)基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理感知機(jī)學(xué)習(xí)算法

基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)10/11/202238感知機(jī)感知器、神經(jīng)元、Perceptron學(xué)習(xí)一個(gè)感知機(jī)意味著確定權(quán)向量(w0…wn)w1x1+w2x2+…wnxn+w0>0輸出1w1x1+w2x2+…wnxn+w0<=0輸出-110/11/202239感知機(jī)的幾何表示感知機(jī)——n維空間中的超平面決策面a）存在一個(gè)超平面能正確分類訓(xùn)練數(shù)據(jù)，則稱為線性可分，并且學(xué)習(xí)算法可證明具備收斂性。b）不存在這樣的超平面，則為不可分10/11/202240Rosenblatt感知機(jī)算法10/11/202241示例訓(xùn)練集參數(shù)：iXi.x1Xi.x2yi12112321325-1436-1學(xué)習(xí)率η=0.1；初始w0=(0,0),b=0;R2=4510/11/202242示例（第一輪）i=1y1(wX1+b)=1×(0×2+0×1+0)=0≤0w=w+ηy1X1

=

(0,0)+0.1×1×(2,1)=(0.2,0.1)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1+0.1×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+0.1×2+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+0.1×5+4.5)<0w=w+ηy3X3

=

(0.2,0.1)+0.1×-1×(2,5)=(0,-0.4)b=b+ηy3R2=4.5+0.1×-1×45=0-0.4×x2=0i=4y4(wX4+b)=-1×(0×3+-0.4×6+0)>010/11/202243示例（第二輪）i=1y1(wX1+b)=1×(0×2+-0.4×1+0)<0w=w+ηy1X1

=

(0,-0.4)+0.1×1×(2,1)=(0.2,-0.3)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1-0.3×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+2×-0.3+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+5×-0.3+4.5)<0w=w+ηy3X3

=

(0.2,-0.3)+0.1×-1×(2,5)=(0,-0.8)b=b+ηy3R2=4.5+0.1×-1×45=0-0.8×x2=0i=4y4(wX4+b)=-1×(0×3+-0.8×6+0)>010/11/202244示例（第三輪）i=1y1(wX1+b)=1×(0×2+-0.8×1+0)<0w=w+ηy1X1

=

(0,-0.8)+0.1×1×(2,1)=(0.2,-0.7)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1-0.7×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+2×-0.7+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+5×-0.7+4.5)<0w=w+ηy3X3

=

(0.2,-0.7)+0.1×-1×(2,5)=(0,-1.2)b=b+ηy3R2=4.5+0.1×-1×45=0-1.2×x2=0i=4y4(wX4+b)=-1×(0×3+-1.2×6+0)>010/11/202245示例（第四輪）i=1y1(wX1+b)=1×(0×2+-1.2×1+0)<0w=w+ηy1X1

=

(0,-1.2)+0.1×1×(2,1)=(0.2,-1.1)b=b+ηy1R2=0+0.1×1×45=4.50.2×x1-1.1×x2+4.5=0i=2y2(wX2+b)=1×(0.2×3+2×-1.1+4.5)>0i=3y3(wX3+b)=-1×(0.2×2+5×-1.1+4.5)>0i=4y4(wX4+b)=-1×(0.2×3+-1.1×6+4.5)>010/11/202246示例（第五輪）i=1y1(wX1+b)=1×(0.2×2+-1.1×1+4.5)>00.2×x1-1.1×x2+4.5=010/11/202247神經(jīng)網(wǎng)絡(luò)基于神經(jīng)網(wǎng)絡(luò)的知識(shí)表示與推理感知機(jī)學(xué)習(xí)算法

基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)10/11/202248基于反向傳播網(wǎng)絡(luò)的學(xué)習(xí)反向傳播(back－propagation,BP)算法是一種計(jì)算單個(gè)權(quán)值變化引起網(wǎng)絡(luò)性能變化值的較為簡(jiǎn)單的方法。由于BP算法過(guò)程包含從輸出節(jié)點(diǎn)開(kāi)始，反向地向第一隱含層(即最接近輸入層的隱含層)傳播由總誤差引起的權(quán)值修正，所以稱為"反向傳播"。

10/11/2022491.反向傳播網(wǎng)絡(luò)的結(jié)構(gòu)

魯梅爾哈特(Rumelhart)和麥克萊蘭(Meclelland)于1985年發(fā)展了BP網(wǎng)絡(luò)學(xué)習(xí)算法，實(shí)現(xiàn)了明斯基的多層網(wǎng)絡(luò)設(shè)想。BP網(wǎng)絡(luò)不僅含有輸入節(jié)點(diǎn)和輸出節(jié)點(diǎn)，而且含有一層或多層隱(層)節(jié)點(diǎn)，如圖所示。輸入信號(hào)先向前傳遞到隱節(jié)點(diǎn)，經(jīng)過(guò)作用后，再把隱節(jié)點(diǎn)的輸出信息傳遞到輸出節(jié)點(diǎn)，最后給出輸出結(jié)果。節(jié)點(diǎn)的激發(fā)函數(shù)一般選用S型函數(shù)?；诜聪騻鞑ゾW(wǎng)絡(luò)的學(xué)習(xí)BP網(wǎng)絡(luò)10/11/202250BP算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱單元層逐層處理后，傳至輸出層。每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層得不到期望輸出，那么就轉(zhuǎn)為反向傳播，把誤差信號(hào)沿原連接路徑返回，并通過(guò)修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小?；诜聪騻鞑ゾW(wǎng)絡(luò)的學(xué)習(xí)10/11/202251最基本BP網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)LA(n)LB(p)LC(q)a1a2a3anc1c2c3cqvhiwijθiγj10/11/202252逆?zhèn)鞑W(xué)習(xí)過(guò)程(一)規(guī)范化：給LA層單元到LB層單元的連接權(quán)vhi、LB層單元到LC層單元的連接權(quán)whi、LB層單元的閾值θ