模式識別導(dǎo)論P(yáng)atternRecognition課件

1、第9章 人工神經(jīng)網(wǎng)絡(luò)原理及應(yīng)用王海目錄人工神經(jīng)網(wǎng)絡(luò)概述人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)前饋人工神經(jīng)網(wǎng)絡(luò)1.1 什麼是人工神經(jīng)網(wǎng)絡(luò)所謂人工神經(jīng)網(wǎng)絡(luò)就是基於模仿生物大腦的結(jié)構(gòu)和功能而構(gòu)成的一種資訊處理系統(tǒng)（電腦）。需要指出，儘管人工神經(jīng)網(wǎng)絡(luò)是對大腦結(jié)構(gòu)的模仿，但這種模仿目前還處於極低的水準(zhǔn)。1 概述1.2 人工神經(jīng)網(wǎng)絡(luò)的兩種操作過程訓(xùn)練學(xué)習(xí)訓(xùn)練時(shí)，把要教給神經(jīng)網(wǎng)絡(luò)的資訊（外部輸入）作為網(wǎng)絡(luò)的輸入和要求的輸出，使網(wǎng)絡(luò)按某種規(guī)則（稱為訓(xùn)練演算法）調(diào)節(jié)各處理單元間的連接權(quán)值，直至加上給定輸入，網(wǎng)絡(luò)就能產(chǎn)生給定輸出為止。這時(shí)，各連接權(quán)已調(diào)接好，網(wǎng)絡(luò)的訓(xùn)練就完成了。正常操作（回憶操作）對訓(xùn)練好的網(wǎng)絡(luò)輸入一個(gè)信號，它就可以正

2、確回憶出相應(yīng)輸出，得到識別結(jié)果。1 概述1 概述1.3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展 -初始（萌發(fā)）期 MP模型的提出和人工神經(jīng)網(wǎng)絡(luò)的興起。1943年，美國神經(jīng)生理學(xué)家Warren Mcculloch和數(shù)學(xué)家Walter Pitts合寫了一篇關(guān)於神經(jīng)元如何工作的開拓性文章：“A Logical Calculus of Ideas Immanent in Nervous Activity”。 該文指出，腦細(xì)胞的活動(dòng)像斷/通開關(guān)，這些細(xì)胞可以按各種方式相互結(jié)合，進(jìn)行各種邏輯運(yùn)算。按此想法，他們用電路構(gòu)成了簡單的神經(jīng)網(wǎng)絡(luò)模型，並預(yù)言大腦的所有活動(dòng)最終將被解釋清楚。雖然問題並非如此簡單，但它給人們一個(gè)信念，即大

3、腦的活動(dòng)是靠腦細(xì)胞的組合連接實(shí)現(xiàn)的。1.3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第一次高潮期感知器模型和人工神經(jīng)網(wǎng)絡(luò)1957年，電腦專家Frank Rosenblatt開始從事感知器的研究，並製成硬體，通常被認(rèn)為是最早的神經(jīng)網(wǎng)絡(luò)模型。1959年，兩位電機(jī)工程師Bernard Widrow和Marcian Haff開發(fā)出一種叫作自適應(yīng)線性單元（ADALINE）的網(wǎng)絡(luò)模型，並在他們的論文“Adaptive Switching Circuits”中描述了該模型和它的學(xué)習(xí)演算法（ Widrow-Haff演算法）。該網(wǎng)絡(luò)通過訓(xùn)練，可以成功用於抵消通信中的回波和雜訊，也可用于天氣預(yù)報(bào)，成為第一個(gè)用於實(shí)際問題的神經(jīng)網(wǎng)絡(luò)。1

4、概述1.3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展反思期神經(jīng)網(wǎng)絡(luò)的低潮1969年，Marvin Minsky和Seymour Papert合著了一本書“Perception”，分析了當(dāng)時(shí)的簡單感知器，指出它有非常嚴(yán)重的局限性，甚至不能解決簡單的“異或”問題，為Rosenblatt的感知器判了“死刑”。此時(shí)，批評的聲音高漲，導(dǎo)致了停止對人工神經(jīng)網(wǎng)絡(luò)研究所需的大量投資。不少研究人員把注意力轉(zhuǎn)向了人工智慧，導(dǎo)致對人工神經(jīng)網(wǎng)絡(luò)的研究陷入低潮。1 概述1.3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展第二次高潮期Hopfield網(wǎng)絡(luò)模型的出現(xiàn)和人工神經(jīng)網(wǎng)絡(luò)的復(fù)蘇1984年，Hopfield設(shè)計(jì)研製了後來被人們稱為Hopfield網(wǎng)的電路，較好地解

5、決了TCP問題，找到了最佳解的近似解，引起了較大轟動(dòng)。1985年，Hinton、Sejnowsky、Rumelhart等研究者在Hopfield網(wǎng)絡(luò)中引入隨機(jī)機(jī)制，提出了所謂的Bolziman機(jī)。1986年，Rumelhart等研究者獨(dú)立地提出多層網(wǎng)絡(luò)的學(xué)習(xí)演算法BP演算法，較好地解決了多層網(wǎng)絡(luò)的學(xué)習(xí)問題。1990年12月，國內(nèi)首屆神經(jīng)網(wǎng)絡(luò)大會(huì)在北京舉行。1 概述1.3 人工神經(jīng)網(wǎng)絡(luò)的發(fā)展再認(rèn)識與應(yīng)用研究期主要研究內(nèi)容開發(fā)現(xiàn)有模型的應(yīng)用，並在應(yīng)用中根據(jù)實(shí)際運(yùn)行情況對模型、演算法加以改造，以提高網(wǎng)絡(luò)的訓(xùn)練速度和運(yùn)行的準(zhǔn)確度。充分發(fā)揮每種技術(shù)各自的優(yōu)勢，尋找更有效的解決方法。希望在理論上尋找新的突

6、破，建立新的專用或通用模型和演算法。進(jìn)一步對生物神經(jīng)系統(tǒng)進(jìn)行研究，不斷豐富對人腦的認(rèn)識。1 概述1.4 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)容錯(cuò)性人類大腦具有很強(qiáng)的容錯(cuò)能力，這正是由於大腦中知識是存儲(chǔ)在很多處理單元和它們的連接上的。每天大腦的一些細(xì)胞都可能會(huì)自動(dòng)死亡，但這並沒有影響人們的記憶和思考能力。人工神經(jīng)網(wǎng)絡(luò)可以從不完善的數(shù)據(jù)和圖形進(jìn)行學(xué)習(xí)和做出決定由於知識存在整個(gè)系統(tǒng)中，而不是在一個(gè)存儲(chǔ)單元內(nèi)，因此一定比例的結(jié)點(diǎn)不參與運(yùn)算，對整個(gè)系統(tǒng)的性能不會(huì)產(chǎn)生重大影響。神經(jīng)網(wǎng)絡(luò)中承受硬體損壞的能力比一般計(jì)算機(jī)要強(qiáng)得多。1 概述1.4 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)自適應(yīng)性人工神經(jīng)網(wǎng)絡(luò)也具有學(xué)習(xí)能力有指導(dǎo)的訓(xùn)練：將輸入樣本加到網(wǎng)

7、絡(luò)輸入並給出相應(yīng)的輸出，通過多次訓(xùn)練迭代獲得連接權(quán)值。好像告訴網(wǎng)絡(luò)：“當(dāng)你看到這個(gè)圖形（比如5）時(shí)，請給我指示5”。無指導(dǎo)的訓(xùn)練：網(wǎng)絡(luò)通過訓(xùn)練自行調(diào)節(jié)連接加權(quán)，從而對輸入樣本分類。在網(wǎng)絡(luò)訓(xùn)練時(shí)，有時(shí)只能給出大量的輸入圖形，沒有指定它們的輸出，網(wǎng)絡(luò)就自行按輸入圖形的特徵對它們進(jìn)行分類。如小孩通過大量觀察可以分辨出哪是狗、哪是貓一樣。1 概述1.4 人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)人工神經(jīng)網(wǎng)絡(luò)的局限性人工神經(jīng)網(wǎng)絡(luò)不適於高精度的計(jì)算正像很多人不善於直接計(jì)算類似資金的問題一樣，人工神經(jīng)網(wǎng)絡(luò)不用於計(jì)算資金方面的問題。人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和訓(xùn)練往往是一個(gè)艱難的過程網(wǎng)絡(luò)的設(shè)計(jì)沒有嚴(yán)格確定的方法（一般憑經(jīng)驗(yàn)），所以選擇訓(xùn)練方

8、法和所需網(wǎng)絡(luò)結(jié)構(gòu)沒有統(tǒng)一標(biāo)準(zhǔn)。離線訓(xùn)練往往需要很長時(shí)間，為了獲得最佳效果，常常要重複試驗(yàn)多次。網(wǎng)絡(luò)收斂性的問題。1 概述2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦簡單的神經(jīng)元2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦簡單的神經(jīng)元神經(jīng)元就是神經(jīng)細(xì)胞，它是動(dòng)物的重要特徵之一，在人體內(nèi)從大腦到全身存在大約1010個(gè)神經(jīng)元。神經(jīng)元間的信號通過突觸傳遞。神經(jīng)元的組成細(xì)胞體：它是神經(jīng)元的本體，內(nèi)有細(xì)胞核和細(xì)胞質(zhì)，完成普通細(xì)胞的生存功能。樹突：它有大量的分枝，多達(dá)103數(shù)量級，長度較短（通常不超過1毫米），用以接收來自其它神經(jīng)元的信號。軸突：它用以輸出信號，有些較長（可達(dá)1米以上），軸突的遠(yuǎn)端也有分枝，

9、可與多個(gè)神經(jīng)元相連。突觸：它是一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)繫的特殊部位，通常是一個(gè)神經(jīng)元軸突的端部靠化學(xué)接觸或電接觸將信號傳遞給下一個(gè)神經(jīng)元的樹突或細(xì)胞體。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦神經(jīng)元的基本工作機(jī)制一個(gè)神經(jīng)元有兩種狀態(tài)興奮和抑制平時(shí)處於抑制狀態(tài)的神經(jīng)元，當(dāng)接收到其它神經(jīng)元經(jīng)由突觸傳來的衝擊信號時(shí)，多個(gè)輸入在神經(jīng)元中以代數(shù)和的方式疊加。進(jìn)入突觸的信號會(huì)被加權(quán)，起興奮作用的信號為正，起抑制作用的信號為負(fù)。如果疊加總量超過某個(gè)閾值，神經(jīng)元就會(huì)被激發(fā)進(jìn)入興奮狀態(tài)，發(fā)出輸出脈衝，並由軸突的突觸傳遞給其它神經(jīng)元。神經(jīng)元被觸發(fā)後有一個(gè)不應(yīng)期，在此期間內(nèi)不能被觸發(fā)，然後閾值逐漸

10、下降，恢復(fù)原來狀態(tài)。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦神經(jīng)元的基本工作機(jī)制神經(jīng)元是按照“全或無”的原則工作的，只有興奮和抑制兩種狀態(tài)，但也不能認(rèn)為神經(jīng)元只能表達(dá)或傳遞二值邏輯信號。神經(jīng)元興奮時(shí)往往不是只發(fā)一個(gè)脈衝，而是發(fā)出一串脈衝，如果把一串脈衝看成是一個(gè)調(diào)頻信號，脈衝的密度是可以表達(dá)連續(xù)量的。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.1 人工神經(jīng)網(wǎng)絡(luò)的生物原型大腦大腦及大腦皮層的結(jié)構(gòu)研究證明，大腦中大約有1000個(gè)不同的模組，每個(gè)模組包含有50*106個(gè)神經(jīng)元。我們可以假設(shè)每個(gè)模組就是眾多神經(jīng)網(wǎng)絡(luò)中的一類。大腦的主要計(jì)算機(jī)構(gòu)是大腦皮層，在其斷面上一般有36層神經(jīng)細(xì)胞排列，大約10萬個(gè)神經(jīng)元

11、組成一組。在一個(gè)典型的腦模型中，大約有500個(gè)神經(jīng)網(wǎng)絡(luò)進(jìn)行計(jì)算工作，平均一個(gè)神經(jīng)元向其它神經(jīng)元發(fā)出2000個(gè)突觸。不同層間神經(jīng)元的連接方式有平行型、發(fā)散型、收斂型和回饋型，這些連接的強(qiáng)度是隨機(jī)的，隨著對外部世界的回應(yīng)而逐漸形成。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元（PE）就是人工神經(jīng)元，也稱為結(jié)點(diǎn)，通常用圓圈表示。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)12N輸出輸入2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的結(jié)構(gòu)和功能與生物神經(jīng)元有類似之處，可以說是生物神經(jīng)元的簡單近似。處理單元只模擬了生物神經(jīng)元所能執(zhí)行的150多個(gè)處理功能中的若干個(gè)。處理單元的功能對每個(gè)輸入信號進(jìn)行處理以確定其強(qiáng)度（加權(quán)）；確定

12、所有輸入信號的組合效果（求和）；確定其輸出（轉(zhuǎn)移特性）。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元對生物神經(jīng)元的模擬就像生物神經(jīng)元中有很多輸入（激勵(lì)）一樣，處理單元也有很多輸入信號，並且同時(shí)加到處理單元上，處理單元以輸出作為回應(yīng)。處理單元的輸出像實(shí)際神經(jīng)元一樣，輸出回應(yīng)不但受輸入信號的影響，同時(shí)也受內(nèi)部其它因素的影響。內(nèi)部因素：內(nèi)部閾值或一個(gè)額外輸入（稱為偏置項(xiàng)）2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能輸入信號來自外部（用黑色圓點(diǎn)表示輸入端點(diǎn)）或別的處理單元的輸出，在數(shù)學(xué)上表示為行向量

13、x x = (x1, x2, xN)其中xi為第i個(gè)輸入的激勵(lì)電平，N表示輸入數(shù)目。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能連接到結(jié)點(diǎn)j的加權(quán)表示為加權(quán)向量Wj=(W1j, W2j, WNj)其中Wij表示從結(jié)點(diǎn)i（或第i個(gè)輸入點(diǎn)）到結(jié)點(diǎn)j的加權(quán)，或稱i與j結(jié)點(diǎn)之間的連接強(qiáng)度。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能考慮到內(nèi)部閾值j，用x0=-1的固定偏置輸入點(diǎn)表示，其連接強(qiáng)度取W0j= j。於是，可得輸入的加權(quán)和為2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能如果向量x和Wj分別包含了x0和W0j，則有

14、x = (x0, x1, xN)Wj=(W0j, W1j, WNj)2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能於是sj可表示為x和Wj的點(diǎn)積或內(nèi)積 sj= xWj這一結(jié)果是標(biāo)量，它由兩個(gè)向量的內(nèi)積得到，可以作為兩個(gè)向量相似程度的測量。如果向量處於相同的方向，則其內(nèi)積最大；如果向量處於相反的方向，則其內(nèi)積最小。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元處理單元的基本結(jié)構(gòu)和功能處理單元的激勵(lì)電平sj通過一個(gè)轉(zhuǎn)移函數(shù)F()，得到處理單元的最後輸出值yj2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元轉(zhuǎn)移函數(shù)轉(zhuǎn)移函數(shù)F()也稱激勵(lì)函數(shù)、傳輸函數(shù)或限幅函數(shù)，其作用就是

15、將可能的無限域變換到一指定的有限範(fàn)圍內(nèi)輸出，這類似於生物神經(jīng)元具有的非線性轉(zhuǎn)移特性。常用的轉(zhuǎn)移函數(shù)線性函數(shù)斜坡函數(shù)階躍函數(shù)符號函數(shù)Sigmoid函數(shù)雙曲正切函數(shù)2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元線性函數(shù)最簡單的轉(zhuǎn)移函數(shù)y = F(s) = ks其中y為輸出值，s為輸入信號的加權(quán)和，k是一個(gè)常數(shù)，表示直線的斜率。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元斜坡函數(shù)2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)r和-r分別是處理單元的最大值和最小值，稱為飽和值，一般|r|=1。2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元階躍函數(shù)硬限幅函數(shù)的一種2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元符號函數(shù)（sgn()）硬限幅函

16、數(shù)的一種2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元Sigmoid函數(shù)S型函數(shù)的一種y = F(s) = 1/(1+e-s)2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.2 人工神經(jīng)網(wǎng)絡(luò)處理單元雙曲正切函數(shù)S型函數(shù)的一種 y = tand(s)=(es- e-s)/(es+e-s)相對於Sigmoid函數(shù)，它是原點(diǎn)對稱的。當(dāng)s=0時(shí)有y=0，即同時(shí)具有雙級輸出。當(dāng)要求輸出(-1 1)範(fàn)圍的信號時(shí)，它常被採用。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)雖然單個(gè)處理單元可以處理簡單的圖形檢測功能，但更強(qiáng)的識別處理能力是來自多個(gè)結(jié)點(diǎn)“連成”的網(wǎng)絡(luò)，即人工神經(jīng)網(wǎng)絡(luò)。這裡的“連成”，是靠輸入至結(jié)點(diǎn)或者結(jié)點(diǎn)至結(jié)點(diǎn)間

17、的信號傳輸通路實(shí)現(xiàn)的，這一通路相當(dāng)於生物神經(jīng)系統(tǒng)中的軸突和突觸，它們影響著輸入信號。以後我們把這種信號傳輸通路稱為“連接”，每一個(gè)連接都具有一個(gè)加權(quán)值，稱為“連接權(quán)”，反映連接的強(qiáng)度。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)最簡單的網(wǎng)絡(luò)是把一組結(jié)點(diǎn)形成一層。左邊的黑色圓點(diǎn)隻起著分配輸入信號的作用，沒有計(jì)算作用，不看作是網(wǎng)絡(luò)的一層。右邊用圓圈表示的一組結(jié)點(diǎn)被看作一層。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號表示為行向量：x = (x1, x2, xN)，其中每一分量通過加權(quán)連接到各結(jié)點(diǎn)。每一個(gè)結(jié)點(diǎn)均可產(chǎn)生一個(gè)加權(quán)和。輸入和結(jié)點(diǎn)間採用全連接，並且都是前饋

18、連接。在這種單層網(wǎng)絡(luò)中可把各加權(quán)表示為加權(quán)矩陣W。矩陣的維數(shù)是N n，N是輸入信號向量的分量數(shù)，n是該層內(nèi)的結(jié)點(diǎn)數(shù)。由第三個(gè)輸入連接到第二個(gè)結(jié)點(diǎn)的連接權(quán)表示為W32。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)單層網(wǎng)絡(luò)輸入信號的加權(quán)和表示為：s是各結(jié)點(diǎn)加權(quán)和的行向量，s=(s1, s2, sn)。輸出向量 y=(y1, y2, yn)，其中yj=F(sj)。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)一般來說，大而複雜的網(wǎng)絡(luò)能提供更強(qiáng)的計(jì)算能力。雖然目前已構(gòu)成了很多網(wǎng)絡(luò)模型，但它們的結(jié)點(diǎn)都是按層排列的，這一點(diǎn)正是模仿了大腦皮層中的網(wǎng)絡(luò)模組。多層網(wǎng)絡(luò)是由單層網(wǎng)絡(luò)進(jìn)行級聯(lián)構(gòu)成的

19、，即上一層的輸出作為下一層的輸入。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)兩層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)三層網(wǎng)絡(luò)（前饋全連接網(wǎng)絡(luò)）2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)注意：在構(gòu)成多層網(wǎng)絡(luò)時(shí)，層間的轉(zhuǎn)移函數(shù)應(yīng)是非線性的，否則多層網(wǎng)絡(luò)的計(jì)算能力並不比單層網(wǎng)絡(luò)強(qiáng)。在線性轉(zhuǎn)移函數(shù)的情況下，兩層網(wǎng)絡(luò)輸出的計(jì)算是第一層的輸出xW1作為第二層的輸入，通過第二個(gè)加權(quán)矩陣得到網(wǎng)絡(luò)的輸出y=(xW1) W2=x(W1W2)這表明兩層線性網(wǎng)絡(luò)等效于單層網(wǎng)絡(luò)，只是後者的加權(quán)矩陣為兩個(gè)加權(quán)矩陣的乘積。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.3

20、 人工神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)多層網(wǎng)絡(luò)多層網(wǎng)絡(luò)中，接收輸入信號的層稱為輸入層。它不計(jì)入網(wǎng)絡(luò)層數(shù)，因?yàn)樗黄鹬斎胄盘柧徯n器的作用，沒有處理功能。產(chǎn)生輸出信號的層稱為輸出層。除此之外的中間層稱為隱藏層（或隱蔽層），它不直接與外部環(huán)境打交道。隱藏層的層數(shù)可從零到若干層。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）人工神經(jīng)網(wǎng)絡(luò)的最主要特徵之一是它可以學(xué)習(xí)。任何一個(gè)人工神經(jīng)網(wǎng)絡(luò)模型要實(shí)現(xiàn)某種功能的操作，就必須對它進(jìn)行訓(xùn)練，讓它學(xué)會(huì)要做的事情，並把這些知識記憶（存儲(chǔ)）在網(wǎng)絡(luò)的加權(quán)中。學(xué)習(xí)或訓(xùn)練的實(shí)質(zhì)就是加權(quán)矩陣隨外部激勵(lì)（環(huán)境）做自我調(diào)整的變化。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）

21、人工神經(jīng)網(wǎng)絡(luò)被訓(xùn)練後，它每加入一組輸入就會(huì)產(chǎn)生一組要求的輸出。一組輸入（或輸出）就是所謂的向量或圖形。訓(xùn)練就是相繼加入輸入向量，並按預(yù)定規(guī)則調(diào)整網(wǎng)絡(luò)加權(quán)。在進(jìn)行訓(xùn)練後，網(wǎng)絡(luò)的各加權(quán)都收斂到一個(gè)確定值，以便每個(gè)輸入向量都會(huì)產(chǎn)生一個(gè)要求的輸出向量。調(diào)整加權(quán)所遵循的預(yù)定規(guī)則就是訓(xùn)練演算法。有指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）有指導(dǎo)的訓(xùn)練對有指導(dǎo)的訓(xùn)練演算法，不但需要訓(xùn)練用的輸入向量，同時(shí)還要求與之對應(yīng)的表示所需要輸出的目標(biāo)向量。輸入向量與對應(yīng)的目標(biāo)向量一起稱作一個(gè)訓(xùn)練對。通常訓(xùn)練一個(gè)網(wǎng)絡(luò)需要很多訓(xùn)練對，這些訓(xùn)練對組成訓(xùn)練組。當(dāng)加上一個(gè)輸入向量時(shí)，要計(jì)算網(wǎng)絡(luò)的

22、實(shí)際輸出，並同相應(yīng)的目標(biāo)向量做比較，根據(jù)比較結(jié)果的誤差，按規(guī)定的演算法改變加權(quán)。把訓(xùn)練組中的每個(gè)向量對相繼加入，對每個(gè)向量都計(jì)算誤差並調(diào)節(jié)加權(quán)，直到訓(xùn)練組中的誤差都達(dá)到可接受的最低值為止。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）無指導(dǎo)的訓(xùn)練無指導(dǎo)的訓(xùn)練不要求有目標(biāo)向量，網(wǎng)絡(luò)通過自身的“經(jīng)歷”來學(xué)會(huì)某種功能。人們發(fā)現(xiàn)在幼兒的早期發(fā)育中，存在有自組織的能力，據(jù)此，認(rèn)為無指導(dǎo)的訓(xùn)練是在生物上更有道理的訓(xùn)練演算法。1984年，Kohonen等人提出了無指導(dǎo)的訓(xùn)練演算法。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練演算法目前應(yīng)用的訓(xùn)練演算法很多，其中有很大部分是早期的Hebb

23、演算法的變形。人們?nèi)栽谝陨飳W(xué)習(xí)訓(xùn)練的模式作為目標(biāo)，繼續(xù)探索新的演算法。可以相信，真正的生物學(xué)習(xí)訓(xùn)練過程肯定比目前常用的訓(xùn)練演算法複雜得多。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練演算法之一 Hebb演算法Hebb演算法是由Donald Hebb提出的一種最早的訓(xùn)練演算法。Hebb認(rèn)為，如果源和目的神經(jīng)元都被啟動(dòng)（或抑制），它們之間的突觸的強(qiáng)度就會(huì)增強(qiáng)。人工神經(jīng)網(wǎng)絡(luò)中Hebb演算法的簡單描述：如果一個(gè)處理單元從另一個(gè)處理單元接收激勵(lì)信號，而且兩者處於相同的激勵(lì)電平（數(shù)學(xué)上具有相同的符號），那麼處理單元之間的加權(quán)就應(yīng)當(dāng)增強(qiáng)。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）

24、訓(xùn)練演算法之一 Hebb演算法人工神經(jīng)網(wǎng)絡(luò)中Hebb演算法的簡單描述：按數(shù)學(xué)表示，就是兩結(jié)點(diǎn)的連接權(quán)將按兩結(jié)點(diǎn)的激勵(lì)電平的乘積來改變其中，Wij(n)是第(n+1)次調(diào)節(jié)前從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值； Wij(n+1)是第(n+1)次調(diào)節(jié)後從結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)值；為訓(xùn)練速率係數(shù)；yi為結(jié)點(diǎn)i的輸出，並輸入到結(jié)點(diǎn)j； yj為結(jié)點(diǎn)j的輸出。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練演算法之二 訓(xùn)練演算法這種演算法的基本思路是：按差值（值）最小準(zhǔn)則連續(xù)地修正各連接權(quán)的強(qiáng)度。所謂差值最小，就是指處理單元所要求的輸出與當(dāng)前實(shí)際輸出間的差值，靠調(diào)節(jié)各加權(quán)以達(dá)到最小。該演算法也稱為Wid

25、drow-Hoff訓(xùn)練演算法或最小均方（LMS）演算法。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練演算法之三 梯度下降演算法這是將數(shù)學(xué)上的優(yōu)化方法用於使要求的輸出與實(shí)際輸出之差最小。在該方法中，加權(quán)的修正量正比於誤差對加權(quán)的一階導(dǎo)數(shù)，數(shù)學(xué)表示如下：其中，E是描述誤差的誤差函數(shù)，Wij(n)是結(jié)點(diǎn)i到結(jié)點(diǎn)j的連接權(quán)，為訓(xùn)練速率係數(shù)。訓(xùn)練演算法是梯度下降演算法的一個(gè)特例。該演算法收斂到穩(wěn)定點(diǎn)較慢，但它是一種比較有效和普遍應(yīng)用的訓(xùn)練演算法。2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)2.4 人工神經(jīng)網(wǎng)絡(luò)的訓(xùn)練（學(xué)習(xí)）訓(xùn)練演算法之四 隨機(jī)訓(xùn)練演算法該演算法利用了隨機(jī)過程，用概率和能量關(guān)係來調(diào)節(jié)連接權(quán)?；舅悸?/p>

26、：在訓(xùn)練過程中，隨機(jī)改變一個(gè)權(quán)值，確定權(quán)值改變後產(chǎn)生的最終能量，並按如下準(zhǔn)則來確定是否保留此加權(quán)的變化。若改變加權(quán)後，人工神經(jīng)網(wǎng)絡(luò)的能量降低了，則保留這一改變。若改變加權(quán)後，能量沒有降低，則根據(jù)一個(gè)預(yù)選的概率分佈來保留這一改變。（這一步的目的是為了保證人工神經(jīng)網(wǎng)絡(luò)能夠獲得全域能量最小點(diǎn)，而不是局部能量最小點(diǎn)。）否則，拒絕這一改變，使權(quán)值恢復(fù)到原來的值。典型的隨機(jī)訓(xùn)練演算法：模擬退火演算法2 人工神經(jīng)網(wǎng)絡(luò)基礎(chǔ)3 前饋神經(jīng)網(wǎng)絡(luò)神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究表明，大腦中實(shí)際的神經(jīng)網(wǎng)絡(luò)一般具有層次結(jié)構(gòu)，同時(shí)結(jié)點(diǎn)間的連接很多屬於前饋連接，同時(shí)這種前饋連接構(gòu)成的網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）學(xué)習(xí)過程比較容易，所以首先討論

27、前饋網(wǎng)絡(luò)模型。1958年心理學(xué)家Frank Rosenblatt及其合作者首先研究了這種前饋層次網(wǎng)絡(luò)模型，將其稱為感知器(Perception)。在感知器模型中，輸入向量x=(x1, x2,xN)通過各輸入端點(diǎn)分配給下一層的各結(jié)點(diǎn)，這下一層稱為中間層，它可以是一層，也可以是多層，最後通過輸出層結(jié)點(diǎn)得到輸出向量y=(y1, y2, yn)。在這種前饋網(wǎng)絡(luò)模型中，沒有層內(nèi)聯(lián)接，也沒有隔層的前饋聯(lián)接，每一個(gè)結(jié)點(diǎn)只能前饋聯(lián)接到其下一層的所有結(jié)點(diǎn)。由於在早期對於含有隱蔽層的多層感知器沒有可行的訓(xùn)練演算法，所以初期研究的感知器是一層感知器（或稱簡單感知器，通常簡稱為感知器）。由於多層網(wǎng)絡(luò)具有較強(qiáng)的處理功能

28、，因此人們一直致力於尋找多層網(wǎng)絡(luò)的訓(xùn)練演算法，直到Rumelhart等人提出完整的誤差反傳訓(xùn)練演算法（BP演算法），解決了多層網(wǎng)絡(luò)的訓(xùn)練問題。3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 -感知器模型3 前饋神經(jīng)網(wǎng)絡(luò)淨(jìng)輸入：輸出：ojx1-1xnj=1,2,m 3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 -感知器模型(1)設(shè)輸入向量X=(x1 ,x2)T輸出：則由方程 w1jx1+w2jx2-Tj=0 確定了二維平面上的一條分界線。ojx1-1x2單計(jì)算節(jié)點(diǎn)感知器3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 -感知器的功能3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 -感知器的功能(2)設(shè)輸入向量X=(x1,x2,x3)T輸出：則由方程

29、w1jx1+w2jx2+w3j x3Tj=0確定了三維空間上的一個(gè)分界平面。 x2ojx1x3-13 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 -感知器的功能3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 -感知器的功能(3) 設(shè)輸入向量X=(x1，x2,，xn)T則由方程 w1jx1+w2jx2+wnj xnTj=0確定了n維空間上的一個(gè)分界平面。 輸出：sgn(w1jx1+w2jx2+wnjxn Tj)3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 -感知器的功能 一個(gè)最簡單的單計(jì)算節(jié)點(diǎn)感知器具有分類功能。其分類原理是將分類知識存儲(chǔ)於感知器的權(quán)向量（包含了閾值）中，由權(quán)向量確定的分類判決界面將輸入模式分為兩類。3 前饋神經(jīng)網(wǎng)絡(luò)3

30、.1單層感知器 -感知器的功能感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(1) 對各權(quán)值w0j(0),w1j(0),wnj(0)，j=1, 2,m （m為計(jì)算層的節(jié)點(diǎn)數(shù)）賦予較小的非零隨機(jī)數(shù)；(2) 輸入樣本對Xp,dp，其中Xp=(-1,x1p,x2p,xnp)， dp為期望的輸出向量（教師信號），上標(biāo)p代表 樣本對的模式序號，設(shè)樣本集中的樣本總數(shù)為P， 則p=1,2,P；3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 - 感知器的學(xué)習(xí)演算法感知器學(xué)習(xí)規(guī)則的訓(xùn)練步驟：(3)計(jì)算各節(jié)點(diǎn)的實(shí)際輸出 ojp(t)=sgnWjT(t)Xp, j=1,2,.,m；(4)調(diào)整各節(jié)點(diǎn)對應(yīng)的權(quán)值，Wj(t+1)= Wj(t)+dj p-

31、oj p(t)Xp, j=1, 2,m, 其中為學(xué)習(xí)率，用於控制調(diào)整速度，太大 會(huì)影響訓(xùn)練的穩(wěn)定性，太小則使訓(xùn)練的收斂速度變慢， 一般取01；(5)返回到步驟(2)輸入下一對樣本，周而復(fù)始直到對所有 樣本，感知器的實(shí)際輸出與期望輸出相等。3.1單層感知器 - 感知器的學(xué)習(xí)演算法3 前饋神經(jīng)網(wǎng)絡(luò)例： 單計(jì)算節(jié)點(diǎn)感知器，3個(gè)輸入。給定3對訓(xùn)練樣本對如下：X1 = (-1，1，-2，0)T d1 = 1X2 = (-1，0，1.5，-0.5)T d2 = 1X3 = (-1，-1，1，0.5)T d3 =1 設(shè)初始權(quán)向量W(0)=(0.5,1,-1,0)T，=0.1。注意，輸入向量中第一個(gè)分量 x0

32、 恒等於-1，權(quán)向量中第一個(gè)分量為閾值，試根據(jù)以上學(xué)習(xí)規(guī)則訓(xùn)練該感知器。3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 - 感知器的學(xué)習(xí)演算法舉例解：第一步 輸入X1，得 WT(0)X1=(0.5,1,-1,0)(-1,1,-2,0)T=2.5 o1(0)=sgn(2.5)=1 W(1)= W(0)+d1- o1(0) X1 =(0.5,1,-1,0)T+0.1(-1-1)(-1,1,-2,0)T =(0.7,0.8,-0.6,0)T3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 - 感知器的學(xué)習(xí)演算法舉例第二步 輸入X2，得 WT(1)X2=(0.7,0.8,-0.6,0)(-1,0,1.5,-0.5)T= -1.6

33、o2(1)=sgn(-1.6)= -1 W(2)= W(1)+d2- o2(1) X2 =(0.7,0.8,-0.6,0)T+0.1-1-(-1)(-1,0,1.5,-0.5)T =(0.7,0.8,-0.6,0)T由於d2= o2(1)，所以W(2)= W(1)。3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 - 感知器的學(xué)習(xí)演算法舉例第三步 輸入X3，得 WT(2)X3=(0.7,0.8,-0.6,0)(-1,-1,1,0.5)T= -2.1 O3(2)=sgn(-2.1)= -1W(3)= W(2)+d3- o3(2) X3 =(0.7,0.8,-0.6,0)T+0.11-(-1)(-1,-1,1,0

34、.5)T =(0.5,0.6,-0.4,0.1)T第四步 返回到第一步，繼續(xù)訓(xùn)練直到 dp - op = 0，p=1,2,3。3 前饋神經(jīng)網(wǎng)絡(luò)3.1單層感知器 - 感知器的學(xué)習(xí)演算法舉例3.2 多層感知器雙層感知器“異或”問題分類例 用兩計(jì)算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o0010111001113 前饋神經(jīng)網(wǎng)絡(luò)雙層感知器“異或”問題分類例 用兩計(jì)算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o0010101011113.2 多層感知器3 前饋神經(jīng)網(wǎng)絡(luò)雙層感知器“異或”問題分類例 用兩計(jì)算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o00

35、110110100111113.2 多層感知器3 前饋神經(jīng)網(wǎng)絡(luò)雙層感知器“異或”問題分類例 用兩計(jì)算層感知器解決“異或”問題?！爱惢颉钡恼嬷当韝1x2y1y2o001100110110011111103.2 多層感知器3 前饋神經(jīng)網(wǎng)絡(luò)R實(shí)戰(zhàn)-感知器a-0.2w-rep(0,3)data(iris)View(iris)iris1-t(as.matrix(iris,3:4)d-c(rep(0,50),rep(1,100)e-rep(0,150)p-rbind(rep(1,150),iris1)max-100000eps-rep(0,100000)i-0repeatv-w%*%p;y=0,1,0);

36、e-d-y;epsi+1-sum(abs(e)/length(e)if(epsi+10.01)print(finish:);print(w);break;w-w+a*(d-y)%*%t(p);imax)print(max time loop);print(epsi);print(y);break;#繪圖程式plot(Petal.LengthPetal.Width,xlim=c(0,3),ylim=c(0,8),data=irisiris$Species=virginica,)data1-irisiris$Species=versicolor,points(data1$Petal.Width,d

37、ata1$Petal.Length,col=2)data2-irisiris$Species=setosa,points(data2$Petal.Width,data2$Petal.Length,col=3)x-seq(0,3,0.01)y-x*(-w2/w3)-w1/w3lines(x,y,col=4)#繪製每次迭代的平均絕對誤差plot(1:i,eps1:i,type=o)3.3 誤差反傳（BP）演算法基於BP演算法的多層前饋網(wǎng)絡(luò)模型3 前饋神經(jīng)網(wǎng)絡(luò)輸入向量： X=(x1,x2,xi,xn)T隱層輸出向量： Y=(y1,y2,yj,ym)T輸出層輸出向量： O=(o1,o2,ok,ol)T

38、期望輸出向量：d=(d1, d2,dk,dl)T輸入層到隱層之間的權(quán)值矩陣：V=(V1,V2,Vj,Vm)隱層到輸出層之間的權(quán)值矩陣：W=(W1,W2,Wk,Wl)基於BP演算法的多層前饋網(wǎng)絡(luò)模型3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)基於BP演算法的多層前饋網(wǎng)絡(luò)模型對於輸出層：k=1,2,lk=1,2,l對於隱層：j=1,2,mj=1,2,m3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)雙極性Sigmoid函數(shù)：單極性Sigmoid函數(shù)：基於BP演算法的多層前饋網(wǎng)絡(luò)模型3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò) BP學(xué)習(xí)演算法一、網(wǎng)絡(luò)誤差 定義與權(quán)值調(diào)整思路輸出誤差E定義：將以上誤

39、差定義式展開至隱層：3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)(3.3.7)一、網(wǎng)絡(luò)誤差與權(quán)值調(diào)整進(jìn)一步展開至輸入層：BP學(xué)習(xí)演算法3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)(3.3.8)j=0,1,2,m; k=1,2,l (3.3.9a)i=0,1,2,n; j=1,2,m (3.3.9b) 式中負(fù)號表示梯度下降，常數(shù)(0,1)表示比例係數(shù)。在全部推導(dǎo)過程中，對輸出層有j=0,1,2,m; k=1,2,l 對隱層有 i=0,1,2,n; j=1,2,m。BP學(xué)習(xí)演算法3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)BP演算法推導(dǎo)對於輸出層，式(3.4.9a)可寫為(3.3.10a)對

40、隱層，式(3.4.9b)可寫為(3.3.10b)對輸出層和隱層各定義一個(gè)誤差信號，令 (3.3.11a)(3.3.11b)yjxi3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)綜合應(yīng)用上式，可將式 (3.3.10a)的權(quán)值調(diào)整式改寫為同理，可將式 (3.4.10b)的權(quán)值調(diào)整式改寫為(3.3.12a)（3.3.12b)可以看出，只要計(jì)算出式(3.4.12)中的誤差信號 o和 y，權(quán)值調(diào)整量的計(jì)算推導(dǎo)即可完成。下面繼續(xù)推導(dǎo)如何求誤差信號 o和 y 。3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)對於輸出層， o可展開為對於隱層， y可展開為下麵求式(3.3.13)中網(wǎng)絡(luò)誤差對各層輸出的偏導(dǎo)。(3

41、.3.13a)（3.3.13b)3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)對於輸出層：對於隱層，利用式(3.3.7)：（3.3.14a)可得：（3.3.14b)可得：3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)將以上結(jié)果代入式（3.3.15a)得到：（3.3.15b)至此兩個(gè)誤差信號的推導(dǎo)已完成。並應(yīng)用式同理3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)將式(3.3.15)代回到式(3.3.12)，得到三層前饋網(wǎng)的BP學(xué)習(xí)演算法權(quán)值調(diào)整計(jì)算公式為：(3.3.16a)(3.3.16b)3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)BP演算法的程式實(shí)現(xiàn)(1)初始化； (4)計(jì)算各層誤差信號； (5)調(diào)整各層權(quán)值； (6)檢查是否對所有樣本完成一次輪訓(xùn)； (7)檢查網(wǎng)絡(luò)總誤差是否達(dá)到精度要求。 (2)輸入訓(xùn)練樣本對X Xp、d dp計(jì)算各層輸出；(3)計(jì)算網(wǎng)絡(luò)輸出誤差:3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò) 多層前饋網(wǎng)(感知器)的主要能力(1)非線性映射能力 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出模式映射關(guān)係，而無需事先瞭解描述這種映射關(guān)係的數(shù)學(xué)方程。只要能提供足夠多的樣本模式供BP網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。3.3 誤差反傳（BP）演算法3 前饋神經(jīng)網(wǎng)絡(luò)(2)泛化能力 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)