人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座

人工神經(jīng)網(wǎng)絡(luò)

ArtificialNeuralNetwork演講者：關(guān)鳳華指導(dǎo)教師：趙冬梅

年11月11日人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第1頁主要內(nèi)容多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒ㄈ斯ど窠?jīng)元網(wǎng)絡(luò)神經(jīng)元數(shù)學(xué)模型

生物神經(jīng)元引言12345人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第2頁1、引言工業(yè)革命以來，人類大量采取機(jī)器來減輕人們體力勞動，并取得巨大效益。一樣，人類為了經(jīng)過使用某種機(jī)器來減輕腦力勞動，也一直進(jìn)行著不懈努力。20世紀(jì)40年代，因?yàn)橛嬎銠C(jī)創(chuàng)造和使用，使人類文明進(jìn)入計算機(jī)時代，在一定程度上減輕了人們腦力勞動神經(jīng)元網(wǎng)絡(luò)作為人工智能一個分支，在近幾十年來，受到人們廣泛重視。智能計算關(guān)鍵問題是關(guān)于人腦功效模擬問題。當(dāng)前認(rèn)為，人類大腦中神經(jīng)元對于人腦智能起著關(guān)鍵作用，這些神經(jīng)元數(shù)量非常多，組成了十分復(fù)雜神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第3頁1、引言智能定義眾所周知人類是含有智能，因?yàn)槿祟惸軌蛴洃浭挛铮軌蛴心康剡M(jìn)行一些活動，能夠經(jīng)過學(xué)習(xí)取得知識，并能在后續(xù)學(xué)習(xí)中不停地豐富知識，還有一定能力利用這些知識去探索未知東西，去發(fā)覺、去創(chuàng)新。

粗略地講，智能是個體有目標(biāo)行為，合理思維，以及有效適應(yīng)環(huán)境綜合能力。也能夠說，智能是個體認(rèn)識客觀事物和利用知識處理問題能力。

人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第4頁1、引言1感知和認(rèn)識客觀事物、客觀世界和自我能力——感知是智能基礎(chǔ)——最基本能力2經(jīng)過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識能力——這是人類在世界中能夠不停發(fā)展最基本能力4聯(lián)想、推理、判斷、決議語言能力3了解知識，利用知識和經(jīng)驗(yàn)分析、處理問題能力——這一能力能夠算作是智能高級形式——是人類對世界進(jìn)行適當(dāng)改造、推進(jìn)社會不停發(fā)展能力——這是智能高級形式又首先——主動與被動之分。聯(lián)想、推理、判斷、決議能力是主動基礎(chǔ)。按照上面描述，人類個體智能是一個綜合能力。詳細(xì)來講，能夠包含一下八個方面能力：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第5頁1、引言5經(jīng)過學(xué)習(xí)取得經(jīng)驗(yàn)與積累知識能力6發(fā)覺、創(chuàng)造、創(chuàng)造、創(chuàng)新能力7實(shí)時、快速、合理地應(yīng)付復(fù)雜環(huán)境能力8預(yù)測，洞察事物發(fā)展、改變能力人工智能定義

人工智能（ArtificialIntelligence，AI）最初是在1956年被引入。它研究怎樣讓計算機(jī)模仿人腦從事推理、設(shè)計、思索、學(xué)習(xí)等思維活動，以處理和處理較復(fù)雜問題，簡單地來說，人工智能就是研究怎樣讓計算機(jī)模仿人腦進(jìn)行工作。

人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第6頁2、生物神經(jīng)元

圖2-1

神經(jīng)元解剖

在人體內(nèi)，神經(jīng)元結(jié)構(gòu)形式并非是完全相同；不過，不論結(jié)構(gòu)形式怎樣，神經(jīng)元都是由一些基本成份組成。從圖中能夠看出：神經(jīng)元是由細(xì)胞體，樹突和軸突三部分組成人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第7頁2、生物神經(jīng)元突觸，是一個神經(jīng)元與另一個神經(jīng)元之間相聯(lián)絡(luò)并進(jìn)行信息傳送結(jié)構(gòu)。突觸存在說明：兩個神經(jīng)元細(xì)胞質(zhì)并不直接連通，二者彼此聯(lián)絡(luò)是經(jīng)過突觸這種結(jié)構(gòu)接口。有時．也把突觸看作是神經(jīng)元之間連接。

圖2-2

突觸結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第8頁2生物神經(jīng)元當(dāng)前，依據(jù)神經(jīng)生理學(xué)研究，已經(jīng)發(fā)覺神經(jīng)元及其間突觸有4種不一樣行為。神經(jīng)元4種生物行為有：能處于抑制或興奮狀態(tài)；能產(chǎn)生暴發(fā)和平臺兩種情況能產(chǎn)生抑制后反沖含有適應(yīng)性。突觸4種生物行為有：能進(jìn)行信息綜合能產(chǎn)生漸次改變傳送有電接觸和化學(xué)接觸等各種連接方式會產(chǎn)生延時激發(fā)。當(dāng)前，人工神經(jīng)網(wǎng)絡(luò)研究僅僅是對神經(jīng)元第一個行為和突觸第一個行為進(jìn)行模擬，其它行為還未考慮。

人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第9頁2生物神經(jīng)元2.1神經(jīng)元興奮與抑制2.2神經(jīng)元信息傳遞及閥值特征

2.3神經(jīng)元信息綜合特征圖2-3.神經(jīng)元興奮過程電位改變?nèi)斯ど窠?jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第10頁3神經(jīng)元數(shù)學(xué)模型

從神經(jīng)元特征和功效能夠知道，神經(jīng)元是一個多輸入單輸出信息處理單元，而且，它對信息處理是非線性。依據(jù)神經(jīng)元特征和功效，能夠把神經(jīng)元抽象為一個簡單數(shù)學(xué)模型。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第11頁3神經(jīng)元數(shù)學(xué)模型W—權(quán)矢量（weightvector）X—輸入矢量（inputvector）人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第12頁3神經(jīng)元數(shù)學(xué)模型比較慣用是激活函數(shù)可歸結(jié)為三種形式：閥值型、S型和線性型。激活函數(shù)：閾值型：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第13頁3神經(jīng)元數(shù)學(xué)模型S型（Sigmoid）激活函數(shù)人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第14頁3神經(jīng)元數(shù)學(xué)模型線性型激活函數(shù)神經(jīng)元特點(diǎn)：是一多輸入、單輸出元件含有非線性輸入輸出特征含有可塑性，其塑性改變改變部分主要是權(quán)值（Wi）變化，這相當(dāng)于生物神經(jīng)元突觸改變部分神經(jīng)元輸出響應(yīng)是各個輸入值綜合作用結(jié)果輸入分為興奮型（正值）和抑制型（負(fù)值）兩種。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第15頁4.人工神經(jīng)網(wǎng)絡(luò)

人工神經(jīng)網(wǎng)絡(luò)（ArtificialNeuralNetworkANN）是對人類大腦系統(tǒng)一階特征一個描述，簡單地講，它是一個數(shù)學(xué)模型．能夠用電子線路來實(shí)現(xiàn)．也能夠用計算機(jī)程序來模擬，是人工智能研究一個方法。

人工神經(jīng)網(wǎng)絡(luò)提出：信息分布表示運(yùn)算全局并行和局部操作處理非線性

人工神經(jīng)網(wǎng)絡(luò)三大特點(diǎn)：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第16頁人工神經(jīng)網(wǎng)絡(luò)定義：

人工神經(jīng)網(wǎng)絡(luò)是一個并行，分布處理結(jié)構(gòu)，它由處理單元及稱為聯(lián)接無向信號通道互連而成。這些處理單元(PE——ProcessingElement)含有局部內(nèi)存，并能夠完成局部操作、每個處理單元有一個單一輸出聯(lián)接，這個輸出能夠依據(jù)需要被分支成希望個數(shù)許多并行聯(lián)接，且這些并行聯(lián)接都輸出相同信號，即對應(yīng)處理單元信號，信號大小不因分支多少而改變，處理單元輸出信號能夠是任何需要數(shù)學(xué)模型，每個處理單元中進(jìn)行操作必須是完全局部。也就是說，它必須僅僅依賴于經(jīng)過輸入聯(lián)接抵達(dá)處理單元全部輸入信號當(dāng)前值和存放在處理單元局部內(nèi)存中值。

4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第17頁4.人工神經(jīng)網(wǎng)絡(luò)按照網(wǎng)絡(luò)結(jié)構(gòu)區(qū)分，則有前向網(wǎng)絡(luò)和反饋網(wǎng)絡(luò)按照學(xué)習(xí)方式區(qū)分，則有有教師學(xué)習(xí)和無教師學(xué)習(xí)網(wǎng)絡(luò)按照網(wǎng)絡(luò)性能區(qū)分，則有連續(xù)型和離散性網(wǎng)絡(luò)，隨機(jī)型和確定型網(wǎng)絡(luò)按照突觸性質(zhì)區(qū)分，則有一階線性關(guān)聯(lián)網(wǎng)絡(luò)和高階非線性關(guān)聯(lián)網(wǎng)絡(luò)按對生物神經(jīng)系統(tǒng)層次模擬區(qū)分，則有神經(jīng)元層次模型，組合式模型，網(wǎng)絡(luò)層次模型，神經(jīng)系統(tǒng)層次模型和智能型模型。人工神經(jīng)網(wǎng)絡(luò)分類：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第18頁4.人工神經(jīng)網(wǎng)絡(luò)第一個：前饋網(wǎng)絡(luò)（FeedforwardNetwork）下面介紹幾個常見神經(jīng)網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第19頁—表示一個非線性激活函數(shù)，每個神經(jīng)元激活函數(shù)是算子分量，激活函數(shù)是標(biāo)量，是輸入矢量和權(quán)矢量之積。前饋網(wǎng)絡(luò)沒有反饋，能夠連成多層網(wǎng)，前饋網(wǎng)絡(luò)通常是有教師提供信息，提供期望值，能夠從誤差信號來修正權(quán)值，直到誤差小于允許范圍。4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第20頁對于輸入X（t）僅在初始時刻不為零情況，這種網(wǎng)絡(luò)也能夠保持有輸出信號。所以，即在t>0時，輸入能夠取消或被系統(tǒng)自動保持。假如我們這里只考慮，則在t>0時，沒有輸入情況，可將下一時刻輸出寫成：，為方便起見，也可將網(wǎng)絡(luò)輸出狀態(tài)表示成：

第二種：反饋網(wǎng)絡(luò)4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第21頁第三種：相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò)結(jié)構(gòu)如圖所表示，它是網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，組成網(wǎng)絡(luò)中各個神經(jīng)元都可能相互雙相聯(lián)接，全部神經(jīng)元即作輸入，同時也用輸出。這種網(wǎng)絡(luò)假如在某一時刻從外部加一個輸入信號，各個神經(jīng)元一邊相互作用，一邊進(jìn)行信息處理，直到收斂于某個穩(wěn)定值為止。4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第22頁第四種：混合型網(wǎng)絡(luò)前面所講前饋網(wǎng)絡(luò)和上述相互結(jié)合型網(wǎng)絡(luò)分別是經(jīng)典層狀解構(gòu)網(wǎng)絡(luò)和網(wǎng)狀結(jié)構(gòu)網(wǎng)絡(luò)，介于兩種網(wǎng)絡(luò)中間一個連接方式，如圖所表示：它是在前饋網(wǎng)絡(luò)同一層間各神經(jīng)元又有互聯(lián)結(jié)構(gòu)，所以稱為混合型網(wǎng)絡(luò)。這種在同一層內(nèi)互聯(lián)目標(biāo)是為了限制同層內(nèi)神經(jīng)元同時興奮或抑制數(shù)目，已完成特定功效。比如：視網(wǎng)膜神經(jīng)元網(wǎng)絡(luò)就有許多這種連接形式。4.人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第23頁學(xué)習(xí)是神經(jīng)系統(tǒng)本能，人神經(jīng)系統(tǒng)是最發(fā)達(dá)，所以人學(xué)習(xí)能力也最強(qiáng)。模仿人學(xué)習(xí)過程人們提出各種神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)方法。有教師學(xué)習(xí)無教師學(xué)習(xí)

4.人工神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)過程：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第24頁4.人工神經(jīng)網(wǎng)絡(luò)關(guān)于綜合誤差有各種不一樣定義，但本質(zhì)上都是一致。這里介紹兩種：第一個：均方根標(biāo)準(zhǔn)誤差（Root-mean-squarenormalizederror,RMS誤差）式中：——模式k第j個輸出單元期望值；——模式k第j個輸出單元實(shí)際值；M——樣本模式對個數(shù)；Q——輸出單元個數(shù)。第二種：誤差平方和式中：M——樣本模式對個數(shù)；Q——輸出單元個數(shù)。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第25頁神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)規(guī)則

神經(jīng)元網(wǎng)絡(luò)最大特點(diǎn)就是它含有學(xué)習(xí)能力，在學(xué)習(xí)過程中，主要是網(wǎng)絡(luò)連接權(quán)值產(chǎn)生了對應(yīng)改變，學(xué)習(xí)到內(nèi)容也是記憶在連接權(quán)之中。

令為Wij第i個神經(jīng)元第j個輸入連接權(quán)，這個輸入能夠是外來輸入信號，也能夠試來自其它神經(jīng)元輸出。學(xué)習(xí)信號r是Wi和X函數(shù)，有時也包含教師信號di，所以有權(quán)矢量改變是由學(xué)習(xí)步驟按時間t，t+1，…，一步一步進(jìn)行計算。在時刻t連接權(quán)改變量為：其中c是一個正數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)速率。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第26頁神經(jīng)元網(wǎng)絡(luò)學(xué)習(xí)規(guī)則離散學(xué)習(xí)步驟可寫成：從時刻t到下一個時刻（t+1），連接權(quán)按下式計算:其中c是一個正常數(shù)，稱為學(xué)習(xí)常數(shù)，決定學(xué)習(xí)速率。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第27頁Hebb學(xué)習(xí)規(guī)則權(quán)分量用下式調(diào)整：或

當(dāng)兩個神經(jīng)元同時興奮時，突觸傳遞效率加強(qiáng)，那么在人工神經(jīng)網(wǎng)絡(luò)中就表現(xiàn)為連接權(quán)增加。以a表示神經(jīng)元A激活值（輸出），b表示神經(jīng)元B激活值，Wab表示兩個神經(jīng)元連接權(quán)，則Hebb學(xué)習(xí)規(guī)則數(shù)學(xué)表示式為：依據(jù)Hebb學(xué)習(xí)規(guī)則，學(xué)習(xí)信號r等于神經(jīng)元輸出：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第28頁感知機(jī)（Perceptron）學(xué)習(xí)規(guī)則這一規(guī)則是有監(jiān)督學(xué)習(xí)，學(xué)習(xí)信號是期望值與神經(jīng)元實(shí)際響應(yīng)之差學(xué)習(xí)規(guī)則以下列圖所表示。注意：這個規(guī)則僅能用于雙極二進(jìn)制神經(jīng)響應(yīng)。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第29頁感知機(jī)（Perceptron）學(xué)習(xí)規(guī)則在這一規(guī)則下，Oi僅當(dāng)不正確情況下才進(jìn)行權(quán)調(diào)整，誤差是學(xué)習(xí)必要條件。因?yàn)槠谕担╠i）與響應(yīng)值（Oi）均為+1或者-1，所以權(quán)調(diào)整量為：這里“＋”號，“－”號，當(dāng)權(quán)值無改變。初始權(quán)可為任意值。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第30頁Delta學(xué)習(xí)規(guī)則僅對連續(xù)激活函數(shù)，并只對有監(jiān)督學(xué)習(xí)模型有效。學(xué)習(xí)信號為：

誤差梯度矢量：這個學(xué)習(xí)規(guī)則可從Oi與di最小方差得出。方差：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第31頁Delta學(xué)習(xí)規(guī)則這個規(guī)則是與離散感知器學(xué)習(xí)規(guī)則是并行，能夠稱為連續(xù)感知器訓(xùn)練規(guī)則，它能夠深入推廣到多層。普通要求c取較小值，是在權(quán)空間，按負(fù)方向轉(zhuǎn)動權(quán)矢量。梯度矢量分量：因?yàn)樽钚≌`差要求權(quán)變換是負(fù)梯度方向，所以取式中c——正常數(shù)。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第32頁神經(jīng)元網(wǎng)絡(luò)工作過程：這里主要介紹兩種最慣用形式：第一個：回想（recall）——自動聯(lián)想——異聯(lián)想第二種：分類（classification）——異聯(lián)想一個特殊情況——識別自動聯(lián)想過程

異聯(lián)想過程分類過程

識別過程人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第33頁5多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒ㄕ`差逆?zhèn)鬏斝Ｕ椒ㄊ抢脤?shí)際輸出與期望輸出之差對網(wǎng)絡(luò)各層連接權(quán)由后向前進(jìn)行校正一個計算方法。理論上講，這種方法能夠適合用于任意多層網(wǎng)絡(luò)。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第34頁5多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒橛嬎惴奖?，我們首先把網(wǎng)絡(luò)變量設(shè)置以下：輸入模式向量：希望輸出向量：中間層各單元輸入激活值向量：中間層各單元輸出向量：輸出層各單元輸入激活值向量：輸出實(shí)際值向量：輸入層至中間層連接權(quán)：中間層至輸出層連接權(quán)：中間層各單元閾值：輸出層各單元閾值：其中人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第35頁5多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒せ詈瘮?shù)才用S型函數(shù)：激活函數(shù)導(dǎo)數(shù)為：這里學(xué)習(xí)規(guī)則實(shí)際上是一個Delta學(xué)習(xí)規(guī)則，即利用誤差負(fù)梯度來調(diào)整連接權(quán)，使其輸出誤差單調(diào)降低。利用Delta學(xué)習(xí)規(guī)則，應(yīng)該先求出誤差函數(shù)梯度，所以有以下推導(dǎo)過程：對第k個學(xué)習(xí)模式，網(wǎng)絡(luò)希望輸出與實(shí)際輸出偏差設(shè)為：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第36頁5多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒ú扇∑椒胶驼`差進(jìn)行計算：按梯度下降標(biāo)準(zhǔn)，中間層至輸出層連接權(quán)調(diào)整量應(yīng)為：展開：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第37頁5多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒ɡ茫?）式可得：因?yàn)檩敵鰧拥趖個單元激活值為：輸出層第t個單元輸出值為：由式（2）可得對于輸出函數(shù)導(dǎo)數(shù)：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第38頁5多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒ㄋ裕核?，由式?）（7）和（11）可得：為深入簡化，

所以：

人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第39頁5多層網(wǎng)絡(luò)誤差逆?zhèn)鬏斝Ｕ椒ㄍ?，由輸入層至中間層連接權(quán)調(diào)整，仍按梯度下降法標(biāo)準(zhǔn)進(jìn)行：一樣也可求出閾值調(diào)整量：

為中間層各單元校正誤差

以上推導(dǎo)僅是針對某一組學(xué)習(xí)模式進(jìn)行，其誤差也是某一組誤差。對于全部輸入模式，我們有網(wǎng)絡(luò)全局誤差E：人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第40頁BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則與計算方法輸入模式順傳輸（輸入模式由輸入層經(jīng)中間層向輸出層傳輸計算），這一過程主要是利用輸入模式求出它所對應(yīng)實(shí)際輸出

輸出誤差逆?zhèn)鬏敚ㄝ敵稣`差由輸出層經(jīng)中間層傳向輸入層），當(dāng)這些實(shí)際輸出值與希望輸出值不一樣時或者說其誤差大雨所限定數(shù)值時，就要對網(wǎng)絡(luò)進(jìn)行校正。循環(huán)記憶訓(xùn)練（模式順傳輸與誤差逆?zhèn)鬏斢嬎氵^程重復(fù)交替循環(huán)進(jìn)行）學(xué)習(xí)結(jié)果判別（判定全局誤差是否趨向極小值）。BP網(wǎng)學(xué)習(xí)過程利用前面求得對各個連接權(quán)和閥值進(jìn)行校正數(shù)學(xué)表示式，可組成BP網(wǎng)絡(luò)學(xué)習(xí)規(guī)則。人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第41頁BP網(wǎng)絡(luò)應(yīng)用舉例“異或”（XOR）問題：比如有一個BP網(wǎng)絡(luò)，它由輸入、中間和輸出層這三層組成，如圖所表示。輸入層和中間層各有兩個神經(jīng)元，輸出層有一個神經(jīng)元。先要求訓(xùn)練這一網(wǎng)絡(luò)，使其含有處理“異或”問題能力。首先給網(wǎng)絡(luò)連接權(quán)及其閾值賦予[-0.1,0.1]區(qū)間隨機(jī)數(shù)，如上圖所表示。在初始狀態(tài)下輸入、輸出結(jié)果以下表所表示X1X2希望輸出實(shí)際輸出全局誤差0000.50.50110.50.51010.50.51100.50.5X2X1X10.08010.06050.05430.0579-0.02910.0999人工神經(jīng)網(wǎng)絡(luò)講稿專業(yè)知識專家講座第42頁BP網(wǎng)絡(luò)應(yīng)用舉例X1X2希望輸出實(shí)際輸出全局誤差0000.1190.1660110.7271010.7341100.415這時平方和誤差可用下式計算：

因?yàn)閷?yīng)四個輸入模式實(shí)際輸出均為0.5左右，所以全局誤差為0.5。下面采取BP網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行訓(xùn)練，取。當(dāng)進(jìn)行800