神經(jīng)網(wǎng)絡(luò)模型

神經(jīng)網(wǎng)絡(luò)模型第一頁，共六十四頁，2022年，8月28日一個(gè)引例

1981年生物學(xué)家格若根（W.Grogan）和維什（W.Wirth）發(fā)現(xiàn)了兩類蚊子(或飛蠓midges)．他們測(cè)量了這兩類蚊子每個(gè)個(gè)體的翼長(zhǎng)和觸角長(zhǎng)，數(shù)據(jù)如下：翼長(zhǎng)觸角長(zhǎng)類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af問題：現(xiàn)抓到三只新的蚊子，它們的觸角長(zhǎng)和翼長(zhǎng)分別為(l.24,1.80);(l.28，1.84)；（1.40，2.04）．問它們應(yīng)分別屬于哪一個(gè)種類？第二頁，共六十四頁，2022年，8月28日方法：

把翼長(zhǎng)作縱坐標(biāo)，觸角長(zhǎng)作橫坐標(biāo)；那么每個(gè)蚊子的翼長(zhǎng)和觸角決定了坐標(biāo)平面的一個(gè)點(diǎn).其中6個(gè)蚊子屬于APf類；用黑點(diǎn)“·”表示；9個(gè)蚊子屬Af類；用小圓圈“?！北硎?，得到的結(jié)果見下圖：圖

飛蠓的觸角長(zhǎng)和翼長(zhǎng)第三頁，共六十四頁，2022年，8月28日根據(jù)圖示，可考慮作一直線，就可將兩類飛蠓分開。

例如；取A＝（1.44，2.10）和B＝(1.10，1.16)，過A、B兩點(diǎn)作一條直線：

y＝1.47x-0.017其中x表示觸角長(zhǎng)；

y表示翼長(zhǎng)．

分類規(guī)則：

設(shè)一個(gè)蚊子的數(shù)據(jù)為（x,y）如果y≥1.47x-0.017，則判斷蚊子屬Apf類如果y＜1.47x-0.017；則判斷蚊子屬Af類．

分類直線圖

分類結(jié)果：(1.24，1.80)，(1.28，1.84)屬于Af類；(1.40，2.04）屬于Apf類．第四頁，共六十四頁，2022年，8月28日缺陷：根據(jù)什么原則確定分類直線？

若取A=(1.46,2.10),B=(1.1,1.6)不變，則分類直線變?yōu)閥=1.39x+0.071分類結(jié)果變?yōu)椋?1.24,1.80)，(1.40,2.04)屬于Apf類；(1.28,1.84)屬于Af類哪一分類直線才是正確的呢？

因此如何來確定這個(gè)判別直線是一個(gè)值得研究的問題．一般地講，應(yīng)該充分利用已知的數(shù)據(jù)信息來確定判別直線．第五頁，共六十四頁，2022年，8月28日再如，如下的情形已經(jīng)不能用分類直線的辦法：新思路：將問題看作一個(gè)系統(tǒng)，飛蠓的數(shù)據(jù)作為輸入，飛蠓的類型作為輸出，研究輸入與輸出的關(guān)系。第六頁，共六十四頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)模型的生物學(xué)背景

人類大腦大約包含有1011~1012個(gè)神經(jīng)元，每個(gè)神經(jīng)元與大約103～105個(gè)其它神經(jīng)元相連接，構(gòu)成一個(gè)極為龐大而復(fù)雜的網(wǎng)絡(luò)，即生物神經(jīng)網(wǎng)絡(luò)。

神經(jīng)生理學(xué)和神經(jīng)解剖學(xué)的研究結(jié)果表明，神經(jīng)元是腦組織的基本單元，是神經(jīng)系統(tǒng)結(jié)構(gòu)與功能的單位。第七頁，共六十四頁，2022年，8月28日生物神經(jīng)元在結(jié)構(gòu)上由：

細(xì)胞體(Cellbody)

樹突(Dendrite)

軸突(Axon)

突觸(Synapse)四部分組成。用來完成神經(jīng)元間信息的接收、傳遞和處理。生物神經(jīng)元的信息處理機(jī)理：神經(jīng)元間信息的產(chǎn)生、傳遞和處理是一種電化學(xué)活動(dòng)。第八頁，共六十四頁，2022年，8月28日第九頁，共六十四頁，2022年，8月28日信息輸入信息傳播與處理信息傳播與處理（整合）信息傳播與處理結(jié)果：興奮與抑制信息輸出第十頁，共六十四頁，2022年，8月28日

突觸是神經(jīng)元之間相互連接的接口部分，即一個(gè)神經(jīng)元的神經(jīng)末梢與另一個(gè)神經(jīng)元的樹突相接觸的交界面，位于神經(jīng)元的神經(jīng)末梢尾端。突觸是軸突的終端。神經(jīng)元的功能特性（1）時(shí)空整合功能。（2）神經(jīng)元的動(dòng)態(tài)極化性。（3）興奮與抑制狀態(tài)。（4）結(jié)構(gòu)的可塑性。（5）脈沖與電位信號(hào)的轉(zhuǎn)換。（6）突觸延期和不應(yīng)期。（7）學(xué)習(xí)、遺忘和疲勞。第十一頁，共六十四頁，2022年，8月28日生物神經(jīng)網(wǎng)絡(luò):

由多個(gè)生物神經(jīng)元以確定方式和拓?fù)浣Y(jié)構(gòu)相互連接即形成生物神經(jīng)網(wǎng)絡(luò)。

生物神經(jīng)網(wǎng)絡(luò)的功能不是單個(gè)神經(jīng)元信息處理功能的簡(jiǎn)單疊加,而且神經(jīng)元之間的突觸連接方式和連接強(qiáng)度也是不同的并且具有可塑性（這點(diǎn)非常重要），這使神經(jīng)網(wǎng)絡(luò)在宏觀呈現(xiàn)出千變?nèi)f化的復(fù)雜的信息處理能力。

第十二頁，共六十四頁，2022年，8月28日

人工神經(jīng)網(wǎng)絡(luò)是集腦科學(xué)、神經(jīng)心理學(xué)和信息科學(xué)等多學(xué)科的交叉研究領(lǐng)域，屬于仿生學(xué)的一部分，是近年來高科技領(lǐng)域的一個(gè)研究熱點(diǎn)。它的研究目標(biāo)是通過研究人腦的組成機(jī)理和思維方式，探索人類智能的奧秘，進(jìn)而通過模擬人腦的結(jié)構(gòu)和工作模式，使機(jī)器具有類似人類的智能。已在模式識(shí)別、機(jī)器學(xué)習(xí)、計(jì)算機(jī)圖像處理、專家系統(tǒng)等各個(gè)方面得到廣泛的應(yīng)用，成為人工智能研究中的活躍領(lǐng)域。人工神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元

模擬生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)模擬生物神經(jīng)網(wǎng)絡(luò)第十三頁，共六十四頁，2022年，8月28日神經(jīng)元的人工模型（MP模型）人工神經(jīng)網(wǎng)絡(luò)的組成與結(jié)構(gòu)人工神經(jīng)網(wǎng)絡(luò)的組成人工神經(jīng)網(wǎng)絡(luò)是由大量處理單元經(jīng)廣泛互連而組成的人工網(wǎng)絡(luò)，用來模擬腦神經(jīng)系統(tǒng)的結(jié)構(gòu)和功能。而這些處理單元我們把它稱作人工神經(jīng)元。人工神經(jīng)網(wǎng)絡(luò)可看成是以人工神經(jīng)元為節(jié)點(diǎn)，用有向加權(quán)弧連接起來的有向圖。在此有向圖中，人工神經(jīng)元就是對(duì)生物神經(jīng)元的模擬，而有向弧則是軸突—突觸—樹突對(duì)的模擬。

有向弧的權(quán)值表示相互連接的兩個(gè)人工神經(jīng)元間相互作用的強(qiáng)弱。

第十四頁，共六十四頁，2022年，8月28日處理單元（人工神經(jīng)元）結(jié)構(gòu)示意圖人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)第十五頁，共六十四頁，2022年，8月28日更一般的人工神經(jīng)元示意圖（MP模型）稱為作用函數(shù)或激發(fā)函數(shù)作用函數(shù)求和操作第十六頁，共六十四頁，2022年，8月28日

對(duì)于第i個(gè)處理單元（神經(jīng)元）來說，假設(shè)來自其他處理單元（神經(jīng)元）j的信息為uj，它們與本處理單元的互相作用強(qiáng)度即連接權(quán)值為wji,j=1,2,…,n,處理單元的內(nèi)部閾值為θi。那么本處理單元（神經(jīng)元）的輸入為從而處理單元的輸出為f函數(shù)決定節(jié)點(diǎn)（神經(jīng)元）的輸出。人工神經(jīng)元的工作過程,處理單元的凈輸入為第十七頁，共六十四頁，2022年，8月28日第十八頁，共六十四頁，2022年，8月28日信息輸入第十九頁，共六十四頁，2022年，8月28日信息傳播與處理：加權(quán)求和第二十頁，共六十四頁，2022年，8月28日信息傳播第二十一頁，共六十四頁，2022年，8月28日信息傳播與處理：非線性第二十二頁，共六十四頁，2022年，8月28日信息輸出第二十三頁，共六十四頁，2022年，8月28日神經(jīng)元的傳遞函數(shù)的選擇(1)閾值型傳遞函數(shù)，如：

閾值型函數(shù)又稱階躍函數(shù)，它表示激活值x和其輸出f(x)之間的關(guān)系。閾值型函數(shù)為激發(fā)函數(shù)的神經(jīng)元是一種最簡(jiǎn)單的人工神經(jīng)元，采用階躍作用函數(shù)的神經(jīng)元，稱為閾值邏輯單元。

第二十四頁，共六十四頁，2022年，8月28日(2)S型傳遞函數(shù)

對(duì)稱型Sigmoid函數(shù)

或第二十五頁，共六十四頁，2022年，8月28日S型函數(shù)是一個(gè)有最大輸出值的非線性函數(shù)，其輸出值是在某個(gè)范圍內(nèi)連續(xù)取值的。以它為傳遞函數(shù)的神經(jīng)元也具有飽和特性，是最常用的一類激發(fā)函數(shù)。

非對(duì)稱型Sigmoid函數(shù)

或第二十六頁，共六十四頁，2022年，8月28日(3)分段線性轉(zhuǎn)移函數(shù)（a）線性作用函數(shù)：輸出等于輸入，即

（b）飽和線性作用函數(shù)

（c）對(duì)稱飽和線性作用函數(shù)

第二十七頁，共六十四頁，2022年，8月28日

線性分段函數(shù)可以看作是一種最簡(jiǎn)單的非線性函數(shù)，它的特點(diǎn)是將函數(shù)的值域限制在一定的范圍內(nèi)，其輸入、輸出之間在一定范圍內(nèi)滿足線性關(guān)系，一直延續(xù)到輸出為最大域值為止。但當(dāng)達(dá)到最大值后，輸出就不再增大。(4)高斯函數(shù)

反映出高斯函數(shù)的寬度該函數(shù)也是常用的一類激發(fā)函數(shù)。第二十八頁，共六十四頁，2022年，8月28日由多個(gè)神經(jīng)元組成的單層網(wǎng)絡(luò)結(jié)構(gòu)圖示bi為第i個(gè)（i=1,2,…,s）神經(jīng)元的閾值，即MP模型的閾值量θi第二十九頁，共六十四頁，2022年，8月28日由多個(gè)單層（2層）網(wǎng)絡(luò)組成的多層網(wǎng)絡(luò)圖示第三十頁，共六十四頁，2022年，8月28日單純層次型結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)模型的典型拓?fù)浣Y(jié)構(gòu)

神經(jīng)元分層排列，順序連接。由輸入層施加輸入信息，通過中間各層，加權(quán)后傳遞到輸出層后輸出。每層的神經(jīng)元只接受前一層神經(jīng)元的輸入，各神經(jīng)元之間不存在反饋。感知器、BP神經(jīng)網(wǎng)絡(luò)和徑向基函數(shù)神經(jīng)網(wǎng)絡(luò)都屬于這種類型。第三十一頁，共六十四頁，2022年，8月28日層內(nèi)有連接層次型結(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)中有的在同一層中的各神經(jīng)元相互有連接,通過層內(nèi)神經(jīng)元的相互結(jié)合，可以實(shí)現(xiàn)同一層內(nèi)神經(jīng)元之間的橫向抑制或興奮機(jī)制，這樣可以限制每層內(nèi)能同時(shí)動(dòng)作的神經(jīng)元數(shù)，或者把每層內(nèi)的神經(jīng)元分為若干組，讓每組作為一個(gè)整體來動(dòng)作。第三十二頁，共六十四頁，2022年，8月28日輸出層到輸入層有連接反饋

網(wǎng)絡(luò)結(jié)構(gòu)中，只在輸出層到輸入層存在反饋，即每一個(gè)輸入節(jié)點(diǎn)都有可能接受來自外部的輸入和來自輸出神經(jīng)元的反饋。這種模式可用來存儲(chǔ)某種模式序列，如神經(jīng)認(rèn)知機(jī)即屬于此類，也可以用于動(dòng)態(tài)時(shí)間序列過程的神經(jīng)網(wǎng)絡(luò)建模。第三十三頁，共六十四頁，2022年，8月28日全互連型結(jié)構(gòu)局部互連型網(wǎng)絡(luò)結(jié)構(gòu)

網(wǎng)絡(luò)模型中，任意兩個(gè)神經(jīng)元之間都可能有相互連接的關(guān)系。其中，有的神經(jīng)元之間是雙向的，有的是單向的。

Hopfield網(wǎng)絡(luò)、Boltzman機(jī)網(wǎng)絡(luò)屬于這一類。第三十四頁，共六十四頁，2022年，8月28日神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)

神經(jīng)網(wǎng)絡(luò)能夠通過對(duì)樣本的學(xué)習(xí)訓(xùn)練，不斷改變網(wǎng)絡(luò)的連接權(quán)值以及拓?fù)浣Y(jié)構(gòu)，以使網(wǎng)絡(luò)的輸出不斷地接近期望的輸出，這一過程稱為神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)或訓(xùn)練，其本質(zhì)是可變權(quán)值的動(dòng)態(tài)調(diào)整。學(xué)習(xí)是改變各神經(jīng)元連接權(quán)值的有效方法，也是體現(xiàn)人工神經(jīng)網(wǎng)絡(luò)智能特性最主要的標(biāo)志。離開了學(xué)習(xí)，神經(jīng)網(wǎng)絡(luò)就失去了誘人的自適應(yīng)、自組織能力。學(xué)習(xí)方法是人工神經(jīng)網(wǎng)絡(luò)研究中的核心問題第三十五頁，共六十四頁，2022年，8月28日有監(jiān)督學(xué)習(xí)方式

神經(jīng)網(wǎng)絡(luò)根據(jù)實(shí)際輸出與期望輸出的偏差，按照一定的準(zhǔn)則調(diào)整各神經(jīng)元連接的權(quán)系數(shù)，見下圖。期望輸出又稱為導(dǎo)師信號(hào)，是評(píng)價(jià)學(xué)習(xí)的標(biāo)準(zhǔn)，故這種學(xué)習(xí)方式又稱為有導(dǎo)師學(xué)習(xí)。特點(diǎn)：不能保證得到全局最優(yōu)解，要求大量訓(xùn)練樣本，收斂速度慢，對(duì)樣本地表示次序變化比較敏感。第三十六頁，共六十四頁，2022年，8月28日

無導(dǎo)師信號(hào)提供給網(wǎng)絡(luò)，神經(jīng)網(wǎng)絡(luò)僅僅根據(jù)其輸入調(diào)整連接權(quán)系數(shù)和閾值，此時(shí)，網(wǎng)絡(luò)的學(xué)習(xí)評(píng)價(jià)標(biāo)準(zhǔn)隱含于內(nèi)部。其結(jié)構(gòu)見下圖。這種學(xué)習(xí)方式主要完成聚類操作。無監(jiān)督學(xué)習(xí)方式第三十七頁，共六十四頁，2022年，8月28日

DonallHebb根據(jù)生理學(xué)中的條件反射機(jī)理，于1949年提出的神經(jīng)元連接強(qiáng)度變化的規(guī)則：如果兩個(gè)神經(jīng)元同時(shí)興奮(即同時(shí)被激活)，則它們之間的突觸連接加強(qiáng)為學(xué)習(xí)速率，oi、oj為神經(jīng)元i和j的輸出聯(lián)想式學(xué)習(xí)—Hebb學(xué)習(xí)規(guī)則Hebb學(xué)習(xí)規(guī)則是人工神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的基本規(guī)則，幾乎所有神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則都可以看作Hebb學(xué)習(xí)規(guī)則的變形。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)規(guī)則第三十八頁，共六十四頁，2022年，8月28日糾錯(cuò)式學(xué)習(xí)—Delta(δ)學(xué)習(xí)規(guī)則

首先考慮一個(gè)簡(jiǎn)單的情況：設(shè)某神經(jīng)網(wǎng)絡(luò)的輸出層中只有一個(gè)神經(jīng)元i，給該神經(jīng)網(wǎng)絡(luò)加上輸入，這樣就產(chǎn)生了輸出yi(n)，稱該輸出為實(shí)際輸出。對(duì)于所加上的輸入，我們期望該神經(jīng)網(wǎng)絡(luò)的輸出為d(n),稱為期望輸出或目標(biāo)輸出（樣本對(duì)里面包含輸入和期望輸出）。實(shí)際輸出與期望輸出之間存在著誤差，用e(n)表示：第三十九頁，共六十四頁，2022年，8月28日

現(xiàn)在要調(diào)整權(quán)值，是誤差信號(hào)e(n)減小到一個(gè)范圍。為此，可設(shè)定代價(jià)函數(shù)或性能指數(shù)E(n)：

反復(fù)調(diào)整突觸權(quán)值使代價(jià)函數(shù)達(dá)到最小或者使系統(tǒng)達(dá)到一個(gè)穩(wěn)定狀態(tài)（及突觸權(quán)值穩(wěn)定不變），就完成了該學(xué)習(xí)過程。

該學(xué)習(xí)過程成為糾錯(cuò)學(xué)習(xí)，或Delta學(xué)習(xí)規(guī)則。

wij表示神經(jīng)元xj到xj學(xué)的突觸權(quán)值，在學(xué)習(xí)步驟為n時(shí)對(duì)突觸權(quán)值的調(diào)整為：學(xué)習(xí)速率參數(shù)則第四十頁，共六十四頁，2022年，8月28日人工神經(jīng)網(wǎng)絡(luò)的仿真

人工神經(jīng)網(wǎng)絡(luò)的運(yùn)行一般分為訓(xùn)練和仿真兩個(gè)階段。訓(xùn)練的目的是為了從訓(xùn)練數(shù)據(jù)中提取隱含的知識(shí)和規(guī)律，并存儲(chǔ)于網(wǎng)絡(luò)中供仿真階段使用。

神經(jīng)網(wǎng)絡(luò)的仿真過程實(shí)質(zhì)上是神經(jīng)網(wǎng)絡(luò)根據(jù)網(wǎng)絡(luò)輸入數(shù)據(jù)，通過數(shù)值計(jì)算得出相應(yīng)網(wǎng)絡(luò)輸出的過程。通過仿真，可以及時(shí)了解當(dāng)前神經(jīng)網(wǎng)絡(luò)的性能．從而決定是否對(duì)網(wǎng)絡(luò)進(jìn)行進(jìn)一步的訓(xùn)練。第四十一頁，共六十四頁，2022年，8月28日反向傳播模型及其網(wǎng)絡(luò)結(jié)構(gòu)反向傳播模型也稱B-P模型，是一種用于前向多層的反向傳播學(xué)習(xí)算法。之所以稱它是一種學(xué)習(xí)方法，是因?yàn)橛盟梢詫?duì)組成前向多層網(wǎng)絡(luò)的各人工神經(jīng)元之間的連接權(quán)值進(jìn)行不斷的修改，從而使該前向多層網(wǎng)絡(luò)能夠?qū)⑤斎胨男畔⒆儞Q成所期望的輸出信息。之所以將其稱作為反向?qū)W習(xí)算法，是因?yàn)樵谛薷母魅斯ど窠?jīng)元的連接權(quán)值時(shí)，所依據(jù)的是該網(wǎng)絡(luò)的實(shí)際輸出與其期望的輸出之差，將這一差值反向一層一層的向回傳播，來決定連接權(quán)值的修改。四、反向傳播模型及其學(xué)習(xí)算法第四十二頁，共六十四頁，2022年，8月28日B-P算法的網(wǎng)絡(luò)結(jié)構(gòu)是一個(gè)前向多層網(wǎng)絡(luò)，如圖所示。

四、反向傳播模型及其學(xué)習(xí)算法第四十三頁，共六十四頁，2022年，8月28日反向傳播網(wǎng)絡(luò)的學(xué)習(xí)算法B-P算法的學(xué)習(xí)目的是對(duì)網(wǎng)絡(luò)的連接權(quán)值進(jìn)行調(diào)整，使得調(diào)整后的網(wǎng)絡(luò)對(duì)任一輸入都能得到所期望的輸出。學(xué)習(xí)過程由正向傳播和反向傳播組成。正向傳播用于對(duì)前向網(wǎng)絡(luò)進(jìn)行計(jì)算，即對(duì)某一輸入信息，經(jīng)過網(wǎng)絡(luò)計(jì)算后求出它的輸出結(jié)果。反向傳播用于逐層傳遞誤差，修改神經(jīng)元間的連接權(quán)值，以使網(wǎng)絡(luò)對(duì)輸入信息經(jīng)過計(jì)算后所得到的輸出能達(dá)到期望的誤差要求。四、反向傳播模型及其學(xué)習(xí)算法第四十四頁，共六十四頁，2022年，8月28日B-P算法的學(xué)習(xí)過程如下：（1）選擇一組訓(xùn)練樣例，每一個(gè)樣例由輸入信息和期望的輸出結(jié)果兩部分組成。（2）從訓(xùn)練樣例集中取一樣例，把輸入信息輸入到網(wǎng)絡(luò)中。（3）分別計(jì)算經(jīng)神經(jīng)元處理后的各層節(jié)點(diǎn)的輸出。（4）計(jì)算網(wǎng)絡(luò)的實(shí)際輸出和期望輸出的誤差。（5）從輸出層反向計(jì)算到第一個(gè)隱層，并按照某種能使誤差向減小方向發(fā)展的原則，調(diào)整網(wǎng)絡(luò)中各神經(jīng)元的連接權(quán)值。（6）對(duì)訓(xùn)練樣例集中的每一個(gè)樣例重復(fù)（3）—（5）的步驟，直到對(duì)整個(gè)訓(xùn)練樣例集的誤差達(dá)到要求時(shí)為止。四、反向傳播模型及其學(xué)習(xí)算法第四十五頁，共六十四頁，2022年，8月28日

在以上的學(xué)習(xí)過程中，第（5）步是最重要的，如何確定一種調(diào)整連接權(quán)值的原則，使誤差沿著減小的方向發(fā)展，是B-P學(xué)習(xí)算法必須解決的問題。四、反向傳播模型及其學(xué)習(xí)算法第四十六頁，共六十四頁，2022年，8月28日B-P算法的優(yōu)缺點(diǎn)：優(yōu)點(diǎn)：理論基礎(chǔ)牢固，推導(dǎo)過程嚴(yán)謹(jǐn)，物理概念清晰，通用性好等。所以，它是目前用來訓(xùn)練前向多層網(wǎng)絡(luò)較好的算法。缺點(diǎn)：（1）該學(xué)習(xí)算法的收斂速度慢；（2）網(wǎng)絡(luò)中隱節(jié)點(diǎn)個(gè)數(shù)的選取尚無理論上的指導(dǎo)；（3）從數(shù)學(xué)角度看，B-P算法是一種梯度最速下降法，這就可能出現(xiàn)局部極小的問題。當(dāng)出現(xiàn)局部極小時(shí)，從表面上看，誤差符合要求，但這時(shí)所得到的解并不一定是問題的真正解。所以B-P算法是不完備的。四、反向傳播模型及其學(xué)習(xí)算法第四十七頁，共六十四頁，2022年，8月28日簡(jiǎn)單網(wǎng)絡(luò)的B-P算法簡(jiǎn)單網(wǎng)絡(luò)第四十八頁，共六十四頁，2022年，8月28日假設(shè)有P個(gè)訓(xùn)練樣本，即有P個(gè)輸入輸出對(duì)（Ip,Tp）,p=1,…,P,其中

輸入向量為

,目標(biāo)輸出向量為（實(shí)際上的）

網(wǎng)絡(luò)輸出向量為

（理論上的）

簡(jiǎn)單網(wǎng)絡(luò)的B-P算法第四十九頁，共六十四頁，2022年，8月28日（p=1,…,P）

（2）

記wij為從輸入向量的第j(j=1,…,m)個(gè)分量到輸出向量的第i(i=1,…,n)個(gè)分量的權(quán)重。通常理論值與實(shí)際值有一誤差，網(wǎng)絡(luò)學(xué)習(xí)則是指不斷地把與比較，并根據(jù)極小原則修改參數(shù)wij，使誤差平方和達(dá)最?。河汥elta學(xué)習(xí)規(guī)則:

（4）

（3）

表示遞推一次的修改量，則有稱為學(xué)習(xí)的速率

簡(jiǎn)單網(wǎng)絡(luò)的B-P算法第五十頁，共六十四頁，2022年，8月28日ipm=-1,wim=(第i個(gè)神經(jīng)元的閾值)（5）注：由（1）式，第i個(gè)神經(jīng)元的輸出可表示為特別當(dāng)f是線性函數(shù)時(shí)

（6）簡(jiǎn)單網(wǎng)絡(luò)的B-P算法第五十一頁，共六十四頁，2022年，8月28日多層前饋網(wǎng)絡(luò)

多層前饋網(wǎng)絡(luò)

（l）輸入層不計(jì)在層數(shù)之內(nèi)，它有N0個(gè)神經(jīng)元．設(shè)網(wǎng)絡(luò)共有L層；輸出層為第L層；第k層有Nk個(gè)神經(jīng)元．假設(shè)：(2)設(shè)表示第k層第i神經(jīng)元所接收的信息wk(i,j)表示從第k-1層第j個(gè)元到第k層第i個(gè)元的權(quán)重，表第k層第i個(gè)元的輸出第五十二頁，共六十四頁，2022年，8月28日（3）設(shè)層與層間的神經(jīng)元都有信息交換（否則，可設(shè)它們之間的權(quán)重為零）；但同一層的神經(jīng)元之間無信息傳輸．(4)設(shè)信息傳輸?shù)姆较蚴菑妮斎雽拥捷敵鰧臃较颍灰虼朔Q為前向網(wǎng)絡(luò)．沒有反向傳播信息．

（5）表示輸入的第j個(gè)分量．假設(shè)：第五十三頁，共六十四頁，2022年，8月28日在上述假定下網(wǎng)絡(luò)的輸入輸出關(guān)系可以表示為：（7）

其中θk(i)表示第k層第i個(gè)元的閾值.第五十四頁，共六十四頁，2022年，8月28日五、應(yīng)用舉例1問題描述在金屬成形過程設(shè)計(jì)中，需要知道施于工件與模具之間的潤(rùn)滑劑的摩擦特性以及工件材料的流動(dòng)應(yīng)力，以優(yōu)化成形過程。金屬環(huán)鍛壓實(shí)驗(yàn)是測(cè)定介面摩擦特性和材料流動(dòng)應(yīng)力的最簡(jiǎn)單的試驗(yàn)方法。用上界法繪制不同摩擦因素條件下的標(biāo)定曲線族，曲線自變量為環(huán)內(nèi)徑減小的百分比（λ）和環(huán)高度縮減的百分比（γ），應(yīng)變量是摩擦因素（m）和流動(dòng)應(yīng)力（σ）。第五十五頁，共六十四頁，2022年，8月28日應(yīng)用舉例1用神經(jīng)網(wǎng)絡(luò)測(cè)定訓(xùn)練樣本1600個(gè)，四層反向傳播網(wǎng)絡(luò)，分別用2、12、12、2個(gè)神經(jīng)元。學(xué)習(xí)規(guī)則用改進(jìn)的δ規(guī)劃。第五十六頁，共六十四頁，2022年，8月28日應(yīng)用舉例1第五十七頁，共六十四頁，2022年，8月28日應(yīng)用舉例2

已知的兩類蚊子的數(shù)據(jù)如表1：

翼長(zhǎng)觸角長(zhǎng)類別1.781.14Apf1.961.18Apf1.861.20