BP神經(jīng)網(wǎng)絡(luò)教學(xué)課件

第2部分：BP神經(jīng)網(wǎng)絡(luò)

1第2部分：BP神經(jīng)網(wǎng)絡(luò)1主要內(nèi)容一.人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)生物神經(jīng)網(wǎng)絡(luò)、生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)、人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)三要素典型激活函數(shù)神經(jīng)網(wǎng)絡(luò)幾種典型形式二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五.應(yīng)用2主要內(nèi)容2人工神經(jīng)網(wǎng)絡(luò)是生物神經(jīng)網(wǎng)絡(luò)的某種模型(數(shù)學(xué)模型)

是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模仿基本處理單元為人工神經(jīng)元3人工神經(jīng)網(wǎng)絡(luò)31.生物神經(jīng)系統(tǒng)與生物神經(jīng)元

大量生物神經(jīng)元的廣泛、復(fù)雜連接，形成生物神經(jīng)網(wǎng)絡(luò)(BiologicalNeuralNetwork,BNN)。

實(shí)現(xiàn)各種智能活動(dòng)

生物神經(jīng)元(neuron)是基本的信息處理單元41.生物神經(jīng)系統(tǒng)與生物神經(jīng)元4(1)生物神經(jīng)系統(tǒng)

生物神經(jīng)元(neuron)是基本的信息處理單元,其組成：樹突(dendrites),

接收來(lái)自外接的信息細(xì)胞體(cellbody),

神經(jīng)細(xì)胞主體，信息加工軸突(axon),細(xì)胞的輸出裝置，將信號(hào)向外傳遞，與多個(gè)神經(jīng)元連接突觸（synapsse),神經(jīng)元經(jīng)突觸向其它神經(jīng)元（胞體或樹突）傳遞信號(hào)5(1)生物神經(jīng)系統(tǒng)5(2)生物神經(jīng)元的基本特征神經(jīng)元之間彼此連接

神經(jīng)元之間的連接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的連接強(qiáng)度可以隨訓(xùn)練改變

學(xué)習(xí)、遺忘、疲勞

----神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化

興奮與抑制信號(hào)可以起興奮作用，也可以起抑制作用一個(gè)神經(jīng)元接受信號(hào)的累積效果（綜合大小，代數(shù)和）決定該神經(jīng)元的狀態(tài)(興奮、抑制)

每個(gè)神經(jīng)元可以有一個(gè)“閾值”6(2)生物神經(jīng)元的基本特征62.人工神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)元72.人工神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)元7(1)基本的人工神經(jīng)元模型McCulloch-Pitts神經(jīng)元模型輸入信號(hào)；鏈接強(qiáng)度與權(quán)向量；信號(hào)累積激活與抑制8(1)基本的人工神經(jīng)元模型McCulloch-Pitts神經(jīng)9910101111(1)基本的人工神經(jīng)元模型12(1)基本的人工神經(jīng)元模型12(2)輸出函數(shù)f(2)幾種常見形式的傳遞函數(shù)(激活函數(shù))13(2)輸出函數(shù)f(2)幾種常見形式的傳遞函數(shù)(激活函數(shù))1(2)輸出函數(shù)f14(2)輸出函數(shù)f14(2)輸出函數(shù)f15(2)輸出函數(shù)f15161617171818主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五.應(yīng)用19主要內(nèi)容19各神經(jīng)元接受來(lái)自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，無(wú)反饋，可用一有向無(wú)環(huán)圖表示。網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類：輸入節(jié)點(diǎn)；計(jì)算節(jié)點(diǎn)(神經(jīng)元節(jié)點(diǎn))節(jié)點(diǎn)按層(layer)組織：第i層的輸入只與第i-1層的輸出相連。輸入信號(hào)由輸入層輸入,由第一層節(jié)點(diǎn)輸出，傳向下層，……前饋：信息由低層向高層單向流動(dòng)。-------------------------------------------------

可見層

輸入層

(inputlayer)輸入節(jié)點(diǎn)所在層，無(wú)計(jì)算能力

輸出層(outputlayer)節(jié)點(diǎn)為神經(jīng)元

隱含層(hiddenlayer)

中間層，節(jié)點(diǎn)為神經(jīng)元1.前饋(forward)神經(jīng)網(wǎng)絡(luò)20各神經(jīng)元接受來(lái)自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，無(wú)反饋，可用

具有三層計(jì)算單元的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)21具有三層計(jì)算單元的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)212.感知器神經(jīng)網(wǎng)絡(luò)(感知器)、感知器神經(jīng)元感知器神經(jīng)元單層感知器網(wǎng)絡(luò)222.感知器神經(jīng)網(wǎng)絡(luò)(感知器)、感知器神經(jīng)元感知器神經(jīng)元感知器神經(jīng)元的傳遞函數(shù)單層感知網(wǎng)絡(luò)可以實(shí)現(xiàn)線性分類2.感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元(續(xù))232.感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元(續(xù))23(1)多層感知器(MLP)的一致逼近性單個(gè)閾值神經(jīng)元可以實(shí)現(xiàn)任意多輸入的與、或及與非、或非邏輯門。任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計(jì)算單元）實(shí)現(xiàn)。三層或三層以上的前饋網(wǎng)絡(luò)通常稱為多層感知器多層感知器的適用范圍大大超過(guò)單層網(wǎng)絡(luò)。3.多層感知器（含兩層以上的計(jì)算單元）24(1)多層感知器(MLP)的一致逼近性單個(gè)閾值神經(jīng)元可以實(shí)多層感知器示意25多層感知器示意252626當(dāng)神經(jīng)元的輸出函數(shù)為sigmoid等函數(shù)時(shí)，三層前饋網(wǎng)絡(luò)(含兩層計(jì)算單元)可以逼近任意的多元非線性函數(shù)。27當(dāng)神經(jīng)元的輸出函數(shù)為sigmoid等函數(shù)時(shí)，三層前饋網(wǎng)絡(luò)(含主要內(nèi)容一.人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)、神經(jīng)元與感知器二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五應(yīng)用28主要內(nèi)容28

基于閾值神經(jīng)元的多層感知器不足隱含層不直接與外界連接，誤差無(wú)法直接估計(jì)中間層神經(jīng)元的激活函數(shù)為閾值函數(shù)(或階躍函數(shù))

無(wú)法采用梯度下降法訓(xùn)練神經(jīng)元權(quán)值

基于BP算法的多層感知器(BP網(wǎng)絡(luò))

各計(jì)算單元(神經(jīng)元節(jié)點(diǎn))傳遞函數(shù)：Sigmoid函數(shù)

誤差逐層反向傳播；

信號(hào)逐層正向傳遞29基于閾值神經(jīng)元的多層感知器不足29BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個(gè)階段

(1)信號(hào)正向傳遞過(guò)程

輸入信息從輸入層經(jīng)隱層逐層、正向傳遞，直至得到各計(jì)算單元的輸出

(2)誤差反向傳播過(guò)程

輸出層誤差從輸出層開始，逐層、反向傳播，可間接計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值.30BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個(gè)階段303131323233333434353536363737383839394040414142424343BP網(wǎng)絡(luò)的優(yōu)點(diǎn)

①特別適合于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題

BP網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能②具有自學(xué)習(xí)能力網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取“合理的”求解規(guī)則③網(wǎng)絡(luò)具有一定的推廣、概括能力。44BP網(wǎng)絡(luò)的優(yōu)點(diǎn)44BP網(wǎng)絡(luò)的問(wèn)題，如：①BP算法的學(xué)習(xí)速度較慢②網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大

③網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定。④網(wǎng)絡(luò)的預(yù)測(cè)能力（泛化能力、推廣能力）與訓(xùn)練能力（逼近能力、學(xué)習(xí)能力）的矛盾。。。。。。45BP網(wǎng)絡(luò)的問(wèn)題，如：45主要內(nèi)容一.人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)、神經(jīng)元與感知器二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五應(yīng)用46主要內(nèi)容46PART1.輸入/輸出數(shù)據(jù)的處理回歸或狀態(tài)預(yù)測(cè)，數(shù)據(jù)處理方式有所區(qū)別建模前輸入輸出數(shù)據(jù)的預(yù)處理—正向標(biāo)準(zhǔn)化建模后輸入輸出數(shù)據(jù)的后處理—反向標(biāo)準(zhǔn)化特征的平移特征的尺度調(diào)整[0,1],[-1,1],[-a,a],[0,a]47PART1.輸入/輸出數(shù)據(jù)的處理47484849495050515152525353PART2.神經(jīng)網(wǎng)絡(luò)的層次選擇對(duì)多層網(wǎng)絡(luò)要確定選用幾個(gè)隱含層？1988年Cybenko指出，若各節(jié)點(diǎn)均采用S型函數(shù)，則一個(gè)隱含層足以實(shí)現(xiàn)任意判決分類問(wèn)題；兩個(gè)隱含層足以實(shí)現(xiàn)輸入圖形的任意輸出網(wǎng)絡(luò)層次選取依經(jīng)驗(yàn)和情況而定，通常不宜過(guò)多。

54PART2.神經(jīng)網(wǎng)絡(luò)的層次選擇54PART3.節(jié)點(diǎn)數(shù)目的確定輸入層、輸出層、隱含層節(jié)點(diǎn)數(shù)1.輸入層節(jié)點(diǎn)數(shù)的確定

節(jié)點(diǎn)數(shù)=輸入向量的維數(shù)55PART3.節(jié)點(diǎn)數(shù)目的確定552.輸出層節(jié)點(diǎn)數(shù)的確定節(jié)點(diǎn)數(shù)取決于: 輸出的表示方法;

類別數(shù)目； 待逼近的函數(shù)數(shù)目。(1)兩類別問(wèn)題單輸出型1個(gè)判別函數(shù)，1個(gè)輸出節(jié)點(diǎn)(2)多類別問(wèn)題輸出節(jié)點(diǎn)數(shù)是類別數(shù)：“C中取1(1-of-C)”C位“0-1”二進(jìn)制編碼

輸出節(jié)點(diǎn)數(shù)是二進(jìn)制編碼的狀態(tài)數(shù)

8類問(wèn)題，3位二進(jìn)制數(shù)可能會(huì)需增加1個(gè)隱含層以滿足要求(3)輸出節(jié)點(diǎn)數(shù)是待逼近的函數(shù)個(gè)數(shù)562.輸出層節(jié)點(diǎn)數(shù)的確定56

隱含層節(jié)點(diǎn)數(shù)目越大，網(wǎng)絡(luò)學(xué)習(xí)能力越強(qiáng)，但不能保證預(yù)測(cè)能力好—“過(guò)學(xué)習(xí)(過(guò)擬合)”

overfitting隱含層節(jié)點(diǎn)不能過(guò)少，網(wǎng)絡(luò)不能構(gòu)建復(fù)雜決策面：節(jié)點(diǎn)數(shù)越小，網(wǎng)絡(luò)學(xué)習(xí)能力低--“欠學(xué)習(xí)(欠擬合)”underfitting如何選擇適當(dāng)數(shù)目“隱含層”節(jié)點(diǎn)，以取得“過(guò)學(xué)習(xí)”與“欠學(xué)習(xí)”之間的平衡？3.隱含層節(jié)點(diǎn)數(shù)的確定573.隱含層節(jié)點(diǎn)數(shù)的確定57試湊法結(jié)合問(wèn)題先驗(yàn)知識(shí)結(jié)合特定算法

對(duì)隱含層節(jié)點(diǎn)數(shù)的選擇，Nielson等指出：

除了圖像情況，在大多數(shù)情況下，可使用4-5個(gè)隱含層節(jié)點(diǎn)對(duì)應(yīng)1個(gè)輸入節(jié)點(diǎn)。

在圖像情況下，像素的數(shù)目決定了輸入節(jié)點(diǎn)的數(shù)目，此時(shí)隱含層結(jié)點(diǎn)可取輸入結(jié)點(diǎn)數(shù)的10%左右。其它經(jīng)驗(yàn)

58試湊法58主要內(nèi)容一.人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)、神經(jīng)元與感知器二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五應(yīng)用回歸狀態(tài)預(yù)測(cè)59主要內(nèi)容591.狀態(tài)預(yù)測(cè)--參考《MATLAB神經(jīng)網(wǎng)絡(luò)30個(gè)案例分析》例.基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類—四類語(yǔ)音特征信號(hào)分析每組語(yǔ)音信號(hào)為24維輸入；四類語(yǔ)音信號(hào)：民歌、古箏、搖滾、流形共計(jì)2000組語(yǔ)音信號(hào)要求：基于BP網(wǎng)絡(luò)設(shè)計(jì)一個(gè)語(yǔ)音信號(hào)類別預(yù)測(cè)模型代碼：見案例1601.狀態(tài)預(yù)測(cè)60例：61例：612.回歸估計(jì)例：基于BP神經(jīng)網(wǎng)絡(luò)的公路運(yùn)量(客運(yùn)量、貨運(yùn)量)預(yù)測(cè)公路運(yùn)量與該地區(qū)人數(shù)、機(jī)動(dòng)車數(shù)量、公路面積有關(guān)。已知某地區(qū)20年的公路運(yùn)量有關(guān)數(shù)據(jù)，對(duì)于未來(lái)某兩年，若明確該地區(qū)人數(shù)、機(jī)動(dòng)車數(shù)量、公路面積，要求：預(yù)測(cè)該地區(qū)的公路運(yùn)量。分析：(1)明確模型輸入輸出關(guān)系(2)建模：原始數(shù)據(jù)讀??；數(shù)據(jù)標(biāo)準(zhǔn)化處理；網(wǎng)絡(luò)訓(xùn)練；(3)模型評(píng)價(jià)：對(duì)原始數(shù)據(jù)仿真，明確預(yù)測(cè)誤差(4)輸出預(yù)測(cè)結(jié)果：對(duì)新數(shù)據(jù)預(yù)測(cè)結(jié)果622.回歸估計(jì)626363BP神經(jīng)網(wǎng)絡(luò)教學(xué)課件第2部分：BP神經(jīng)網(wǎng)絡(luò)

65第2部分：BP神經(jīng)網(wǎng)絡(luò)1主要內(nèi)容一.人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)生物神經(jīng)網(wǎng)絡(luò)、生物神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)、人工神經(jīng)元人工神經(jīng)網(wǎng)絡(luò)三要素典型激活函數(shù)神經(jīng)網(wǎng)絡(luò)幾種典型形式二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五.應(yīng)用66主要內(nèi)容2人工神經(jīng)網(wǎng)絡(luò)是生物神經(jīng)網(wǎng)絡(luò)的某種模型(數(shù)學(xué)模型)

是對(duì)生物神經(jīng)網(wǎng)絡(luò)的模仿基本處理單元為人工神經(jīng)元67人工神經(jīng)網(wǎng)絡(luò)31.生物神經(jīng)系統(tǒng)與生物神經(jīng)元

大量生物神經(jīng)元的廣泛、復(fù)雜連接，形成生物神經(jīng)網(wǎng)絡(luò)(BiologicalNeuralNetwork,BNN)。

實(shí)現(xiàn)各種智能活動(dòng)

生物神經(jīng)元(neuron)是基本的信息處理單元681.生物神經(jīng)系統(tǒng)與生物神經(jīng)元4(1)生物神經(jīng)系統(tǒng)

生物神經(jīng)元(neuron)是基本的信息處理單元,其組成：樹突(dendrites),

接收來(lái)自外接的信息細(xì)胞體(cellbody),

神經(jīng)細(xì)胞主體，信息加工軸突(axon),細(xì)胞的輸出裝置，將信號(hào)向外傳遞，與多個(gè)神經(jīng)元連接突觸（synapsse),神經(jīng)元經(jīng)突觸向其它神經(jīng)元（胞體或樹突）傳遞信號(hào)69(1)生物神經(jīng)系統(tǒng)5(2)生物神經(jīng)元的基本特征神經(jīng)元之間彼此連接

神經(jīng)元之間的連接強(qiáng)度決定信號(hào)傳遞的強(qiáng)弱神經(jīng)元之間的連接強(qiáng)度可以隨訓(xùn)練改變

學(xué)習(xí)、遺忘、疲勞

----神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按外部的激勵(lì)信號(hào)做自適應(yīng)變化

興奮與抑制信號(hào)可以起興奮作用，也可以起抑制作用一個(gè)神經(jīng)元接受信號(hào)的累積效果（綜合大小，代數(shù)和）決定該神經(jīng)元的狀態(tài)(興奮、抑制)

每個(gè)神經(jīng)元可以有一個(gè)“閾值”70(2)生物神經(jīng)元的基本特征62.人工神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)元712.人工神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)元7(1)基本的人工神經(jīng)元模型McCulloch-Pitts神經(jīng)元模型輸入信號(hào)；鏈接強(qiáng)度與權(quán)向量；信號(hào)累積激活與抑制72(1)基本的人工神經(jīng)元模型McCulloch-Pitts神經(jīng)73974107511(1)基本的人工神經(jīng)元模型76(1)基本的人工神經(jīng)元模型12(2)輸出函數(shù)f(2)幾種常見形式的傳遞函數(shù)(激活函數(shù))77(2)輸出函數(shù)f(2)幾種常見形式的傳遞函數(shù)(激活函數(shù))1(2)輸出函數(shù)f78(2)輸出函數(shù)f14(2)輸出函數(shù)f79(2)輸出函數(shù)f15801681178218主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五.應(yīng)用83主要內(nèi)容19各神經(jīng)元接受來(lái)自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，無(wú)反饋，可用一有向無(wú)環(huán)圖表示。網(wǎng)絡(luò)中的節(jié)點(diǎn)分兩類：輸入節(jié)點(diǎn)；計(jì)算節(jié)點(diǎn)(神經(jīng)元節(jié)點(diǎn))節(jié)點(diǎn)按層(layer)組織：第i層的輸入只與第i-1層的輸出相連。輸入信號(hào)由輸入層輸入,由第一層節(jié)點(diǎn)輸出，傳向下層，……前饋：信息由低層向高層單向流動(dòng)。-------------------------------------------------

可見層

輸入層

(inputlayer)輸入節(jié)點(diǎn)所在層，無(wú)計(jì)算能力

輸出層(outputlayer)節(jié)點(diǎn)為神經(jīng)元

隱含層(hiddenlayer)

中間層，節(jié)點(diǎn)為神經(jīng)元1.前饋(forward)神經(jīng)網(wǎng)絡(luò)84各神經(jīng)元接受來(lái)自前級(jí)的輸入，并產(chǎn)生輸出到下一級(jí)，無(wú)反饋，可用

具有三層計(jì)算單元的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)85具有三層計(jì)算單元的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)212.感知器神經(jīng)網(wǎng)絡(luò)(感知器)、感知器神經(jīng)元感知器神經(jīng)元單層感知器網(wǎng)絡(luò)862.感知器神經(jīng)網(wǎng)絡(luò)(感知器)、感知器神經(jīng)元感知器神經(jīng)元感知器神經(jīng)元的傳遞函數(shù)單層感知網(wǎng)絡(luò)可以實(shí)現(xiàn)線性分類2.感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元(續(xù))872.感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元(續(xù))23(1)多層感知器(MLP)的一致逼近性單個(gè)閾值神經(jīng)元可以實(shí)現(xiàn)任意多輸入的與、或及與非、或非邏輯門。任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計(jì)算單元）實(shí)現(xiàn)。三層或三層以上的前饋網(wǎng)絡(luò)通常稱為多層感知器多層感知器的適用范圍大大超過(guò)單層網(wǎng)絡(luò)。3.多層感知器（含兩層以上的計(jì)算單元）88(1)多層感知器(MLP)的一致逼近性單個(gè)閾值神經(jīng)元可以實(shí)多層感知器示意89多層感知器示意259026當(dāng)神經(jīng)元的輸出函數(shù)為sigmoid等函數(shù)時(shí)，三層前饋網(wǎng)絡(luò)(含兩層計(jì)算單元)可以逼近任意的多元非線性函數(shù)。91當(dāng)神經(jīng)元的輸出函數(shù)為sigmoid等函數(shù)時(shí)，三層前饋網(wǎng)絡(luò)(含主要內(nèi)容一.人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)、神經(jīng)元與感知器二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五應(yīng)用92主要內(nèi)容28

基于閾值神經(jīng)元的多層感知器不足隱含層不直接與外界連接，誤差無(wú)法直接估計(jì)中間層神經(jīng)元的激活函數(shù)為閾值函數(shù)(或階躍函數(shù))

無(wú)法采用梯度下降法訓(xùn)練神經(jīng)元權(quán)值

基于BP算法的多層感知器(BP網(wǎng)絡(luò))

各計(jì)算單元(神經(jīng)元節(jié)點(diǎn))傳遞函數(shù)：Sigmoid函數(shù)

誤差逐層反向傳播；

信號(hào)逐層正向傳遞93基于閾值神經(jīng)元的多層感知器不足29BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個(gè)階段

(1)信號(hào)正向傳遞過(guò)程

輸入信息從輸入層經(jīng)隱層逐層、正向傳遞，直至得到各計(jì)算單元的輸出

(2)誤差反向傳播過(guò)程

輸出層誤差從輸出層開始，逐層、反向傳播，可間接計(jì)算隱層各單元的誤差，并用此誤差修正前層的權(quán)值.94BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個(gè)階段30953196329733983499351003610137102381033910440105411064210743BP網(wǎng)絡(luò)的優(yōu)點(diǎn)

①特別適合于求解內(nèi)部機(jī)制復(fù)雜的問(wèn)題

BP網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能②具有自學(xué)習(xí)能力網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取“合理的”求解規(guī)則③網(wǎng)絡(luò)具有一定的推廣、概括能力。108BP網(wǎng)絡(luò)的優(yōu)點(diǎn)44BP網(wǎng)絡(luò)的問(wèn)題，如：①BP算法的學(xué)習(xí)速度較慢②網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大

③網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定。④網(wǎng)絡(luò)的預(yù)測(cè)能力（泛化能力、推廣能力）與訓(xùn)練能力（逼近能力、學(xué)習(xí)能力）的矛盾。。。。。。109BP網(wǎng)絡(luò)的問(wèn)題，如：45主要內(nèi)容一.人工神經(jīng)網(wǎng)絡(luò)基本知識(shí)、神經(jīng)元與感知器二.前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三.BP神經(jīng)網(wǎng)絡(luò)四.數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五應(yīng)用110主要內(nèi)容46PART1.輸入/輸出數(shù)據(jù)的處理回歸或狀態(tài)預(yù)測(cè)，數(shù)據(jù)處理方式有所區(qū)別建模前輸入輸出數(shù)據(jù)的預(yù)處理—正向標(biāo)準(zhǔn)化建模后輸入輸出數(shù)據(jù)的后處理—反向標(biāo)準(zhǔn)化特征的平移特征的尺度調(diào)整[0,1],[-1,1],[-a,a],[0,a]111PART1.輸入/輸出數(shù)據(jù)的處理47112481134911450115511165211753PART2.神經(jīng)網(wǎng)絡(luò)的層次選擇對(duì)多層網(wǎng)絡(luò)要確定選用幾個(gè)隱含層？1988年Cybenko指出，若各節(jié)點(diǎn)均采用S型函數(shù)，則一個(gè)隱含層足以實(shí)現(xiàn)任意判決分類問(wèn)題；兩個(gè)隱含層足以實(shí)現(xiàn)輸入圖形的任意輸出網(wǎng)絡(luò)層次選取依經(jīng)驗(yàn)和情況而定，通常不宜過(guò)多。

118PART2.神經(jīng)網(wǎng)絡(luò)的層次選擇54PART3.節(jié)點(diǎn)數(shù)目的確定輸入層、輸出層、隱含層節(jié)點(diǎn)數(shù)1.輸入層節(jié)點(diǎn)數(shù)的確定

節(jié)點(diǎn)數(shù)=輸入向量的維數(shù)119PART3.節(jié)點(diǎn)數(shù)目的確定552.輸出層節(jié)點(diǎn)數(shù)的確定節(jié)點(diǎn)數(shù)取決于: 輸出的表示方法;

類別數(shù)目； 待逼近的函數(shù)數(shù)目。(1)兩類別問(wèn)題單輸出型1個(gè)判別函數(shù)，1個(gè)輸出節(jié)點(diǎn)(2)多類別問(wèn)題輸出節(jié)點(diǎn)數(shù)是類別數(shù)：“C中取1(1-of-C)”C位“0-1”二進(jìn)制編碼

輸出節(jié)點(diǎn)數(shù)是二進(jìn)制編碼的狀態(tài)數(shù)

8類問(wèn)題，3位二進(jìn)制數(shù)