人工神經(jīng)網(wǎng)絡(luò)BP

1、人工神經(jīng)網(wǎng)絡(luò)BP第一頁，共六十一頁。人工神經(jīng)網(wǎng)絡(luò) 是生物神經(jīng)網(wǎng)絡(luò)的某種模型(數(shù)學(xué)模型) 是對生物神經(jīng)網(wǎng)絡(luò)的模仿 基本處理單元為人工神經(jīng)元第二頁，共六十一頁。1. 生物神經(jīng)系統(tǒng)與生物神經(jīng)元 大量生物神經(jīng)元的廣泛、復(fù)雜連接，形成生物神經(jīng)網(wǎng)絡(luò) (Biological Neural Network, BNN)。 實現(xiàn)各種智能活動 生物神經(jīng)元(neuron)是基本的信息處理單元第三頁，共六十一頁。(1)生物神經(jīng)系統(tǒng) 生物神經(jīng)元(neuron)是基本的信息處理單元,其組成： 樹突(dendrites), 接收來自外接的信息 細(xì)胞體(cell body), 神經(jīng)細(xì)胞主體，信息加工 軸突(axon), 細(xì)胞的

2、輸出裝置，將信號向外傳遞， 與多個神經(jīng)元連接突觸 （synapsse), 神經(jīng)元經(jīng)突觸向其它神經(jīng)元（胞體或樹突）傳遞信號第四頁，共六十一頁。(2)生物神經(jīng)元的基本特征 神經(jīng)元之間彼此連接 神經(jīng)元之間的連接強(qiáng)度決定信號傳遞的強(qiáng)弱 神經(jīng)元之間的連接強(qiáng)度可以隨訓(xùn)練改變 學(xué)習(xí)、遺忘、疲勞 -神經(jīng)網(wǎng)絡(luò)中各神經(jīng)元之間連接的強(qiáng)弱，按外部的激勵信號做自適應(yīng)變化 興奮與抑制 信號可以起興奮作用，也可以起抑制作用 一個神經(jīng)元接受信號的累積效果（綜合大小，代數(shù)和）決定該神經(jīng)元的狀態(tài)(興奮、抑制) 每個神經(jīng)元可以有一個“閾值”第五頁，共六十一頁。2. 人工神經(jīng)網(wǎng)絡(luò)與人工神經(jīng)元第六頁，共六十一頁。(1)基本的人工神經(jīng)元

3、模型McCulloch-Pitts神經(jīng)元模型輸入信號；鏈接強(qiáng)度與權(quán)向量；信號累積激活與抑制第七頁，共六十一頁。第八頁，共六十一頁。第九頁，共六十一頁。第十頁，共六十一頁。(1) 基本的人工神經(jīng)元模型第十一頁，共六十一頁。(2) 輸出函數(shù)f(2)幾種常見形式的傳遞函數(shù)(激活函數(shù))第十二頁，共六十一頁。(2) 輸出函數(shù)f第十三頁，共六十一頁。(2) 輸出函數(shù)f第十四頁，共六十一頁。第十五頁，共六十一頁。第十六頁，共六十一頁。第十七頁，共六十一頁。主要內(nèi)容人工神經(jīng)網(wǎng)絡(luò)基本知識二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三. BP神經(jīng)網(wǎng)絡(luò)四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié) 構(gòu)的選擇五. 應(yīng)用第十八頁，共六十一

4、頁。各神經(jīng)元接受來自前級的輸入，并產(chǎn)生輸出到下一級，無反饋，可用一有向無環(huán)圖表示。網(wǎng)絡(luò)中的節(jié)點分兩類：輸入節(jié)點；計算節(jié)點(神經(jīng)元節(jié)點)節(jié)點按層(layer)組織 ： 第i層的輸入只與第i-1層的輸出相連。 輸入信號由輸入層輸入,由第一層節(jié)點輸出，傳向下層，前饋：信息由低層向高層單向流動。- 可見層 輸入層 (input layer) 輸入節(jié)點所在層，無計算能力 輸出層 (output layer) 節(jié)點為神經(jīng)元 隱含層( hidden layer) 中間層，節(jié)點為神經(jīng)元1.前饋(forward)神經(jīng)網(wǎng)絡(luò)第十九頁，共六十一頁。 具有三層計算單元的前饋神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)第二十頁，共六十一頁。2. 感知器

5、神經(jīng)網(wǎng)絡(luò)(感知器)、感知器神經(jīng)元感知器神經(jīng)元單層感知器網(wǎng)絡(luò)第二十一頁，共六十一頁。感知器神經(jīng)元的傳遞函數(shù)單層感知網(wǎng)絡(luò)可以實現(xiàn)線性分類2. 感知器神經(jīng)網(wǎng)絡(luò)、感知器神經(jīng)元(續(xù))第二十二頁，共六十一頁。(1)多層感知器(MLP) 的一致逼近性單個閾值神經(jīng)元可以實現(xiàn)任意多輸入的與、或及與非、或非邏輯門。任何邏輯函數(shù)可由兩層前饋網(wǎng)絡(luò)（一層計算單元）實現(xiàn)。三層或三層以上的前饋網(wǎng)絡(luò)通常稱為多層感知器多層感知器的適用范圍大大超過單層網(wǎng)絡(luò)。3. 多層感知器（含兩層以上的計算單元）第二十三頁，共六十一頁。多層感知器示意第二十四頁，共六十一頁。第二十五頁，共六十一頁。當(dāng)神經(jīng)元的輸出函數(shù)為sigmoid等函數(shù)時，三層

6、前饋網(wǎng)絡(luò)(含兩層計算單元)可以逼近任意的多元非線性函數(shù)。第二十六頁，共六十一頁。主要內(nèi)容一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三. BP神經(jīng)網(wǎng)絡(luò)四. 數(shù)據(jù)處理及 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五 應(yīng)用第二十七頁，共六十一頁。 基于閾值神經(jīng)元的多層感知器不足 隱含層不直接與外界連接，誤差無法直接估計 中間層神經(jīng)元的激活函數(shù)為閾值函數(shù)(或階躍函數(shù)) 無法采用梯度下降法訓(xùn)練神經(jīng)元權(quán)值 基于BP算法的多層感知器(BP網(wǎng)絡(luò)) 各計算單元(神經(jīng)元節(jié)點)傳遞函數(shù)：Sigmoid函數(shù) 誤差逐層反向傳播； 信號逐層正向傳遞第二十八頁，共六十一頁。BP神經(jīng)網(wǎng)絡(luò)訓(xùn)練的兩個階段 (

7、1)信號正向傳遞過程 輸入信息從輸入層經(jīng)隱層逐層、正向傳遞，直至得到各計算單元的輸出 (2)誤差反向傳播過程 輸出層誤差從輸出層開始，逐層、反向傳播，可間接計算隱層各單元的誤差，并用此誤差修正前層的權(quán)值.第二十九頁，共六十一頁。第三十頁，共六十一頁。第三十一頁，共六十一頁。第三十二頁，共六十一頁。第三十三頁，共六十一頁。第三十四頁，共六十一頁。第三十五頁，共六十一頁。第三十六頁，共六十一頁。第三十七頁，共六十一頁。第三十八頁，共六十一頁。第三十九頁，共六十一頁。第四十頁，共六十一頁。第四十一頁，共六十一頁。第四十二頁，共六十一頁。BP網(wǎng)絡(luò)的優(yōu)點特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題 BP網(wǎng)絡(luò)實質(zhì)上實

8、現(xiàn)了一個從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實現(xiàn)任何復(fù)雜非線性映射的功能具有自學(xué)習(xí)能力 網(wǎng)絡(luò)能通過學(xué)習(xí)帶正確答案的實例集自動提取“合理的”求解規(guī)則網(wǎng)絡(luò)具有一定的推廣、概括能力。第四十三頁，共六十一頁。BP網(wǎng)絡(luò)的問題，如：BP算法的學(xué)習(xí)速度較慢網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大 網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗選定。網(wǎng)絡(luò)的預(yù)測能力（泛化能力、推廣能力）與訓(xùn)練能力（逼近能力、學(xué)習(xí)能力）的矛盾。第四十四頁，共六十一頁。主要內(nèi)容一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三. BP神經(jīng)網(wǎng)絡(luò)四. 數(shù)據(jù)處理及神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五 應(yīng)用 第

9、四十五頁，共六十一頁。PART1.輸入/輸出數(shù)據(jù)的處理回歸或狀態(tài)預(yù)測，數(shù)據(jù)處理方式有所區(qū)別 建模前輸入輸出數(shù)據(jù)的預(yù)處理正向標(biāo)準(zhǔn)化 建模后輸入輸出數(shù)據(jù)的后處理反向標(biāo)準(zhǔn)化特征的平移特征的尺度調(diào)整0,1,-1,1,-a,a,0,a第四十六頁，共六十一頁。第四十七頁，共六十一頁。第四十八頁，共六十一頁。第四十九頁，共六十一頁。第五十頁，共六十一頁。第五十一頁，共六十一頁。第五十二頁，共六十一頁。PART2.神經(jīng)網(wǎng)絡(luò)的層次選擇對多層網(wǎng)絡(luò)要確定選用幾個隱含層？1988年Cybenko指出，若各節(jié)點均采用S型函數(shù)，則 一個隱含層足以實現(xiàn)任意判決分類問題； 兩個隱含層足以實現(xiàn)輸入圖形的任意輸出網(wǎng)絡(luò)層次選取依經(jīng)

10、驗和情況而定，通常不宜過多。 第五十三頁，共六十一頁。PART3.節(jié)點數(shù)目的確定輸入層、輸出層、隱含層節(jié)點數(shù)1. 輸入層節(jié)點數(shù)的確定 節(jié)點數(shù)=輸入向量的維數(shù)第五十四頁，共六十一頁。2.輸出層節(jié)點數(shù)的確定節(jié)點數(shù)取決于: 輸出的表示方法; 類別數(shù)目； 待逼近的函數(shù)數(shù)目。(1)兩類別問題 單輸出型 1個判別函數(shù)，1個輸出節(jié)點(2)多類別問題 輸出節(jié)點數(shù)是類別數(shù)：“C中取1(1-of-C)” C位“0-1”二進(jìn)制編碼 輸出節(jié)點數(shù)是二進(jìn)制編碼的狀態(tài)數(shù) 8類問題，3位二進(jìn)制數(shù) 可能會需增加1個隱含層以滿足要求(3)輸出節(jié)點數(shù)是待逼近的函數(shù)個數(shù)第五十五頁，共六十一頁。 隱含層節(jié)點數(shù)目越大，網(wǎng)絡(luò)學(xué)習(xí)能力越強(qiáng)，

11、但不能保證預(yù)測能力好“過學(xué)習(xí)(過擬合)” overfitting隱含層節(jié)點不能過少，網(wǎng)絡(luò)不能構(gòu)建復(fù)雜決策面：節(jié)點數(shù)越小，網(wǎng)絡(luò)學(xué)習(xí)能力低-“欠學(xué)習(xí)(欠擬合)” underfitting如何選擇適當(dāng)數(shù)目“隱含層”節(jié)點，以取得“過學(xué)習(xí)”與 “欠學(xué)習(xí)”之間的平衡？3.隱含層節(jié)點數(shù)的確定第五十六頁，共六十一頁。試湊法結(jié)合問題先驗知識結(jié)合特定算法 對隱含層節(jié)點數(shù)的選擇，Nielson等指出： 除了圖像情況，在大多數(shù)情況下，可使用4-5個隱含層節(jié)點對應(yīng)1個輸入節(jié)點。 在圖像情況下，像素的數(shù)目決定了輸入節(jié)點的數(shù)目，此時隱含層結(jié)點可取輸入結(jié)點數(shù)的10%左右。 其它經(jīng)驗 第五十七頁，共六十一頁。主要內(nèi)容一. 人工神經(jīng)網(wǎng)絡(luò)基本知識、神經(jīng)元與感知器二. 前饋神經(jīng)網(wǎng)絡(luò)、多層感知器、及非線性分類三. BP神經(jīng)網(wǎng)絡(luò)四. 神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)的選擇五 應(yīng)用回歸狀態(tài)預(yù)測第五十八頁，共六十一頁。1.狀態(tài)預(yù)測-參考MATLAB神經(jīng)網(wǎng)絡(luò)30個案例分析例.基于BP神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)分類四類語音特征信號分析每組語音信號為24維輸入；四類語音信號：民歌、古箏、搖滾、流形共計2000組語音信號要求：基于BP網(wǎng)絡(luò)設(shè)計一個語音信號類別預(yù)測模型代碼：見案例1第五十九頁，共六十一頁。例：第六十頁，共六十一頁。2. 回歸估計例：基于BP神經(jīng)網(wǎng)絡(luò)的公路運(yùn)量(客運(yùn)量