神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介

神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介第1頁(yè)/共28頁(yè)主要內(nèi)容3.1概述3.2前饋神經(jīng)網(wǎng)絡(luò)2第2頁(yè)/共28頁(yè)3.1.1生物神經(jīng)元模型

人腦大約包含1012個(gè)神經(jīng)元，分成約1000種類型，每個(gè)神經(jīng)元大約與102～104個(gè)其他神經(jīng)元相連接，形成極為錯(cuò)綜復(fù)雜而又靈活多變的神經(jīng)網(wǎng)絡(luò)。每個(gè)神經(jīng)元雖然都十分簡(jiǎn)單，但是如此大量的神經(jīng)元之間、如此復(fù)雜的連接卻可以演化出豐富多彩的行為方式。同時(shí)，如此大量的神經(jīng)元與外部感受器之間的多種多樣的連接方式也蘊(yùn)含了變化莫測(cè)的反應(yīng)方式。3第3頁(yè)/共28頁(yè)4第4頁(yè)/共28頁(yè)3.1.2人工神經(jīng)元模型人工神經(jīng)元是利用物理器件對(duì)生物神經(jīng)元的一種模擬與簡(jiǎn)化。它是神經(jīng)網(wǎng)絡(luò)的基本處理單元。如圖所示為一種簡(jiǎn)化的人工神經(jīng)元結(jié)構(gòu)。它是一個(gè)多輸入、單輸出的非線性元件。5第5頁(yè)/共28頁(yè)6第6頁(yè)/共28頁(yè)其輸入、輸出關(guān)系可描述為其中，是從其他神經(jīng)元傳來(lái)的輸入信號(hào)；表示從神經(jīng)元j到神經(jīng)元i的連接權(quán)系數(shù)；為閾值；稱為輸出變換函數(shù)。7第7頁(yè)/共28頁(yè)

輸出變換函數(shù)決定了神經(jīng)元（節(jié)點(diǎn)）的輸出。該輸出為1或0，取決于其輸入之和大于或小于內(nèi)部閾值。函數(shù)一般具有非線性特性。下圖表示了幾種常見的激發(fā)函數(shù)。8第8頁(yè)/共28頁(yè)9第9頁(yè)/共28頁(yè)3.1.3人工神經(jīng)網(wǎng)絡(luò)模型人工神經(jīng)網(wǎng)絡(luò)是以工程技術(shù)手段來(lái)模擬人腦神經(jīng)元網(wǎng)絡(luò)的結(jié)構(gòu)與特征的系統(tǒng)。利用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，它是生物神經(jīng)網(wǎng)絡(luò)的一種模擬和近似。就神經(jīng)網(wǎng)絡(luò)的主要連接型式而言，目前已有數(shù)十種不同的神經(jīng)網(wǎng)絡(luò)模型，其中前饋型網(wǎng)絡(luò)和反饋型網(wǎng)絡(luò)是兩種典型的結(jié)構(gòu)模型。10第10頁(yè)/共28頁(yè)

人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)構(gòu)一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元有一個(gè)單一的輸出，它可以連接到很多其他的神經(jīng)元，其輸入有多個(gè)連接通路，每個(gè)連接通路對(duì)應(yīng)一個(gè)連接權(quán)系數(shù)。

嚴(yán)格來(lái)說(shuō)，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有如下性質(zhì)的有向圖。（1）對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)狀態(tài)變量；（2）結(jié)點(diǎn)i到結(jié)點(diǎn)j有一個(gè)連接權(quán)系數(shù)；（3）對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)閾值；（4）對(duì)于每個(gè)結(jié)點(diǎn)定義一個(gè)變換函數(shù)。11第11頁(yè)/共28頁(yè)3.2前饋型神經(jīng)網(wǎng)絡(luò)前饋型神經(jīng)網(wǎng)絡(luò)如圖所示，神經(jīng)元分層排列，有輸入層、隱層（可有若干層）和輸出層，其信息從輸入層依次向上傳遞，直至輸出層。每一層的神經(jīng)元只接受前一層神經(jīng)元的輸入。從學(xué)習(xí)的觀點(diǎn)來(lái)看，前饋網(wǎng)絡(luò)是一種強(qiáng)有力的學(xué)習(xí)系統(tǒng)，其結(jié)構(gòu)簡(jiǎn)單而易于編程；從系統(tǒng)的觀點(diǎn)看，前饋網(wǎng)絡(luò)是一靜態(tài)非線性映射，通過(guò)簡(jiǎn)單非線性處理單元的復(fù)合映射，可獲得復(fù)雜的非線性處理能力。但從計(jì)算的觀點(diǎn)看，缺乏豐富的動(dòng)力學(xué)行為。大部分前饋網(wǎng)絡(luò)都是學(xué)習(xí)網(wǎng)絡(luò)，它們的分類能力和模式識(shí)別能力一般都強(qiáng)于反饋網(wǎng)絡(luò)，典型的前饋網(wǎng)絡(luò)有感知器網(wǎng)絡(luò)、BP網(wǎng)絡(luò)等。12第12頁(yè)/共28頁(yè)13第13頁(yè)/共28頁(yè)3.2.1感知器網(wǎng)絡(luò)感知器（perceptrvon）是一個(gè)具有單層神經(jīng)元的神經(jīng)網(wǎng)絡(luò)，并由線性閾值元件組成，是最簡(jiǎn)單的前向網(wǎng)絡(luò)。它主要用于模式分類，單層的感知器網(wǎng)絡(luò)結(jié)構(gòu)如下圖所示。14第14頁(yè)/共28頁(yè)15第15頁(yè)/共28頁(yè)感知器的一種學(xué)習(xí)算法：

隨機(jī)地給定一組連接權(quán)，k=0;輸入任取的一組樣本和期望的輸出（亦稱之為教師信號(hào)），計(jì)算計(jì)算感知器實(shí)際輸出調(diào)整連接權(quán)選取另外一組樣本，重復(fù)上述2）～4）的過(guò)程，直到權(quán)值對(duì)一切樣本均穩(wěn)定不變?yōu)橹?，學(xué)習(xí)過(guò)程結(jié)束。16第16頁(yè)/共28頁(yè)3.2.2BP網(wǎng)絡(luò)誤差反向傳播神經(jīng)網(wǎng)絡(luò)，簡(jiǎn)稱BP網(wǎng)絡(luò)（BackPropagation），是一種單向傳播的多層前向網(wǎng)絡(luò)。在模式識(shí)別、圖像處理、系統(tǒng)辨識(shí)、函數(shù)擬合、優(yōu)化計(jì)算、最優(yōu)預(yù)測(cè)和自適應(yīng)控制等領(lǐng)域有著較為廣泛的應(yīng)用。如圖是BP網(wǎng)絡(luò)的示意圖。下面要介紹的多層前饋網(wǎng)的神經(jīng)元變換函數(shù)采用S型函數(shù)，因此輸出量是0到1之間的連續(xù)量，它可以實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。17第17頁(yè)/共28頁(yè)18第18頁(yè)/共28頁(yè)誤差反向傳播的BP算法簡(jiǎn)稱BP算法，其基本思想是最小二乘算法。它采用梯度搜索技術(shù)，以期使網(wǎng)絡(luò)的實(shí)際輸出值與期望輸出值的誤差均方值為最小。BP算法的學(xué)習(xí)過(guò)程由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)隱含層逐層處理，并傳向輸出層，每層神經(jīng)元（節(jié)點(diǎn)）的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。如果在輸出層不能得到期望的輸出，則轉(zhuǎn)人反向傳播，將誤差信號(hào)沿原來(lái)的連接通路返回，通過(guò)修改各層神經(jīng)元的權(quán)值，使誤差信號(hào)最小。19第19頁(yè)/共28頁(yè)BP學(xué)習(xí)算法的計(jì)算步驟

1).初始化置所有權(quán)值為較小的隨機(jī)數(shù)

2).提供訓(xùn)練集

3).計(jì)算實(shí)際輸出，計(jì)算隱含層、輸出層各神經(jīng)元輸出

4).計(jì)算目標(biāo)值與實(shí)際輸出的偏差E5).計(jì)算

6).計(jì)算

7).返回“2）”重復(fù)計(jì)算，直到誤差滿足要求為止20第20頁(yè)/共28頁(yè)21第21頁(yè)/共28頁(yè)在使用BP算法時(shí)，應(yīng)注意的幾個(gè)問題是：1).學(xué)習(xí)開始時(shí)，各隱含層連接權(quán)系數(shù)的初值應(yīng)以設(shè)置較小的隨機(jī)數(shù)較為適宜。2).采用S型激發(fā)函數(shù)時(shí)，由于輸出層各神經(jīng)元的輸出只能趨于1或0，不能達(dá)到1或0。在設(shè)置各訓(xùn)練樣本時(shí)，期望的輸出分量dpk不能設(shè)置為1或0，以設(shè)置為或0，1較為適宜。3).學(xué)習(xí)速率η的選擇，在學(xué)習(xí)開始階段，η選較大的值可以加快學(xué)習(xí)速度。學(xué)習(xí)接近優(yōu)化區(qū)時(shí)，η值必須相當(dāng)小，否則權(quán)系數(shù)將產(chǎn)生振蕩而不收斂。平滑因子α的選值在左右。22第22頁(yè)/共28頁(yè)3.2.3BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)1．多層前向BP網(wǎng)絡(luò)的優(yōu)點(diǎn)：1).網(wǎng)絡(luò)實(shí)質(zhì)上實(shí)現(xiàn)了一個(gè)從輸入到輸出的映射功能，而數(shù)學(xué)理論已證明它具有實(shí)現(xiàn)任何復(fù)雜非線性映射的功能。這使得它特別適合于求解內(nèi)部機(jī)制復(fù)雜的問題；2).網(wǎng)絡(luò)能通過(guò)學(xué)習(xí)帶正確答案的實(shí)例集自動(dòng)提取“合理的”求解規(guī)則，即具有自學(xué)習(xí)能力；23第23頁(yè)/共28頁(yè)2．多層前向BP網(wǎng)絡(luò)的問題：

1).BP算法的學(xué)習(xí)速度很慢

2).網(wǎng)絡(luò)訓(xùn)練失敗的可能性較大

3).難以解決應(yīng)用問題的實(shí)例規(guī)模和網(wǎng)絡(luò)規(guī)模間的矛盾

4).網(wǎng)絡(luò)結(jié)構(gòu)的選擇尚無(wú)一種統(tǒng)一而完整的理論指導(dǎo)，一般只能由經(jīng)驗(yàn)選定

5).新加入的樣本要影響已學(xué)習(xí)成功的網(wǎng)絡(luò)，而且刻畫每個(gè)輸入樣本的特征的數(shù)目也必須相同

6).網(wǎng)絡(luò)的預(yù)測(cè)能力（也稱泛化能力、推廣能力）與訓(xùn)練能力（也稱逼近能力、學(xué)習(xí)能力）的矛盾24第24頁(yè)/共28頁(yè)3．BP網(wǎng)絡(luò)學(xué)習(xí)算法的改進(jìn)

1).增加“慣性項(xiàng)2).采用動(dòng)態(tài)步長(zhǎng)3).與其他全局搜索算法相結(jié)合4).模擬退火算法目前在神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)中，基于梯度的算法都不能從理論上保證收斂結(jié)果是全局最優(yōu)的。25第25頁(yè)/共28頁(yè)3.2.4神經(jīng)網(wǎng)絡(luò)的訓(xùn)練

可以任意逼近一個(gè)緊集上的任意函數(shù)這一特點(diǎn)是神經(jīng)網(wǎng)絡(luò)廣泛應(yīng)用的理論基礎(chǔ)。但是，在實(shí)際應(yīng)用中，目前尚未找到較好的網(wǎng)絡(luò)構(gòu)造方法，確定網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)值參數(shù)，來(lái)描述給定的映射或逼近一個(gè)未知的映射，只能通過(guò)學(xué)習(xí)來(lái)得到滿足要求的網(wǎng)絡(luò)模型。26第26頁(yè)/共28頁(yè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練的具體步驟如下1．獲取訓(xùn)練樣本集獲取訓(xùn)練樣本集合是訓(xùn)練神經(jīng)網(wǎng)絡(luò)的第一步，也是十分重要和關(guān)