神經(jīng)元感知器和BP網(wǎng)絡

（2）自適應性和自組織性。神經(jīng)元之間的連接具有多樣性，各神經(jīng)元之間的連接強度具有可塑性，網(wǎng)絡可以通過學習與訓練進行自組織，以適應不同信息處理的要求。（3）并行處理性。網(wǎng)絡各單元可同時進行類似的處理，整個網(wǎng)絡的信息處理方式是大規(guī)模并行的，可以大大加快對信息處理的速度。（4）分布存儲和容錯性。信息在神經(jīng)網(wǎng)絡內(nèi)的存儲按內(nèi)容分布于許多神經(jīng)元中，而且每個神經(jīng)元存儲多種信息的部分內(nèi)容。網(wǎng)絡的每部分對信息的存儲具有等勢作用，部分的信息丟失仍可以使完整的信息得到恢復，因而使網(wǎng)絡具有容錯性和聯(lián)想記憶功能。（5）便于集成實現(xiàn)和計算模擬。神經(jīng)網(wǎng)絡在結(jié)構上是相同神經(jīng)元的大規(guī)模組合，特別適合于用大規(guī)模集成電路實現(xiàn)。

目前一頁\總數(shù)五十四頁\編于二十點1§3-1

神經(jīng)網(wǎng)絡的基本概念一.生物神經(jīng)元模型

神經(jīng)元模型

腦神經(jīng)元由細胞體、樹突和軸突構成。細胞體是神經(jīng)元的中心，它一般又由細胞核、細胞膜等組成。樹突是神經(jīng)元的主要接受器，它主要用來接受信息。軸突的作用主要是傳導信息，它將信息從軸突起點傳到軸突末梢。1、組成

軸突末梢與另一個神經(jīng)元的樹突或胞體構成一種突觸的機構。通過突觸實現(xiàn)神經(jīng)元之間的信息傳遞。目前二頁\總數(shù)五十四頁\編于二十點2具有兩種常規(guī)工作狀態(tài)：興奮與抑制。當傳入的神經(jīng)沖動使細胞膜電位升高超過閾值時，細胞進入興奮狀態(tài)，產(chǎn)生神經(jīng)沖動并由軸突輸出；當傳入的神經(jīng)沖動使膜電位下降低于閾值時，細胞進入抑制狀態(tài)，沒有神經(jīng)沖動輸出。

2.生物神經(jīng)元工作狀態(tài)目前三頁\總數(shù)五十四頁\編于二十點3二.人工神經(jīng)元模型

人工神經(jīng)網(wǎng)絡是利用物理器件來模擬生物神經(jīng)網(wǎng)絡的某些結(jié)構和功能。

1.人工神經(jīng)元的輸入輸出變換關系為:

其中:

稱為閾值稱為連接權系數(shù)稱為輸出變換函數(shù)。目前四頁\總數(shù)五十四頁\編于二十點42.常用的輸入輸出變換函數(shù)

神經(jīng)元模型的輸出函數(shù)，它是一個非動態(tài)的非線性函數(shù)，用以模擬神經(jīng)細胞的興奮、抑制以及閾值等非線性特性。

這些非線性函數(shù)具有兩個顯著的特征，一是它的突變性，二是它的飽和性，這正是為了模擬神經(jīng)細胞興奮過程中所產(chǎn)生的神經(jīng)沖動以及疲勞等特性。目前五頁\總數(shù)五十四頁\編于二十點5某兩輸入、單輸出的單節(jié)點感知器的連接權值樣本，為一類（感知器輸出為1），為另一類（感知器輸出為-1），，樣本試求閥值T。（T為絕對值最小的整數(shù)，轉(zhuǎn)移函數(shù)采用符號函數(shù)）課堂練習目前六頁\總數(shù)五十四頁\編于二十點6解：單節(jié)點兩輸入感知器的輸出為：根據(jù)題意：時：

得

時：

得

時：

得

為將樣本按要求分兩類，，根據(jù)題意選目前七頁\總數(shù)五十四頁\編于二十點73.1.2人工神經(jīng)元網(wǎng)絡

人工神經(jīng)網(wǎng)絡是一個并行和分布式的信息處理網(wǎng)絡結(jié)構，該網(wǎng)絡結(jié)構一般由許多個神經(jīng)元組成，每個神經(jīng)元有一個單一的輸出，它可以連接到很多其它的神經(jīng)元，其輸入有多個連接通路，每個連接通路對應一個連接權系數(shù)。

1.對于每個結(jié)點有一個狀態(tài)變量

一.人工神經(jīng)元網(wǎng)絡的組成原理

2.結(jié)點

i

到結(jié)點j有一個連接權系數(shù)

3.對于每個結(jié)點有一個閾值

4.對于每個結(jié)點定義一個變換函數(shù)嚴格說來，神經(jīng)網(wǎng)絡是一個具有如下性質(zhì)的有向圖。其中：目前八頁\總數(shù)五十四頁\編于二十點8二.典型的神經(jīng)網(wǎng)絡結(jié)構：

根據(jù)神經(jīng)元之間連接的拓撲結(jié)構上的不同，可將神經(jīng)網(wǎng)絡結(jié)構分為兩大類：層狀結(jié)構和網(wǎng)絡結(jié)構。層狀結(jié)構的神經(jīng)網(wǎng)絡是由若干層組成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同層內(nèi)的神經(jīng)元不能聯(lián)接。1、前向網(wǎng)絡（前饋網(wǎng)絡）下面介紹幾種常見的網(wǎng)絡結(jié)構:2、反饋網(wǎng)絡

目前九頁\總數(shù)五十四頁\編于二十點9

即網(wǎng)狀結(jié)構，在這種神經(jīng)網(wǎng)絡結(jié)構中，任何兩個神經(jīng)元之間都可能雙向聯(lián)接。

4.混合型網(wǎng)絡

在前向網(wǎng)絡基礎上，在同層、部分神經(jīng)元之間也可雙向聯(lián)接。3.相互結(jié)合型網(wǎng)絡目前十頁\總數(shù)五十四頁\編于二十點10§3-2監(jiān)督學習及前饋神經(jīng)網(wǎng)絡

具有分層的結(jié)構。最前面一層是輸入層，中間是隱層，最后一層是輸出層。其信息從輸入層依次向上傳遞，直至輸出層。這樣的結(jié)構稱為前饋網(wǎng)絡。

3.2.1感知器網(wǎng)絡

感知器(perceptron)是最簡單的前饋網(wǎng)絡，也是早期仿生學的研究成果，主要功能是用于對不同的輸入模式進行分類。目前十一頁\總數(shù)五十四頁\編于二十點11一、單層感知器網(wǎng)絡

也就是按照不同特征的分類結(jié)果。

是具有單層神經(jīng)元、采用線性閾值函數(shù)的前饋網(wǎng)絡。通過對權值的訓練，可使感知器對一組線性可分的輸入模式（矢量）進行有效的分類。

是輸入特征向量，

圖中

是

到

的連接權，

(j=1,

2,

…,m)

是輸出量。1.單層感知器的基本結(jié)構目前十二頁\總數(shù)五十四頁\編于二十點122.單層感知器的輸入輸出變換關系

由于按不同特征的分類是互相獨立的，因而可以取出其中的一個神經(jīng)元來討論。其輸入到輸出的變換關系為：

該感知器的輸出將輸入模式分成了兩類。它們分屬于n維空間的兩個不同的部分。若有P個輸入樣本(p=1,2,…,P)。目前十三頁\總數(shù)五十四頁\編于二十點13*以二維空間為例

分界線的方程為:

*值得注意的是：只有那些線性可分模式類才能用感知器來加以區(qū)分。

線性不可分問題：典型的例子是異或關系。目前十四頁\總數(shù)五十四頁\編于二十點14

對于輸入矢量x，輸出矢量y，目標矢量d，根據(jù)以下輸出矢量可能出現(xiàn)的情況進行調(diào)整：3.感知器網(wǎng)絡的學習規(guī)則

目前十五頁\總數(shù)五十四頁\編于二十點15

采用有教師的學習方法進行訓練：

1)確定輸入矢量x，目標矢量d，各矢量的維數(shù)、神經(jīng)元數(shù)和樣本數(shù)目：n，m，P；

2)參數(shù)初始化：

a)輸入[x]np，[d]mp；

b)設置(-1,1)隨機非零權矢量[w]mn

；

c)給出最大循環(huán)次數(shù)max_epoch；

3)計算神經(jīng)網(wǎng)絡的實際輸出：4.感知器網(wǎng)絡的學習算法

目前十六頁\總數(shù)五十四頁\編于二十點16

4)檢查輸出y與目標d是否相同，若是，或已達到最大循環(huán)次數(shù)，訓練結(jié)束，否則繼續(xù)；

6)轉(zhuǎn)到3)。權矢量的修正量與輸入模式xk成正比。若的取值太大，算法可能出現(xiàn)振蕩。取值太小，收斂速度會很慢。

單層感知器的局限性：只能解決簡單的分類問題，也就是只有在輸入矢量是線性可分時，單層感知器才對輸入模式進行有效的分類有效。線性不可分問題只能用多層感知器來解決。目前十七頁\總數(shù)五十四頁\編于二十點17二、多層感知器網(wǎng)絡

1.多層感知器的基本結(jié)構如下圖多層感知器網(wǎng)絡：其中：第0層為輸入層，有個神經(jīng)元，中間層為隱層。

第Q

層為輸出層，有個神經(jīng)元，這時每一層相當于一個單層感知器網(wǎng)絡。目前十八頁\總數(shù)五十四頁\編于二十點182、多層感知器的輸入輸出變換關系

對于第q

層，它形成一個維的超平面，它對于該層的輸入模式進行線性分類。

由于多層的組合，最終可實現(xiàn)對輸入模式的較復雜的分類。目前十九頁\總數(shù)五十四頁\編于二十點193.2.2.BP網(wǎng)絡

反向傳播(Back-Propagation)網(wǎng)絡，簡稱BP網(wǎng)絡，是采用廣義d學習規(guī)則，對非線性可微分函數(shù)進行權值訓練的多層（三層或三層以上）前饋網(wǎng)絡。

前、后層之間各神經(jīng)元實現(xiàn)全聯(lián)接；每層各神經(jīng)元之間無聯(lián)接。x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

BP網(wǎng)絡主要用于函數(shù)逼近、模式識別、分類、數(shù)據(jù)壓縮。

一.BP網(wǎng)絡的基本結(jié)構及原理目前二十頁\總數(shù)五十四頁\編于二十點20x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

設輸入層j有M個節(jié)點，節(jié)點的輸出等于其輸入。隱含層i有q個節(jié)點，激活函數(shù)為f1，wij是j層和i層節(jié)點之間的聯(lián)接權值。輸出層k有L個節(jié)點，激活函數(shù)為f2，wki是i層和k層節(jié)點之間的聯(lián)接權值。隱含層和輸出層節(jié)點的輸入是前一層節(jié)點的輸出的加權和。

目前二十一頁\總數(shù)五十四頁\編于二十點21

屬于d算法。基本思想是最小二乘算法：對于P個輸入學習樣本[x1,x2,…xP]，已知對應的輸出樣本為[d1,d2,…,dP]。學習的目的是用網(wǎng)絡的實際輸出[y1,y2,…,yP]與目標矢量[d1,d2,…,dP]之間的誤差來修正其權值，使網(wǎng)絡輸出層的誤差平方和達到最小。二.BP網(wǎng)絡的基本學習規(guī)則

學習過程由正向遞推計算實現(xiàn)函數(shù)映射和反向傳播計算訓練權值兩步來完成。目前二十二頁\總數(shù)五十四頁\編于二十點22三.

BP網(wǎng)絡的輸入輸出變換關系

在BP網(wǎng)絡中，神經(jīng)元的變換函數(shù)通常采用S型函數(shù)，因此輸出量是0到1之間的連續(xù)量，它可實現(xiàn)從輸入到輸出的任意的非線性映射。

具有偏置和調(diào)節(jié)的Sigmoid激發(fā)函數(shù)S型激活函數(shù)連續(xù)可微。算法上可嚴格利用梯度法進行推算，權值修正的解析式明確。1.BP網(wǎng)絡中神經(jīng)元的激活函數(shù)目前二十三頁\總數(shù)五十四頁\編于二十點232.BP網(wǎng)絡的前饋計算（BP網(wǎng)絡輸入到輸出的映射計算）即根據(jù)神經(jīng)元所確定的輸入輸出變換函數(shù)，由輸入層向輸出層執(zhí)行遞推計算。一旦權值滿足訓練要求，前饋計算結(jié)束，能使BP網(wǎng)絡實現(xiàn)期望的輸入輸出變換關系。BP網(wǎng)絡的前饋遞推算式：目前二十四頁\總數(shù)五十四頁\編于二十點24四.

BP網(wǎng)絡權值的訓練及學習功能的實現(xiàn)1.訓練樣本

BP網(wǎng)絡屬于監(jiān)督學習網(wǎng)絡，BP網(wǎng)絡是通過在教師信號（樣本）的監(jiān)督下對連接權值進行適當?shù)挠柧殢亩鴮崿F(xiàn)學習功能的。

（1）訓練樣本--理想輸入輸出對的集合，樣本來自客觀對象，信息集中包含著系統(tǒng)內(nèi)在的輸入輸出特性。（2）樣本特性--理想的樣本應具有真實性和完整性。設有實際應用中的P

組樣本，其中第p組樣本對形式如下：輸入樣本：輸出樣本：目前二十五頁\總數(shù)五十四頁\編于二十點252.定義誤差函數(shù)

連接權值的訓練過程，就是BP網(wǎng)絡擬合未知函數(shù)得優(yōu)化計算過程。為了保證擬合精度，取如下算式作為擬合誤差函數(shù)：總誤差函數(shù)：一次樣本誤差函數(shù)：其中：是期望輸出值與網(wǎng)絡實際輸出之間的差值。目前二十六頁\總數(shù)五十四頁\編于二十點263.權值的訓練及反向傳播計算過程x1x2xnwij輸入層輸出層隱含層jik+-wki信息流誤差反向傳播(學習算法)MqL

調(diào)整連接權值，以便使誤差函數(shù)E最小，優(yōu)化計算常采用一階梯度來實現(xiàn)。該方法的關鍵是計算優(yōu)化目標函數(shù)（即誤差函數(shù)）E對尋優(yōu)參數(shù)（即連接權值）的一階倒數(shù)。即：

調(diào)整連接權值按照反向傳播的原則，從輸出層開始向前逐一推算。目前二十七頁\總數(shù)五十四頁\編于二十點27（1）首先計算第Q層（即輸出層）其中：(Ⅰ)目前二十八頁\總數(shù)五十四頁\編于二十點28（2）再計算第Q-1層（即次輸出層）其中：(Ⅱ)見上頁(Ⅰ)式：目前二十九頁\總數(shù)五十四頁\編于二十點29（3）第q層的反向遞推計算根據(jù)（Ⅰ）,（Ⅱ）兩式可獲得反向遞推算式：這里的q層是指由Q-1向前遞推的任意網(wǎng)絡層次（其中：q=Q-2，Q-3，…,1)首先計算←←←←目前三十頁\總數(shù)五十四頁\編于二十點30在每一層的反向遞推計算需要說明的是：中都出現(xiàn)導數(shù)項。該項的計算，與所取的激活函數(shù)直接相關。比如：取變換函數(shù)為S型函數(shù)，那么其導數(shù)項可計算如下：由于：所以：目前三十一頁\總數(shù)五十四頁\編于二十點31最后可歸納出BP網(wǎng)絡的學習算法如下：

第q層：輸出層：目前三十二頁\總數(shù)五十四頁\編于二十點32五.BP網(wǎng)絡的特點和優(yōu)點、局限性及其改進特點：（1）是一種多層網(wǎng)絡，包括輸入層、隱含層和輸出層；（2）層與層之間采用全互連方式，同一層神經(jīng)元之間不連接；（3）權值通過δ學習算法進行調(diào)節(jié)；（4）神經(jīng)元激發(fā)函數(shù)為S函數(shù)；（5）學習算法由正向傳播和反向傳播組成；（6）層與層的連接是單向的，信息的傳播是雙向的。目前三十三頁\總數(shù)五十四頁\編于二十點33優(yōu)點：（1）隱層的作用是使問題的可調(diào)參數(shù)增加，使解更加準確。只要有足夠多的隱層和隱層節(jié)點，BP網(wǎng)絡可以逼近任意的非線性映射關系。（2）由所取的作用函數(shù)知，BP網(wǎng)絡的學習算法屬于全局逼近算法，具有較強的泛化能力。

泛化能力—用較少的樣本進行訓練，使網(wǎng)絡能對未經(jīng)訓練的輸入也能給出合適的輸出。從函數(shù)擬合的觀點，這表明BP網(wǎng)絡具有插值計算的能力。沒有泛化能力的神經(jīng)網(wǎng)絡無任何使用價值。

目前三十四頁\總數(shù)五十四頁\編于二十點34（3）BP網(wǎng)絡輸入、輸出之間的關聯(lián)信息分布地存儲在網(wǎng)絡的連接權中，個別神經(jīng)元的損壞只對輸入輸出關系有較小的影響，因而BP網(wǎng)絡具有較好的容錯性。目前三十五頁\總數(shù)五十四頁\編于二十點35局限性：⑴目標函數(shù)存在多個極值點，按梯度下降法進行學習，很容易陷入局部極小值；⑵學習算法的收斂速度慢，且收斂速度與初始權的選擇有關，難以適應實時控制的要求；⑶難以確定隱層及其節(jié)點的數(shù)目。目前，確定具體的網(wǎng)絡結(jié)構尚無好方法，仍根據(jù)經(jīng)驗試湊。⑷訓練時學習新樣本有遺忘舊樣本的趨勢。針對上述問題，提出3種較常用的改進算法。目前三十六頁\總數(shù)五十四頁\編于二十點361、引入動量項增加動量項從前一次權值調(diào)整量中取出一部分疊加到本次權值調(diào)整量中。動量項反映以前積累的調(diào)整經(jīng)驗，對t時刻調(diào)整起阻尼作用。減小學習過程的振蕩趨勢，是目前應用較廣泛的一種改進算法。

其中，，為k時刻的負梯度。

為學習率，

>0。

為動量項因子，。根據(jù)經(jīng)驗數(shù)據(jù)動量項因子取0.95比較適合。引入前：引入后：目前三十七頁\總數(shù)五十四頁\編于二十點372、自適應調(diào)節(jié)學習率

設一初始學習率，若經(jīng)過一批次權值調(diào)整后使總誤差↑，則本次調(diào)整無效，且降低；若經(jīng)過一批次權值調(diào)整后使總誤差↓，則本次調(diào)整有效，且增大

。標準BP算法問題：學習率為一常數(shù)，很難確定一個從始到終都合適的最佳學習率。如誤差曲面平坦區(qū)太小會使訓練次數(shù)增加；而誤差變化劇烈的區(qū)域太大會使訓練出現(xiàn)振蕩。解決方法如下：目前三十八頁\總數(shù)五十四頁\編于二十點383、引入陡度因子標準BP算法問題：

誤差曲面存在平坦區(qū)，其原因是神經(jīng)元輸出進入了轉(zhuǎn)移函數(shù)的飽和區(qū)。

解決思路：

壓縮神經(jīng)元凈輸入，使其輸出退出飽和區(qū)。目前三十九頁\總數(shù)五十四頁\編于二十點39

實現(xiàn)這一思路的具體作法是，在原轉(zhuǎn)移函數(shù)中引入一個陡度因子λ

當發(fā)現(xiàn)ΔE接近零而目標與實際輸出仍較大時，可判斷已進入平坦區(qū)，此時令λ>1；退出平坦區(qū)后，再令λ=1。λ>1：轉(zhuǎn)移函數(shù)曲線敏感區(qū)變長；λ=1：轉(zhuǎn)移函數(shù)恢復原狀。目前四十頁\總數(shù)五十四頁\編于二十點404、誤差函數(shù)的改進

目前四十一頁\總數(shù)五十四頁\編于二十點41(1)產(chǎn)生數(shù)據(jù)樣本集(2)確定網(wǎng)絡的類型和結(jié)構(3)訓練和測試

3.2.3神經(jīng)網(wǎng)絡的訓練目前四十二頁\總數(shù)五十四頁\編于二十點42(1)產(chǎn)生數(shù)據(jù)樣本集

這里包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以及數(shù)據(jù)的預處理。

首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸入模式。這就需要對原始數(shù)據(jù)進行統(tǒng)計分析，檢驗它們之間的相關性。找出其中最主要的量作為輸入。

目前四十三頁\總數(shù)五十四頁\編于二十點43

在確定了最重要的輸入量后，需進行尺度變換和預處理。尺度變換常常將它們變換到

[-1,1]或[0,1]的范圍。在進行尺度變換前必須先檢查是否存在異常點（或稱野點），這些點必須剔除。對于一個復雜問題應該選擇多少數(shù)據(jù)，這也是一個很關鍵的問題。系統(tǒng)的輸入輸出關系就包含在這些數(shù)據(jù)樣本中。所以一般說來，取的數(shù)據(jù)越多，學習和訓練的結(jié)果便越能正確反映輸入輸出關系。目前四十四頁\總數(shù)五十四頁\編于二十點44

但是選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡訓練的所付的代價。選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。事實上數(shù)據(jù)的多少取決于許多因素，如網(wǎng)絡的大小、網(wǎng)絡測試的需要以及輸入輸出的分布等。其中網(wǎng)絡大小最關鍵。通常較大的網(wǎng)絡需要較多的訓練數(shù)據(jù)。一個經(jīng)驗規(guī)則是：訓練模式應是連接權總數(shù)的5至10倍。目前四十五頁\總數(shù)五十四頁\編于二十點45

在神經(jīng)網(wǎng)絡訓練完成后，需要有另外的測試數(shù)據(jù)來對網(wǎng)絡加以檢驗，測試數(shù)據(jù)應是獨立的數(shù)據(jù)集合。

最簡單的方法是：將收集到的可用數(shù)據(jù)隨機地分成兩部分，譬如說其中三分之二用于網(wǎng)絡的訓練，另外三分之一用于將來的測試，隨機選取的目的是為了盡量減小這兩部分數(shù)據(jù)的相關性。

影響數(shù)據(jù)大小的另一個因素是輸入模式和輸出結(jié)果的分布，對數(shù)據(jù)預先加以分類可以減少所需的數(shù)據(jù)量。相反，數(shù)據(jù)稀薄不勻甚至互相覆蓋則勢必要增加數(shù)據(jù)量。目前四十六頁\總數(shù)五十四頁\編于二十點46(2)確定網(wǎng)絡的類型和結(jié)構

在訓練神經(jīng)網(wǎng)絡之前，首先要確定所選的網(wǎng)絡類型。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡單的感知器網(wǎng)絡；若主要用于函數(shù)估計，則可應用BP網(wǎng)絡。實際上，神經(jīng)網(wǎng)絡的類型很多，需根據(jù)問題的性質(zhì)和任務的要求來合適地選擇網(wǎng)絡類型。一般是從已有的網(wǎng)絡類型中選用一種比較簡單而又能滿足要求的網(wǎng)絡。

目前四十七頁\總數(shù)五十四頁\編于二十點47

在網(wǎng)絡的類型確定后，剩下的問題是選擇網(wǎng)絡的結(jié)構和參數(shù)。以BP網(wǎng)絡為例，需選擇網(wǎng)絡的層數(shù)、每層的節(jié)點數(shù)、初始權值、閾值、學習算法、節(jié)點變換函數(shù)及參數(shù)、學習率及動量項因子等參數(shù)。這里有些項的選擇有一些指導原則，但更多的是靠經(jīng)驗和試湊。

目前四十八頁\總數(shù)五十四頁\編于二十點48

具體選擇有如下兩種方法：

a.先設置較少節(jié)點，對網(wǎng)絡進行訓練，并測試網(wǎng)絡的逼近誤差，然后逐漸增加節(jié)點數(shù)，直到測試的誤差不再有明顯減小為止。

對于具體問題若確定了輸入和輸出變量后，網(wǎng)絡輸入