第4章(1神經(jīng)網(wǎng)絡(luò))

第4章

計(jì)算智能的仿生技術(shù)

（1）

神經(jīng)計(jì)算

第4章計(jì)算智能的仿生技術(shù)4．1神經(jīng)計(jì)算4．2模糊計(jì)算4．3遺傳算法4．4人工生命4.1神經(jīng)計(jì)算4.1.1人工神經(jīng)網(wǎng)絡(luò)

4.1.2反向傳播模型BP4.1.3反向傳播模型實(shí)例分析4.1.4神經(jīng)網(wǎng)絡(luò)專(zhuān)家系統(tǒng)4.1.1.1神經(jīng)網(wǎng)絡(luò)原理人工神經(jīng)網(wǎng)絡(luò)（ANN）是模擬人腦神經(jīng)元活動(dòng)的過(guò)程，其中包括對(duì)信息的加工、處理、存儲(chǔ)、搜索等過(guò)程。ANN不能對(duì)人腦進(jìn)行逼真描述，但它是人腦的某種抽象、簡(jiǎn)化和模擬。人腦神經(jīng)元的形狀為：神經(jīng)元組成；樹(shù)突：神經(jīng)纖維較短，是接收信息的。細(xì)胞體：對(duì)接收到的信息進(jìn)行處理。軸突：較長(zhǎng)的神經(jīng)纖維，是發(fā)出信息的。突觸：一個(gè)神經(jīng)元的軸突末端與另一個(gè)神經(jīng)元的樹(shù)突之間密切接觸。神經(jīng)元具有如下性質(zhì)：（1）多輸入單輸出；（2）突觸具有加權(quán)的效果；（3）信息進(jìn)行傳遞；（4）信息加工是非線性。神經(jīng)元的數(shù)學(xué)模型圖：

其中：V1、V2、…Vn為輸入；Ｕi為該神經(jīng)元的輸出；Ｔij為外面神經(jīng)元與該神經(jīng)元連接強(qiáng)度（即權(quán)），

為閾值，f(X)為該神經(jīng)元的作用函數(shù)。每個(gè)神經(jīng)元的狀態(tài)Si（i＝1,2,…n）只取0或1，分別代表抑制與興奮。每個(gè)神經(jīng)元的狀態(tài)，由M-P方程決定：

其中：Wij是神經(jīng)元之間的連接強(qiáng)度，Wij（i≠j）是可調(diào)實(shí)數(shù)，由學(xué)習(xí)過(guò)程來(lái)調(diào)整。

i是閾值，f(x)是階梯函數(shù)。

MP（MccullochPitts）模型[0,1]階梯函數(shù)

(0,1)S型函數(shù)：神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)，主要是指通過(guò)一定的學(xué)習(xí)算法或規(guī)則實(shí)現(xiàn)對(duì)突觸結(jié)合強(qiáng)度(權(quán)值)的調(diào)整。ANN學(xué)習(xí)規(guī)則主要有四種，即聯(lián)想式學(xué)習(xí)、誤差傳播學(xué)習(xí)、概率式學(xué)習(xí)和競(jìng)爭(zhēng)式學(xué)習(xí)。(1)聯(lián)想學(xué)習(xí)：聯(lián)想學(xué)習(xí)是模擬人腦的聯(lián)想功能，典型聯(lián)想學(xué)習(xí)規(guī)則是由心理學(xué)家Hebb于1949年提出的學(xué)習(xí)行為的突觸聯(lián)系，稱(chēng)為Hebb學(xué)習(xí)規(guī)則。

神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)Hebb規(guī)則若i與j兩種神經(jīng)元之間同時(shí)處于興奮狀態(tài)，則它們間的連接應(yīng)加強(qiáng)，即：△Wij＝

SiSj(

＞0) 這一規(guī)則與“條件反射”學(xué)說(shuō)一致，并得到神經(jīng)細(xì)胞學(xué)說(shuō)的證實(shí)。

設(shè)α＝1，當(dāng)Si＝Sj＝1時(shí)，△Wij＝1，在Si，Sj中有一個(gè)為0時(shí)，△Wij＝0。

(2)誤差傳播學(xué)習(xí)：以1986年Rumelhart等人提出的δ規(guī)則(BP算法)為典型

δ規(guī)則中，誤差由輸出層逐層反向傳至輸入層，由誤差修改網(wǎng)絡(luò)權(quán)值，直至得到網(wǎng)絡(luò)權(quán)值適應(yīng)學(xué)習(xí)樣本。4.1.1.2神經(jīng)網(wǎng)絡(luò)的幾何意義1．神經(jīng)元與超平面由n個(gè)神經(jīng)元（j=1,2,…,n）對(duì)連接于神經(jīng)元i的信息總輸入Ii為：

其中Wij為神經(jīng)元j到神經(jīng)元i的連接權(quán)值，

i為神經(jīng)元的閾值。神經(jīng)元xj(j=1,2,…,n)相當(dāng)于n維空間（x1,x2,…,xn）中一個(gè)結(jié)點(diǎn)的n維坐標(biāo)（為了便于討論，省略i下標(biāo)記）。令：

它代表了n維空間中，以坐標(biāo)xj為變量的一個(gè)超平面。其中wj為坐標(biāo)的系數(shù)，

為常數(shù)項(xiàng)。當(dāng)n=2時(shí)，“超平面”為平面（x1,x2）上的一條直線：當(dāng)n=3時(shí)，“超平面”為空間（x1,x2,x3）上的一個(gè)平面：從幾何角度看，一個(gè)神經(jīng)元代表一個(gè)超平面。2.超平面的作用

n維空間（x1,x2,…,xn）上的超平面I=0，將空間劃分為三部分。（1）平面本身超平面上的任意結(jié)點(diǎn)滿(mǎn)足于超平面方程，即：

（2）超平面上部P超平面上部P的任意結(jié)點(diǎn)滿(mǎn)足于不等式，即

（3）超平面下部Q超平面下部Q的任意結(jié)點(diǎn)滿(mǎn)足于不等式，即

3.作用函數(shù)的幾何意義神經(jīng)網(wǎng)絡(luò)中使用的階梯型作用函數(shù)f（x）把n維空間中超平面的作用和神經(jīng)網(wǎng)絡(luò)作用函數(shù)結(jié)合起來(lái)，即

它的含義為：超平面上部P的任意結(jié)點(diǎn)經(jīng)過(guò)作用函數(shù)后轉(zhuǎn)換成數(shù)值1。超平面上任意結(jié)點(diǎn)和超平面下部Q上的任意結(jié)點(diǎn)經(jīng)過(guò)作用函數(shù)后轉(zhuǎn)換成數(shù)值0。4．神經(jīng)元的幾何意義通過(guò)以上分析可知，一個(gè)神經(jīng)元將其它神經(jīng)元對(duì)它的信息總輸入I，作用以后（通過(guò)作用函數(shù)）的輸出，相當(dāng)于:該神經(jīng)元所代表的超平面將n維空間（n個(gè)輸入神經(jīng)元構(gòu)成的空間）中:

超平面上部結(jié)點(diǎn)P轉(zhuǎn)換成1類(lèi)，超平面及其下部結(jié)點(diǎn)轉(zhuǎn)換成0類(lèi)。結(jié)論：神經(jīng)元起了一個(gè)分類(lèi)作用。5．線性樣本與非線性樣本定義：對(duì)空間中的一組兩類(lèi)樣本，當(dāng)能找出一個(gè)超平面將兩者分開(kāi)，稱(chēng)該樣本是線性樣本。若不能找到一個(gè)超平面將兩者分開(kāi)，則稱(chēng)該樣本是非線性樣本。4.1.1.3多層神經(jīng)網(wǎng)絡(luò)的分類(lèi)1．多個(gè)平面的分割將非線性樣本變換成線性樣本利用超平面分割空間原理，對(duì)一個(gè)非線性樣本它是不能用一個(gè)超平面分割開(kāi)。用多個(gè)超平面分割空間成若干區(qū)，使每個(gè)區(qū)中只含同類(lèi)樣本的結(jié)點(diǎn)。這種分割完成了一種變換，使原非線性樣本變換成二進(jìn)制值下的新線性樣本。一個(gè)神經(jīng)元相當(dāng)于空間中一個(gè)超平面。一個(gè)超平面將空間劃分為上下兩部分，通過(guò)作用函數(shù)將空間兩部分的所有結(jié)點(diǎn)（含超平面上結(jié)點(diǎn)），分別變換為取二進(jìn)制值（0或1）的兩個(gè)點(diǎn)。三個(gè)神經(jīng)元相當(dāng)于空間中三個(gè)超平面將空間劃分成八區(qū)（見(jiàn)圖4.3），P1面上部為1，下部為0；P2面右部為1，左部為0；P3面前部為1，后部為0。，同一個(gè)區(qū)的所有結(jié)點(diǎn)變換成同一個(gè)三位二進(jìn)制（0或1）的點(diǎn)?？臻g八區(qū)的值為：000,001,010,011,100,101,110,111。011001P1P2P3

2．多層神經(jīng)網(wǎng)絡(luò)的變換作用BP神經(jīng)網(wǎng)絡(luò)模型實(shí)質(zhì)上就是通過(guò)至少兩層超平面分割（即隱結(jié)點(diǎn)層和輸出結(jié)點(diǎn)層）來(lái)完成樣本分類(lèi)的。BP神經(jīng)網(wǎng)絡(luò)超平面的找出是反復(fù)通過(guò)神經(jīng)網(wǎng)絡(luò)修改權(quán)值的迭代:

最后求出隱結(jié)點(diǎn)層神經(jīng)網(wǎng)絡(luò)超平面的權(quán)值和閾值以及輸出結(jié)點(diǎn)神經(jīng)網(wǎng)絡(luò)超平面的權(quán)值和閾值。4.1.1.4感知機(jī)模型(Perceptron)

神經(jīng)元i的輸入為

Ｉi＝∑ＷijＳj

Ｓj為j神經(jīng)元的輸出，Ｗij為神經(jīng)元j到神經(jīng)元i的連接權(quán)重。神經(jīng)元i的輸出為：Ｏi＝ｆ（Ｉi）其中ｆ（ｘ）為神經(jīng)元作用函數(shù)。（一般采用[0,1]階梯函數(shù)）設(shè)i神經(jīng)元的期望輸出為Ｄi，它與計(jì)算輸出Ｏi之差為：δｉ＝Ｄi－Ｏi通過(guò)樣本學(xué)習(xí)，應(yīng)該讓權(quán)重Ｗij使δi盡可能小。利用著名的德?tīng)査?guī)則（deltarule）計(jì)算：△Ｗij＝αδiＳj（α為常數(shù)）δ規(guī)則:Ｗij(t+1)＝Ｗij(t)＋△Ｗij更新權(quán)重Ｗij。實(shí)例:兩值邏輯加法輸入X1X2輸出ｄ（期望）００００１１１０１１１１

該例子的感知機(jī)計(jì)算公式：┌Ｗ1┐(k+1)┌Ｗ1┐(k)┌ｘ1┐││＝││＋ｃ（ｄ－ｙ）││└Ｗ2┘└Ｗ2┘└ｘ2┘

初值：┌Ｗ1┐┌０┐ｃ＝１└Ｗ2┘└０┘其中ｄ為期望輸出，ｙ為計(jì)算輸出。定義：對(duì)空間中的一組兩類(lèi)樣本，當(dāng)能找出一個(gè)超平面將兩者分開(kāi)，稱(chēng)該樣本是線性可分樣本。

yx1x2w1w2(0,1)(1,1)(1,0)(0,0)計(jì)算過(guò)程：Ｋ＝１：ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(1)┌Ｗ1┐(0)┌０┐┌０┐┌０┐┌０┐││＝││＋（０－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└０┘└０┘└０┘Ｋ＝２，ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(2)┌Ｗ1┐(1)┌０┐┌０┐┌０┐┌０┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└０┘└１┘└１┘Ｋ＝３，ｙ＝ｆ（０＋０）＝０

┌Ｗ1┐(3)┌Ｗ1┐(2)┌１┐┌０┐┌１┐┌１┐││＝││＋（１－０）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└０┘└１┘└０┘└１┘

Ｋ＝４，ｙ＝ｆ（１＋１）＝ｆ（２）＝１

┌Ｗ1┐(4)┌Ｗ1┐(3)┌１┐┌１┐┌０┐┌１┐││＝││＋（１－１）││＝││＋││＝││└Ｗ2┘└Ｗ2┘└１┘└１┘└０┘└１┘再循環(huán)一次，將會(huì)得到所有例子的（ｄ－ｙ）值均為零，即權(quán)值（Ｗ1＝１，Ｗ2＝１）滿(mǎn)足所有實(shí)例要求。對(duì)ＸＯＲ異或問(wèn)題：輸入ｘ1ｘ2輸出ｙ００００１１１０１１１0樣本是非線性樣本，即找不到一個(gè)超平面，將兩類(lèi)樣本分開(kāi)。感知機(jī)對(duì)ＸＯＲ問(wèn)題的計(jì)算：同二值邏輯樣本計(jì)算，Ｋ＝１，２，３的計(jì)算相同，Ｋ＝４時(shí)有：

ｙ＝ｆ（１＋１）＝ｆ（２）＝１┌Ｗ11┐(4)┌Ｗ11┐(3)┌１┐┌１┐┌－１┐┌０┐││＝││＋（０－１）││＝││＋││＝││└Ｗ21┘└Ｗ21┘└１┘└１┘└－１┘└０┘修改后的權(quán)值，又回到了初始狀態(tài)，如果繼續(xù)計(jì)算，將出現(xiàn)無(wú)限循環(huán)，永遠(yuǎn)不會(huì)收斂。該例充分說(shuō)明感知機(jī)對(duì)非線性樣本無(wú)效。(0,1)(1,1)(1,0)(0,0)神經(jīng)網(wǎng)絡(luò)BP模型原理：BP算法的學(xué)習(xí)過(guò)程，由正向傳播和反向傳播組成。在正向傳播過(guò)程中，輸入信息從輸入層經(jīng)過(guò)隱層，再傳向輸出層，每一層的神經(jīng)元的狀態(tài)值只影響下一層神經(jīng)元的狀值；如果在輸出層不能得到期望的輸出值，則轉(zhuǎn)入反向傳播，將誤差信號(hào)沿逆向通路返通過(guò)修正各層神經(jīng)元的權(quán)值，使得網(wǎng)絡(luò)的總誤差值收斂到極小。信息的正向傳播，誤差的反向傳播。4．1．2反向傳播模型BP

網(wǎng)絡(luò)開(kāi)始訓(xùn)練時(shí)選用較小的隨機(jī)給定權(quán)值與內(nèi)部閾值（θ），通過(guò)反復(fù)利用訓(xùn)練樣本調(diào)整權(quán)值，直到誤差函數(shù)下降到可以接受的允許值（如0.05）。

BP神經(jīng)網(wǎng)絡(luò)對(duì)非線性數(shù)據(jù)分類(lèi)是十分有效的。BP模型是1985年由Rumelhart等人提出的。1.多層感知機(jī)結(jié)構(gòu)神經(jīng)網(wǎng)絡(luò)不僅有輸入節(jié)點(diǎn)、輸出節(jié)點(diǎn)，而且有一層或多層隱節(jié)點(diǎn),如圖：2.作用函數(shù)為(0,1)S型函數(shù)

3.誤差函數(shù)BP算法是最小均方差算法（LMS）的一般化，用梯度搜索技術(shù)，使均方差函數(shù)最小。根據(jù)最小二乘法原理，對(duì)第p個(gè)樣本誤差計(jì)算公式可定義為為：

對(duì)于整個(gè)網(wǎng)絡(luò)系統(tǒng)的總均方誤差為：E＝1/p∑Ep，其中p為訓(xùn)練樣本總數(shù)。網(wǎng)絡(luò)訓(xùn)練的目的是找到一組權(quán)值，使E極小化。LMS算法用梯度下降法，即權(quán)重的增量正比于誤差的負(fù)導(dǎo)數(shù)：用誤差去修正輸出層和隱節(jié)點(diǎn)的權(quán)值，誤差反向傳播。誤差反向傳播示意圖BP算法計(jì)算公式：

1.隱結(jié)點(diǎn)的輸出：2.輸出結(jié)點(diǎn)計(jì)算輸出：其中：其中：3.輸出結(jié)點(diǎn)的誤差公式：其中：令：對(duì)輸出節(jié)點(diǎn)：對(duì)隱節(jié)點(diǎn)：令：其中：1.對(duì)輸出結(jié)點(diǎn)： 2.權(quán)值修正：

3.對(duì)隱結(jié)點(diǎn)： 4.權(quán)值修正：

其中，隱結(jié)點(diǎn)誤差的含義：表示輸出層結(jié)點(diǎn)l的誤差通過(guò)權(quán)值向隱結(jié)點(diǎn)I反向傳播（誤差乘權(quán)值再累加）成為隱結(jié)點(diǎn)的誤差。閾值的修正

閾值

也是一個(gè)變化值，在修正權(quán)值的同時(shí)也修正它，原理同權(quán)值的修正。公式推理見(jiàn)書(shū)。

對(duì)輸出結(jié)點(diǎn)：對(duì)隱結(jié)點(diǎn)：對(duì)算法公式的進(jìn)一步推導(dǎo)和簡(jiǎn)化：作用函數(shù)存在關(guān)系對(duì)輸出結(jié)點(diǎn)：

對(duì)隱結(jié)點(diǎn)：

BP模型計(jì)算公式匯總1.輸出結(jié)點(diǎn)輸出Ol計(jì)算公式（1）輸入結(jié)點(diǎn)的輸入xj（2）隱結(jié)點(diǎn)的輸出：其中：Wij連接權(quán)值，結(jié)點(diǎn)閾值。(3)輸出結(jié)點(diǎn)輸出：其中：Tij連接權(quán)值，結(jié)點(diǎn)閾值。輸出層（隱結(jié)點(diǎn)到輸出結(jié)點(diǎn)間）的修正公式輸出結(jié)點(diǎn)的期望輸出：tl誤差控制：所有樣本誤差：其中一個(gè)樣本誤差：

其中，p為樣本數(shù)，n為輸出結(jié)點(diǎn)數(shù)。（3）誤差公式： （4）權(quán)值修正：

其中k為迭代次數(shù)。

（5）閾值修正：

3、隱結(jié)點(diǎn)層（輸入結(jié)點(diǎn)到隱結(jié)點(diǎn)間）的修正公式（1）誤差公式：（2）權(quán)值修正：（3）閾值修正：··

求

l(2)

i(1)Ol=f（－

l）yi=f（－

i）

l(k+1)=

l(k)+

l(2)

j·

修正（Tli，

l），（Wij，

i）修正權(quán)

l(2)=Ol(1－Ol)(dl－Ol)Til(k+1)=Til(k)＋

l(2)yi

i(1)=

yi(1－yi)Wij(k+1)=Wij(k)＋

i(1)xj輸出節(jié)點(diǎn)lTli

隱節(jié)點(diǎn)

i修正權(quán)Wij輸入節(jié)點(diǎn)xj

i(k+1)=

i(k)+

i(1)BP網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程⑴樣本的正向傳播過(guò)程(由輸入計(jì)算到輸出)⑵誤差的逆向傳播過(guò)程(由誤差修改權(quán)值)⑶記憶訓(xùn)練過(guò)程：⑴、⑵的交替過(guò)程(反復(fù)修改權(quán)值)⑷學(xué)習(xí)的收斂過(guò)程：E→min4.1.3反向傳播模型實(shí)例分析1.異或問(wèn)題的BP神經(jīng)網(wǎng)絡(luò)按問(wèn)題要求，設(shè)置輸入結(jié)點(diǎn)為兩個(gè)（x1,x2），輸出結(jié)點(diǎn)為1個(gè)（z），隱結(jié)點(diǎn)定為2個(gè)（y1，y2）。各結(jié)點(diǎn)閾值和網(wǎng)絡(luò)權(quán)值見(jiàn)圖說(shuō)明。2.計(jì)算機(jī)運(yùn)行結(jié)果迭代次數(shù)：16745次；總誤差：0.05隱層網(wǎng)絡(luò)權(quán)值和閾值：w11=5.24，w12=5.23，w21=6.68，w22=6.64

1=8.01

2=2.98輸出層網(wǎng)絡(luò)權(quán)值和閾值： T1=-10，T2=10，

=4.793.用計(jì)算結(jié)果分析神經(jīng)網(wǎng)絡(luò)的幾何意義隱結(jié)點(diǎn)代表的直線方程y1：5.24x1+5.23x2-8.01=0即x1+0.998x2-1.529=0 y2：6.68x1+6.64x2-2.98=0即 x1+0.994x2-0.446=0 圖、隱結(jié)點(diǎn)代表的直線方程直線y1和y2將平面（x1，x2）分為三區(qū)：y1線上方區(qū)，x1+x2-1.53>0，x1+x2-0.45>0y1,y2線之間區(qū)，x1+x2-1.53<0，x1+x2-0.45>0y2線的下方區(qū)，x1+x2-1.53<0，x1+x2-0.45<0對(duì)樣本點(diǎn)：點(diǎn)(0,0)落入y2的下方區(qū)，經(jīng)過(guò)隱結(jié)點(diǎn)作用函數(shù)f(x)（暫取它為階梯函數(shù)），得到輸出y1=0,y2=0。點(diǎn)(1,0)和點(diǎn)(0,1)落入y1,y2線之間區(qū)，經(jīng)過(guò)隱結(jié)點(diǎn)作用函數(shù)f(x)，得到輸出均為y1=0,y2=1。點(diǎn)(1,1)落入y1線上方區(qū)，經(jīng)過(guò)隱結(jié)點(diǎn)作用函數(shù)f(x)，得到輸出為y1=1,y2=1。結(jié)論：隱結(jié)點(diǎn)將x1,x2平面上四個(gè)樣本點(diǎn) (0,0)，(0,1)，(1,0)，(1,1)

變換成三個(gè)樣本點(diǎn) (0,0)