神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)課件

11、前饋神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)示意圖特點(diǎn)：各神經(jīng)元接受前一級輸入，并輸出到下一級，無反饋。輸入、輸出節(jié)點(diǎn)稱為可見層，其它中間層稱為隱層。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)12、監(jiān)督學(xué)習(xí)流圖其關(guān)鍵之處，就是將教師信號加入到了網(wǎng)絡(luò)中.神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)二、有監(jiān)督的函數(shù)估計(jì)(1)在學(xué)習(xí)之前，神經(jīng)網(wǎng)絡(luò)猶如一個(gè)黑盒子，我們能做的，就是可以給它加一定的輸入Xi，再給每個(gè)輸入Xi提供一個(gè)期望輸出Yi，即“教師信號”，從而形成了一系列的樣本對（Xi,Yi）。有監(jiān)督的函數(shù)估計(jì)，就是通過包含“教師信號”的樣本對（Xi,Yi）,求出神經(jīng)網(wǎng)絡(luò)的傳輸函數(shù)f的近似表達(dá)式。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)二、有監(jiān)督的函數(shù)估計(jì)(2)采用的方法，就是利用誤差函數(shù)E[J]（期望輸出與實(shí)際輸出的差值），不斷調(diào)整ANN的突觸權(quán)值，使E[J]達(dá)到最小，從而達(dá)到對ANN函數(shù)的估計(jì)。

神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)二、有監(jiān)督的函數(shù)估計(jì)(3)已知隨機(jī)樣本矢量對通過實(shí)驗(yàn)可以測出實(shí)際輸出求出E[J]=-然后通過使E[J]最小而修改突觸權(quán)值來求出f:

其中F是要估計(jì)的ANN函數(shù)；

是輸入空間；是輸出空間。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)三、監(jiān)督學(xué)習(xí)就是有效的訓(xùn)練

有效訓(xùn)練是指，對具有記憶功能的系統(tǒng)，當(dāng)使用訓(xùn)練樣本對其進(jìn)行學(xué)習(xí)之后，系統(tǒng)能夠記住所學(xué)的方法，并能處理類似的問題。對ANN進(jìn)行有監(jiān)督的學(xué)習(xí)就是有記憶功能的系統(tǒng)。也就是說，使用期望輸出與實(shí)際輸出的誤差不斷校正其突觸權(quán)值，最終的結(jié)果，就是系統(tǒng)具備了一定的功能，訓(xùn)練取得了一定的成效。就像巴普洛夫條件反射試驗(yàn)一樣。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)五、感知器學(xué)習(xí)算法（1）1、感知器拓?fù)浣Y(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)五、感知器學(xué)習(xí)算法（3）

由于層中每個(gè)單元只取值+1或-1，因此可將它視作輸入模式(k=1,2…m)兩個(gè)可能的分類。在學(xué)習(xí)開始時(shí)，由各連接權(quán)決定的超平面隨機(jī)地被放到N維空間。隨著學(xué)習(xí)的進(jìn)行，這個(gè)超平面漸漸移動，直到它能將兩類模式恰當(dāng)劃分為止。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)五、感知器學(xué)習(xí)算法（4）3、算法過程

從隨機(jī)的權(quán)值開始；反復(fù)應(yīng)用每個(gè)訓(xùn)練樣例到感知器，只要它誤分樣例，就修改感知器的權(quán)值；重復(fù)這個(gè)過程，直到感知器正確分類所有的訓(xùn)練樣例為止。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)五、感知器學(xué)習(xí)算法（5）4、具體算法：（1）初始化連接權(quán)。將層到層的連接權(quán),i=1,2,…n,j=1,2,…,p及層單元閾值j=1,2,…p賦予[-1，+1]間的隨機(jī)值。

(2)對每一模式對（，）k=1,…m,完成下面操作：A、將的值送到層單元，層單元的輸出之加權(quán)和作為層單元的輸入，計(jì)算層單元的輸出：

神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)五、感知器學(xué)習(xí)算法（6）上式中j=1…p，f(x)為雙極階躍函數(shù)B、計(jì)算層單元希望輸出與實(shí)際輸出間誤差

神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)五、感知器學(xué)習(xí)算法（7）C、調(diào)整層單元與層單元之間的連接權(quán)式中i=1…n,j=1…p,0<<1(3)重復(fù)步驟（2）直到誤差（j=1…p且k=1…m）變得足夠小或變?yōu)?為止。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)五、感知器學(xué)習(xí)算法（8）5、說明：感知器算法，如果輸入模式是線性可分的，學(xué)習(xí)后能對輸入模式正確分類；如果輸入模式本身是線性不可分的，那么學(xué)習(xí)后的網(wǎng)絡(luò)不能對輸入模式正確分類。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)六、LMS算法(1)1、LMS就是最小均方誤差算法。它采用的準(zhǔn)則函數(shù)是均方誤差函數(shù)。它通過調(diào)整單個(gè)神經(jīng)元的權(quán)值，以使誤差為最小，其數(shù)學(xué)基礎(chǔ)是誤差曲面上的梯度下降。其學(xué)習(xí)過程也是根據(jù)教師信號計(jì)算其均方誤差，由均方誤差調(diào)整突觸向量，如此反復(fù)，最后達(dá)到學(xué)習(xí)的目的。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)六、LMS算法(2)2、權(quán)值調(diào)整公式：其中為下一次權(quán)值向量的取值，

為現(xiàn)在的權(quán)向量，為現(xiàn)在的輸入向量，為現(xiàn)在的誤差，為系數(shù)，為輸入向量的模.神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（1）1、定義：反向傳播神經(jīng)網(wǎng)絡(luò)（Back-PropagationNetworks）簡稱BP模型。由于在這一神經(jīng)網(wǎng)絡(luò)模型中引入了中間隱含神經(jīng)元層，所以，標(biāo)準(zhǔn)的BP模型由三個(gè)神經(jīng)元層次組成，分別為輸入層、隱層和輸出層。各層次之間的神經(jīng)元形成全互連接，各層次內(nèi)的神經(jīng)元之間沒有連接。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（2）

2、BP算法是通過使代價(jià)函數(shù)最小化的過程來完成輸入到輸出的映射。代價(jià)函數(shù)有多種，但通常在BP算法中，將代價(jià)函數(shù)定義為期望輸出與實(shí)際輸出的誤差平方和。在本算法中，將代價(jià)函數(shù)（期望輸出與實(shí)際輸出的誤差平方和）用與其等價(jià)的一般化誤差來代替，從而減小了運(yùn)算量。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（3）3、BP算法分成兩個(gè)階段第一階段：正向傳播。在正向傳播過程中，輸入信息從輸入層經(jīng)隱層逐層處理，并傳向輸出層，獲得各個(gè)單元的實(shí)際輸出，每一層神經(jīng)元的狀態(tài)只影響下一層神經(jīng)元的狀態(tài)。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（4）第二階段：反向傳播。如果在輸出層未能得到期望的輸出，則轉(zhuǎn)入反向傳播，計(jì)算出輸出層各單元的一般化誤差，然后將這些誤差信號沿原來的連接通路返回，以獲得調(diào)整各連接權(quán)所需的各單元參考誤差，通過修改各層神經(jīng)元的權(quán)值，使得誤差信號最小。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（5）4、BP網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)

神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（6）5、BP算法：（1）初始化。將網(wǎng)絡(luò)中所有權(quán)值及閾值賦予（-1，+1）之間的隨機(jī)值；（2）對于樣本模式對（,）（k=1…m）進(jìn)行如下操作：A）將的值送到輸入層單元，通過連接權(quán)矩陣V送到隱層單元，產(chǎn)生隱層單元新的激活值式中i=1…p,f為S型函數(shù)：神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（7）

B)計(jì)算輸出層單元的激活值

C)計(jì)算輸出層單元的一般化誤差式中j=1…q,為輸出層單元j的期望輸出；神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（8）

D)計(jì)算隱含層單元對于每個(gè)的誤差式中i=1…p;上式相當(dāng)于將輸出層單元的誤差反向傳播到隱含層；

E)調(diào)整隱含層到輸出層的連接權(quán)為學(xué)習(xí)率，0<<1.神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（9）

F)調(diào)整輸入層到隱含層的連接權(quán)式中h=1…n,i=1…p,0<<1;G)調(diào)整輸出單元的閾值式中j=1…q;神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（10）

H)調(diào)整隱含層單元的閾值（3）重復(fù)步驟（2），直到對于k=1,2,…,m,誤差變得足夠小或?yàn)?為止。

神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（11）6、BP算法的優(yōu)點(diǎn)

（1）BP算法是一個(gè)很有效的算法，許多問題都可由它來解決。BP模型把一組樣本的I/O問題變?yōu)橐粋€(gè)非線性優(yōu)化問題，使用了優(yōu)化中最普通的梯度下降法，用迭代運(yùn)算求解權(quán)相應(yīng)于學(xué)習(xí)記憶問題，加入隱節(jié)點(diǎn)使優(yōu)化問題的可調(diào)參數(shù)增加，從而可得到更精確的解。神經(jīng)網(wǎng)絡(luò)和模糊系統(tǒng)七、反向傳播網(wǎng)絡(luò)學(xué)習(xí)（12）（2）對平穩(wěn)系統(tǒng)，從理論上說通過監(jiān)督學(xué)習(xí)可以學(xué)到環(huán)境的統(tǒng)計(jì)特征，這些統(tǒng)計(jì)特征可被學(xué)習(xí)系統(tǒng)作為經(jīng)驗(yàn)記住。如果環(huán)境是非平穩(wěn)的，通常的監(jiān)督學(xué)習(xí)沒有能力跟蹤這種變化，此