第3章 神經(jīng)元、感知器和BP網(wǎng)絡(luò)(1)

1、課程名：智能控制技術(shù)課程名：智能控制技術(shù) 1 第三章第三章 神經(jīng)網(wǎng)絡(luò)控制神經(jīng)網(wǎng)絡(luò)控制 神經(jīng)網(wǎng)絡(luò)是在生物功能啟示下建立起來的一種數(shù)據(jù)處神經(jīng)網(wǎng)絡(luò)是在生物功能啟示下建立起來的一種數(shù)據(jù)處 理技術(shù)。它是由大量簡單神經(jīng)元互連而構(gòu)成的一種計(jì)算結(jié)構(gòu)，理技術(shù)。它是由大量簡單神經(jīng)元互連而構(gòu)成的一種計(jì)算結(jié)構(gòu)， 在某種程度上模擬生物神經(jīng)系統(tǒng)的工作過程，從而具備解決在某種程度上模擬生物神經(jīng)系統(tǒng)的工作過程，從而具備解決 實(shí)際問題的能力。實(shí)際問題的能力。 特點(diǎn)特點(diǎn): （1）非線性映射逼近能力。非線性映射逼近能力。任意的連續(xù)非線性函數(shù)映射關(guān)系任意的連續(xù)非線性函數(shù)映射關(guān)系 可由多層神經(jīng)網(wǎng)絡(luò)以任意精度加以逼近?？捎啥鄬由窠?jīng)網(wǎng)絡(luò)以

2、任意精度加以逼近。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 2 （2）自適應(yīng)性和自組織性自適應(yīng)性和自組織性。神經(jīng)元之間的連接具有多樣性，各神神經(jīng)元之間的連接具有多樣性，各神 經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進(jìn)行自經(jīng)元之間的連接強(qiáng)度具有可塑性，網(wǎng)絡(luò)可以通過學(xué)習(xí)與訓(xùn)練進(jìn)行自 組織，以適應(yīng)不同信息處理的要求。組織，以適應(yīng)不同信息處理的要求。 （3） 并行處理性。并行處理性。網(wǎng)絡(luò)各單元可同時(shí)進(jìn)行類似的處理，整個(gè)網(wǎng)絡(luò)網(wǎng)絡(luò)各單元可同時(shí)進(jìn)行類似的處理，整個(gè)網(wǎng)絡(luò) 的信息處理方式是大規(guī)模并行的，可以大大加快對(duì)信息處理的速度。的信息處理方式是大規(guī)模并行的，可以大大加快對(duì)信息處理的速度。 （4

3、）分布存儲(chǔ)和容錯(cuò)性。分布存儲(chǔ)和容錯(cuò)性。信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于信息在神經(jīng)網(wǎng)絡(luò)內(nèi)的存儲(chǔ)按內(nèi)容分布于 許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的許多神經(jīng)元中，而且每個(gè)神經(jīng)元存儲(chǔ)多種信息的部分內(nèi)容。網(wǎng)絡(luò)的 每部分對(duì)信息的存儲(chǔ)具有等勢作用，部分的信息丟失仍可以使完整每部分對(duì)信息的存儲(chǔ)具有等勢作用，部分的信息丟失仍可以使完整 的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。的信息得到恢復(fù)，因而使網(wǎng)絡(luò)具有容錯(cuò)性和聯(lián)想記憶功能。 （5）便于集成實(shí)現(xiàn)和計(jì)算模擬。便于集成實(shí)現(xiàn)和計(jì)算模擬。神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元神經(jīng)網(wǎng)絡(luò)在結(jié)構(gòu)上是相同神經(jīng)元 的大規(guī)模組合，特別適合于用大規(guī)模集成電

4、路實(shí)現(xiàn)。的大規(guī)模組合，特別適合于用大規(guī)模集成電路實(shí)現(xiàn)。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 3 3-1 神經(jīng)網(wǎng)絡(luò)的基本概念神經(jīng)網(wǎng)絡(luò)的基本概念 一一. . 生物神經(jīng)元模型生物神經(jīng)元模型 3.1.1 神經(jīng)元模型神經(jīng)元模型 腦神經(jīng)元由細(xì)胞體、樹突和軸突構(gòu)腦神經(jīng)元由細(xì)胞體、樹突和軸突構(gòu) 成。細(xì)胞體是神經(jīng)元的中心，它一般又成。細(xì)胞體是神經(jīng)元的中心，它一般又 由細(xì)胞核、細(xì)胞膜等組成。樹突是神經(jīng)由細(xì)胞核、細(xì)胞膜等組成。樹突是神經(jīng) 元的主要接受器，它主要用來接受信息。元的主要接受器，它主要用來接受信息。 軸突的作用主要是傳導(dǎo)信息，它將信息軸突的作用主要是傳導(dǎo)信息，它將信息 從軸突起點(diǎn)傳到軸突末梢。從軸突

5、起點(diǎn)傳到軸突末梢。 1 1、組成、組成 軸突末梢與另一個(gè)神經(jīng)元的樹突或軸突末梢與另一個(gè)神經(jīng)元的樹突或 胞體構(gòu)成一種突觸的機(jī)構(gòu)。通過突觸實(shí)胞體構(gòu)成一種突觸的機(jī)構(gòu)。通過突觸實(shí) 現(xiàn)神經(jīng)元之間的信息傳遞。現(xiàn)神經(jīng)元之間的信息傳遞。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 4 具有兩種常規(guī)具有兩種常規(guī)工作狀態(tài)工作狀態(tài)：興奮與抑制。：興奮與抑制。 當(dāng)傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位升高超過閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)，當(dāng)傳入的神經(jīng)沖動(dòng)使細(xì)胞膜電位升高超過閾值時(shí)，細(xì)胞進(jìn)入興奮狀態(tài)， 產(chǎn)生神經(jīng)沖動(dòng)并由軸突輸出；產(chǎn)生神經(jīng)沖動(dòng)并由軸突輸出； 當(dāng)傳入的神經(jīng)沖動(dòng)使膜電位下降低于閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，沒當(dāng)傳入的神經(jīng)沖動(dòng)使膜電

6、位下降低于閾值時(shí)，細(xì)胞進(jìn)入抑制狀態(tài)，沒 有神經(jīng)沖動(dòng)輸出。有神經(jīng)沖動(dòng)輸出。 2. 生物神經(jīng)元工作狀態(tài)生物神經(jīng)元工作狀態(tài) 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 5 二二. . 人工神經(jīng)元模型人工神經(jīng)元模型 人工神經(jīng)網(wǎng)絡(luò)是利用物理器件來模擬生物神經(jīng)網(wǎng)絡(luò)的人工神經(jīng)網(wǎng)絡(luò)是利用物理器件來模擬生物神經(jīng)網(wǎng)絡(luò)的 某些結(jié)構(gòu)和功能。某些結(jié)構(gòu)和功能。 x x n j1 jn j ? ) f ( ) j y . . . w w 1 f ( ) -1 . 1. 人工神經(jīng)元的人工神經(jīng)元的輸入輸出變換關(guān)系為輸入輸出變換關(guān)系為: )( ) 1 , ( 00 10 jj jjji n i jii n i jij sfy wx

7、xwxws j w ji f ( ) 其中其中: : 稱為閾值稱為閾值 稱為連接權(quán)系數(shù)稱為連接權(quán)系數(shù) 稱為輸出變換函數(shù)稱為輸出變換函數(shù)。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 6 2. 常用的輸入輸出變換函數(shù)常用的輸入輸出變換函數(shù) 神經(jīng)元模型的輸出函數(shù)，它是一個(gè)非動(dòng)態(tài)的非線性函數(shù)，用神經(jīng)元模型的輸出函數(shù)，它是一個(gè)非動(dòng)態(tài)的非線性函數(shù)，用 以模擬神經(jīng)細(xì)胞的興奮、抑制以及閾值等非線性特性。以模擬神經(jīng)細(xì)胞的興奮、抑制以及閾值等非線性特性。 這些非線性函數(shù)具有兩個(gè)這些非線性函數(shù)具有兩個(gè) 顯著的特征，一是它的突變性，顯著的特征，一是它的突變性， 二是它的飽和性，這正是為了二是它的飽和性，這正是為了 模

8、擬神經(jīng)細(xì)胞興奮過程中所產(chǎn)模擬神經(jīng)細(xì)胞興奮過程中所產(chǎn) 生的神經(jīng)沖動(dòng)以及疲勞等特性。生的神經(jīng)沖動(dòng)以及疲勞等特性。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 7 2 3 2 1 w w W 5 . 2 1 1 X 6 4 2 X 4 1 3 X 某兩輸入、單輸出的某兩輸入、單輸出的單節(jié)點(diǎn)感知器單節(jié)點(diǎn)感知器的連接權(quán)值的連接權(quán)值 樣本樣本 ，為一類（感知器輸出為為一類（感知器輸出為1），）， 為另一類（感知器輸出為為另一類（感知器輸出為-1），）， ， 樣本樣本 試求閥值試求閥值T。（。（T為絕對(duì)值最小的整數(shù)，為絕對(duì)值最小的整數(shù)，轉(zhuǎn)移函數(shù)采用符號(hào)函數(shù)轉(zhuǎn)移函數(shù)采用符號(hào)函數(shù)） 課堂練習(xí)課堂練習(xí) 課程名：智能

9、控制技術(shù)課程名：智能控制技術(shù) 8 解：單節(jié)點(diǎn)兩輸入感知器的輸出為：解：單節(jié)點(diǎn)兩輸入感知器的輸出為： )23sgn()sgn( 212211 TxxTxwxw 根據(jù)題意：根據(jù)題意： 1 x時(shí)：時(shí)： 053T得得 2T 2 x 時(shí)：時(shí)： 01212T 得得 0T 3 x時(shí)：時(shí)： 083T得得 5T 25T 為將樣本按要求分兩類，為將樣本按要求分兩類， ，根據(jù)題意選，根據(jù)題意選 3T 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 9 3.1.2 人工神經(jīng)元網(wǎng)絡(luò)人工神經(jīng)元網(wǎng)絡(luò) 人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié)人工神經(jīng)網(wǎng)絡(luò)是一個(gè)并行和分布式的信息處理網(wǎng)絡(luò)結(jié)構(gòu)，該網(wǎng)絡(luò)結(jié) 構(gòu)一般由許多

10、個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元有一個(gè)單一的輸出，它可以構(gòu)一般由許多個(gè)神經(jīng)元組成，每個(gè)神經(jīng)元有一個(gè)單一的輸出，它可以 連接到很多其它的神經(jīng)元，其輸入有多個(gè)連接通路，每個(gè)連接通路對(duì)連接到很多其它的神經(jīng)元，其輸入有多個(gè)連接通路，每個(gè)連接通路對(duì) 應(yīng)一個(gè)連接權(quán)系數(shù)。應(yīng)一個(gè)連接權(quán)系數(shù)。 1.1.對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)狀態(tài)變量對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)狀態(tài)變量x j 一一. .人工神經(jīng)元網(wǎng)絡(luò)的組成原理人工神經(jīng)元網(wǎng)絡(luò)的組成原理 2. 結(jié)點(diǎn)結(jié)點(diǎn) i 到結(jié)點(diǎn)到結(jié)點(diǎn)j有一個(gè)連接權(quán)系數(shù)有一個(gè)連接權(quán)系數(shù)wji 3.對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)閾值對(duì)于每個(gè)結(jié)點(diǎn)有一個(gè)閾值 j 4. 對(duì)于每個(gè)結(jié)點(diǎn)定義一個(gè)變換函數(shù)對(duì)于每個(gè)結(jié)點(diǎn)定義一個(gè)變換函數(shù) )( ji

11、 i jix wf )( ji 嚴(yán)格說來，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有如下性質(zhì)的有向圖。嚴(yán)格說來，神經(jīng)網(wǎng)絡(luò)是一個(gè)具有如下性質(zhì)的有向圖。 其中：其中： 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 10 二二. .典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：典型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)： 根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分根據(jù)神經(jīng)元之間連接的拓?fù)浣Y(jié)構(gòu)上的不同，可將神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分 為兩大類：層狀結(jié)構(gòu)和網(wǎng)絡(luò)結(jié)構(gòu)。層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由若干層組為兩大類：層狀結(jié)構(gòu)和網(wǎng)絡(luò)結(jié)構(gòu)。層狀結(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)是由若干層組 成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同成，每層中有一定數(shù)量的神經(jīng)元，相鄰層中神經(jīng)元單向聯(lián)接，一般同 層

12、內(nèi)的神經(jīng)元不能聯(lián)接。層內(nèi)的神經(jīng)元不能聯(lián)接。 1、 前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)）前向網(wǎng)絡(luò)（前饋網(wǎng)絡(luò)） 下面介紹幾種常見的網(wǎng)絡(luò)結(jié)構(gòu)下面介紹幾種常見的網(wǎng)絡(luò)結(jié)構(gòu): : 2、反饋網(wǎng)絡(luò)、反饋網(wǎng)絡(luò) 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 11 即網(wǎng)狀結(jié)構(gòu)，在這種神經(jīng)即網(wǎng)狀結(jié)構(gòu)，在這種神經(jīng) 網(wǎng)絡(luò)結(jié)構(gòu)中，任何兩個(gè)神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中，任何兩個(gè)神經(jīng) 元之間都可能雙向聯(lián)接。元之間都可能雙向聯(lián)接。 4.4.混合型網(wǎng)絡(luò)混合型網(wǎng)絡(luò) 在前向網(wǎng)絡(luò)基礎(chǔ)上，在同層、在前向網(wǎng)絡(luò)基礎(chǔ)上，在同層、 部分神經(jīng)元之間也可雙向聯(lián)接。部分神經(jīng)元之間也可雙向聯(lián)接。 3.3.相互結(jié)合型網(wǎng)絡(luò)相互結(jié)合型網(wǎng)絡(luò) 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 12 3-2

13、 監(jiān)督學(xué)習(xí)及前饋神經(jīng)網(wǎng)絡(luò)監(jiān)督學(xué)習(xí)及前饋神經(jīng)網(wǎng)絡(luò) 具有分層的結(jié)構(gòu)。最前面一層是輸入層，中間是具有分層的結(jié)構(gòu)。最前面一層是輸入層，中間是 隱層，最后一層是輸出層。其信息從輸入層依次向上隱層，最后一層是輸出層。其信息從輸入層依次向上 傳遞，直至輸出層。這樣的結(jié)構(gòu)稱為前饋網(wǎng)絡(luò)。傳遞，直至輸出層。這樣的結(jié)構(gòu)稱為前饋網(wǎng)絡(luò)。 3.2.1 感知器網(wǎng)絡(luò)感知器網(wǎng)絡(luò) 感知器感知器(perceptron) 是最簡單的前饋網(wǎng)絡(luò)，也是是最簡單的前饋網(wǎng)絡(luò)，也是 早期仿生學(xué)的研究成果，主要功能是用于對(duì)不同的輸早期仿生學(xué)的研究成果，主要功能是用于對(duì)不同的輸 入模式進(jìn)行分類。入模式進(jìn)行分類。 課程名：智能控制技術(shù)課程名：智能控制

14、技術(shù) 13 一、單層感知器網(wǎng)絡(luò)一、單層感知器網(wǎng)絡(luò) 也就是按照不同特征的分類結(jié)果。也就是按照不同特征的分類結(jié)果。 是具有單層神經(jīng)元、采用線性閾值函數(shù)的前饋網(wǎng)絡(luò)。是具有單層神經(jīng)元、采用線性閾值函數(shù)的前饋網(wǎng)絡(luò)。 通過對(duì)權(quán)值的訓(xùn)練，可使感知器對(duì)一組線性可分的輸入模通過對(duì)權(quán)值的訓(xùn)練，可使感知器對(duì)一組線性可分的輸入模 式（矢量）進(jìn)行有效的分類。式（矢量）進(jìn)行有效的分類。 xx xx n 12 T 是輸入特征向量，是輸入特征向量， 圖中圖中 wji x i y j 是是 到到 的連接權(quán)，的連接權(quán)， y j (j=1, 2, , m) 是輸出量是輸出量 。 1.1.單層感知器的基本結(jié)構(gòu)單層感知器的基本結(jié)構(gòu) x

15、1x2xn. . . . . . y1y2y w 11 w 12 w m w w mn 12 m 1n m1 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 14 2.2.單層感知器的輸入輸出變換關(guān)系單層感知器的輸入輸出變換關(guān)系 由于按不同特征的分類是互相獨(dú)立的，因而可以由于按不同特征的分類是互相獨(dú)立的，因而可以 取出其中的一個(gè)神經(jīng)元來討論。取出其中的一個(gè)神經(jīng)元來討論。 1 ji n i jij xws 00 。 為動(dòng)量項(xiàng)因子，為動(dòng)量項(xiàng)因子， 。 )1()()1()() 1(kDkDkwkw )(/)(kwEkD 10 根據(jù)經(jīng)驗(yàn)數(shù)據(jù)根據(jù)經(jīng)驗(yàn)數(shù)據(jù)動(dòng)量項(xiàng)因子取動(dòng)量項(xiàng)因子取0.95比較適比較適合。合。 )

16、()() 1(kaDkwkw引入前：引入前： 引入后：引入后： 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 39 2 2、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率、自適應(yīng)調(diào)節(jié)學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使設(shè)一初始學(xué)習(xí)率，若經(jīng)過一批次權(quán)值調(diào)整后使 總誤差總誤差，則本次調(diào)整無效，且，則本次調(diào)整無效，且降低降低 ； 若若經(jīng)過一批次權(quán)值調(diào)整后使總誤差經(jīng)過一批次權(quán)值調(diào)整后使總誤差，則本次，則本次 調(diào)整有效，且調(diào)整有效，且增大增大 。 標(biāo)準(zhǔn)標(biāo)準(zhǔn)BP算法問題：算法問題：學(xué)習(xí)率學(xué)習(xí)率 為一常數(shù)，很難確定一為一常數(shù)，很難確定一 個(gè)從始到終都合適的最佳個(gè)從始到終都合適的最佳學(xué)習(xí)率。如誤差曲面平坦區(qū)學(xué)習(xí)率。如誤差曲面平坦區(qū)

17、 太小會(huì)使訓(xùn)練次數(shù)增加；而太小會(huì)使訓(xùn)練次數(shù)增加；而誤差變化劇烈的區(qū)域誤差變化劇烈的區(qū)域 太大太大 會(huì)使訓(xùn)練出現(xiàn)振蕩。解決方法如下：會(huì)使訓(xùn)練出現(xiàn)振蕩。解決方法如下： 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 40 3 3、引入陡度因子、引入陡度因子 標(biāo)準(zhǔn)標(biāo)準(zhǔn)BP算法問題：算法問題： 誤差曲面存在平坦誤差曲面存在平坦 區(qū)，其原因是神經(jīng)元輸區(qū)，其原因是神經(jīng)元輸 出進(jìn)入了轉(zhuǎn)移函數(shù)的飽出進(jìn)入了轉(zhuǎn)移函數(shù)的飽 和區(qū)。和區(qū)。 解決思路：解決思路： 壓縮神經(jīng)元凈輸入，壓縮神經(jīng)元凈輸入， 使其輸出退出飽和區(qū)。使其輸出退出飽和區(qū)。 o 1 =1 1 2 1 net 0 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 41

18、 實(shí)現(xiàn)這一思路的具體實(shí)現(xiàn)這一思路的具體 作法是，在原轉(zhuǎn)移函數(shù)中作法是，在原轉(zhuǎn)移函數(shù)中 引入一個(gè)陡度因子引入一個(gè)陡度因子 / 1 1 x e o o 1 =1 1 2 1 x 0 當(dāng)發(fā)現(xiàn)當(dāng)發(fā)現(xiàn)E接近零而接近零而 目標(biāo)與實(shí)際輸出仍較大時(shí)，目標(biāo)與實(shí)際輸出仍較大時(shí)， 可判斷已進(jìn)入平坦區(qū)，此可判斷已進(jìn)入平坦區(qū)，此 時(shí)令時(shí)令1；退出平坦區(qū)后，退出平坦區(qū)后， 再令再令=1。 11：轉(zhuǎn)移轉(zhuǎn)移 函數(shù)曲線敏函數(shù)曲線敏 感區(qū)變長；感區(qū)變長； =1=1：轉(zhuǎn)移函轉(zhuǎn)移函 數(shù)恢復(fù)原狀。數(shù)恢復(fù)原狀。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 42 4 4、誤差函數(shù)的改進(jìn)、誤差函數(shù)的改進(jìn) 2 1 ()1 2 (,) kkk k

19、 kkkk EdOOE f d OOdf 原原誤誤差差函函數(shù)數(shù)：，當(dāng)當(dāng)時(shí)時(shí)，常常數(shù)數(shù)，造造成成麻麻痹痹現(xiàn)現(xiàn)象象。 可可選選用用其其它它誤誤差差函函數(shù)數(shù) ，只只需需當(dāng)當(dāng)時(shí)時(shí) 有有最最小小值值即即可可。 1111 (1)log(1)log 2121 1 kk kk k kk kkk dd EOd OO OdEO B Ba au um m等等人人1 19 98 88 8年年提提出出 當(dāng)當(dāng)時(shí)時(shí)，0 0；當(dāng)當(dāng)時(shí)時(shí)，該該式式發(fā)發(fā)散散，所所以以能能克克服服麻麻痹痹現(xiàn)現(xiàn)象象。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 43 (1) 產(chǎn)生數(shù)據(jù)樣本集產(chǎn)生數(shù)據(jù)樣本集 (2) 確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)

20、 (3) 訓(xùn)練和測試訓(xùn)練和測試 3.2.3 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 44 (1) 產(chǎn)生數(shù)據(jù)樣本集產(chǎn)生數(shù)據(jù)樣本集 這里包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以這里包括原始數(shù)據(jù)的收集、數(shù)據(jù)分析、變量選擇以 及數(shù)據(jù)的預(yù)處理。及數(shù)據(jù)的預(yù)處理。 首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸首先要在大量的原始測量數(shù)據(jù)中確定出最主要的輸 入模式。這就需要對(duì)原始數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，檢驗(yàn)它們?nèi)肽Ｊ健＿@就需要對(duì)原始數(shù)據(jù)進(jìn)行統(tǒng)計(jì)分析，檢驗(yàn)它們 之間的相關(guān)性。找出其中最主要的量作為輸入。之間的相關(guān)性。找出其中最主要的量作為輸入。 課程名：智能控制技術(shù)課程名：智能控制技術(shù)

21、45 在確定了最重要的輸入量后，需進(jìn)行在確定了最重要的輸入量后，需進(jìn)行尺度變換尺度變換和預(yù)和預(yù) 處理。尺度變換常常將它們變換到處理。尺度變換常常將它們變換到 -1, 1或或0, 1 的范圍。的范圍。 在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱在進(jìn)行尺度變換前必須先檢查是否存在異常點(diǎn)（或稱野野 點(diǎn)點(diǎn)），這些點(diǎn)必須剔除。），這些點(diǎn)必須剔除。 對(duì)于一個(gè)復(fù)雜問題應(yīng)該對(duì)于一個(gè)復(fù)雜問題應(yīng)該選擇多少數(shù)據(jù)選擇多少數(shù)據(jù)，這也是一個(gè)，這也是一個(gè) 很關(guān)鍵的問題。系統(tǒng)的輸入輸出關(guān)系就包含在這些數(shù)據(jù)很關(guān)鍵的問題。系統(tǒng)的輸入輸出關(guān)系就包含在這些數(shù)據(jù) 樣本中。所以一般說來，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的樣本中。所以一般說來

22、，取的數(shù)據(jù)越多，學(xué)習(xí)和訓(xùn)練的 結(jié)果便越能正確反映輸入輸出關(guān)系。結(jié)果便越能正確反映輸入輸出關(guān)系。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 46 但是但是選太多選太多的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn)的數(shù)據(jù)將增加收集、分析數(shù)據(jù)以及網(wǎng)絡(luò)訓(xùn) 練的所付的代價(jià)。練的所付的代價(jià)。選太少選太少的數(shù)據(jù)則可能得不到正確的結(jié)果。的數(shù)據(jù)則可能得不到正確的結(jié)果。 事實(shí)上數(shù)據(jù)的多少取決于許多因素，如網(wǎng)絡(luò)的大小、事實(shí)上數(shù)據(jù)的多少取決于許多因素，如網(wǎng)絡(luò)的大小、 網(wǎng)絡(luò)測試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)大小最網(wǎng)絡(luò)測試的需要以及輸入輸出的分布等。其中網(wǎng)絡(luò)大小最 關(guān)鍵。通常較大的網(wǎng)絡(luò)需要較多的訓(xùn)練數(shù)據(jù)。關(guān)鍵。通常較大的網(wǎng)絡(luò)

23、需要較多的訓(xùn)練數(shù)據(jù)。 一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的一個(gè)經(jīng)驗(yàn)規(guī)則是：訓(xùn)練模式應(yīng)是連接權(quán)總數(shù)的5至至10 倍。倍。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 47 在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測試數(shù)據(jù)來對(duì)在神經(jīng)網(wǎng)絡(luò)訓(xùn)練完成后，需要有另外的測試數(shù)據(jù)來對(duì) 網(wǎng)絡(luò)加以檢驗(yàn)，測試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。網(wǎng)絡(luò)加以檢驗(yàn)，測試數(shù)據(jù)應(yīng)是獨(dú)立的數(shù)據(jù)集合。 最簡單的方法是：最簡單的方法是：將收集到的可用數(shù)據(jù)隨機(jī)地分成兩將收集到的可用數(shù)據(jù)隨機(jī)地分成兩 部分，譬如說其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練，另外三分之部分，譬如說其中三分之二用于網(wǎng)絡(luò)的訓(xùn)練，另外三分之 一用于將來的測試，隨機(jī)選取的目的是為了盡量減小這兩一

24、用于將來的測試，隨機(jī)選取的目的是為了盡量減小這兩 部分?jǐn)?shù)據(jù)的相關(guān)性。部分?jǐn)?shù)據(jù)的相關(guān)性。 影響數(shù)據(jù)大小的另一個(gè)因素影響數(shù)據(jù)大小的另一個(gè)因素是輸入模式和輸出結(jié)果的是輸入模式和輸出結(jié)果的 分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減少所需的數(shù)據(jù)量。相反，分布，對(duì)數(shù)據(jù)預(yù)先加以分類可以減少所需的數(shù)據(jù)量。相反， 數(shù)據(jù)稀薄不勻甚至互相覆蓋則勢必要增加數(shù)據(jù)量。數(shù)據(jù)稀薄不勻甚至互相覆蓋則勢必要增加數(shù)據(jù)量。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 48 (2) 確定網(wǎng)絡(luò)的類型和結(jié)構(gòu)確定網(wǎng)絡(luò)的類型和結(jié)構(gòu) 在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，首先要確定所選的網(wǎng)絡(luò)類型。在訓(xùn)練神經(jīng)網(wǎng)絡(luò)之前，首先要確定所選的網(wǎng)絡(luò)類型。 若主要用于模式分類，尤其是線性

25、可分的情況，則可若主要用于模式分類，尤其是線性可分的情況，則可 采用較為簡單的感知器網(wǎng)絡(luò)；采用較為簡單的感知器網(wǎng)絡(luò)； 若主要用于函數(shù)估計(jì)，則可應(yīng)用若主要用于函數(shù)估計(jì)，則可應(yīng)用BP網(wǎng)絡(luò)。網(wǎng)絡(luò)。 實(shí)際上，神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問題的性質(zhì)和實(shí)際上，神經(jīng)網(wǎng)絡(luò)的類型很多，需根據(jù)問題的性質(zhì)和 任務(wù)的要求來合適地選擇網(wǎng)絡(luò)類型。一般是從已有的網(wǎng)絡(luò)任務(wù)的要求來合適地選擇網(wǎng)絡(luò)類型。一般是從已有的網(wǎng)絡(luò) 類型中選用一種比較簡單而又能滿足要求的網(wǎng)絡(luò)。類型中選用一種比較簡單而又能滿足要求的網(wǎng)絡(luò)。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 49 在網(wǎng)絡(luò)的類型確定后，剩下的問題是選擇網(wǎng)絡(luò)在網(wǎng)絡(luò)的類型確定后，剩下的問題是選

26、擇網(wǎng)絡(luò) 的結(jié)構(gòu)和參數(shù)。的結(jié)構(gòu)和參數(shù)。 以以BP網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié)網(wǎng)絡(luò)為例，需選擇網(wǎng)絡(luò)的層數(shù)、每層的節(jié) 點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、節(jié)點(diǎn)變換函數(shù)點(diǎn)數(shù)、初始權(quán)值、閾值、學(xué)習(xí)算法、節(jié)點(diǎn)變換函數(shù) 及參數(shù)、學(xué)習(xí)率及動(dòng)量項(xiàng)因子等參數(shù)。這里有些項(xiàng)及參數(shù)、學(xué)習(xí)率及動(dòng)量項(xiàng)因子等參數(shù)。這里有些項(xiàng) 的選擇的選擇有一些指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。有一些指導(dǎo)原則，但更多的是靠經(jīng)驗(yàn)和試湊。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 50 具體選擇有如下具體選擇有如下兩種方法：兩種方法： a. 先設(shè)置較少先設(shè)置較少節(jié)點(diǎn)節(jié)點(diǎn)，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試網(wǎng)絡(luò)的，對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，并測試網(wǎng)絡(luò)的 逼近誤差，然

27、后逐漸增加逼近誤差，然后逐漸增加節(jié)點(diǎn)節(jié)點(diǎn)數(shù)，直到測試的誤差不再數(shù)，直到測試的誤差不再 有明顯減小為止。有明顯減小為止。 對(duì)于具體問題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸對(duì)于具體問題若確定了輸入和輸出變量后，網(wǎng)絡(luò)輸 入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)也便隨之確定了。對(duì)于入層和輸出層的節(jié)點(diǎn)個(gè)數(shù)也便隨之確定了。對(duì)于隱層隱層的的 層數(shù)可首先考慮只選擇一個(gè)隱層。剩下的問題是如何選層數(shù)可首先考慮只選擇一個(gè)隱層。剩下的問題是如何選 擇隱層的節(jié)點(diǎn)數(shù)。擇隱層的節(jié)點(diǎn)數(shù)。其選擇原則是：其選擇原則是：在能正確反映輸入輸在能正確反映輸入輸 出關(guān)系的基礎(chǔ)上，盡量選取較少的隱層節(jié)點(diǎn)數(shù)，而使網(wǎng)出關(guān)系的基礎(chǔ)上，盡量選取較少的隱層節(jié)點(diǎn)數(shù)，而使網(wǎng)

28、 絡(luò)盡量簡單。絡(luò)盡量簡單。 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 51 b. 先設(shè)置較多的節(jié)點(diǎn)，在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，采用先設(shè)置較多的節(jié)點(diǎn)，在對(duì)網(wǎng)絡(luò)進(jìn)行訓(xùn)練時(shí)，采用 如下的誤差代價(jià)函數(shù)如下的誤差代價(jià)函數(shù) jiq q ij Q q n i n j q ij Q pi P p n i pif wE wxdE qqQ , )( 111 )(2)( 11 )( 2 1 1 引入第二項(xiàng)的作用相當(dāng)于引入一個(gè)引入第二項(xiàng)的作用相當(dāng)于引入一個(gè)“遺忘遺忘”項(xiàng)，項(xiàng)， 其目的是為了其目的是為了使訓(xùn)練后的連接權(quán)系數(shù)盡量小使訓(xùn)練后的連接權(quán)系數(shù)盡量小，可求得，可求得 這時(shí)這時(shí) 對(duì)對(duì) 的梯度為的梯度為 f E )(q ij w )(sgn )( )()( q ij q ij q ij f w w E w E 課程名：智能控制技術(shù)課程名：智能控制技術(shù) 52 利用該梯度可以求得相應(yīng)的學(xué)習(xí)算法。利用該學(xué)利用該梯度可以求得相應(yīng)的學(xué)習(xí)算法。利用該學(xué) 習(xí)算法，在訓(xùn)練過程中只有那些習(xí)算法，在訓(xùn)練過程中只有那些確實(shí)必要的連接權(quán)才確實(shí)必要的連接權(quán)才 予以保留予以保留，而那些，而那些不很必要的連接將逐漸衰減為零不很必要的連接將逐漸衰減為零。 最后可去掉那些影響不大的連接權(quán)和相應(yīng)的最后可去掉那些影響不大的連接權(quán)和相應(yīng)的節(jié)點(diǎn)節(jié)點(diǎn)，從，從 而得到一個(gè)適當(dāng)規(guī)模的網(wǎng)