算法的程序?qū)崿F(xiàn)ppt課件

1、初始化 V、W、Emin,、q=1，p=1,E=0輸入樣本，計(jì)算各層輸出：m21jfyTjj,.,),(XVl21kfoTjk,.,),(YW計(jì)算誤差： P1pl1k2kkod21E)(計(jì)算各層誤差信號(hào)：l21koo1odkkkk,.,)(okm21jyy1wjjl1kjkokyj,.,)(調(diào)整各層權(quán)值：m10jl21kjyokjkwjkw,.,.,n10 xm21jxvviyjijij,.,., Y p 增 1,q 增 1 pP？ N N E=0,p=1 EEmin Y 結(jié)束3.4.3 BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)(1)初始化；初始化； P1ppP1RMEEE(4)計(jì)算各層誤差信號(hào)；計(jì)算

2、各層誤差信號(hào)； (5)調(diào)整各層權(quán)值；調(diào)整各層權(quán)值； (6)檢查能否對(duì)一切樣本完成一次檢查能否對(duì)一切樣本完成一次 輪訓(xùn)；輪訓(xùn)； (7)檢查網(wǎng)絡(luò)總誤差能否到達(dá)精檢查網(wǎng)絡(luò)總誤差能否到達(dá)精 度要求。度要求。 (2)輸入訓(xùn)練樣本對(duì)輸入訓(xùn)練樣本對(duì)X Xp、d dp計(jì)算各層輸出；計(jì)算各層輸出；(3)計(jì)算網(wǎng)絡(luò)輸出誤差；計(jì)算網(wǎng)絡(luò)輸出誤差；3.4.3 BP算法的程序?qū)崿F(xiàn)算法的程序?qū)崿F(xiàn)初始化 V、W計(jì)數(shù)器 q=1，p=1輸入第一對(duì)樣本計(jì)算各層輸出計(jì)算誤差：P1pl1k2kkod21E)( Y p 增 1 pP？ N用 E 計(jì)算各層誤差信號(hào) 調(diào)整各層權(quán)值 q 增 1 N ErmsEmin E=0,p=1 Y 結(jié)束然后

3、根據(jù)總誤差計(jì)算各層的誤差然后根據(jù)總誤差計(jì)算各層的誤差信號(hào)并調(diào)整權(quán)值。信號(hào)并調(diào)整權(quán)值。P1pl1k2pkpkod21E)(總 另一種方法是在一切樣本輸入之后，計(jì)算網(wǎng)絡(luò)的總誤差：3.4.4 多層前饋網(wǎng)多層前饋網(wǎng)(感知器感知器)的主要才干的主要才干(1)非線性映射才干非線性映射才干 多層前饋網(wǎng)能學(xué)習(xí)和存貯大量輸入-輸出方式映射關(guān)系，而無(wú)需事先了解描畫這種映射關(guān)系的數(shù)學(xué)方程。只需能提供足夠多的樣本方式對(duì)供BP網(wǎng)絡(luò)進(jìn)展學(xué)習(xí)訓(xùn)練，它便能完成由n維輸入空間到m維輸出空間的非線性映射。3.4.4 多層前饋網(wǎng)多層前饋網(wǎng)(感知器感知器)的主要才干的主要才干(2)泛化才干泛化才干 當(dāng)向網(wǎng)絡(luò)輸入訓(xùn)練時(shí)未曾見(jiàn)過(guò)的非樣本

4、數(shù)據(jù)時(shí)，網(wǎng)絡(luò)也能完成由輸入空間向輸出空間的正確映射。這種才干稱為多層前饋網(wǎng)的泛化才干。(3)容錯(cuò)才干容錯(cuò)才干 輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)輸入樣本中帶有較大的誤差甚至個(gè)別錯(cuò)誤對(duì)網(wǎng)絡(luò)的輸入輸出規(guī)律影響很小。絡(luò)的輸入輸出規(guī)律影響很小。3.4.5誤差曲面與誤差曲面與BP算法的局限性算法的局限性 誤差函數(shù)的可調(diào)整參誤差函數(shù)的可調(diào)整參數(shù)的個(gè)數(shù)數(shù)的個(gè)數(shù) nw 等于各層權(quán)等于各層權(quán)值數(shù)加上閾值數(shù)，即：值數(shù)加上閾值數(shù)，即：) 1() 1(mlnmnw 誤差誤差 E 是是 nw+1 維空間中一維空間中一個(gè)外形極為復(fù)雜的曲面，該曲個(gè)外形極為復(fù)雜的曲面，該曲面上的每個(gè)點(diǎn)的面上的每個(gè)點(diǎn)的“高度對(duì)應(yīng)于高度對(duì)

5、應(yīng)于一個(gè)誤差值，每個(gè)點(diǎn)的坐標(biāo)向一個(gè)誤差值，每個(gè)點(diǎn)的坐標(biāo)向量對(duì)應(yīng)著量對(duì)應(yīng)著 nw 個(gè)權(quán)值，因此稱這個(gè)權(quán)值，因此稱這樣的空間為誤差的權(quán)空間。樣的空間為誤差的權(quán)空間。3.4.5誤差曲面與誤差曲面與BP算法的局限性算法的局限性誤差曲面的分布有兩個(gè)特點(diǎn)：誤差曲面的分布有兩個(gè)特點(diǎn)：特點(diǎn)之一：存在平坦區(qū)域特點(diǎn)之一：存在平坦區(qū)域 jokikywE)1 ()(kkkkokoood f (x) 1.0 0.5x030mjjjkyw3.4.5誤差曲面與誤差曲面與BP算法的局限性算法的局限性特點(diǎn)之二：存在多個(gè)極小點(diǎn)特點(diǎn)之二：存在多個(gè)極小點(diǎn) 多數(shù)極小點(diǎn)都是部分極小，多數(shù)極小點(diǎn)都是部分極小，即使是全局極小往往也不是獨(dú)即使

6、是全局極小往往也不是獨(dú)一的，但其特點(diǎn)都是誤差梯度一的，但其特點(diǎn)都是誤差梯度為零。為零。 誤差曲面的平坦區(qū)域會(huì)使訓(xùn)練次數(shù)大大添加，從而影響了收斂速度；而誤差曲面的多極小點(diǎn)會(huì)使訓(xùn)練墮入部分極小，從而使訓(xùn)練無(wú)法收斂于給定誤差。3.5規(guī)范規(guī)范BP算法的改良算法的改良規(guī)范的規(guī)范的BP算法在運(yùn)用中暴顯露不少內(nèi)在的缺陷：算法在運(yùn)用中暴顯露不少內(nèi)在的缺陷： 易構(gòu)成部分極小而得不到全局最優(yōu)；易構(gòu)成部分極小而得不到全局最優(yōu)； 訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢；訓(xùn)練次數(shù)多使得學(xué)習(xí)效率低，收斂速度慢； 隱節(jié)點(diǎn)的選取缺乏實(shí)際指點(diǎn)；隱節(jié)點(diǎn)的選取缺乏實(shí)際指點(diǎn)； 訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘舊樣本的趨勢(shì)。訓(xùn)練時(shí)學(xué)習(xí)新樣本有遺忘

7、舊樣本的趨勢(shì)。 針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改良算法，針對(duì)上述問(wèn)題，國(guó)內(nèi)外已提出不少有效的改良算法，下面僅引見(jiàn)其中下面僅引見(jiàn)其中3種較常用的方法。種較常用的方法。3.5規(guī)范規(guī)范BP算法的改良算法的改良1 添加動(dòng)量項(xiàng)添加動(dòng)量項(xiàng))1()(ttWXW為動(dòng)量系數(shù)，普通有為動(dòng)量系數(shù)，普通有(0(0，1)1)2 自順應(yīng)調(diào)理學(xué)習(xí)率自順應(yīng)調(diào)理學(xué)習(xí)率 設(shè)一初始學(xué)習(xí)率，假設(shè)經(jīng)過(guò)一批次權(quán)值調(diào)整后使總誤差，那么本次調(diào)整無(wú)效，且=(1 )。3.5規(guī)范規(guī)范BP算法的改良算法的改良3 引入陡度因子引入陡度因子 實(shí)現(xiàn)這一思緒的實(shí)現(xiàn)這一思緒的詳細(xì)作法是，在原轉(zhuǎn)詳細(xì)作法是，在原轉(zhuǎn)移函數(shù)中引入一個(gè)陡移函數(shù)中引入一個(gè)陡度因子

8、度因子/11neteo o 1 =1 1 21 net 03.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備1.輸入輸出量的選擇輸入輸出量的選擇 輸出量代表系統(tǒng)要實(shí)現(xiàn)的功能目的，例如系統(tǒng)的性能目的，分類問(wèn)題的類別歸屬，或非線性函數(shù)的函數(shù)值等等。 輸入量必需選擇那些對(duì)輸出影響大且可以檢測(cè)或提取的變量，此外還要求各輸入變量之間互不相關(guān)或相關(guān)性很小，這是輸入量選擇的兩條根本原那么。3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備1.輸入輸出量的選擇輸入輸出量的選擇從輸入、輸出量的性質(zhì)來(lái)看，可分為兩類：一類是數(shù)從輸入、輸出量的性質(zhì)來(lái)看，可分為兩

9、類：一類是數(shù)值變量，一類是言語(yǔ)變量。值變量，一類是言語(yǔ)變量。數(shù)值變量的值是數(shù)值確定的延續(xù)量或離散量。數(shù)值變量的值是數(shù)值確定的延續(xù)量或離散量。言語(yǔ)變量是用自然言語(yǔ)表示的概念，其言語(yǔ)變量是用自然言語(yǔ)表示的概念，其“言語(yǔ)值是言語(yǔ)值是用自然言語(yǔ)表示的事物的各種屬性。中選用言語(yǔ)變量用自然言語(yǔ)表示的事物的各種屬性。中選用言語(yǔ)變量作為網(wǎng)絡(luò)的輸入或輸出變量時(shí)，需將其言語(yǔ)值轉(zhuǎn)換為作為網(wǎng)絡(luò)的輸入或輸出變量時(shí)，需將其言語(yǔ)值轉(zhuǎn)換為離散的數(shù)值量。離散的數(shù)值量。3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備2. 輸入量的提取與表示輸入量的提取與表示(1)文字符號(hào)輸入文字符號(hào)輸入XC=(11

10、1100111)T XI=(111100111)T XT=(111100111)T3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備2. 輸入量的提取與表示輸入量的提取與表示(2)曲曲線線輸輸入入x(t) xn x1 t 0 1 2 3 4 5 nTpnpipppxxxxX),.,.,(21p=1,2,P3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備2. 輸入量的提取與表示輸入量的提取與表示(3)函數(shù)自變量輸入函數(shù)自變量輸入 普通有幾個(gè)輸入量就設(shè)幾個(gè)分量，普通有幾個(gè)輸入量就設(shè)幾個(gè)分量，1個(gè)輸入分量對(duì)個(gè)輸入分量對(duì)應(yīng)應(yīng)1個(gè)輸入層節(jié)點(diǎn)。個(gè)輸

11、入層節(jié)點(diǎn)。(4)圖象輸入圖象輸入 在這類運(yùn)用中，普通先根據(jù)識(shí)別的詳細(xì)目的從圖象中提取一些有用的特征參數(shù)，再根據(jù)這些參數(shù)對(duì)輸入的奉獻(xiàn)進(jìn)展挑選，這種特征提取屬于圖象處置的范疇。(1)“n中取中取1表示法表示法 “n中取中取1是令輸出向量的分量數(shù)等于類別數(shù)，輸是令輸出向量的分量數(shù)等于類別數(shù)，輸入樣本被判為哪一類，對(duì)應(yīng)的輸出分量取入樣本被判為哪一類，對(duì)應(yīng)的輸出分量取1，其他，其他 n-1 個(gè)分量全取個(gè)分量全取0。例如，用。例如，用0001、0010、0100和和1000可分可分別表示優(yōu)、良、中、差別表示優(yōu)、良、中、差4個(gè)類別。個(gè)類別。(2)“n-1表示法表示法 假設(shè)用n-1個(gè)全為0的輸出向量表示某個(gè)類

12、別，那么可以節(jié)省一個(gè)輸出節(jié)點(diǎn)。例如，用000、001、010和100也可表示優(yōu)、良、中、差4個(gè)類別。3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底一一 、訓(xùn)練樣本集的預(yù)備、訓(xùn)練樣本集的預(yù)備3. 輸出量的表示輸出量的表示(3)數(shù)值表示法數(shù)值表示法 對(duì)于漸進(jìn)式的分類，可以將言語(yǔ)值轉(zhuǎn)化為二值之間的數(shù)值表示。數(shù)值的選擇要留意堅(jiān)持由小到大的漸進(jìn)關(guān)系，并要根據(jù)實(shí)踐意義拉開(kāi)間隔。3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底二、輸入輸出數(shù)據(jù)的歸一化二、輸入輸出數(shù)據(jù)的歸一化 歸一化也稱為或規(guī)范化，是指經(jīng)過(guò)變換處置將網(wǎng)絡(luò)的輸入、輸出數(shù)據(jù)限制在0，1或-1，1區(qū)間內(nèi)。 進(jìn)展歸一化的主要緣由：網(wǎng)絡(luò)的各個(gè)輸入數(shù)據(jù)經(jīng)常具有不同的物理意義和

13、不同的量綱，歸一化給各輸入分量以同等重要的位置；BP網(wǎng)的神經(jīng)元均采用Sigmoid轉(zhuǎn)移函數(shù)，變換后可防止因凈輸入的絕對(duì)值過(guò)大而使神經(jīng)元輸出飽和，繼而使權(quán)值調(diào)整進(jìn)入誤差曲面的平坦區(qū)；Sigmoid轉(zhuǎn)移函數(shù)的輸出在01或-11之間。教師信號(hào)如不進(jìn)展歸一化處置，勢(shì)必使數(shù)值大的輸出分量絕對(duì)誤差大，數(shù)值小的輸出分量絕對(duì)誤差小。3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底二、輸入輸出數(shù)據(jù)的歸一化二、輸入輸出數(shù)據(jù)的歸一化將輸入輸出數(shù)據(jù)變換為將輸入輸出數(shù)據(jù)變換為0，1區(qū)間的值常用以下變換式區(qū)間的值常用以下變換式minmaxminxxxxxii其中，xI代表輸入或輸出數(shù)據(jù)，xmin代表數(shù)據(jù)變化的最小值，xman代表數(shù)據(jù)的最大值。將輸入輸出數(shù)據(jù)變換為將輸入輸出數(shù)據(jù)變換為-1，1區(qū)間的值常用以下變換式區(qū)間的值常用以下變換式2minmaxxxxmid)(minmax21xxxxxmidii其中，xmid代表數(shù)據(jù)變化范圍的中間值。3.6 BP網(wǎng)絡(luò)設(shè)計(jì)根底網(wǎng)絡(luò)設(shè)計(jì)根底三、網(wǎng)絡(luò)訓(xùn)練與測(cè)試三、網(wǎng)絡(luò)訓(xùn)練與測(cè)試 網(wǎng)絡(luò)的性能好壞