人工智能與神經(jīng)網(wǎng)絡(luò)-前向網(wǎng)絡(luò)(3)課件

前饋網(wǎng)絡(luò)

2.5.5BP算法的問(wèn)題1.BP算法的問(wèn)題BP模型具有良好的逼近與學(xué)習(xí)特性,實(shí)現(xiàn)簡(jiǎn)單,因此得到廣泛重視,并迅速走向應(yīng)用.但BP算法在應(yīng)用中依然存在不少問(wèn)題,如:學(xué)習(xí)參數(shù)的選取初始權(quán)值的選取;學(xué)習(xí)速率的選取;期望誤差的選取.2.5.5BP算法的問(wèn)題結(jié)構(gòu)設(shè)計(jì)網(wǎng)絡(luò)的層數(shù);隱含層的神經(jīng)元數(shù);

數(shù)據(jù)標(biāo)準(zhǔn)化收斂性問(wèn)題欠擬合與過(guò)擬合問(wèn)題2.5.5BP算法的問(wèn)題A.學(xué)習(xí)參數(shù)的選取A1.

初始權(quán)值的選取BP算法決定了誤差函數(shù)一般存在（很）多個(gè)局部極小點(diǎn)，不同的網(wǎng)絡(luò)初始權(quán)值直接決定了BP算法收斂于哪個(gè)局部極小點(diǎn)或是全局極小點(diǎn)。因此網(wǎng)絡(luò)權(quán)值的初始化決定了訓(xùn)練從誤差曲面的哪一點(diǎn)開始,很重要。2.5.5BP算法的問(wèn)題神經(jīng)元的激活函數(shù)多是關(guān)于零點(diǎn)對(duì)稱的函數(shù),為了加快訓(xùn)練速度和防止網(wǎng)絡(luò)癱瘓,初始權(quán)值應(yīng)選擇在使各節(jié)點(diǎn)的初始凈輸入落在函數(shù)的零點(diǎn)附近。一般取初始權(quán)值在(-1,1)之間或更小范圍的隨機(jī)數(shù).2.5.5BP算法的問(wèn)題A2.學(xué)習(xí)速率學(xué)習(xí)速率決定每一次循環(huán)訓(xùn)練中所產(chǎn)生的權(quán)值變化量.大的學(xué)習(xí)速率可能導(dǎo)致系統(tǒng)的不穩(wěn)定;但小的學(xué)習(xí)速率導(dǎo)致較長(zhǎng)的訓(xùn)練時(shí)間,可能收斂很慢;一般情況下傾向于選取較小的學(xué)習(xí)速率以保證系統(tǒng)的穩(wěn)定性;學(xué)習(xí)速率的選取范圍在0.01~0.8之間.2.5.5BP算法的問(wèn)題對(duì)于較復(fù)雜的網(wǎng)絡(luò),在誤差曲面的不同部位可能需要不同的學(xué)習(xí)速率.為了減少尋找學(xué)習(xí)速率的訓(xùn)練次數(shù)以及訓(xùn)練時(shí)間,比較合適的方法是采用變化的自適應(yīng)學(xué)習(xí)速率,使網(wǎng)絡(luò)的訓(xùn)練在不同的階段設(shè)置不同大小的學(xué)習(xí)速率.對(duì)已知如下二階偏導(dǎo)則由非線性數(shù)值優(yōu)化牛頓法的思想,有BP算法的學(xué)習(xí)速率一般應(yīng)滿足：<opt2.5.5BP算法的問(wèn)題A3.期望誤差的選取在設(shè)計(jì)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中,期望誤差值也應(yīng)當(dāng)通過(guò)對(duì)比訓(xùn)練后確定一個(gè)合適的值,這個(gè)所謂的“合適”,是相對(duì)于所需要的隱含層的節(jié)點(diǎn)數(shù)來(lái)確定的。一般情況下,作為對(duì)比,可以同時(shí)對(duì)兩個(gè)不同期望誤差值的網(wǎng)絡(luò)進(jìn)行訓(xùn)練,最后通過(guò)綜合因素的考慮來(lái)確定采用其中一個(gè)網(wǎng)絡(luò).2.5.5BP算法的問(wèn)題

B.結(jié)構(gòu)設(shè)計(jì)BP網(wǎng)絡(luò)的訓(xùn)練就是通過(guò)應(yīng)用誤差反傳原理不斷調(diào)整網(wǎng)絡(luò)權(quán)值使網(wǎng)絡(luò)模型輸出值與已知的訓(xùn)練樣本輸出值之間的誤差平方和達(dá)到最小或小于某一閾值。雖然理論上早已經(jīng)證明：具有1個(gè)隱層（采用S轉(zhuǎn)換函數(shù)）的BP網(wǎng)絡(luò)可實(shí)現(xiàn)對(duì)任意函數(shù)的任意逼近。但遺憾的是，迄今為止還沒有構(gòu)造性結(jié)論，即在給定有限個(gè)（訓(xùn)練）樣本的情況下，如何設(shè)計(jì)一個(gè)合理的BP網(wǎng)絡(luò)模型并通過(guò)向所給的有限個(gè)樣本的學(xué)習(xí)（訓(xùn)練）來(lái)滿意地逼近樣本所蘊(yùn)含的規(guī)律的問(wèn)題，目前在很大程度上還需要依靠設(shè)計(jì)者的經(jīng)驗(yàn)。因此，通過(guò)訓(xùn)練樣本的學(xué)習(xí)（訓(xùn)練）建立合理的BP神經(jīng)網(wǎng)絡(luò)模型的過(guò)程，在國(guó)外被稱為“藝術(shù)創(chuàng)造的過(guò)程”，是一個(gè)復(fù)雜而又十分煩瑣和困難的過(guò)程。

2.5.5BP算法的問(wèn)題B1.網(wǎng)絡(luò)的層數(shù)增加層數(shù)可以進(jìn)一步的降低誤差,提高精度,但同時(shí)也使網(wǎng)絡(luò)復(fù)雜化.另外不能用僅具有非線性激活函數(shù)的單層網(wǎng)絡(luò)來(lái)解決問(wèn)題.因?yàn)閷?duì)于只能用非線性函數(shù)解決的問(wèn)題,單層精度又不夠高,也只有增加層才能達(dá)到期望的結(jié)果.

一般認(rèn)為，增加隱層數(shù)可以降低網(wǎng)絡(luò)誤差，提高精度，但也使網(wǎng)絡(luò)復(fù)雜化，從而增加了網(wǎng)絡(luò)的訓(xùn)練時(shí)間和出現(xiàn)“過(guò)擬合”的傾向。Hornik等早已證明：若輸入層和輸出層采用線性轉(zhuǎn)換函數(shù)，隱層采用Sigmoid轉(zhuǎn)換函數(shù)，則含一個(gè)隱層的NN模型能夠以任意精度逼近任何有理函數(shù)。顯然，這是一個(gè)存在性結(jié)論。在設(shè)計(jì)BP網(wǎng)絡(luò)時(shí)可參考這一點(diǎn)，應(yīng)優(yōu)先考慮3層BP網(wǎng)絡(luò)（即有1個(gè)隱層）。一般地，靠增加隱層節(jié)點(diǎn)數(shù)來(lái)獲得較低的誤差，其訓(xùn)練效果要比增加隱層數(shù)更容易實(shí)現(xiàn)。2.5.5BP算法的問(wèn)題2.5.5BP算法的問(wèn)題B2.隱含層神經(jīng)元數(shù)網(wǎng)絡(luò)訓(xùn)練精度的提高,可以通過(guò)采用一個(gè)隱含層,而增加其神經(jīng)元數(shù)的方法來(lái)獲得,這在結(jié)構(gòu)實(shí)現(xiàn)上,要比增加更多的隱含層要簡(jiǎn)單的多.為了對(duì)隱含層神經(jīng)元數(shù)在網(wǎng)絡(luò)設(shè)計(jì)時(shí)所起的的作用有一個(gè)比較深入的理解,下面先給出一個(gè)有代表性的實(shí)例,然后從中得出幾點(diǎn)結(jié)論.例用3層BP網(wǎng)絡(luò)實(shí)現(xiàn)“異或”功能.網(wǎng)絡(luò)要實(shí)現(xiàn)如下的輸入/輸出功能:2.5.5BP算法的問(wèn)題對(duì)于一個(gè)二元輸入網(wǎng)絡(luò)來(lái)說(shuō),神經(jīng)元數(shù)即為分割線數(shù).所以隱含層神經(jīng)元數(shù)應(yīng)

2.在此例中,隱含層中神經(jīng)元數(shù)為多少時(shí)最佳？我們針對(duì)sl=2,3,4,5,6以及為20、25和30時(shí)對(duì)網(wǎng)絡(luò)進(jìn)行設(shè)計(jì).選擇誤差目標(biāo)為err_goal=0.02,并通過(guò)對(duì)網(wǎng)絡(luò)訓(xùn)練時(shí)所需的循環(huán)次數(shù)和訓(xùn)練時(shí)間的情況來(lái)觀察網(wǎng)絡(luò)求解效果.整個(gè)網(wǎng)絡(luò)的訓(xùn)練結(jié)果如表1所示.

2.5.5BP算法的問(wèn)題表1隱含層神經(jīng)元數(shù)時(shí)的網(wǎng)絡(luò)訓(xùn)練結(jié)果Sl時(shí)間(秒)循環(huán)次數(shù)25.7111834.409044.398854.458564.6285203.5768254.0672305.11962.5.5BP算法的問(wèn)題我們?cè)u(píng)價(jià)一個(gè)網(wǎng)絡(luò)設(shè)計(jì)的好壞,首先是它的精度,再一個(gè)就是訓(xùn)練時(shí)間.從表1可以看出下面幾種情況:神經(jīng)元數(shù)太少,網(wǎng)絡(luò)不能很好的學(xué)習(xí),需要訓(xùn)練的次數(shù)也多,訓(xùn)練精度也不高;一般而言,網(wǎng)絡(luò)隱含層神經(jīng)元的個(gè)數(shù)sl越多,功能越大,但當(dāng)神經(jīng)元數(shù)太多,會(huì)產(chǎn)生其它的問(wèn)題.當(dāng)sl=3,4,5時(shí),其輸出精度都相仿,而sl=3時(shí)的訓(xùn)練次數(shù)最多.一般的講,網(wǎng)絡(luò)sl的選擇原則是:在能夠解決問(wèn)題的前提下,再加上一個(gè)到兩個(gè)神經(jīng)元以加快誤差的下降速度即可.在BP網(wǎng)絡(luò)中，隱層節(jié)點(diǎn)數(shù)的選擇非常重要，它不僅對(duì)建立的神經(jīng)網(wǎng)絡(luò)模型的性能影響很大，而且是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的直接原因，但是目前理論上還沒有一種科學(xué)的和普遍的確定方法。目前多數(shù)文獻(xiàn)中提出的確定隱層節(jié)點(diǎn)數(shù)的計(jì)算公式都是針對(duì)訓(xùn)練樣本任意多的情況，而且多數(shù)是針對(duì)最不利的情況，一般工程實(shí)踐中很難滿足，不宜采用。事實(shí)上，各種計(jì)算公式得到的隱層節(jié)點(diǎn)數(shù)有時(shí)相差幾倍甚至上百倍。為盡可能避免訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”現(xiàn)象，保證足夠高的網(wǎng)絡(luò)性能和泛化能力，確定隱層節(jié)點(diǎn)數(shù)的最基本原則是：在滿足精度要求的前提下取盡可能緊湊的結(jié)構(gòu)，即取盡可能少的隱層節(jié)點(diǎn)數(shù)。研究表明，隱層節(jié)點(diǎn)數(shù)不僅與輸入/輸出層的節(jié)點(diǎn)數(shù)有關(guān)，更與需解決的問(wèn)題的復(fù)雜程度和轉(zhuǎn)換函數(shù)的類型以及樣本數(shù)據(jù)的特性等因素有關(guān)。2.5.5BP算法的問(wèn)題2.5.5BP算法的問(wèn)題總之，若隱層節(jié)點(diǎn)數(shù)太少，網(wǎng)絡(luò)可能根本不能訓(xùn)練或網(wǎng)絡(luò)性能很差；若隱層節(jié)點(diǎn)數(shù)太多，雖然可使網(wǎng)絡(luò)的系統(tǒng)誤差減小，但一方面使網(wǎng)絡(luò)訓(xùn)練時(shí)間延長(zhǎng)，另一方面，訓(xùn)練容易陷入局部極小點(diǎn)而得不到最優(yōu)點(diǎn)，也是訓(xùn)練時(shí)出現(xiàn)“過(guò)擬合”的內(nèi)在原因。2.5.5BP算法的問(wèn)題C.數(shù)據(jù)標(biāo)準(zhǔn)化問(wèn)題對(duì)樣本數(shù)據(jù),尤其是函數(shù)逼近類問(wèn)題,存在數(shù)據(jù)標(biāo)準(zhǔn)化,即數(shù)據(jù)規(guī)范化問(wèn)題。2.5.5BP算法的問(wèn)題D.收斂性與局部極小值問(wèn)題對(duì)于多層網(wǎng)絡(luò),誤差曲面可能存在平坦區(qū)域或含有多個(gè)不同的局部極小值（多峰函數(shù)）。平坦區(qū)域在這個(gè)區(qū)域中,誤差的梯度變化很小,誤差下降緩慢。BP算法是嚴(yán)格遵循誤差梯度下降的原則調(diào)整權(quán)值的,訓(xùn)練進(jìn)入平坦區(qū)后,盡管d–y仍然很大,權(quán)值的調(diào)整量仍是很小,盡管計(jì)算調(diào)整的方向正確,也必需以增加迭代次數(shù)為代價(jià),才可能退出平坦區(qū)而進(jìn)入某個(gè)谷點(diǎn)。2.5.5BP算法的問(wèn)題存在多個(gè)局部極小點(diǎn)在高維權(quán)空間中,誤差曲面如同連綿起伏的山脈,存在許多極小點(diǎn)。多數(shù)極小點(diǎn)是局部的極小,即使全局極小往往也不是唯一的。2.5.5BP算法的問(wèn)題對(duì)于多峰函數(shù),梯度下降可能陷入局部極小值中的任何一個(gè).對(duì)于多層網(wǎng)絡(luò),BP算法僅能保證收斂到誤差E的某個(gè)局部極小值,不一定收斂到全局最小誤差;盡管缺乏對(duì)收斂到全局最小誤差的保證,BP算法在實(shí)踐中仍是非常有效的函數(shù)逼近算法.用來(lái)緩解局部極小值問(wèn)題的啟發(fā)式規(guī)則為梯度更新法則加一個(gè)沖量,可以帶動(dòng)梯度下降過(guò)程,沖過(guò)狹窄的局部極小值.2.5.5BP算法的問(wèn)題使用同樣的數(shù)據(jù)訓(xùn)練多個(gè)網(wǎng)絡(luò),但用不同的隨機(jī)權(quán)值初始化每個(gè)網(wǎng)絡(luò).如果不同的訓(xùn)練產(chǎn)生不同的局部極小值,那么對(duì)分離的驗(yàn)證集合性能最好的那個(gè)網(wǎng)絡(luò)將被選中,或者保留所有的網(wǎng)絡(luò),輸出是所有網(wǎng)絡(luò)輸出的平均值.2.5.5BP算法的問(wèn)題E.欠擬合(Underfitting)與過(guò)擬合(Over-fitting)所謂欠擬合問(wèn)題2.5.5BP算法的問(wèn)題所謂過(guò)擬合問(wèn)題2.5.5BP算法的問(wèn)題欠擬合得到的擬合曲線對(duì)噪聲、誤差的敏感性小,但對(duì)學(xué)習(xí)樣本的擬合誤差大。過(guò)擬合得到的擬合曲線對(duì)噪聲、誤差的敏感性大,但對(duì)學(xué)習(xí)樣本的擬合誤差小。在學(xué)習(xí)訓(xùn)練中,產(chǎn)生過(guò)擬合現(xiàn)象比較普遍,也帶來(lái)較大的危害。2.5.5BP算法的問(wèn)題下面的多項(xiàng)式函數(shù)擬合例子清楚地說(shuō)明,模型過(guò)于復(fù)雜、訓(xùn)練過(guò)度帶來(lái)的過(guò)擬合現(xiàn)象。被擬合函數(shù)與樣本數(shù)據(jù)得到的不同階的多項(xiàng)式擬合函數(shù)2.5.5BP算法的問(wèn)題得到的不同階的多項(xiàng)式擬合函數(shù)各階多項(xiàng)式擬合函數(shù)的擬合誤差的均方差2.5.5BP算法的問(wèn)題Degree1Degree5Degree10Degree152.5.5BP算法的問(wèn)題究其原因,產(chǎn)生過(guò)擬合是因?yàn)椋河捎趯?duì)樣本數(shù)據(jù),可能存在隱單元的表示不唯一,即產(chǎn)生的分類的決策面不唯一.隨著學(xué)習(xí)的進(jìn)行,BP算法使權(quán)值可能收斂過(guò)于復(fù)雜的決策面,并至極致.權(quán)值學(xué)習(xí)迭代次數(shù)足夠多(Overtraining),擬合了訓(xùn)練數(shù)據(jù)中的噪聲和訓(xùn)練樣例中沒有代表性的特征.2.5.5BP算法的問(wèn)題過(guò)度擬合解決方法權(quán)值衰減它在每次迭代過(guò)程中以某個(gè)小因子降低每個(gè)權(quán)值,這等效于修改E的定義,加入一個(gè)與網(wǎng)絡(luò)權(quán)值的總量相應(yīng)的懲罰項(xiàng),此方法的動(dòng)機(jī)是保持權(quán)值較小,從而使學(xué)習(xí)過(guò)程向著復(fù)雜決策面的反方向偏。適當(dāng)?shù)膕toppingcriterion2.5.5BP算法的問(wèn)題修改誤差函數(shù).修改誤差函數(shù)的定義也是防止過(guò)擬合的有效辦法.順便指出,過(guò)擬合問(wèn)題在其它NN模型中也依然存在.2.5.6BP算法的改進(jìn)1.BP算法的改進(jìn)BP模型雖然具有良好的逼近與學(xué)習(xí)特性,但也存在如下問(wèn)題：需要較長(zhǎng)的訓(xùn)練時(shí)間這主要是由于學(xué)習(xí)速率太小所造成的.可采用變化的學(xué)習(xí)速率或自適應(yīng)的學(xué)習(xí)速率來(lái)加以改進(jìn).完全不能訓(xùn)練這主要表現(xiàn)在網(wǎng)絡(luò)的麻痹上.通常為了避免這種情況的產(chǎn)生,一是選取較小的初始權(quán)值,二是采用較小的學(xué)習(xí)速率.2.5.6BP算法的改進(jìn)局部最小值采用多層網(wǎng)絡(luò)或較多的神經(jīng)元,有可能得到更好的結(jié)果.針對(duì)上述的BP算法的限制與不足,許多研究者對(duì)BP算法進(jìn)行了改進(jìn).BP算法改進(jìn)的主要目標(biāo)是為了加快訓(xùn)練速度；避免陷入局部極小值；加強(qiáng)魯棒性,避免過(guò)擬合和；改善其它能力.2.5.6BP算法的改進(jìn)下面只討論前兩種性能的改進(jìn)方法的有關(guān)內(nèi)容.帶動(dòng)量因子算法;自適應(yīng)學(xué)習(xí)速率;高階收斂方法;與其它方法交互使用;作用函數(shù)后縮法;改變性能指標(biāo)函數(shù);……2.5.6BP算法的改進(jìn)A.帶動(dòng)量因子算法該方法是在BP算法的基礎(chǔ)上在每一個(gè)權(quán)值的變化上加上一項(xiàng)正比于前次權(quán)值變化的值,并根據(jù)BP算法來(lái)產(chǎn)生新的權(quán)值變化.帶有附加動(dòng)量因子的權(quán)值調(diào)節(jié)公式為:其中為學(xué)習(xí)速率,即步長(zhǎng),=0.1~0.4左右;

為權(quán)系數(shù)修正常數(shù),取0.7~0.9左右.2.5.6BP算法的改進(jìn)附加動(dòng)量法的實(shí)質(zhì)是將最后一次權(quán)值變化的影響,通過(guò)一個(gè)動(dòng)量因子來(lái)傳遞.以此方式,當(dāng)增加動(dòng)量項(xiàng)后,促使權(quán)值的調(diào)節(jié)向著誤差曲面底部的平均方向變化,當(dāng)網(wǎng)絡(luò)權(quán)值進(jìn)入誤差曲面底部的平坦區(qū)時(shí),

i將變得很小,于是從而防止了的出現(xiàn),有助于使網(wǎng)絡(luò)從誤差曲面的局部極小值中跳出.2.5.6BP算法的改進(jìn)B.自適應(yīng)學(xué)習(xí)速率對(duì)于一個(gè)特定的問(wèn)題,要選擇適當(dāng)?shù)膶W(xué)習(xí)速率并不是一件容易的事情.對(duì)訓(xùn)練開始初期功效很好地學(xué)習(xí)速率,不見得對(duì)后來(lái)的訓(xùn)練合適.為了解決值一問(wèn)題,人們自然會(huì)想到在訓(xùn)練過(guò)程中自動(dòng)調(diào)整學(xué)習(xí)速率.下面給出一個(gè)自適應(yīng)學(xué)習(xí)速率的調(diào)整公式:或者初期選擇學(xué)習(xí)速率大一些，接近收斂的后期學(xué)習(xí)速率減小.其中初始學(xué)習(xí)速率(0)的選取范圍可以有很大的隨意性.2.5.6BP算法的改進(jìn)學(xué)習(xí)速率的局部調(diào)整法基于如下的幾個(gè)直觀的推斷:目標(biāo)函數(shù)中的每一個(gè)網(wǎng)絡(luò)可調(diào)參數(shù)有獨(dú)立的學(xué)習(xí)速率;每一步迭代中,每個(gè)學(xué)習(xí)速率參數(shù)都可能改變;在連續(xù)幾次迭代中,若目標(biāo)函數(shù)對(duì)某個(gè)權(quán)導(dǎo)數(shù)的符號(hào)相同,則這個(gè)權(quán)的學(xué)習(xí)速率要增加;在連續(xù)幾次迭代中,若目標(biāo)函數(shù)對(duì)某個(gè)權(quán)導(dǎo)數(shù)的符號(hào)相反,則這個(gè)權(quán)的學(xué)習(xí)速率要減小.2.5.6BP算法的改進(jìn)C.高階收斂方法BP算法采用目標(biāo)函數(shù)的一階負(fù)梯度方向來(lái)訓(xùn)練網(wǎng)絡(luò),從數(shù)值優(yōu)化的角度來(lái)說(shuō),這類數(shù)值算法為一階收斂(線性收斂)的.當(dāng)進(jìn)行高維輸入模式的數(shù)據(jù)分類和識(shí)別時(shí)，需要引入大量隱層節(jié)點(diǎn)，影響B(tài)P訓(xùn)練時(shí)間。若對(duì)進(jìn)行網(wǎng)絡(luò)訓(xùn)練的一階負(fù)梯度方向進(jìn)行修正,則可以取得高于一階收斂的快速收斂算法.如,牛頓法共軛梯度法等.這類方法的困難性在于如何構(gòu)造計(jì)算簡(jiǎn)便的對(duì)負(fù)梯度方向進(jìn)行修正的方向矩陣.2.5.6BP算法的改進(jìn)D.與其它方法交互使用BP算法存在收斂慢、易落于局部極值點(diǎn)。為提高BP算法的收斂速度,提高算法的全局收斂性,可以將其與其他算法交互使用。如SimulatedAnnealingGeneticAlgorithms/EvolutionaryStrategies第三章反饋神經(jīng)網(wǎng)絡(luò)聯(lián)想特性是ANN的一個(gè)重要特性。前面介紹的網(wǎng)絡(luò)模型屬于前向NN，從學(xué)習(xí)的角度看，具有較強(qiáng)的學(xué)習(xí)能力，結(jié)構(gòu)簡(jiǎn)單，易于編程。從系統(tǒng)角度看，屬于靜態(tài)的非線性映射，通過(guò)簡(jiǎn)單的非線性處理單元的復(fù)合映射可獲得復(fù)雜的非線性處理能力。但他們因此缺乏反饋，所以并不是強(qiáng)有力的動(dòng)力學(xué)系統(tǒng)。聯(lián)想特性是ANN的一個(gè)重要特性，主要包括聯(lián)想映射和聯(lián)想記憶。前饋網(wǎng)絡(luò)具有誘人的聯(lián)想映射能力，而不具備聯(lián)想記憶能力。在反饋NN中，我們將著重介紹NN的聯(lián)想記憶能力。反饋網(wǎng)絡(luò)(Recu