修改李雅普諾夫穩(wěn)定性在BP神經(jīng)網(wǎng)絡(luò)收斂性的應(yīng)用

1、1基于李雅普諾夫函數(shù)的基于李雅普諾夫函數(shù)的BP神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)算法的收斂性分析算法的收斂性分析2論文信息論文信息文章來(lái)源：小型微型計(jì)算機(jī)系統(tǒng)學(xué)報(bào)時(shí) 間：2005年1月，第25卷 第1期作 者：張茂元、盧正鼎作者單位：華中科技大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院3論文結(jié)構(gòu)論文結(jié)構(gòu)1.引 言2.BP神經(jīng)網(wǎng)絡(luò)的概述3.利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的收斂性4.應(yīng) 用5.結(jié)束語(yǔ)4一一 引引 言言5引引 言言 本文針對(duì)前饋神經(jīng)網(wǎng)絡(luò)的自學(xué)習(xí)機(jī)制，采用李雅普諾夫函數(shù)來(lái)分析權(quán)值的收斂性，從而揭示BP神經(jīng)網(wǎng)絡(luò)算法朝最小誤差方向調(diào)整權(quán)值的內(nèi)在因素，并在分析單參數(shù)BP算法收斂性基礎(chǔ)上，提出單參數(shù)變調(diào)整法則的離散型BP神經(jīng)網(wǎng)

2、絡(luò)算法。 李雅普諾夫函數(shù)方法的特點(diǎn)是不用求解系統(tǒng)的動(dòng)態(tài)方程或分析參數(shù)特征根的實(shí)部的正負(fù)特性，直接利用狀態(tài)點(diǎn)處的廣義能量函數(shù)來(lái)判別系統(tǒng)的穩(wěn)定性。 人工神經(jīng)網(wǎng)絡(luò)是模擬大腦神經(jīng)系統(tǒng)的學(xué)習(xí)機(jī)理的一種智能算法，是智能信息處理系統(tǒng)的關(guān)鍵之一，這里主要探討基于時(shí)變輸入前饋神經(jīng)網(wǎng)絡(luò)的BP 學(xué)習(xí)算法收斂性，進(jìn)而分析單參數(shù)BP神經(jīng)網(wǎng)絡(luò)算法6引引 言言 的收斂性。 李雅普諾夫函數(shù)方法應(yīng)用于神經(jīng)網(wǎng)絡(luò)的穩(wěn)定分析，可用推導(dǎo)條件來(lái)保證權(quán)值的收斂性，這里將可以看到基于BP的學(xué)習(xí)算法具有收斂局部最小值的內(nèi)在特性。假如權(quán)值的初始值處于全局最小值或權(quán)值的分布有利于權(quán)值收斂于全局最小值，那么BP學(xué)習(xí)機(jī)制將使權(quán)值收斂到全局最小值。7

3、二 BP神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述8BP神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述 人工神經(jīng)網(wǎng)絡(luò)是在人類(lèi)對(duì)其大腦神經(jīng)網(wǎng)絡(luò)認(rèn)識(shí)的基礎(chǔ)上，人工構(gòu)造的能夠?qū)崿F(xiàn)非線(xiàn)性數(shù)學(xué)建模的網(wǎng)絡(luò)系統(tǒng)。 既然是模仿大腦神經(jīng)網(wǎng)絡(luò)就要像大腦一樣擁有神經(jīng)元，在數(shù)學(xué)建模中我們用如右圖所示的人工神經(jīng)元示意圖來(lái)模擬單個(gè)的人腦神經(jīng)元。模擬人腦神經(jīng)網(wǎng)絡(luò)則是由多個(gè)人工神經(jīng)元連接而成的網(wǎng)絡(luò)，它是一個(gè)多輸入、單輸出的非線(xiàn)性組件。9BP神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述上圖輸入輸出的關(guān)系式可以表示為：niii= 1I=wx-y = f（ I ） 式中，Xi是從其他神經(jīng)元傳來(lái)的輸入信號(hào)，或是來(lái)自外部的信息；Wi表示從神經(jīng)元i到本神經(jīng)元的連接權(quán)值，表示神經(jīng)元的連接強(qiáng)度，由神

4、經(jīng)元的學(xué)習(xí)過(guò)程確定；Wi0為神經(jīng)元的門(mén)限值；f(.)為激勵(lì)函數(shù)，一般為非線(xiàn)性函數(shù)。10BP神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述 為了使人工神經(jīng)網(wǎng)絡(luò)能夠解決復(fù)雜的非線(xiàn)性問(wèn)題，可以利用人工神經(jīng)元來(lái)模仿人類(lèi)腦神經(jīng)系統(tǒng)的網(wǎng)絡(luò)結(jié)構(gòu)，用人工神經(jīng)元可以構(gòu)成各種不同拓?fù)浣Y(jié)構(gòu)的神經(jīng)網(wǎng)絡(luò)，從而使其具有分布式的信息存儲(chǔ)方式和并行計(jì)算能力，實(shí)現(xiàn)任意非線(xiàn)性問(wèn)題的數(shù)學(xué)建模。目前就人工神經(jīng)網(wǎng)絡(luò)的連接形式而言，已有數(shù)十種不同的連接方式，其中前饋型和反饋型是典型的兩種結(jié)構(gòu)。11BP神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述 誤差反向傳播網(wǎng)絡(luò)（Error Bcak-Propagation Network，BP網(wǎng)絡(luò)） 是最典型的前饋型神經(jīng)網(wǎng)絡(luò)。 那么，BP網(wǎng)絡(luò)

5、如何逼近一個(gè)非線(xiàn)性函數(shù)？ 對(duì)于BP神經(jīng)網(wǎng)絡(luò)算法它是有學(xué)習(xí)、有訓(xùn)練過(guò)程的。任何一種算法給定時(shí)它的輸入值、閾值、激勵(lì)函數(shù)都隨之確定了；當(dāng)給定一個(gè)要逼近的非線(xiàn)性函數(shù)時(shí)，我們的輸出期望也就已知了；這時(shí)只有W值是未知的，我們是通過(guò)不斷的訓(xùn)練、迭代過(guò)程來(lái)精確W值，不斷的逼近W的真實(shí)值。 因此，對(duì)非線(xiàn)性函數(shù)的逼近就是一個(gè)求解權(quán)12BP神經(jīng)網(wǎng)絡(luò)概述神經(jīng)網(wǎng)絡(luò)概述 值W的過(guò)程。這就要求W是收斂的，而整過(guò)逼近過(guò)程是一個(gè)非線(xiàn)性過(guò)程，所以，可以用李雅普諾夫穩(wěn)定性來(lái)分析BP算法的收斂性。13三三 利用李雅普諾夫函數(shù)分析利用李雅普諾夫函數(shù)分析BP神神經(jīng)網(wǎng)絡(luò)的的收斂性經(jīng)網(wǎng)絡(luò)的的收斂性14利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的

6、收斂性 前面講過(guò)了，BP算法是一個(gè)不斷學(xué)習(xí)、不斷訓(xùn)練的過(guò)程。那么，這就涉及到一個(gè)迭代次數(shù)的問(wèn)題，到底要迭代幾次才算最優(yōu)結(jié)果呢？ 在這里我們就要有一個(gè)規(guī)則，利用這個(gè)規(guī)則來(lái)決定迭代的次數(shù)。 首先，神經(jīng)網(wǎng)絡(luò)的輸入、權(quán)值、期望輸出、和實(shí)際輸出為：15利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的收斂性 其中，X(t)表示神經(jīng)元的的輸入矢量，W(t)表示神經(jīng)元的權(quán)值矢量，yd(t)表示期望輸出矢量，y(t)表示神經(jīng)元的實(shí)際輸出矢量。T為矢量的轉(zhuǎn)置。在BP算法中用來(lái)控制迭代次數(shù)的規(guī)則利用誤差平方。誤差可以歸結(jié)為各權(quán)值的“過(guò)錯(cuò)”，我們用所求的誤差來(lái)調(diào)節(jié)權(quán)值W的訓(xùn)練過(guò)程，通過(guò)調(diào)整的權(quán)值求出新誤差，新誤差再來(lái)調(diào)整權(quán)值，

7、依次迭代下去，直到誤差值滿(mǎn)足我們的要求時(shí)所得到的權(quán)值W才是我們的最優(yōu)解。 誤差平方可以表示為：16利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的收斂性 如果用 表示某時(shí)間段的區(qū)間長(zhǎng)度，那該時(shí)間段的平均平方誤差可以如下表示:（2）（3） 公式（2）適合連續(xù)時(shí)間類(lèi)型的人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練，公式（3）用于離散類(lèi)型的人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練。有了終止條件，就要根據(jù)終止條件來(lái)決定是否調(diào)整權(quán)值，除了初始給權(quán)值賦值時(shí)是任意，以后每次改變權(quán)值都不是隨意的而是有一定的調(diào)整規(guī)則，且調(diào)整規(guī)則也不是任意給出的，給出的調(diào)整規(guī)則要有意義，即權(quán)值是收斂的。1()ttJed01lim( )( )tktJede k17利用李雅普諾夫函數(shù)分析BP神

8、經(jīng)網(wǎng)絡(luò)的的收斂性 采用如下的人工神經(jīng)網(wǎng)絡(luò)權(quán)值W調(diào)整方法，其中參數(shù)u，v大于零，I1為l*l階單位矩陣18利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的收斂性 定理定理：設(shè)人工神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)中的輸入輸出關(guān)系為y(t)=f(w(t),x(t)，其中x(t)是隱式表示的。如果滿(mǎn)足(5)式，那么w漸進(jìn)穩(wěn)定收斂到極小值， 能漸進(jìn)穩(wěn)定趨于0。 由定理可以看出來(lái)滿(mǎn)足(5)式的權(quán)值W的調(diào)整規(guī)則能使得權(quán)值是收斂的，下面我們用李雅普諾夫穩(wěn)定性來(lái)證明定理是成立的：Jw19利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的收斂性20利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的收斂性21利用李雅普諾夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的收斂性22利用李雅普諾

9、夫函數(shù)分析BP神經(jīng)網(wǎng)絡(luò)的的收斂性 因?yàn)槔钛牌罩Z夫函數(shù)V是正定，且V的導(dǎo)數(shù)V是負(fù)定的，由應(yīng)用于非自治系統(tǒng)的李雅普諾夫定理可知道滿(mǎn)足(5)式的權(quán)值W的解是漸進(jìn)穩(wěn)定收斂到極小值的。V在W的調(diào)整下是單調(diào)減小的，權(quán)值W可以逐漸穩(wěn)定收斂到局部最小值，此時(shí)不再進(jìn)行訓(xùn)練，自學(xué)習(xí)過(guò)程結(jié)束。 通過(guò)利用李雅普諾夫定理證明了(5)式給出的權(quán)值W的調(diào)整法則是有效的。23四 應(yīng) 用24應(yīng)應(yīng) 用用 針對(duì)上面提出的權(quán)值W的調(diào)整法則給出了一個(gè)實(shí)例： 單參數(shù)BP神經(jīng)網(wǎng)絡(luò)算法，是指多層前向神經(jīng)網(wǎng)絡(luò)在反向傳播誤差時(shí)，每次僅調(diào)整一個(gè)權(quán)值，其它參數(shù)不變。在分析權(quán)值收斂性時(shí)因僅調(diào)整權(quán)值Wi，所以 =0（當(dāng)j不等于i時(shí)）。調(diào)整法則(5)式簡(jiǎn)

10、化為：jJw25應(yīng)應(yīng) 用用26應(yīng)應(yīng) 用用27應(yīng)應(yīng) 用用 同理，V是正定的，V是負(fù)定的，所以Wi可以漸進(jìn)收斂到極小值。 從上面的權(quán)值Wi的收斂性分析可知，單參數(shù)BP神經(jīng)網(wǎng)絡(luò)算法僅調(diào)整一個(gè)權(quán)值，可以使該權(quán)值漸進(jìn)穩(wěn)定收斂到極小值；依次方法調(diào)整其它權(quán)值，逐步把它們收斂到各自的極小值。最終仍然可以得到最優(yōu)的一組權(quán)值解，完成對(duì)一個(gè)非線(xiàn)性函數(shù)的逼近。28五 結(jié)束語(yǔ)29結(jié)束語(yǔ) 文章利用了李雅普諾夫函數(shù)證明了(5)式提出的權(quán)值調(diào)整法則是有效，文中最后又對(duì)權(quán)值調(diào)整的步長(zhǎng)進(jìn)行了改進(jìn)：當(dāng)權(quán)值離極小值較遠(yuǎn)時(shí)，采用調(diào)整幅度大的調(diào)整法則來(lái)加快學(xué)習(xí)速度；當(dāng)權(quán)值離極小值較近時(shí)，采用調(diào)整幅度小的調(diào)整法則，來(lái)避免學(xué)習(xí)過(guò)程中的振蕩。

11、采用多個(gè)調(diào)整法則后，運(yùn)用前一個(gè)調(diào)整法則得到權(quán)值的最后結(jié)果就是運(yùn)用后一個(gè)調(diào)整法則的權(quán)值初值，由于都朝極小值方向收斂，因此權(quán)值最后漸進(jìn)穩(wěn)定收斂到極小值?？偨Y(jié)起來(lái)就是誤差較大時(shí)加大權(quán)值的調(diào)整步長(zhǎng)，當(dāng)誤差值較小時(shí)減小權(quán)值的調(diào)整步長(zhǎng)，即一種自適應(yīng)的步長(zhǎng)調(diào)整方法。30結(jié)束語(yǔ) 本文主要的貢獻(xiàn)是，一是通過(guò)利用李雅普諾夫定理對(duì)BP神經(jīng)網(wǎng)絡(luò)算法的收斂性進(jìn)行了分析，證明了BP神經(jīng)網(wǎng)絡(luò)算法確實(shí)具有朝最小誤差方向調(diào)整權(quán)值的內(nèi)在因素；二是提出了自適應(yīng)的步長(zhǎng)調(diào)整想法。31論文心得論文心得32論文心得 這篇文章除了有一些文本上的編輯錯(cuò)誤外，它的整體結(jié)構(gòu)有點(diǎn)單薄、內(nèi)容也不是特別豐富，并且對(duì)知識(shí)點(diǎn)的鋪墊工作做得不足、文章可讀性差。對(duì)于沒(méi)有掌握人工神經(jīng)網(wǎng)絡(luò)算法和李雅普諾夫穩(wěn)定性原理的讀者來(lái)說(shuō)，看這篇文章是有點(diǎn)難度的；但它主要給我們提供了一種思想，就是學(xué)科交叉的思想，也是在啟發(fā)我們?nèi)绾螌W(xué)習(xí)一門(mén)課程。學(xué)習(xí)任何一個(gè)學(xué)科不是看你閱讀了多少文獻(xiàn)、掌握多少定理、定義、公式推導(dǎo)，而是在于是否掌握了這門(mén)學(xué)科的思想，學(xué)會(huì)它的思維方式，并能用它的思想和思維方式來(lái)指導(dǎo)今后的學(xué)習(xí)和工程實(shí)踐，不要將思維方式局限于本學(xué)科，要學(xué)會(huì)融會(huì)貫通，并可以把它滲透到其他學(xué)科中，就