神經(jīng)網(wǎng)絡(luò)的Levenberg-Marquardt算法研究

1、摘神經(jīng)絡(luò)的 Levenberg-Marquardt 法研究要：本文主要介紹 LM(Levenberg-Marquardt)經(jīng)網(wǎng)絡(luò)算法，LM 算法是梯度下降法和高斯牛頓法的結(jié)合，這種神經(jīng)網(wǎng)絡(luò)算法綜合了這兩種方法的優(yōu)點(diǎn)， 在一定程度上克服了基本的 BP 網(wǎng)絡(luò)收斂速度慢和容易陷入局部最小點(diǎn)等問題。對(duì) LM 算法的計(jì)算步驟作了簡(jiǎn)要的闡述。最后介紹了 神經(jīng)網(wǎng)絡(luò)算法再監(jiān)督控制上的 應(yīng)用。關(guān)鍵詞：神經(jīng)網(wǎng)絡(luò)；LM 算法；計(jì)算步驟；監(jiān)督控制0 引言神經(jīng)網(wǎng)絡(luò) BP 學(xué)習(xí)算法在理論上具有逼近任意非線性連續(xù)映射的能力，在非線 性系統(tǒng)的建模及控制領(lǐng)域里有著廣泛的應(yīng)用。然而 算法存在一些不足，主要是 收斂速度很慢；往往收

2、斂于局部極小點(diǎn)；數(shù)值穩(wěn)定性差，學(xué)習(xí)率、動(dòng)量項(xiàng)系數(shù)和初 始權(quán)值等參數(shù)難以調(diào)整，非線性神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法 可以有效地克服 BP 算法所存 在的這些缺陷1。LM 算法是高斯牛頓法和最速下降法的結(jié)合，具有高斯牛頓法的局部收斂 性和梯度下降法的全局特性。它通過自適應(yīng)調(diào)整阻尼因子來達(dá)到收斂特性，具有更 高的迭代收斂速度，在很多非線性優(yōu)化問題中得到了穩(wěn)定可靠解。在 算法的計(jì) 算過程中，初值是一個(gè)很重要的因素。若選擇的初值 接近真值時(shí)，收斂速度很 快且能夠得到全局最優(yōu)解，但如果初值遠(yuǎn)離真解時(shí)，優(yōu)化結(jié)果往往過早的陷入局部 最優(yōu)解從而得到的結(jié)果完全背離真解。要解決該問題，一是通過得到大量的原始信 息來對(duì)真值有一個(gè)較

3、準(zhǔn)確的估計(jì)，但這在實(shí)際問題中往往不太可能達(dá)到；另外就是 選擇一種合理的全局最優(yōu)化算法與其相結(jié)合，消除 算法對(duì)初值的依賴且具有很 快的收斂速度2。1 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)具有高度的自學(xué)習(xí)、自組織和自適應(yīng)能力，能通過學(xué)習(xí)和訓(xùn)練獲取 網(wǎng)絡(luò)的權(quán)值和結(jié)構(gòu)。多層前向神經(jīng)網(wǎng)絡(luò)具有理論上可逼近任意非線性連續(xù)映射的能 力，因而非常適合于非線性系統(tǒng)的建模及控制，是目前使用較多的一種神經(jīng)網(wǎng)絡(luò)模 型3。BP 網(wǎng)絡(luò)(Back Propagation Network)稱為誤差反向傳播神經(jīng)網(wǎng)絡(luò)，它是一種 能朝著滿足給定的輸入/輸出關(guān)系方向進(jìn)行自組織的神經(jīng)網(wǎng)絡(luò)，其典型的結(jié)構(gòu)圖如 圖 1 所示，由三部分組成：輸入層、隱含層、輸出層

4、，三部分之間通過各層節(jié)點(diǎn)之 間的連接權(quán)依次前向連接。目前，在人工神經(jīng)網(wǎng)絡(luò)的實(shí)際應(yīng)用中，絕大部分的神經(jīng) 網(wǎng)絡(luò)模型是采用 BP 網(wǎng)絡(luò)和它的變化形式，它也是前饋型網(wǎng)絡(luò)的核心部分，并體現(xiàn) 了人工神經(jīng)網(wǎng)絡(luò)最精華的部分。BP 網(wǎng)絡(luò)主要應(yīng)用于函數(shù)逼近、模式識(shí)別、分類以 及數(shù)據(jù)壓縮中。BP 網(wǎng)絡(luò)用于函數(shù)逼近就是用輸入矢量和相應(yīng)的輸出矢量訓(xùn)練一個(gè) 網(wǎng)絡(luò)逼近一個(gè)函數(shù)，即可實(shí)現(xiàn)從輸入到輸出的任意的非線性映射。在確定了 BP 網(wǎng) 絡(luò)的結(jié)構(gòu)后，利用輸入/輸出樣本集進(jìn)行學(xué)習(xí)訓(xùn)練，也就是對(duì)網(wǎng)絡(luò)的權(quán)值和偏差進(jìn) 行學(xué)習(xí)和調(diào)整，使網(wǎng)絡(luò)實(shí)現(xiàn)給定的輸入/輸出映射關(guān)系，完成對(duì)系統(tǒng)的辨識(shí)。經(jīng)過 訓(xùn)練的 BP 網(wǎng)絡(luò)，對(duì)于不是訓(xùn)練樣本集中的

5、輸入也能給出合適的輸出，這種性質(zhì)就 是所謂的泛化能力。在實(shí)際應(yīng)用中，原始的 BP 算法很難勝任，存在許多不足之處，主要是訓(xùn)練時(shí) 間長(zhǎng)，收斂速度很慢，往往收斂于局部極小點(diǎn)，其數(shù)值穩(wěn)定性差，初始權(quán)值、學(xué)習(xí) 率和動(dòng)量項(xiàng)系數(shù)等參數(shù)難以調(diào)整4。圖 1 BP 網(wǎng)絡(luò)模型結(jié)構(gòu)2 LM 算法原理原始的 BP 學(xué)習(xí)算法是梯度下降法。參數(shù)沿著與誤差梯度相反的方向移動(dòng)，使 誤差函數(shù)減小，直到取得極小值，它的計(jì)算的復(fù)雜度主要是由計(jì)算偏導(dǎo)數(shù)引起的。 但是，這種基于梯度下降方法的線性收斂速度很慢。而 算法是一種利用標(biāo)準(zhǔn)的 數(shù)值優(yōu)化技術(shù)的快速算法，它是梯度下降法與高斯牛頓法的結(jié)合，也可以稱為是 高斯牛頓法的改進(jìn)形式，既有高斯

6、牛頓法的局部收斂性，又具有梯度法的全局 特性。由于 LM 算法利用了近似的二階導(dǎo)數(shù)信息，所以 算法比梯度法快得多 5。下面對(duì) LM 算法作簡(jiǎn)要闡述：設(shè)誤差指標(biāo)函數(shù)為（1）式中：期望的網(wǎng)絡(luò)輸出向量；實(shí)際的網(wǎng)絡(luò)輸出向量；P樣本數(shù)目；w網(wǎng)絡(luò)權(quán)值和閾值所組成的向量； 誤差。設(shè)表示第 k 次迭代的權(quán)值和閾值所組成的向量，新的權(quán)值和閾值所組成的向量 為。在 LM 方法中，權(quán)值增量計(jì)算公式如下：（2）式中：I單位矩陣；用戶定義的學(xué)習(xí)率；Jacobian 矩陣，即：從(2)式可看出，如果比例系數(shù)=0，則為高斯牛頓法；如果取值很大，則 LM 算法接近梯度下降法，每迭代成功一步，則減小一些，這樣在接近誤差目標(biāo)的時(shí)

7、候，逐漸與高斯牛頓法相似。高斯牛頓法 在接近誤差的最小值的時(shí)候，計(jì)算速度更快，精度也更高。由于 算法利用了近 似的二階導(dǎo)數(shù)信息，它比梯度下降法快得多，實(shí)踐證明，采用 算法可以較原來 的梯度下降法提高速度幾十甚至上百倍。另外由于是正定的，所以(2)式的解總是存在的，從這個(gè)意義上說， 算法也優(yōu)于高斯牛 頓法，因?yàn)閷?duì)于高斯牛頓法來說，是否滿秩還是個(gè)潛在的問題。在實(shí)際的操作中，是一個(gè)試探性的參數(shù)，對(duì)于給定的，如果求得的能使誤差指標(biāo)函數(shù)降低，則降低；反之，則增加。用(2)式修改一次權(quán)值和閾值時(shí)需要求 階的代數(shù)方程（n 為網(wǎng)絡(luò)中權(quán)值數(shù) 目）。LM 算法的計(jì)算復(fù)雜度為，若 n 很大，則計(jì)算量和存儲(chǔ)量都非常大

8、。然而，每次迭代效率的顯著提高，可大 大改善其整體性能，特別是在精度要求高的時(shí)候4。3 LM 算法的計(jì)算步驟LM 算法的計(jì)算步驟描述如下：1)給出訓(xùn)練誤差允許值，常數(shù)和( 0 1) ，并且初始化權(quán)值和閾值向量，令 k =0,=；2)計(jì)算網(wǎng)絡(luò)輸出及誤差指標(biāo)函數(shù)；3)計(jì)算 Jacobian 矩陣；4)計(jì)算；5)若，轉(zhuǎn)到(7)；6)以為權(quán)值和閾值向量，計(jì)算誤差指標(biāo)函數(shù)，若，則令，轉(zhuǎn)到 2)，否則，轉(zhuǎn)到 4)。7)算法結(jié)束6。4 基于 LM 算法的神經(jīng)網(wǎng)絡(luò)監(jiān)督控制策略在傳統(tǒng)的比例、積分及微分(簡(jiǎn)稱 PID)控制器的基礎(chǔ)上，增加一個(gè)神經(jīng)網(wǎng)絡(luò) 控制器，如圖 2 所示。此時(shí)，神經(jīng)網(wǎng)絡(luò)控制器實(shí)際是一個(gè)前饋控制

9、器，因此建立的 是被控對(duì)象的逆模型。其中，常規(guī)控制器可用作保證系統(tǒng)的穩(wěn)定性，而神經(jīng)網(wǎng)絡(luò)控 制器作為前饋控制器來實(shí)現(xiàn)對(duì)象的補(bǔ)償，以改善控制系統(tǒng)的跟蹤性能。在結(jié)構(gòu)中， 前饋控制與反饋控制相結(jié)合，由于前饋控制的作用不需要等到輸出量發(fā)生變化并形 成偏差以后才產(chǎn)生糾正偏差的作用， 而是在控制作用施加于系統(tǒng)的同時(shí)產(chǎn)生反饋 作用，最終是為了消除誤差。由圖中可以看出，神經(jīng)網(wǎng)絡(luò)控制器通過向傳統(tǒng)控制器的輸出進(jìn)行學(xué)習(xí)，在線調(diào)整自己，目標(biāo)是使反饋誤差趨近于 ，從而使自己逐漸在 控制作用中占據(jù)主導(dǎo)地位，以便最終取消反饋控制器的作用。由于 算法收斂 快，因此可以在線學(xué)習(xí)及控制。因?yàn)橄到y(tǒng)中反饋控制器仍然存在，所以一旦出現(xiàn)干

10、 擾等，反饋控制器仍然可以起作用。采用這種前饋加反饋的監(jiān)督控制方法，不僅可 以確?？刂葡到y(tǒng)的穩(wěn)定性和魯棒性，而且可有效地提高系統(tǒng)的精度78。圖 2神經(jīng)網(wǎng)絡(luò)監(jiān)督控制結(jié)構(gòu)圖5 結(jié)論本文介紹了基于帶有學(xué)習(xí)率的 LM 算法的神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)方法，這種網(wǎng)絡(luò)綜 合了梯度下降法和高斯牛頓方法的優(yōu)點(diǎn)，在一定程度上克服了基本的 BP 網(wǎng)絡(luò)收 斂速度慢和容易陷入局部最小點(diǎn)等問題。簡(jiǎn)要的闡述了 算法的計(jì)算步驟?；?帶有學(xué)習(xí)率的 LM 算法的神經(jīng)網(wǎng)絡(luò)在線監(jiān)督控制方法是一種先進(jìn)的控制策略，采用 這種監(jiān)督控制方法，不僅可以確?？刂葡到y(tǒng)的穩(wěn)定性和魯棒性，而且可有效地提高 系統(tǒng)的精度。參考文獻(xiàn)1董一芬.Levenberg-Marquardt 神經(jīng)網(wǎng)絡(luò)算法研究J.商場(chǎng)現(xiàn)代化,2009(3):385.2羅亞中,袁端才,唐國(guó)金.求解非線性方程組的混合遺傳算法J.計(jì)算力 學(xué),2005(1):109-114.3耐格納威斯基.人工智能系統(tǒng)指南M.力栩譯.北京:機(jī)械工業(yè)出版社, 2007.4黃豪彩,黃宜堅(jiān),楊冠魯.基于 LM 算法的神經(jīng)網(wǎng)絡(luò)系統(tǒng)辨識(shí)J.組合機(jī)床與 自動(dòng)化加工技術(shù),2003(2):6-11.5李合平,鄒明虎,王志云,黃允華.基于 算法的雷達(dá)板級(jí)電路快速故障診 斷J.測(cè)試技術(shù)學(xué)報(bào),2004,18 (4):364-368.6楊益君,古