梯度下降法、牛頓迭代法、共軛梯度法復習過程5頁

1、梯度下降法、牛頓迭代法、共軛梯度法（參見：神經(jīng)網(wǎng)絡(luò)->PGM-ANN-2009-C09性能優(yōu)化） 優(yōu)化的目的是求出目標函數(shù)的最大值點或者最小值點，這里討論的是迭代的方法梯度下降法首先，給定一個初始猜測值 ，然后按照等式 （1） 或 （2） 逐步修改猜測。這里向量 代表一個搜索方向，一個大于零的純量 為學習速度，它確定了學習步長。當用 進行最優(yōu)點迭代時，函數(shù)應(yīng)該在每次迭代時都減小，即 考慮 （3） 的 在的一階泰勒級數(shù)展開： （4）其中，為在舊猜測值處的梯度 （5）要使只需要（4）中右端第二項小于0，即 （6）選擇較小的正數(shù)。這就隱含。滿足的任意向量成為一個下降方向。如果沿著此方向取足夠小

2、步長，函數(shù)一定遞減。并且，最速下降的情況發(fā)生在最小的時候，容易知道，當時最小，此時，方向向量與梯度方向相反。在（1）式中，令，則有 （7）對于式（7）中學習速率的選取通常有兩種方法：一種是選擇固定的學習速率，另一種方法是使基于學習速率的性能指數(shù)或目標函數(shù)在每次迭代中最小化，即沿著梯度反方向?qū)崿F(xiàn)最小化：。注意：1、 對于較小的學習速度最速下降軌跡的路徑總是與輪廓線正交，這是因為梯度與輪廓線總是正交的。 2、如果改變學習速度，學習速度太大，算法會變得不穩(wěn)定，振蕩不會衰減，反而會增大。3、 穩(wěn)定的學習速率 對于任意函數(shù)，確定最大可行的學習速度是不可能的，但對于二次函數(shù)，可以確定一個上界。令特征函數(shù)為

3、： （8）那么梯度為 代入最速下降法公式（7）中 （9）在動態(tài)系統(tǒng)中，如果矩陣的特征值小于1，則該系統(tǒng)是穩(wěn)定的?？捎煤丈仃嘇的特征值來表示該矩陣的特征值，假設(shè)A的特征值和特征向量分別為和，那么 （10）于是，最速下降法的穩(wěn)定條件為 （11）如果二次函數(shù)有一個強極小點，則其特征值為正數(shù)，上式可以化為由于該式對于赫森矩陣的所有特征值都成立則 （12）分析：最大的穩(wěn)定學習速度與二次函數(shù)的最大的曲率成反比。曲率說明梯度變化的快慢。如果梯度變化太快，可能會導致跳過極小點，進而使新的迭代點的梯度的值大于原迭代點的梯度的值（但方向相反）。這會導致每次迭代的步長增大。4、 沿直線最小化 選擇學習速率的另一種

4、方法是使得每次迭代的性能指數(shù)最小化，即選擇使得下式最?。?對任意函數(shù)的這種最小化需要線性搜索。對二次函數(shù)解析線性最小化是可能的。上式對的導數(shù)為： （13）令式（13）導數(shù)為零求得 （14）這里為的赫森矩陣：牛頓法牛頓法基于二階泰勒級數(shù)： （15）牛頓法的原理是求的二次近似的駐點，求這個二次函數(shù)對的梯度并令它等于0，則有 （16）解得： 于是，牛頓法定義為 （17） 注意：牛頓法總是用一個二次函數(shù)逼近,然后求其駐點，因此此方法總能夠一步找到二次函數(shù)的極小點，如果原函數(shù)為二次函數(shù)（有強極小點），它就能夠?qū)崿F(xiàn)一步極小化如果不是二次函數(shù)，則牛頓法一般不能在一步內(nèi)收斂，是否收斂取決于具體的函數(shù)和初始點盡

5、管牛頓法的收斂速度通常比最速下降法快，但其表現(xiàn)很復雜，除了收斂到鞍點的問題外，算法還可能震蕩和發(fā)散，如果學習速率不太快或每步都實現(xiàn)線性極小化，最速下降法能保證收斂牛頓法的另一個問題是需要對赫森矩陣及其逆陣的計算和存儲共軛梯度法牛頓法有一個性質(zhì)成為二次終結(jié)法（quadratic temination），即它能在有限迭代次數(shù)內(nèi)使得二次函數(shù)極小化，但這需要計算和存儲二階導數(shù)，當參數(shù)個數(shù)很大時，計算所有二階導數(shù)是很困難的。假定對下述二次函數(shù)確定極小點： （18）當且僅當時，稱向量集合對于一個正定赫森矩陣A兩兩共軛。因為對稱矩陣的特征向量是兩兩正交的。已經(jīng)證明，如果存在沿著一個共軛方向集的精確線性搜索序

6、列，就能夠在最多n此搜索內(nèi)實現(xiàn)具有n個參數(shù)的二次函數(shù)的精確極小化。注意到對于二次函數(shù)，有 （19）由于，又有，選擇使函數(shù)在方向上極小化，則共軛條件可重寫稱 （20）注意，第一次搜索方向是任意的，而是與垂直的任意向量。所以共軛向量集的數(shù)量是無限的。通常從最速下降法的方向開始搜索：每次迭代都要構(gòu)造一個與正交的向量?？梢詫⒌问胶喕癁?（21）通常選擇或或綜上，算法可以歸納為：1、 選擇如的與梯度相反的方向作為第一次搜索方向2、 根據(jù)進行下一步搜索，確定以使函數(shù)沿搜索方向極小化3、 根據(jù)確定下一個搜索方向，計算4、 如果算法不收斂，回到第2步算法比較 梯度下降法形式簡單，一般情況下都能夠保證收斂，但是收斂速度慢 牛頓法對于