梯度下降法-Gradient-Descent(共2頁)

1、1. 梯度下降法 (Gradient descent)梯度下降法，通常也叫最速下降法(steepest descent)，基于這樣一個事實：如果實值函數(shù) f(x) 在點x處且有定義，那么函數(shù) f(x) 在 x點沿著負梯度(的反方向)下降最快。假設(shè)x是一個向量，考慮f(x) 的泰勒展開式：如果想要函數(shù)值下降，則要。如果想要下降的最快，則需要取最小值，即，也就是說，此時x的變化方向(的方向)跟梯度的方向恰好相反。梯度法迭代公式：那么步長如何選取呢？的確，很難選擇一個合適的固定值，如果較小，會收斂很慢；如果較大，可能有時候會跳過最優(yōu)點，甚至

2、導(dǎo)致函數(shù)值增大；因此，最好選擇一個變化的步長，在離最優(yōu)點較遠的時候，步長大一點，離最優(yōu)點較近的時候，步長小一點。 一個不錯的選擇是，于是牛頓迭代公式變?yōu)椋?，此時是一個固定值，稱為學(xué)習(xí)率，通常取0.1，該方法稱為固定學(xué)習(xí)率的梯度下降法。另外，我們也可以通過一維搜索來確定最優(yōu)步長。1.1 梯度下降法的一般步驟：Step1 給定初始點, 迭代精度，k=0. Step2 計算，如果,停止；否則，計算搜索方向Step3 計算最優(yōu)步長 ；Step4 更新迭代點，令, 轉(zhuǎn)step2。 初始點的選?。涸O(shè)，對每一個分量分別獨立取值梯度下降法簡單，計算量小，僅僅需要求一階導(dǎo)數(shù)，對初始點也沒有特殊要求，具有整體收斂

3、性。采用精確線搜索的梯度下降法的收斂速度為線性。精確線搜索滿足的一階必要條件，得，由最速下降法得，因此有，即：相鄰兩次的搜索方向是相互直交的（投影到二維平面上，就是鋸齒形狀了）。最后，我們討論一個問題，這個所謂的最速下降法真的是“最快速”的嗎？其實，它只是局部范圍內(nèi)具有最快速性質(zhì),對整體求解過程而言，它的下降非常緩慢。例如, 我們來看一個常被用來作為最優(yōu)化算法的performance test函數(shù)：函數(shù)，它在點 (1,1) 處取得最小值0。此函數(shù)具有狹窄彎曲的山谷，最小值(1,1) 就在這些山谷之中，并且谷底很平。優(yōu)化過程是之字形的向極小值點靠近，速度非常緩慢（"

4、之字型"下降，越靠近極小點下降越緩慢）。1.2 批量梯度法 VS 隨機梯度法梯度下降法每次更新都要對全體樣本重新計算整個梯度，這種方法叫做批量梯度法(Batch Gradient Descent)，當樣本點很多時，這種方法速度很慢；于是，人們不再追求精確計算梯度方向，而是采取一種近似計算的思想，每次只利用一個訓(xùn)練樣本計算梯度，來更新x，這種方法叫做隨機梯度法（Stochastic Gradient Descent）。 需要特別注意的一點是，隨機梯度法最后的最優(yōu)值不是計算過程中的任何一個(注意不是最后一個哦), 而是計算過程中所有的平均值(各分量分別求平均值)，即。通常，SGD能比BGD更快地收斂到最優(yōu)點，因此更適合大數(shù)據(jù)的計算。然而，對SGD而言，選擇一個合適的終止條件是比較困難的。一個可選的