第4章-梯度下降法

MACHINELEARNING機器學習第4章梯度下降4.1梯度下降法介紹4.2

多元線性回歸中的梯度下降法4.3判斷機器學習算法的性能4.4超參數(shù)和模型參數(shù)4.5數(shù)據(jù)歸一化第4章梯度下降不是一個機器學習算法是一種基于搜索的最優(yōu)化方法梯度下降法主要用于最小化損失函數(shù)4.1梯度下降法介紹第4章梯度下降定義了一個損失函數(shù)以后，參數(shù)θ對應的損失函數(shù)J的值如圖所示。需要找到使得損失函數(shù)值J取得最小值對應的θ（該圖為二維，θ參數(shù)只有一個）。在直線方程中，導數(shù)代表斜率；在曲線方程中，導數(shù)代表切線斜率。導數(shù)代表θ單位變化時，J相應的變化。4.1梯度下降法介紹梯度下降原理第4章梯度下降超參數(shù)η

η(ETA)稱為學習率（learningrate）

η的取值影響獲得最優(yōu)解的速度

η取值不合理，可能找不到最優(yōu)解

η是梯度下降的超參數(shù)4.1梯度下降法介紹梯度下降原理第4章梯度下降超參數(shù)ηη太小，會減慢學習速度4.1梯度下降法介紹梯度下降原理第4章梯度下降超參數(shù)ηη太大，導致不收斂4.1梯度下降法介紹梯度下降原理第4章梯度下降并不是所有函數(shù)都有唯一的極值點多次運行，隨機化初始點梯度下降法的初始點也是一個超參數(shù)4.1梯度下降法介紹梯度下降原理第4章梯度下降4.2多元線性回歸中的梯度下降法第4章梯度下降4.2多元線性回歸中的梯度下降法三維空間中的梯度下降法第4章梯度下降4.2多元線性回歸中的梯度下降法三維空間中的梯度下降法第4章梯度下降4.2多元線性回歸中的梯度下降法多元線性回歸中梯度下降的推導過程第4章梯度下降4.2多元線性回歸中的梯度下降法多元線性回歸中梯度下降的推導過程第4章梯度下降向量化4.2多元線性回歸中的梯度下降法多元線性回歸中梯度下降的推導過程第4章梯度下降向量化4.2多元線性回歸中的梯度下降法多元線性回歸中梯度下降的推導過程第4章梯度下降向量化4.2多元線性回歸中的梯度下降法多元線性回歸中梯度下降的推導過程第4章梯度下降梯度下降法帶來的一個問題是η的值需要設(shè)置的比較小，在樣本數(shù)比較多的時候?qū)е滤俣忍貏e慢，這時候觀察隨機梯度下降法損失函數(shù)的求導公式，可以發(fā)現(xiàn)，我們對每一個Xb都做了求和操作，又在最外面除以了m，那么可以考慮將求和和除以m的兩個運算約掉，采用每次使用一個隨機的Xb4.3隨機梯度下降法SGD第4章梯度下降4.3隨機梯度下降法SGD第4章梯度下降使用隨機梯度下降法，我們的最終結(jié)果不會像批量梯度下降法一樣準確的朝著一個方向運算，而是折線下降，這時候我們就希望，越到下面，η值相應減小，運算次數(shù)變多，從而精確計算結(jié)果4.3隨機梯度下降法SGD第4章梯度下降SGD不能保證每次得到的方向都是梯度減小的方向，更不能保證每次都是減小速度最快的方向。這樣，學習率eta的取值就變得非常重要。SGD中的超參數(shù)n_iters，n_iters輪數(shù)，每次隨機抽取n_iters分之1的樣本。i_iters為每次迭代次數(shù)，共n_