機(jī)器學(xué)習(xí)-03-梯度降維法

1、梯度降維法回歸分析1梯度降維法解決什么問題假設(shè)y的值與n個(gè)因素有關(guān)，他們分別是x1、x2、x3.xn，且經(jīng)過調(diào)研，我們已經(jīng)掌握了m組實(shí)際值我們可以將他們的關(guān)系用函數(shù)y=a0+a1*x1+a2*x2+a3*x3.+anxn進(jìn)行擬合根據(jù)之前的結(jié)論，代價(jià)函數(shù)J(a0,a1,a2.an)=1/2m*( f(xi) - yi )那么我們就需要根據(jù)已知的m組值，找出一組（a0,a1,a2.an），讓代價(jià)函數(shù)的值最小上面所說的梯度降維法，就是專門求解minJ(a0,a1,a2.an)問題的一種有效方法為了更直觀地看到梯度降維法是如何工作的，我們接下來只看兩個(gè)因素的問題，即J(a0,a1)問題2梯度降維法工作

2、原理思考：你可以把代價(jià)函數(shù)的圖像，想想為群山而你在這群山中的任意一點(diǎn)你需要下到更低的地方，你會(huì)怎么做？3梯度降維法工作原理思路：假設(shè)，我在點(diǎn)A，我會(huì)環(huán)顧一下四周看看哪個(gè)方向的高度比我所在點(diǎn)更低然后朝那個(gè)方向前進(jìn)一小步，到點(diǎn)B到了B點(diǎn)以后，繼續(xù)剛才的操作，一步一步，慢慢的，我會(huì)發(fā)現(xiàn)我到了某個(gè)點(diǎn)，這個(gè)點(diǎn)四周的高度都比現(xiàn)在的高度要高，這個(gè)時(shí)候就可以停止了這就是梯度降維法的基本思路AB4梯度降維法實(shí)現(xiàn)在這里，我要先給出結(jié)論，梯度降維法的實(shí)現(xiàn)方式如下（偽代碼）針對(duì)代價(jià)函數(shù)J(a0,a1)，我們要找到一個(gè)任意的初始點(diǎn)（a0,a1）設(shè)置兩個(gè)變量temp0=0;temp1=0;這兩個(gè)變量我們接下來會(huì)用到然后循

3、環(huán)下面這一段temp0=temp1=a0 = temp0a1 = temp1用新的a0和a1計(jì)算一下代價(jià)函數(shù)值直到代價(jià)函數(shù)值不再變化或是變化很小，可以忽略不計(jì)的時(shí)候，就說明我們已經(jīng)找到了需要的a0和a1注意：有一點(diǎn)很容易出錯(cuò)，a0和a1一定要同時(shí)更新，否則，如果先更新a0，再對(duì)a1求偏導(dǎo)的時(shí)候，此時(shí)的a0是已經(jīng)更新過的，偏導(dǎo)求的就不對(duì)了，所以一定要同時(shí)更新，切記。5梯度降維法實(shí)現(xiàn)看到上面的結(jié)論，是不是有點(diǎn)暈？沒關(guān)系，我們慢慢來，上面的一大串結(jié)論里面，對(duì)于沒有學(xué)習(xí)過高等數(shù)學(xué)的人來說，最麻煩的也許就是那個(gè)求偏導(dǎo)，完全搞不懂是什么，沒關(guān)系，那個(gè)值我之后會(huì)給出，會(huì)求偏導(dǎo)的，可以自己算一下。下面，我就介

4、紹一下那個(gè)結(jié)論中的幾個(gè)概念學(xué)習(xí)速率（下山的步子有多大）方向（朝什么方向走）剛才的例子中，不斷的循環(huán)過程，就是在不斷的尋找下一步往哪走，而這“下一步”就是由方向和步子大小決定的，學(xué)習(xí)速率就好比下山時(shí)的步子大小，而那個(gè)偏導(dǎo)就是我們下山的方向，就這樣，我們會(huì)一步一步走到最低點(diǎn)。這是你可能會(huì)問，為什么方向會(huì)是兩個(gè)？一個(gè)對(duì)a0求偏導(dǎo)，一個(gè)對(duì)a1求偏導(dǎo)。下面我們來說說導(dǎo)數(shù)的含義6導(dǎo)數(shù)的含義我們先把代價(jià)函數(shù)簡化一下，看看一個(gè)變量的代價(jià)函數(shù)圖像。在上一節(jié)中我們知道了，J(a1)的函數(shù)圖像如下a1J(a1)假設(shè)我們的初始點(diǎn)在A我們利用梯度降維法，就需要做下面這件事來找到點(diǎn)B我們可以看到，新的a1實(shí)際上是原來的值

5、減去一個(gè)值減去的這個(gè)值由學(xué)習(xí)速率和一個(gè)導(dǎo)數(shù)組成這個(gè)導(dǎo)數(shù)的意義，實(shí)際上是點(diǎn)A的斜率我們沿著斜率的方向，就可以保證下一步的值肯定比這一步要小，我們可以看到，我們沿著斜率前進(jìn)了，得到了一個(gè)新的a1，從而得到了新的點(diǎn)，這個(gè)點(diǎn)離我們的最低點(diǎn)更近了這個(gè)時(shí)候你可能會(huì)想明明是減去一個(gè)值，為什么a1會(huì)向右跑了呢？別忘了斜率的含義，你看看這條直線的方向，此時(shí)的斜率是負(fù)數(shù)，減去一個(gè)負(fù)數(shù)，所以值增加了。AB7導(dǎo)數(shù)的含義我們?cè)賮砜纯?，如果我的上一個(gè)點(diǎn)不在最低點(diǎn)的左邊，而在最低點(diǎn)的右邊，會(huì)是什么情況呢？a1J(a1)假設(shè)上一個(gè)點(diǎn)在A我們利用梯度降維法，就需要做下面這件事來找到點(diǎn)B這種情況下，A的斜率變?yōu)榱素?fù)值，我們新的點(diǎn)

6、依然會(huì)朝著最小點(diǎn)的方向前進(jìn)，這就是導(dǎo)數(shù)（斜率）的神奇之處。它保障了我們的算法永遠(yuǎn)向著目標(biāo)前進(jìn)到目前為止，我們看到了斜率可以在方向上保證我們永遠(yuǎn)向著最低點(diǎn)前進(jìn)，下面，我們看看這個(gè)斜率對(duì)我們步子的大小有什么作用。AB8導(dǎo)數(shù)的含義實(shí)際上，隨著我們的計(jì)算越來越接近最低點(diǎn)，斜率可以保證我們的步子越來越小，盡量不越過最低點(diǎn)a1J(a1)假設(shè)我們從A點(diǎn)出發(fā)，到了B點(diǎn)，經(jīng)過幾輪循環(huán)以后，我們的數(shù)值已經(jīng)到達(dá)了C點(diǎn)C點(diǎn)的斜率已經(jīng)明顯發(fā)生了變化，我們可以看到，C點(diǎn)切線的斜率與之前相比，已經(jīng)變得更小了，這時(shí)，對(duì)于相同的學(xué)習(xí)速率來說，每次的變化都更小了所以，越接近最低點(diǎn)，步子的變化會(huì)越來越小，是我們盡量不會(huì)越過最低點(diǎn)。

7、注意，這里說的是盡量不越過，如果你的選擇得很大，還是會(huì)越過，還會(huì)出現(xiàn)一只無法到達(dá)最低點(diǎn)的情況，不過我們可以先不要關(guān)心這一點(diǎn)，在后面我會(huì)講到如何選擇合適的ABC9導(dǎo)數(shù)的含義之前的例子，為了便于理解，我用的是只有一個(gè)參數(shù)的J（a1），當(dāng)有兩個(gè)參數(shù)的時(shí)候，圖像是三維的，所以在確定下山方向的時(shí)候，要分別對(duì)a1和a2求偏導(dǎo)，得到兩個(gè)方向上的增量，這樣才可以確定出下一步的位置。你們看，是不是和經(jīng)典物理里面求合力的情況有點(diǎn)像？實(shí)際上，梯度降維法可以用在更一般的情況，有n個(gè)參數(shù)的時(shí)候也是一樣的求法，只不過為了讓大家可以盡量不去理解超過三維的內(nèi)容，所以我用了一個(gè)參數(shù)和兩個(gè)參數(shù)的情況作為例題講解10偏導(dǎo)的結(jié)果之前

8、的公式，我們復(fù)習(xí)一下這里一直有一個(gè)問題困擾著不會(huì)求偏導(dǎo)的同學(xué)，那就是這個(gè)偏導(dǎo)該怎么求，我不打算在這里將數(shù)學(xué)分析的內(nèi)容重新講一遍，所以我決定直接給出求偏導(dǎo)的答案，大家可以放心使用。求出偏導(dǎo)以后的梯度降維法如下：然后循環(huán)下面這一段a0 = temp0a1 = temp1用新的a0和a1計(jì)算一下代價(jià)函數(shù)值直到代價(jià)函數(shù)值不再變化或是變化很小，可以忽略不計(jì)的時(shí)候，就說明我們已經(jīng)找到了需要的a0和a1注意：這里的xi和yi就是我們做回歸分析時(shí)，事先知道的點(diǎn)的實(shí)際值，m則是這些已知值的個(gè)數(shù)。補(bǔ)充說明：對(duì)于這種根據(jù)已知的值，進(jìn)行學(xué)習(xí)的過程，我們叫做監(jiān)督學(xué)習(xí)。而這些已知的值，我們叫做訓(xùn)練集。就如字面意思，我們的

9、目的，是根據(jù)已知的數(shù)據(jù)，將算法訓(xùn)練成更優(yōu)秀的算法。從而達(dá)到計(jì)算機(jī)的智能學(xué)習(xí)。11關(guān)于一點(diǎn)說明前面為了討論梯度降維法如何工作，所以我用的函數(shù)圖并不真實(shí)，對(duì)于那種“崇山峻嶺”的圖，你會(huì)發(fā)現(xiàn)，用梯度降維法，你可能只到達(dá)了一個(gè)局部最低點(diǎn)，而不是真正的最低點(diǎn)，那我們用梯度降維法的時(shí)候，是不是會(huì)有這種局限性呢？很幸運(yùn)的，不會(huì)！因?yàn)榫€性回歸問題的代價(jià)函數(shù)，不可能有局部最低點(diǎn)，他們的圖像，都是弓形圖，這一點(diǎn)我之前提到過，所以不用擔(dān)心這一點(diǎn)。a0a1J(a0,a1)12本章節(jié)結(jié)束語這一節(jié)，我們學(xué)習(xí)了如何使用梯度降維法解決兩個(gè)參數(shù)的線性回歸問題，如果你順利看到這里，并且掌握了請(qǐng)先“沾沾自喜”一下，因?yàn)槟阋呀?jīng)踏入了機(jī)器學(xué)習(xí)的大門，不過這只是開始，后面的路還長。不過也不用害怕，到目前為止，你也看到了，即使不懂高等數(shù)學(xué)，你也是