深度學(xué)習(xí)與梯度下降

深度學(xué)習(xí)與梯度下降目錄CONTENTS1深度學(xué)習(xí)介紹2與梯度下降關(guān)系深度學(xué)習(xí)介紹PART0101什么是深度學(xué)習(xí)深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支領(lǐng)域：它是從數(shù)據(jù)中學(xué)習(xí)表示的一種新方法，強(qiáng)調(diào)從連續(xù)的層（layer）中進(jìn)行學(xué)習(xí)，這些層對(duì)應(yīng)于越來(lái)越有意義的表示?！吧疃葘W(xué)習(xí)”中的“深度”指的并不是利用這種方法所獲取的更深層次的理解，而是指一系列連續(xù)的表示層。數(shù)據(jù)模型中包含多少層，這被稱為模型的深度（depth）。這一領(lǐng)域的其他名稱包括分層表示學(xué)習(xí)和層級(jí)表示學(xué)習(xí)?，F(xiàn)代深度學(xué)習(xí)通常包含數(shù)十個(gè)甚至上百個(gè)連續(xù)的表示層，這些表示層全都是從訓(xùn)練數(shù)據(jù)中自動(dòng)學(xué)習(xí)的。在深度學(xué)習(xí)中，這些分層表示幾乎總是通過(guò)叫作神經(jīng)網(wǎng)絡(luò)的模型來(lái)學(xué)習(xí)得到的。神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)是逐層堆疊。就我們的目的而言，深度學(xué)習(xí)是從數(shù)據(jù)中學(xué)習(xí)表示的一種數(shù)學(xué)框架。什么是深度學(xué)習(xí)與梯度下降關(guān)系PART0202與梯度下降關(guān)系

初始化權(quán)值的時(shí)候，我們處于損失函數(shù)圖形中的A點(diǎn)。首先要做的就是查看A點(diǎn)移動(dòng)的所有可能的方向，看看哪個(gè)方向是損失函數(shù)的值下降最陡峭的方向，這個(gè)就是我們必須移動(dòng)的方向，它恰恰與梯度的方向相反。梯度是高維導(dǎo)數(shù)的另一種說(shuō)法，它給出了最陡峭的上升方向。在A點(diǎn)移動(dòng)的平面上有無(wú)限個(gè)方向，其中，準(zhǔn)確來(lái)說(shuō)只有一個(gè)使函數(shù)上升最快的方向，這個(gè)方向由梯度給出，與之相反的方向就是下降最快的方向。這就是算法名稱的來(lái)源，我們沿著梯度的方向進(jìn)行下降，所以就叫做梯度下降?，F(xiàn)在，既然已經(jīng)有了前進(jìn)方向，我們必須決定需要采取步子的大小，而控制下降步幅大小的參數(shù)即學(xué)習(xí)率。為了保證降到最小值，我們必須謹(jǐn)慎地選擇學(xué)習(xí)率。如果移動(dòng)得太快，我們可能越過(guò)最小值，永遠(yuǎn)都不可能到達(dá)最小值。如果移動(dòng)太慢，訓(xùn)練可能花費(fèi)太長(zhǎng)的時(shí)間，根本就不可行，此外太慢的學(xué)習(xí)率也容易讓算法陷入極小值。一旦有了梯度和學(xué)習(xí)率，我們就開(kāi)始行動(dòng)，然后在最終到達(dá)的任何位置重新計(jì)算梯度，然后重復(fù)這個(gè)過(guò)程。梯度的方向告訴我們哪個(gè)方向上升的最快，它的幅值則表示最陡峭的上升/下降有多陡。所以，在最小值的地方，曲面輪