深度學(xué)習(xí)入門與實踐 課件 機械 第6-8章 優(yōu)化算法；超參數(shù)調(diào)試、正則化；卷積神經(jīng)網(wǎng)絡(luò)

優(yōu)化算法《深度學(xué)習(xí)入門與實踐》深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》梯度下降梯度下降法深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》隨機梯度下降隨機梯度下降法mini-batch大小為1,就叫做隨機梯度下降法深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》動量梯度下降法動量梯度下降法深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》動量梯度下降法例子動量梯度下降法動量梯度下降法細(xì)節(jié)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》RMSpropRMSprop算法RMSprop算法的全稱是Root

Mean

Square

prop算法,它也可以加速梯度下降。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》學(xué)習(xí)率衰減初期α

學(xué)習(xí)率還較大,學(xué)習(xí)還是相對較快,但隨著α

變小,步伐也會變慢變小,所以最后曲線會在最小值附近的一小塊區(qū)域里擺動,而不是在訓(xùn)練過程中,大幅度在最小值附近擺動。所以慢慢減少α

的本質(zhì)在于,在學(xué)習(xí)初期能承受較大的步伐,但當(dāng)開始收斂時,小一些的學(xué)習(xí)率能讓步伐小一些。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》局部最優(yōu)問題梯度下降法或者某個算法可能困在一個局部最優(yōu)中,而不會抵達全局最優(yōu)。如果要做圖計算一個數(shù)字,比如說這兩個維度,則容易出現(xiàn)有多個不同局部最優(yōu)的圖。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》超參數(shù)調(diào)試、正則化《深度學(xué)習(xí)入門與實踐》深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》調(diào)試處理超參數(shù)調(diào)試常見的做法是在網(wǎng)格中取樣點,像這樣,然后系統(tǒng)地研究這些數(shù)值。網(wǎng)格可以是5×5,也可多可少,可以嘗試這所有的25個點,然后選擇哪個參數(shù)效果最好。當(dāng)參數(shù)的數(shù)量相對較少時,這個方法很實用。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》batch

norm擬合進神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)示意圖深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》softmax回歸softmax把貓叫作類1,狗為類2,小雞是類3,如果不屬于以上任何一類,則分到“以上均不符合”這一類,把它叫作類0。用大寫的C來表示輸入會被分入的類別總個數(shù)。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》softmax回歸Softmax函數(shù)深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積神經(jīng)網(wǎng)絡(luò)《深度學(xué)習(xí)入門與實踐》深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》計算機視覺圖片分類目標(biāo)檢測深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》計算機視覺圖片風(fēng)格遷移圖片風(fēng)格遷移,就是假設(shè)有一張滿意的圖片和一張風(fēng)格圖片,右邊這幅畫是畢加索的畫作,可以利用神經(jīng)網(wǎng)絡(luò)將它們?nèi)诤系揭黄?描繪出一張新的圖片。它的整體輪廓來自于左邊,卻是右邊的風(fēng)格,最后生成下面這張圖片。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》邊緣檢測實例邊緣檢測深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》邊緣檢測實例卷積運算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》邊緣檢測實例垂直邊緣檢測1垂直邊緣檢測4深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》垂直邊緣檢測2垂直邊緣檢測3邊緣檢測實例垂直邊緣檢測5垂直邊緣檢測6深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》垂直邊緣檢測7邊緣檢測實例垂直邊緣檢測6水平邊緣檢測例子深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積步長卷積步長深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積步長卷積移動步長深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積步長卷積移動步長運算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積步長卷積移動步長運算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積步長互相關(guān)和卷積說明深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積步長RGB圖像上的卷積1深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》彩色圖像如果是6×6×3,這里的3指的是三個顏色通道,可以把它想象成三個6×6圖像的堆疊。為了檢測圖像的邊緣或者其他的特征,不是把它跟原來的3×3的過濾器做卷積,而是跟一個三維的過濾器,它的維度是3×3×3,這樣這個過濾器也有三層,對應(yīng)紅綠、藍(lán)三個通道。卷積步長RGB圖像上的卷積2深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》在計算這個卷積操作的輸出時,把這個3×3×3的過濾器先放到最左上角的位置,這個3×3×3的過濾器有27個數(shù),27個參數(shù)就是3的立方。依次取這27個數(shù),然后乘以相應(yīng)的紅綠藍(lán)通道中的數(shù)字。先取紅色通道的前9個數(shù)字,然后是綠色通道,再是藍(lán)色通道,乘以左邊黃色立方體覆蓋的對應(yīng)的27個數(shù),然后把這些數(shù)都加起來,就得到了輸出的第一個數(shù)字。如果要計算下一個輸出,則把這個立方體滑動一個單位,再與對應(yīng)的27個數(shù)相乘,把它們都加起來,就得到了下一個輸出,以此類推。單層卷積網(wǎng)絡(luò)卷積層深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》池化層卷積網(wǎng)絡(luò)也經(jīng)常使用池化層來縮減模型的大小,提高計算速度,同時提高所提取特征的魯棒性。深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》池化層池化層：最大池化計算深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》池化層池化層：平均池化深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》卷積神經(jīng)網(wǎng)絡(luò)示例數(shù)字識別的神經(jīng)網(wǎng)絡(luò)模型深《度神學(xué)經(jīng)習(xí)網(wǎng)入絡(luò)與門深與度實學(xué)習(xí)踐》