深度學習入門與實踐 課件 機械 第6-8章 優(yōu)化算法；超參數調試、正則化；卷積神經網絡

優(yōu)化算法《深度學習入門與實踐》深《度神學經習網入絡與門深與度實學習踐》梯度下降梯度下降法深《度神學經習網入絡與門深與度實學習踐》隨機梯度下降隨機梯度下降法mini-batch大小為1,就叫做隨機梯度下降法深《度神學經習網入絡與門深與度實學習踐》動量梯度下降法動量梯度下降法深《度神學經習網入絡與門深與度實學習踐》動量梯度下降法例子動量梯度下降法動量梯度下降法細節(jié)深《度神學經習網入絡與門深與度實學習踐》RMSpropRMSprop算法RMSprop算法的全稱是Root

Mean

Square

prop算法,它也可以加速梯度下降。深《度神學經習網入絡與門深與度實學習踐》學習率衰減初期α

學習率還較大,學習還是相對較快,但隨著α

變小,步伐也會變慢變小,所以最后曲線會在最小值附近的一小塊區(qū)域里擺動,而不是在訓練過程中,大幅度在最小值附近擺動。所以慢慢減少α

的本質在于,在學習初期能承受較大的步伐,但當開始收斂時,小一些的學習率能讓步伐小一些。深《度神學經習網入絡與門深與度實學習踐》局部最優(yōu)問題梯度下降法或者某個算法可能困在一個局部最優(yōu)中,而不會抵達全局最優(yōu)。如果要做圖計算一個數字,比如說這兩個維度,則容易出現有多個不同局部最優(yōu)的圖。深《度神學經習網入絡與門深與度實學習踐》超參數調試、正則化《深度學習入門與實踐》深《度神學經習網入絡與門深與度實學習踐》調試處理超參數調試常見的做法是在網格中取樣點,像這樣,然后系統(tǒng)地研究這些數值。網格可以是5×5,也可多可少,可以嘗試這所有的25個點,然后選擇哪個參數效果最好。當參數的數量相對較少時,這個方法很實用。深《度神學經習網入絡與門深與度實學習踐》batch

norm擬合進神經網絡神經網絡示意圖深《度神學經習網入絡與門深與度實學習踐》softmax回歸softmax把貓叫作類1,狗為類2,小雞是類3,如果不屬于以上任何一類,則分到“以上均不符合”這一類,把它叫作類0。用大寫的C來表示輸入會被分入的類別總個數。深《度神學經習網入絡與門深與度實學習踐》softmax回歸Softmax函數深《度神學經習網入絡與門深與度實學習踐》卷積神經網絡《深度學習入門與實踐》深《度神學經習網入絡與門深與度實學習踐》計算機視覺圖片分類目標檢測深《度神學經習網入絡與門深與度實學習踐》計算機視覺圖片風格遷移圖片風格遷移,就是假設有一張滿意的圖片和一張風格圖片,右邊這幅畫是畢加索的畫作,可以利用神經網絡將它們融合到一起,描繪出一張新的圖片。它的整體輪廓來自于左邊,卻是右邊的風格,最后生成下面這張圖片。深《度神學經習網入絡與門深與度實學習踐》邊緣檢測實例邊緣檢測深《度神學經習網入絡與門深與度實學習踐》邊緣檢測實例卷積運算深《度神學經習網入絡與門深與度實學習踐》邊緣檢測實例垂直邊緣檢測1垂直邊緣檢測4深《度神學經習網入絡與門深與度實學習踐》垂直邊緣檢測2垂直邊緣檢測3邊緣檢測實例垂直邊緣檢測5垂直邊緣檢測6深《度神學經習網入絡與門深與度實學習踐》垂直邊緣檢測7邊緣檢測實例垂直邊緣檢測6水平邊緣檢測例子深《度神學經習網入絡與門深與度實學習踐》卷積步長卷積步長深《度神學經習網入絡與門深與度實學習踐》卷積步長卷積移動步長深《度神學經習網入絡與門深與度實學習踐》卷積步長卷積移動步長運算深《度神學經習網入絡與門深與度實學習踐》卷積步長卷積移動步長運算深《度神學經習網入絡與門深與度實學習踐》卷積步長互相關和卷積說明深《度神學經習網入絡與門深與度實學習踐》卷積步長RGB圖像上的卷積1深《度神學經習網入絡與門深與度實學習踐》彩色圖像如果是6×6×3,這里的3指的是三個顏色通道,可以把它想象成三個6×6圖像的堆疊。為了檢測圖像的邊緣或者其他的特征,不是把它跟原來的3×3的過濾器做卷積,而是跟一個三維的過濾器,它的維度是3×3×3,這樣這個過濾器也有三層,對應紅綠、藍三個通道。卷積步長RGB圖像上的卷積2深《度神學經習網入絡與門深與度實學習踐》在計算這個卷積操作的輸出時,把這個3×3×3的過濾器先放到最左上角的位置,這個3×3×3的過濾器有27個數,27個參數就是3的立方。依次取這27個數,然后乘以相應的紅綠藍通道中的數字。先取紅色通道的前9個數字,然后是綠色通道,再是藍色通道,乘以左邊黃色立方體覆蓋的對應的27個數,然后把這些數都加起來,就得到了輸出的第一個數字。如果要計算下一個輸出,則把這個立方體滑動一個單位,再與對應的27個數相乘,把它們都加起來,就得到了下一個輸出,以此類推。單層卷積網絡卷積層深《度神學經習網入絡與門深與度實學習踐》池化層卷積網絡也經常使用池化層來縮減模型的大小,提高計算速度,同時提高所提取特征的魯棒性。深《度神學經習網入絡與門深與度實學習踐》池化層池化層：最大池化計算深《度神學經習網入絡與門深與度實學習踐》池化層池化層：平均池化深《度神學經習網入絡與門深與度實學習踐》卷積神經網絡示例數字識別的神經網絡模型深《度神學經習網入絡與門深與度實學習踐》