2023學(xué)年完整公開(kāi)課版dropout基礎(chǔ)

基礎(chǔ)主講：胡林網(wǎng)dropout01Dropout背景知識(shí)02Dropout工作流程目錄Dropout背景知識(shí)1Dropout背景知識(shí)一、Dropout背景知識(shí)

深度神經(jīng)網(wǎng)絡(luò)包含多個(gè)非線性隱藏層，這使它們具有很高的表達(dá)能力，可以學(xué)習(xí)其輸入和輸出之間非常復(fù)雜的關(guān)系。但是，在訓(xùn)練數(shù)據(jù)有限的情況下，許多復(fù)雜的關(guān)系將是采樣噪聲的結(jié)果，因此，即使它們來(lái)自相同的分布，它們也將存在于訓(xùn)練集中，但不存在于實(shí)際測(cè)試數(shù)據(jù)中。這導(dǎo)致過(guò)度擬合，并且已經(jīng)開(kāi)發(fā)出許多方法來(lái)減小它。這些措施包括一旦驗(yàn)證集的性能開(kāi)始變差就停止訓(xùn)練，引入各種重量懲罰，例如L1和L2正則化以及軟重量分配。

通過(guò)無(wú)限制的計(jì)算，“調(diào)整”固定大小模型的最佳方法是對(duì)參數(shù)所有可能設(shè)置的預(yù)測(cè)取平均，并根據(jù)給定訓(xùn)練數(shù)據(jù)的后驗(yàn)概率對(duì)每個(gè)設(shè)置進(jìn)行加權(quán)或小模型，但希望使用少得多的計(jì)算方法來(lái)接近貝葉斯黃金標(biāo)準(zhǔn)的性能，建議通過(guò)近似等加權(quán)的幾何均值來(lái)實(shí)現(xiàn)，共享參數(shù)的指數(shù)學(xué)習(xí)模型的指數(shù)預(yù)測(cè)。dropout是解決這兩個(gè)問(wèn)題的技術(shù)。它可以防止過(guò)度擬合，并提供一種有效地近似指數(shù)化組合許多不同神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法。Dropout背景知識(shí)一、Dropout背景知識(shí)

深度神經(jīng)網(wǎng)絡(luò)包含多個(gè)非線性隱藏層，這使它們具有很高的表達(dá)能力，可以學(xué)習(xí)其輸入和輸出之間非常復(fù)雜的關(guān)系。但是，在訓(xùn)練數(shù)據(jù)有限的情況下，許多復(fù)雜的關(guān)系將是采樣噪聲的結(jié)果，因此，即使它們來(lái)自相同的分布，它們也將存在于訓(xùn)練集中，但不存在于實(shí)際測(cè)試數(shù)據(jù)中。這導(dǎo)致過(guò)度擬合，并且已經(jīng)開(kāi)發(fā)出許多方法來(lái)減小它。這些措施包括一旦驗(yàn)證集的性能開(kāi)始變差就停止訓(xùn)練，引入各種重量懲罰，例如L1和L2正則化以及軟重量分配。

通過(guò)無(wú)限制的計(jì)算，“調(diào)整”固定大小模型的最佳方法是對(duì)參數(shù)所有可能設(shè)置的預(yù)測(cè)取平均，并根據(jù)給定訓(xùn)練數(shù)據(jù)的后驗(yàn)概率對(duì)每個(gè)設(shè)置進(jìn)行加權(quán)或小模型，但希望使用少得多的計(jì)算方法來(lái)接近貝葉斯黃金標(biāo)準(zhǔn)的性能，建議通過(guò)近似等加權(quán)的幾何均值來(lái)實(shí)現(xiàn)，共享參數(shù)的指數(shù)學(xué)習(xí)模型的指數(shù)預(yù)測(cè)。dropout是解決這兩個(gè)問(wèn)題的技術(shù)。它可以防止過(guò)度擬合，并提供一種有效地近似指數(shù)化組合許多不同神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法。Dropout工作流程2Dropout工作流程假設(shè)要訓(xùn)練這樣一個(gè)神經(jīng)網(wǎng)絡(luò)，如圖所示：輸入是x輸出是y，正常的流程是：我們首先把x通過(guò)網(wǎng)絡(luò)前向傳播，然后把誤差反向傳播以決定如何更新參數(shù)讓網(wǎng)絡(luò)進(jìn)行學(xué)習(xí)。使用Dropout之后，過(guò)程變成如下：首先隨機(jī)（臨時(shí)）刪掉網(wǎng)絡(luò)中一半的隱藏神經(jīng)元，輸入輸出神經(jīng)元保持不變（圖3中虛線為部分臨時(shí)被刪除的神經(jīng)元）Dropout工作流程然后把輸入x通過(guò)修改后的網(wǎng)絡(luò)前向傳播，然后把得到的損失結(jié)果通過(guò)修改的網(wǎng)絡(luò)反向傳播。一小批訓(xùn)練樣本執(zhí)行完這個(gè)過(guò)程后，在沒(méi)有被刪除的神經(jīng)元上按照隨機(jī)梯度下降法更新對(duì)應(yīng)的參數(shù)（w，b）。然后繼續(xù)重復(fù)這一過(guò)程：恢復(fù)被刪掉的神經(jīng)元（此時(shí)被刪除的神經(jīng)元保持原樣，而沒(méi)有被刪除的神經(jīng)元已經(jīng)有所更新）從隱藏層神經(jīng)元中隨機(jī)選擇一個(gè)一半大小的子集臨時(shí)刪除掉（備份被刪除神經(jīng)元的參數(shù)）對(duì)一小批訓(xùn)練樣本，先前向傳播然后反向傳播