一種防止過擬合的方法ppt課件

1、一種防止過擬合的方法一種防止過擬合的方法DropoutDropout的介紹的介紹College of Information Engineering賀 敏November 12, 2021Outlineu Dropout的背景及產生動機的背景及產生動機u Dropout模型的描述模型的描述 u Dropout的部分實驗結果的部分實驗結果u 進一步了解進一步了解Dropoutu 總結總結Dropout的背景及產生動機的背景及產生動機背景：背景：深度神經網(wǎng)絡具有多層非線性的隱含層，這使深度神經網(wǎng)絡具有多層非線性的隱含層，這使得它可以學習輸入輸出之間復雜的關系，然而得它可以學習輸入輸出之間復雜的關系

2、，然而在有限的訓練數(shù)據(jù)，這將會產生采樣噪音，即在有限的訓練數(shù)據(jù)，這將會產生采樣噪音，即使訓練數(shù)據(jù)和實際數(shù)據(jù)屬于相同的分布，但是使訓練數(shù)據(jù)和實際數(shù)據(jù)屬于相同的分布，但是數(shù)據(jù)模型在訓練集里表現(xiàn)非常滿意，但是一旦數(shù)據(jù)模型在訓練集里表現(xiàn)非常滿意，但是一旦應用到真實業(yè)務實踐時，效果大打折扣。這就應用到真實業(yè)務實踐時，效果大打折扣。這就是過擬合是過擬合Dropout的背景及產生動機的背景及產生動機如何處理過擬合：如何處理過擬合：early stopping、數(shù)據(jù)集擴增數(shù)據(jù)集擴增Data augmentation）、）、L1 RegularizationL2 regularizationdropoutDro

3、pout的背景及產生動機的背景及產生動機幾種方法的區(qū)別：幾種方法的區(qū)別：L1、L2正則化是通過修改代價函數(shù)來實現(xiàn)的正則化是通過修改代價函數(shù)來實現(xiàn)的Dropout則是通過修改神經網(wǎng)絡本身來實現(xiàn)的則是通過修改神經網(wǎng)絡本身來實現(xiàn)的Data augmentation是通過修改數(shù)據(jù)實現(xiàn)的是通過修改數(shù)據(jù)實現(xiàn)的Dropout的背景及產生動機的背景及產生動機產生動機：產生動機：來源于有性繁殖來源于有性繁殖基因的選擇增加了隨機性，在進化過程中，基基因的選擇增加了隨機性，在進化過程中，基因不能依賴于其他的基因，也就增強了健壯性因不能依賴于其他的基因，也就增強了健壯性同理，隨機的刪掉隱含層的一些節(jié)點后，同樣同理，隨

4、機的刪掉隱含層的一些節(jié)點后，同樣也會增強其他節(jié)點提取特征的能力也會增強其他節(jié)點提取特征的能力Dropout的模型描述的模型描述Dropout是指在模型訓練時隨機讓網(wǎng)絡某些隱是指在模型訓練時隨機讓網(wǎng)絡某些隱含層節(jié)點的權重不工作，不工作的那些節(jié)點可含層節(jié)點的權重不工作，不工作的那些節(jié)點可以暫時認為不是網(wǎng)絡結構的一部分，但是它的以暫時認為不是網(wǎng)絡結構的一部分，但是它的權重得保留下來只是暫時不更新而已），因權重得保留下來只是暫時不更新而已），因為下次樣本輸入時它可能又得工作了為下次樣本輸入時它可能又得工作了.Dropout的模型描述的模型描述如下圖，在訓練時，節(jié)點按照概率如下圖，在訓練時，節(jié)點按照概率

5、P決定是否決定是否工作。工作。在測試時，不使用在測試時，不使用Dropout，但是要按比例的，但是要按比例的縮放權重，如上圖縮放權重，如上圖b所示，這樣才能保證預期所示，這樣才能保證預期輸出與實際輸出一致。輸出與實際輸出一致。Dropout的模型描述的模型描述假設一個神經網(wǎng)絡有假設一個神經網(wǎng)絡有L個隱含層個隱含層l1,2.L標準的前向神經網(wǎng)絡是：標準的前向神經網(wǎng)絡是：111llllbywz)(1lizfylixexf11)(其中激活函數(shù)Dropout的模型描述的模型描述使用使用Dropout后：后：在在測試時測試時的的權權重重進進行行縮縮放放lpWWtestlDropout率的選擇與訓練過程率

6、的選擇與訓練過程經過交叉驗證，隱含節(jié)點dropout率等于0.5的時候效最好，原因是0.5的時候dropout隨機生成的網(wǎng)絡結構最多。dropout也可以被用作一種添加噪聲的方法，直接對input進行操作。輸入層設為更接近1的數(shù)。使得輸入變化不會太大0.8）Dropout率的選擇與訓練過程率的選擇與訓練過程對參數(shù)w的訓練進行球形限制,對dropout的訓練非常有用。球形半徑c是一個需要調整的參數(shù)?？梢允褂抿炞C集進行參數(shù)調優(yōu)。這就叫 max-norm regularization，可以提高隨機梯度下降效果使用pretraining方法也可以幫助dropout訓練參數(shù)，在使用dropout時，要將

7、所有參數(shù)都乘以1/p。這樣可以保證dropout的輸出與預訓練的輸出一致Dropout的部分實驗結論的部分實驗結論論文中采用的數(shù)據(jù)集是： MNIST : 手寫體數(shù)據(jù) TIMIT : 語音識別的標準語音基因 CIFAR-10 and CIFAR-100 : 自然圖像 Street View House Numbers data set (SVHN) : 谷歌街景的房子 ImageNet : 圖像數(shù)據(jù)庫 Reuters-RCV1 : 新聞文章的數(shù)據(jù)庫Dropout的部分實驗結論的部分實驗結論 這里我們只看MNIST 訓練集有60000個 測試集為10000個 維度是784(28 *28 grays

8、cale)所有采用Dropout的網(wǎng)絡中隱含層：P=0.5輸入層：P=0.8Dropout的部分實驗結論的部分實驗結論論文中給出的結果Dropout的部分實驗結論的部分實驗結論沒用Dropout時：測試樣本錯誤率：15.500%使用Dropout時：測試樣本錯誤率：13.000%可以看出使用Dropout后，測試樣本的錯誤率降低了，說明Dropout的泛化能力不錯，可以防止過擬合。訓練樣本2000個，測試樣本1000個結構是784-100-10Dropout的部分實驗結論的部分實驗結論通過調用工具箱中的函數(shù)，數(shù)據(jù)集采用的是手寫體數(shù)據(jù)：1.訓練集2000，測試集1000，使用dropout的錯誤

9、率是1.07%，而沒有使用的是1.26%；2.訓練集10000，測試集1000，使用dropout的錯誤率是0.095，時間是1.339s，沒有使用的錯誤率是0.101，時間是1.2623.訓練集60000，測試集10000，使用dropout的錯誤率是0.069，時間是10.03s，沒有使用的錯誤率是0.047，時間是7.77Dropout的部分實驗結論的部分實驗結論dropout、max-normalization、large decaying learning rates and high momentum組合起來效果更好。論文中指出 dropout 與 max-norm regularization 結合可以有更小的泛化誤差進一步了解進一步了解Dropoutdropout RBM進一步了解進一步了解DropoutMarginalizing Dropout對于線性回歸： 這使得正則常數(shù)依賴于P，P減小，正則常數(shù)變大對于Logistic回歸： 其dropout相當于加了一個正則化項。 22|1|minwppwXyimizewpww 1/2TX)(diag(X =進一步了解進一步了解DropoutBayesian neural network對稀疏數(shù)據(jù)特別有用論文中指出，相比于貝葉斯神經網(wǎng)絡，Dropout處理稀疏數(shù)據(jù)的效果不太好，但是，相比