正則化代價函數(shù)

在這段視頻中傳達給你一個直觀的感受告訴你正規(guī)化是如何進行的而且我們還要寫出我們使用正規(guī)化時需要使用的代價函數(shù)根據(jù)我們幻燈片上的這些例子我想我可以給你一個直觀的感受但是一個更好的讓你自己去理解正規(guī)化如何工作的方法是你自己親自去實現(xiàn)它并且看看它是如何工作的如果在這節(jié)課后你進行一些適當?shù)木毩暷憔陀袡C會親自體驗一下正規(guī)化到底是怎么工作的那么這里就是一些直觀解釋伽4-M+一T=1 伽4-M+一T=1 一—~Supposewepenalizeandmiike^3,04reallysmall.j77^T唧】M?（加-舟尸七Eg日；在前面的視頻中我們看到了如果說我們要用一個二次函數(shù)來擬合這些數(shù)據(jù)它給了我們一個對數(shù)據(jù)很好的擬合然而如果我們用一個更高次的多項式去擬合我們最終可能得到一個曲線能非常好地擬合訓(xùn)練集但是這真的不是一個好的結(jié)果它過度擬合了數(shù)據(jù)因此一般性并不是很好讓我們考慮下面的假設(shè)我們想要加上懲罰項從而使參數(shù)。3和。4足夠的小這里我的意思就是這是我們的優(yōu)化目標或者客觀的說使參數(shù)。3和。4足夠的小這就是我們需要優(yōu)化的問題我們需要盡量減少代價函數(shù)的均方誤差對于這個函數(shù)我們對它進行添加一些項加上1000乘以。3的平方再加上1000乘以。4的平方1000只是我隨便寫的某個較大的數(shù)字而已現(xiàn)在如果我們要最小化這個函數(shù)為了使這個新的代價函數(shù)最小化我們要讓。3和。4盡可能小對吧？因為如果你有1000乘以。3這個新的代價函數(shù)將會是很大的所以當我們最小化這個新的函數(shù)時

我們將使。3的值接近于004的值也接近于0就像我們忽略了這兩個值一樣如果我們做到這一點如果03和04接近0那么我們將得到一個近似的二次函數(shù)所以我們最終恰當?shù)財M合了數(shù)據(jù)你知道二次函數(shù)加上一些項這些很小的項貢獻很小因為0304它們是非常接近于0的所以我們最終得到了實際上很好的一個二次函數(shù)因為這是一個更好的假設(shè)在這個具體的例子中我們看到了懲罰這兩個大的參數(shù)值的效果Regul-ariz-ation.更一般地這里給出了正規(guī)化背后的思路Smallvaluesforparameterspo,們.一一，。折更一般地這里給出了正規(guī)化背后的思路—frSiirpler；Thypothesis＜一1—Lesspronetooveirfitting—Housing:—Features: ....^ioo—Paramet&rs：這種思路就是如果我們的參數(shù)值對應(yīng)一個較小值的話就是說參數(shù)值比較小那么往往我們會得到一個形式更簡單的假設(shè)所以我們最后一個例子中我們懲罰的只是03和04使這兩個值均接近于零我們得到了一個更簡單的假設(shè)也即這個假設(shè)大抵上是一個二次函數(shù)但更一般地說如果我們就像這樣懲罰的其它參數(shù)通常我們可以把它們都想成是得到一個更簡單的假設(shè)因為你知道當這些參數(shù)越接近這個例子時假設(shè)的結(jié)果越接近一個二次函數(shù)但更一般地可以表明這些參數(shù)的值越小通常對應(yīng)于越光滑的函數(shù)也就是更加簡單的函數(shù)因此就不易發(fā)生過擬合的問題我知道為什么要所有的部分參數(shù)變小的這些原因為什么越小的參數(shù)對應(yīng)于一個簡單的假設(shè)我知道這些原因?qū)δ銇碚f現(xiàn)在不一定完全理解但現(xiàn)在解釋起來確實比較困難除非你自己實現(xiàn)一下自己親自運行了這部分但是我希望這個例子中使。3和。4很小并且這樣做能給我們一個更加簡單的假設(shè)我希望這個例子有助于解釋原因至少給了我們一些直觀感受為什么這應(yīng)該是這樣的來讓我們看看具體的例子對于房屋價格預(yù)測我們可能有上百種特征我們談到了一些可能的特征比如說x1是房屋的尺寸x2是臥室的數(shù)目x3是房屋的層數(shù)等等那么我們可能就有一百個特征跟前面的多項式例子不同我們是不知道的我們不知道。304是高階多項式的項所以如果我們有一個袋子如果我們有一百個特征在這個袋子里我們是很難提前選出那些關(guān)聯(lián)度更小的特征的也就是說如果我們有一百或一百零一個參數(shù)我們不知道挑選哪一個我們并不知道如何選擇參數(shù)如何縮小參數(shù)的數(shù)目因此在正規(guī)化里我們要做的事情就是把我們的代價函數(shù)這里就是線性回歸的代價函數(shù)接下來我度量來修改這個代價函數(shù)從而縮小我所有的參數(shù)值因為你知道我不知道是哪個哪一個或兩個要去縮小所以我就修改我的代價函數(shù)在這后面添加一項就像我們在方括號里的這項當我添加一個額外的正則化項的時候我們收縮了每個參數(shù)并且因此我們會使我們所有的參數(shù)010203直到0100的值變小順便說一下按照慣例來講我們從第一個這里開始所以我實際上沒有去懲罰00因此00的值是大的這就是一個約定從1到n的求和而不是從0到n的求和但其實在實踐中這只會有非常小的差異無論你是否包括這項就是00這項實際上結(jié)果只有非常小的差異但是按照慣例通常情況下我們還是只從01至吟100進行正規(guī)化10Regulariz-ation.Sl2eofhousencnfJ例10Regulariz-ation.Sl2eofhousencnfJ例=志rri. 時￡0亦㈤)-照尸+2E膂^=1. k”?這里我們寫下來我們的正規(guī)化優(yōu)化目標我們的正規(guī)化后的代價函數(shù)就是這樣的j（。）這個項右邊的這項就是一個正則化項并且入在這里我們稱做正規(guī)化參數(shù)入要做的就是控制在兩個不同的目標中的一個平衡關(guān)系第一個目標第一個需要抓住的目標就是我們想要訓(xùn)練使假設(shè)更好地擬合訓(xùn)練數(shù)據(jù)我們希望假設(shè)能夠很好的適應(yīng)訓(xùn)練集而第二個目標是我們想要保持參數(shù)值較小這就是第二項的目標通過正則化目標函數(shù)這就為這個正則化參數(shù)需要控制的它會這兩者之間的平衡目標就是平衡擬合訓(xùn)練的目的和保持參數(shù)值較小的目的從而來保持假設(shè)的形式相對簡單來避免過度的擬合對于我們的房屋價格預(yù)測來說這個例子盡管我們之前有我們已經(jīng)用非常高的高階多項式來擬合我們將會得到一個非常彎曲和復(fù)雜的曲線函數(shù)就像這個如果你還是用高階多項式擬合就是用這里所有的多項式特征來擬合的話但現(xiàn)在我們不這樣了你只需要確保使用了正規(guī)化目標的方法那么你就可以得到實際上是一個曲線但這個曲線不是一個真正的二次函數(shù)而是更加的流暢和簡單也許就像這條紫紅色的曲線一樣那么你知道的這樣就得到了對于這個數(shù)據(jù)更好的假設(shè)再一次說明下我了解這部分有點難以明白為什么加上參數(shù)的影響可以具有這種效果但如果你親自實現(xiàn)了正規(guī)化你將能夠看到這種影響的最直觀的感受11-12

Inreeulansedlinearregrewian?wechoose狀tominimiserti- 檢川）=土￡（頑」罰）一舟叩+曹￡=1 j=lWhaiifAis.settoanextremelylargevalue（perhapsfortoolargeforouirproblem』sayA=l（Jl°J?Algorithmworksfine;settingAtobeverylarge匚己n'thurtitAlgortihmfailstoeliminate￡iverfitting.Algorithmresultsinunderfitting.（Failstofiteventrainingdatawell）.GradientdecentwiHfai^toconverge.M^drwvhlInregularizedlinearregression；wechoose tominimise皿）=矗君膈（把）一城乎+土■1WhatifAissetloanextremelylargevalue（perhapsfortoolarge&i%為j也&i%為j也t?舊;I%。t株。W>dRrA-h|在正規(guī)化線性回歸中如果正規(guī)化參數(shù)值被設(shè)定為非常大那么將會發(fā)生什么呢？我們將會非常大地懲罰參數(shù)。ie2e3e4也就是說如果我們的假設(shè)是底下的這個如果我們最終懲罰eie2e3e4在一個非常大的程度那么我們會使所有這些參數(shù)接近于零的對不對？ei將接近零e2將接近零e3和e4最終也會接近于零如果我們這么做那么就是我們的假設(shè)中相當于去掉了這些項并且使我們只是留下了一個簡單的假設(shè)這個假設(shè)只能表明那就是房屋價格就等于e0的值那就是類似于擬合了一條水平直線對于數(shù)據(jù)來說這就是一個欠擬合(underfitting)這種情況下這一假設(shè)它是條失敗的直線對于訓(xùn)練集來說這只是一條平滑直線它沒有任何趨勢它不會去趨向大部分訓(xùn)練樣本的任何值這句話的另一種方式來表達就是這種假設(shè)有過于強烈的"偏見"或者過高的偏差(bais)認為預(yù)測的價格只是等于。0并且盡管我們的數(shù)據(jù)集選擇去擬合一條扁平的直線僅僅是一條扁