2023學(xué)年完整公開課版監(jiān)督式學(xué)習(xí)1

監(jiān)督式學(xué)主講：陳治宇習(xí)回歸模型之嶺回歸分析嶺回歸之前首先要說的一個共線性(collinearity)的概念，共線性是自變量之間存在近似線性的關(guān)系，這種情況下就會對回歸分析帶來很大的影響。因?yàn)榛貧w分析需要我們了解每個變量與輸出之間的關(guān)系，高共線性就是說自變量間存在某種函數(shù)關(guān)系，如果兩個自變量（X1和X2）之間存在函數(shù)關(guān)系，那么當(dāng)X1改變一個單位時，X2也會相應(yīng)的改變，這樣就沒辦法固定其他條件來對單個變量對輸出的影響進(jìn)行分析了，因?yàn)樗治龅腦1總是混雜了X2的作用，這樣就造成了分析誤差，所以回歸分析時需要排除高共線性的影響。

回歸模型之嶺回歸嶺回歸的特點(diǎn):

1.嶺回歸的假設(shè)和最小平方回歸相同，但是在最小平方回歸的時候我們假設(shè)數(shù)據(jù)服從高斯分布使用的是極大似然估計(MLE)，在領(lǐng)回歸的時候由于添加了偏差因子，即w的先驗(yàn)信息，使用的是極大后驗(yàn)估計(MAP)來得到最終的參數(shù)

2.沒有特征選擇功能回歸模型之Lasso回歸Lesso與嶺回歸非常相似，都是在回歸優(yōu)化函數(shù)中增加了一個偏置項(xiàng)以減少共線性的影響，從而減少模型方程。不同的是Lasso回歸中使用了絕對值偏差作為正則化項(xiàng)，

嶺回歸和Lasso回歸之間的差異可以歸結(jié)為L1正則和L2正則之間的差異：

內(nèi)置的特征選擇(Built-infeatureselection):這是L1范數(shù)很有用的一個屬性，二L2范數(shù)不具有這種特性。因?yàn)長1范數(shù)傾向于產(chǎn)生系數(shù)系數(shù)。例如，模型中有100個系數(shù)，但其中只有10個系數(shù)是非零系數(shù)，也就是說只有這10個變量是有用的，其他90個都是沒有用的。而L2范數(shù)產(chǎn)生非稀疏系數(shù)，所以沒有這種屬性。因此可以說Lasso回歸做了一種參數(shù)選擇形式，未被選中的特征變量對整體的權(quán)重為0。

回歸模型之Lasso回歸稀疏性：指矩陣或向量中只有極少個非零系數(shù)。L1范數(shù)具有產(chǎn)生具有零值或具有很少大系數(shù)的非常小值的許多系數(shù)的屬性。

計算效率：L1范數(shù)咩有解析解，但L2范數(shù)有。這使得L2范數(shù)的解可以通過計算得到。L1范數(shù)的解具有稀疏性，這使得它可以與稀疏算法一起使用，這使得在計算上更有效率?；貧w模型之彈性網(wǎng)絡(luò)回歸彈性回歸網(wǎng)絡(luò)是Lesso回歸和嶺回歸技術(shù)的混合體。它使用了L1和L2正則化，也達(dá)到了兩種技術(shù)共有的效果，彈性回歸網(wǎng)絡(luò)的表達(dá)式如下：

在Lasso和嶺回歸之間進(jìn)行權(quán)衡的一個實(shí)際是運(yùn)行彈性網(wǎng)絡(luò)在循環(huán)的情況下繼承嶺回歸的一些穩(wěn)定性。

彈性回歸網(wǎng)絡(luò)的優(yōu)點(diǎn)：

1.鼓勵在高度相關(guān)變量的情況下的群體效應(yīng)，而不像Lasso那樣將其中一些置為0.當(dāng)多個特征和另一個特征相關(guān)的時候彈性網(wǎng)絡(luò)非常有用。Lasso