機(jī)器學(xué)習(xí)入門(mén)：回歸問(wèn)題課件

機(jī)器學(xué)習(xí)入門(mén)：回歸算法原理及應(yīng)用機(jī)器學(xué)習(xí)入門(mén)：人類學(xué)習(xí)過(guò)程認(rèn)知模仿，實(shí)踐反饋再認(rèn)知人類學(xué)習(xí)過(guò)程認(rèn)知模仿，實(shí)踐反饋再認(rèn)知？

機(jī)器學(xué)習(xí)就是讓計(jì)算機(jī)從大量的數(shù)據(jù)中學(xué)習(xí)到相關(guān)的規(guī)律和邏輯，然后利用學(xué)習(xí)來(lái)的規(guī)律來(lái)進(jìn)行決策，推理和識(shí)別等。什么是機(jī)器學(xué)習(xí)？測(cè)試數(shù)據(jù)發(fā)現(xiàn)規(guī)律測(cè)試結(jié)果評(píng)估規(guī)則郵件XiYi：垃圾or正常發(fā)件人郵件地址異常；標(biāo)題含有“低價(jià)促銷”…？機(jī)器學(xué)習(xí)就是讓計(jì)算機(jī)從大量的數(shù)據(jù)中學(xué)習(xí)到相關(guān)機(jī)器學(xué)習(xí)應(yīng)用實(shí)例應(yīng)用實(shí)例：1、對(duì)語(yǔ)言、文字的認(rèn)知與識(shí)別2、對(duì)圖像、場(chǎng)景、自然物體的認(rèn)知與識(shí)別3、對(duì)規(guī)則的學(xué)習(xí)與掌握例如：下雨天要帶傘，生病要吃藥，天冷了要穿厚衣服等4、對(duì)復(fù)雜事物的推理與判斷能力例如：好人與壞人的辨別能力，事物的正誤的判斷能力機(jī)器學(xué)習(xí)應(yīng)用實(shí)例應(yīng)用實(shí)例：機(jī)器學(xué)習(xí)的種類根據(jù)學(xué)習(xí)方式的不同，可以分為監(jiān)督學(xué)習(xí)，無(wú)監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)等幾種類型。監(jiān)督學(xué)習(xí)（有指導(dǎo)）無(wú)監(jiān)督學(xué)習(xí)（自學(xué)）強(qiáng)化學(xué)習(xí)（自我評(píng)估）機(jī)器學(xué)習(xí)的種類根據(jù)學(xué)習(xí)方式的不同，可以分為監(jiān)督學(xué)機(jī)器學(xué)習(xí)三要素

機(jī)器學(xué)習(xí)可以認(rèn)為是一個(gè)在逐步發(fā)現(xiàn)和探索規(guī)律的過(guò)程。學(xué)習(xí)過(guò)程主要包含以三個(gè)要素：模型表示問(wèn)題的影響因素(特征)有哪些？它們之間的關(guān)系如何？模型評(píng)估什么樣的模型是好的模型參數(shù)優(yōu)化如何高效的找到最優(yōu)參數(shù)機(jī)器學(xué)習(xí)三要素機(jī)器學(xué)習(xí)可以認(rèn)為是一個(gè)在逐步發(fā)現(xiàn)和”回歸“的由來(lái)英國(guó)人類學(xué)家F.Galton首次在《自然遺傳》一書(shū)中，提出并闡明了“相關(guān)”和“相關(guān)系數(shù)”兩個(gè)概念，為相關(guān)論奠定了基礎(chǔ)。其后，他和英國(guó)統(tǒng)計(jì)學(xué)家KarlPearson對(duì)上千個(gè)家庭的身高，臂長(zhǎng)，拃長(zhǎng)（伸開(kāi)大拇指與中指兩端的最大長(zhǎng)度）做了測(cè)量，發(fā)現(xiàn)了一種現(xiàn)象?！被貧w“的由來(lái)英國(guó)人類學(xué)家F.Galton首回歸問(wèn)題應(yīng)用場(chǎng)景回歸分析屬于有監(jiān)督學(xué)習(xí)，簡(jiǎn)單有效，應(yīng)用十分廣泛：回歸問(wèn)題應(yīng)用場(chǎng)景回歸分析屬于有監(jiān)督學(xué)習(xí)，簡(jiǎn)單有效，應(yīng)用十分廣一個(gè)簡(jiǎn)單的例子一個(gè)簡(jiǎn)單的例子回歸分析

回歸分析研究的主要是因變量（目標(biāo)）和自變量（經(jīng)驗(yàn)）之間的依存關(guān)系。按關(guān)系類型，又可分為線性回歸分析和非線性回歸分析。學(xué)習(xí)過(guò)程如下：回歸分析回歸分析研究的主要是因變量（目標(biāo)）

理想的擬合直線Linear

Regression

理想的擬合直線LinearRegression最小二乘算法

最小二乘算法

最小二乘算法

最小二乘算法

選擇“最優(yōu)回歸方程”

回歸方程中包含的自變量個(gè)數(shù)越多，回歸平方和就越大，殘差平方和越小，預(yù)測(cè)值的置信區(qū)間也越小。既要選擇對(duì)預(yù)測(cè)影響顯著的自變量，又要使回歸的損失很小，這樣才有利于預(yù)測(cè)。選擇“最優(yōu)回歸方程”的方法有：最優(yōu)子選擇法（best

subset

selection）逐步選擇法（stepwise

selection）選擇“最優(yōu)回歸方程”回歸方程中包含的自變量個(gè)數(shù)Best

subset

selection最優(yōu)子集選擇法（best

subset

selection），即對(duì)n個(gè)預(yù)測(cè)變量的所有可能組合（共有2n-1）分別進(jìn)行擬合，然后選擇出最優(yōu)模型。

Bestsubsetselection最優(yōu)StepwiseSelection

逐步選擇法按選擇方式的不同，共分為三種：前向逐步選擇法（Forward

StepwiseSelection）后向逐步選擇法（Backward

Stepwise

Selection）逐步回歸法（Stepwise

Regression）基于最優(yōu)子集回歸方法的一些缺陷，逐步選擇的優(yōu)點(diǎn)是限制了搜索空間，從而提高了運(yùn)算效率。StepwiseSelection逐步選擇法按選Forward

StepwiseSelection以零模型為起點(diǎn)，依次往模型中添加變量，直至加完所有的變量。但每次優(yōu)先將能夠最大限度地提升模型效果的變量加入模型。但無(wú)法保證找到的模型是所有2n-1個(gè)模型中最優(yōu)的，且可能在前期將后來(lái)變得多余的變量納入模型。模型個(gè)數(shù)：[n(n+1)/2]+1ForwardStepwiseSelectionBackward

Stepwise

Selection

以全模型為起點(diǎn)，逐次迭代，每次移除一個(gè)對(duì)模型擬合結(jié)果最不利的變量。需滿足樣本量m大于變量個(gè)數(shù)n（保證全模型被擬合）。而前向逐步選擇即時(shí)在m<n的情況下也可以使用，適應(yīng)于高維數(shù)據(jù)。模型個(gè)數(shù)：[n(n+1)/2]+1BackwardStepwiseSelectionStepwise

Regression

該方法將前向選擇與后項(xiàng)進(jìn)行了結(jié)合，試圖達(dá)到最優(yōu)子集選擇效果的同時(shí)也保留了前向和后向逐步選擇在計(jì)算上的優(yōu)勢(shì)。StepwiseRegression該方法將損失函數(shù)（loss

function）

損失函數(shù)(lossfunction)度量預(yù)測(cè)錯(cuò)誤的程度，常記作L(Y,f(X))。常見(jiàn)的損失函數(shù)有以下幾種：

0-1損失函數(shù)（0-1

loss

function）：缺點(diǎn)：無(wú)法度量損失的“嚴(yán)重程度”。損失函數(shù)（lossfunction）損失函數(shù)損失函數(shù)（loss

function）平方損失函數(shù)（quadratic

loss

function）：對(duì)數(shù)損失函數(shù)（logarithmic

loss

function）:指數(shù)損失函數(shù)（exp-loss

function）:損失函數(shù)（lossfunction）平方損失函數(shù)（quad梯度下降算法梯度下降法：是一種優(yōu)化算法，通常也稱為最速下降基本思想：在下山時(shí)，如果想以最快的方式到達(dá)山底，應(yīng)該沿著山勢(shì)最陡的方向，也即山勢(shì)變化最快的方向。同樣，如果從任意一點(diǎn)出發(fā)，需要最快搜索到函數(shù)的最小值，那么也應(yīng)該從函數(shù)變化最快的方向搜索而函數(shù)變化最快的方向就是函數(shù)的負(fù)梯度方向梯度下降算法梯度下降法：是一種優(yōu)化算法，通常也梯度下降算法

梯度下降算法

損失計(jì)算方法

批量梯度下降法（BGD）：是梯度下降法最原始的形式，在更新每一參數(shù)時(shí)都使用所有的樣本來(lái)進(jìn)行更新。隨機(jī)梯度下降法（SGD）：它的具體思路是在更新每一參數(shù)時(shí)都使用一個(gè)樣本來(lái)進(jìn)行更新。

Mini-batchGradientDescent（MBGD）：它的具體思路是在更新每一參數(shù)時(shí)都使用一部分樣本來(lái)進(jìn)行更新?lián)p失計(jì)算方法批量梯度下降法（BGD）：是梯度下可能存在的問(wèn)題學(xué)習(xí)過(guò)程可能出現(xiàn)的問(wèn)題：1）數(shù)據(jù)量過(guò)少（m<n）2）存在大量相似特征3）過(guò)擬合，泛化能力弱（一般都存在此問(wèn)題）可以使用結(jié)構(gòu)風(fēng)險(xiǎn)最小化模型選擇策略，即引入正則項(xiàng)。什么是過(guò)擬合？什么是結(jié)構(gòu)風(fēng)險(xiǎn)最小化？可能存在的問(wèn)題學(xué)習(xí)過(guò)程可能出現(xiàn)的問(wèn)題：什么是過(guò)風(fēng)險(xiǎn)函數(shù)

損失函數(shù)度量預(yù)測(cè)值與“真實(shí)值”之間的“接近程度”，而風(fēng)險(xiǎn)函數(shù)，可以認(rèn)為是平均意義下的損失。有兩個(gè)概念：經(jīng)驗(yàn)風(fēng)險(xiǎn)：給定一個(gè)數(shù)據(jù)集，模型f(x)關(guān)于訓(xùn)練集的平均損失被稱為經(jīng)驗(yàn)風(fēng)險(xiǎn)。一般認(rèn)為經(jīng)驗(yàn)風(fēng)險(xiǎn)最小的模型最優(yōu)，即經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化（ERM）。風(fēng)險(xiǎn)函數(shù)損失函數(shù)度量預(yù)測(cè)值與“真實(shí)值”之間風(fēng)險(xiǎn)函數(shù)

結(jié)構(gòu)風(fēng)險(xiǎn)：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化易產(chǎn)生“過(guò)擬合”問(wèn)題。這就提出了結(jié)構(gòu)風(fēng)險(xiǎn)最?。⊿RM）的理論。

本質(zhì)上是在經(jīng)驗(yàn)風(fēng)險(xiǎn)的基礎(chǔ)上加入了正則化項(xiàng)（regularizer）或者叫做罰項(xiàng)（penaltyterm），即

：風(fēng)險(xiǎn)函數(shù)結(jié)構(gòu)風(fēng)險(xiǎn)：經(jīng)驗(yàn)風(fēng)險(xiǎn)最小化易Overfiting

and

Underfiting

模型學(xué)的“太好”，把樣本自身的一些特點(diǎn)當(dāng)作所有潛在樣本都會(huì)具有的一般性質(zhì)，泛化性能很差，稱為“過(guò)擬合”(overfitting)。正則化可以很好的解決這一問(wèn)題。與“過(guò)擬合”相對(duì)的是“欠擬合”(underfitting)，這是指對(duì)訓(xùn)練樣本的一般性質(zhì)尚未學(xué)好。OverfitingandUnderfitingL1范數(shù)與L2范數(shù)范數(shù)：范數(shù)是衡量某個(gè)向量空間（或矩陣）中的每個(gè)向量的長(zhǎng)度或大小。范數(shù)的一般化定義如下（實(shí)數(shù)p>=1）：

L1范數(shù)：當(dāng)p=1時(shí)，是L1范數(shù)，表示某個(gè)向量中所有元素的絕對(duì)值之和。L2范數(shù)：當(dāng)p=2時(shí)，是L2范數(shù)，表示某個(gè)向量中所有元素的平方和再開(kāi)根號(hào)。L1范數(shù)與L2范數(shù)范數(shù)：范數(shù)是衡量某個(gè)向量空間（或矩陣）中的RidgeRegression

正則化項(xiàng)是參數(shù)的L2范數(shù)時(shí)，整個(gè)回歸方法就叫做嶺回歸。相應(yīng)損失函數(shù)：那么為什么叫做“嶺”回歸呢？

RidgeRegression正則化項(xiàng)是參數(shù)Lasso

Regression

lasso回歸：參數(shù)范數(shù)為L(zhǎng)1范數(shù)

優(yōu)勢(shì)：不僅可以解決過(guò)擬合問(wèn)題，而且可以在參數(shù)縮減過(guò)程中，將一些重復(fù)或不重要的參數(shù)直接縮減為零（刪除），有提取有用特征的作用。劣勢(shì)：計(jì)算過(guò)程復(fù)雜，畢竟L1范數(shù)不是連續(xù)可導(dǎo)的。LassoRegression

lasso回歸：參數(shù)范數(shù)為L(zhǎng)1正則與L2正則

L1正則與L2正則

L1正則與L2正則

L1正則與L2正則

L1正則與L2正則

從貝葉斯角度來(lái)看，正則化相當(dāng)于對(duì)模型參數(shù)引入了先驗(yàn)分布，即對(duì)模型參數(shù)加了分布約束：

L1正則，模型參數(shù)服從拉普拉斯分布，只有很小的|w|，才能得到較大的概率，

L2正則，模型參數(shù)服從高斯分布對(duì)大的|w|，概率較低，而在接近0的時(shí)候，概率變換緩慢，最終解的w趨于0附近。L1正則與L2正則從貝葉斯角度來(lái)看，正則化相當(dāng)L1正則與L2正則

對(duì)模型加入?yún)?shù)的正則化項(xiàng)后，模型會(huì)嘗試最小化這些權(quán)值參數(shù)。而這個(gè)最小化就像一個(gè)下坡的過(guò)程，L1和L2的另一個(gè)差別就在于這個(gè)“坡”不同。如下圖：L1就是按絕對(duì)值函數(shù)的“坡”下降的，而L2是按二次函數(shù)的“坡”下降。所以實(shí)際上在0附近，L1的下降速度比L2的下降速度要快。L1正則與L2正則對(duì)模型加入?yún)?shù)的正則化項(xiàng)后，另一種回歸方法叫Elastic

Net，它同時(shí)采用了L1和L2正則，以綜合Ridge

Regression和Lasso

Regression兩者的優(yōu)點(diǎn)。既能稀疏化模型權(quán)重，又能保持嶺回歸的穩(wěn)定性。Elastic

Net另一種回歸方法叫ElasticNet，它同時(shí)非線性模型