《機(jī)器學(xué)習(xí)技術(shù)》課件 第六章 線性回歸

單元6線性回歸機(jī)器學(xué)習(xí)電氣與信息工程系CONTENTS

目錄010203任務(wù)6.1房?jī)r(jià)數(shù)據(jù)集導(dǎo)入與數(shù)據(jù)預(yù)處理

任務(wù)6.2訓(xùn)練線性回歸模型任務(wù)6.3模型評(píng)估引例描述

房?jī)r(jià)可以說(shuō)是當(dāng)下民生問(wèn)題中最引人關(guān)注的話題，現(xiàn)在也有眾多專(zhuān)家通過(guò)多種手段預(yù)測(cè)房?jī)r(jià)。對(duì)于學(xué)習(xí)機(jī)器學(xué)習(xí)的我們，有沒(méi)有一種方法可以讓電子計(jì)算機(jī)去預(yù)測(cè)房?jī)r(jià)呢？通過(guò)街區(qū)住戶的收入、房型、街區(qū)人口、入住率等因素來(lái)預(yù)測(cè)這個(gè)街區(qū)的房?jī)r(jià)，這時(shí)，我們不能使用傳統(tǒng)的分類(lèi)算法來(lái)預(yù)測(cè)，因?yàn)槲覀兿胍玫降氖沁B續(xù)的結(jié)果，本單元通過(guò)一種經(jīng)典的回歸模型——線性回歸模型來(lái)帶大家了解回歸問(wèn)題的解決方法。圖6-1所述為情景描述。（a）（b）（a：想買(mǎi)房子，不知道明年的房?jī)r(jià)怎么樣呢？b：我用回歸模型幫你預(yù)測(cè)一下吧?。﹫D6-1情景描述任務(wù)6.1房?jī)r(jià)數(shù)據(jù)集導(dǎo)入與數(shù)據(jù)預(yù)處理任務(wù)情景

加利福尼亞房?jī)r(jià)數(shù)據(jù)集是sklearn庫(kù)自帶的一個(gè)經(jīng)典的房?jī)r(jià)數(shù)據(jù)集，本任務(wù)旨在成功讀取、導(dǎo)入數(shù)據(jù)集，查看數(shù)據(jù)集中數(shù)據(jù)的特征、大小，以及熟練劃分?jǐn)?shù)據(jù)集。

加利福尼亞房?jī)r(jià)數(shù)據(jù)集源于1990年加州人口普查的數(shù)據(jù)，一共包含20

640條房屋數(shù)據(jù)，包括以下8個(gè)特征：（1）MedInc：街區(qū)住戶收入的中位數(shù)。（2）HouseAge：房屋使用年數(shù)的中位數(shù)。（3）AveRooms：街區(qū)平均房屋的數(shù)量。（4）AveBedrms：街區(qū)平均的臥室數(shù)目。（5）'Population：街區(qū)人口。（6）AveOccup：平均入住率。（7）Latitude：街區(qū)的緯度。（8）Longitude：街區(qū)的經(jīng)度。任務(wù)布置

實(shí)現(xiàn)加利福尼亞房?jī)r(jià)數(shù)據(jù)集的讀取與解析，要求能夠讀取數(shù)據(jù)的條數(shù)與矩陣大小，并能夠查看數(shù)據(jù)集的一部分?jǐn)?shù)據(jù)。數(shù)據(jù)集的大小如圖6-2所示。數(shù)據(jù)的前5行如圖6-3所示。圖6-2數(shù)據(jù)集的大小圖6-3數(shù)據(jù)前5行任務(wù)布置數(shù)據(jù)集包含的特征及前5行數(shù)據(jù)如圖6-4所示。圖6-4數(shù)據(jù)集包含的特征及前5行數(shù)據(jù)劃分好的測(cè)試集數(shù)據(jù)如圖6-5所示。圖6-5劃分好的測(cè)試集數(shù)據(jù)知識(shí)準(zhǔn)備1．加利福尼亞房?jī)r(jià)數(shù)據(jù)集導(dǎo)入

加利福尼亞房?jī)r(jià)數(shù)據(jù)集可以從sklearn庫(kù)直接導(dǎo)入，sklearn庫(kù)會(huì)自帶一些數(shù)據(jù)集的讀取方式。課堂隨練6-1讀取sklearn庫(kù)自帶的鳶尾花數(shù)據(jù)集。知識(shí)準(zhǔn)備下載下來(lái)的數(shù)據(jù)集的存儲(chǔ)路徑為\Anaconda\Lib\site-packages\sklearn\datasets\data，如圖6-6所示。圖6-6下載下來(lái)的數(shù)據(jù)集的存儲(chǔ)路徑知識(shí)準(zhǔn)備2）當(dāng)下載的數(shù)據(jù)集較大時(shí)，一般不將其直接保存在sklearn庫(kù)中，而是采用在線下載的方式，需要聯(lián)網(wǎng)才可以下載，采用datasets.fetch_xxx，使用以下代碼獲取下載路徑：課堂隨練6-2下載加利福尼亞房?jī)r(jià)數(shù)據(jù)集并查看。知識(shí)準(zhǔn)備3）sklearn庫(kù)可以使用make_xxx函數(shù)來(lái)生成數(shù)據(jù)集，該類(lèi)函數(shù)適用于多種類(lèi)型任務(wù)，舉例如下：make_blobs函數(shù)：多類(lèi)單標(biāo)簽數(shù)據(jù)集，為每個(gè)類(lèi)分配一個(gè)或多個(gè)正態(tài)分布的點(diǎn)集。make_classification函數(shù)：用于產(chǎn)生多類(lèi)單標(biāo)簽數(shù)據(jù)集，為每個(gè)類(lèi)分配一個(gè)或多個(gè)正態(tài)分布的點(diǎn)集，提供為數(shù)據(jù)添加噪聲的方式，包括利用維度相關(guān)性、無(wú)效特征及冗余特征等。make_gaussian-quantiles函數(shù)：將一個(gè)單正態(tài)分布的點(diǎn)集劃分為兩個(gè)數(shù)量均等的點(diǎn)集，并將其作為兩類(lèi)。make_hastie-10-2函數(shù)：產(chǎn)生一個(gè)相似的二元分類(lèi)數(shù)據(jù)集

，有10個(gè)維度。make_circle函數(shù)和make_moom函數(shù)：產(chǎn)生二維二元分類(lèi)數(shù)據(jù)集，以此測(cè)試某些算法的性能，可以為數(shù)據(jù)集添加噪聲，可以為二元分類(lèi)器產(chǎn)生一些球形判決界面的數(shù)據(jù)。知識(shí)準(zhǔn)備課堂隨練6-3使用make_xxx函數(shù)生成數(shù)據(jù)集的訓(xùn)練。知識(shí)準(zhǔn)備2．?dāng)?shù)據(jù)集劃分使用train_test_split函數(shù)進(jìn)行數(shù)據(jù)集的劃分，在機(jī)器學(xué)習(xí)訓(xùn)練中，數(shù)據(jù)集一般分為訓(xùn)練集和測(cè)試集（有些情況下還存在驗(yàn)證集），train_test_split是最常用的數(shù)據(jù)集劃分方法。其中，*arrays表示輸入的是列表、數(shù)組等可索引的序列；train_size表示訓(xùn)練樣本的大小，數(shù)值為浮點(diǎn)數(shù)表示占總數(shù)據(jù)集的比例，數(shù)值為整數(shù)表示訓(xùn)練樣本數(shù)，數(shù)值為空則表示測(cè)試集的補(bǔ)集；test_size表示測(cè)試樣本的大小，數(shù)值為浮點(diǎn)數(shù)表示占總數(shù)據(jù)集的比例，數(shù)值為整數(shù)表示測(cè)試樣本數(shù)，數(shù)值為空則表示訓(xùn)練集的補(bǔ)集；知識(shí)準(zhǔn)備random_state表示隨機(jī)種子，也就是該組隨機(jī)數(shù)的編號(hào)，在需要重復(fù)試驗(yàn)的時(shí)候，保證得到一組一樣的隨機(jī)數(shù)。例如，我們本次試驗(yàn)和下次代碼循環(huán)到這個(gè)位置的時(shí)候都想要一樣的隨機(jī)數(shù)，那就每次都將隨機(jī)數(shù)設(shè)置為一樣的值，默認(rèn)值為False，即雖然每次切分的比例相同，但是切分的結(jié)果不同。stratify的設(shè)置是為了保持劃分前數(shù)據(jù)的分布，若stratify的值為None，則在劃分出來(lái)的測(cè)試集或訓(xùn)練集中，類(lèi)標(biāo)簽所占的比例是隨機(jī)的；若stratify的值不為None，則劃分出來(lái)的測(cè)試集或訓(xùn)練集中類(lèi)標(biāo)簽所占的比例同輸入的數(shù)組中類(lèi)標(biāo)簽所占的比例相同，該設(shè)置可以用于處理不均衡的數(shù)據(jù)集。任務(wù)實(shí)施Step1：導(dǎo)入庫(kù)，并導(dǎo)入數(shù)據(jù)集fetch_california_housing。Step2：將數(shù)據(jù)集讀取到DataFrame中，以便查看。Step3：查看一些數(shù)據(jù)集的內(nèi)容。Step4：劃分測(cè)試集與訓(xùn)練集。任務(wù)實(shí)施（a）數(shù)據(jù)集下載地址讀取數(shù)據(jù)集如圖6-7所示。（b）數(shù)據(jù)集內(nèi)容展示圖6-7讀取數(shù)據(jù)集任務(wù)6.2訓(xùn)練線性回歸模型任務(wù)情景線性回歸模型是機(jī)器學(xué)習(xí)中最簡(jiǎn)單的回歸模型，是所有回歸模型的基礎(chǔ)。分類(lèi)問(wèn)題的目標(biāo)是得到離散型的類(lèi)別，回歸問(wèn)題的目標(biāo)是得到連續(xù)的目標(biāo)值，如預(yù)測(cè)銷(xiāo)售額、房?jī)r(jià)等。本任務(wù)旨在使讀者了解線性回歸模型的原理、搭建過(guò)程，并使讀者學(xué)會(huì)使用sklearn庫(kù)自帶的函數(shù)搭建線性回歸模型，訓(xùn)練加利福尼亞房?jī)r(jià)數(shù)據(jù)集，預(yù)測(cè)房?jī)r(jià)并展示。加利福尼亞房?jī)r(jià)數(shù)據(jù)集如圖6-8所示。圖6-8加利福尼亞房?jī)r(jià)數(shù)據(jù)集任務(wù)布置

要求通過(guò)建立線性回歸模型來(lái)預(yù)測(cè)測(cè)試樣本值，并輸出線性回歸模型的回歸系數(shù)和截距。圖6-9測(cè)試樣本的預(yù)測(cè)結(jié)果

線性加強(qiáng)歸模型的回歸系數(shù)如圖6-10所示。圖6-10線性加強(qiáng)歸模型的回歸系數(shù)知識(shí)準(zhǔn)備—1.線性回歸的原理1．線性回歸的原理1）一元線性回歸的原理一元線性回歸的原理與初中學(xué)過(guò)的一元一次方程類(lèi)似，設(shè)x和y為兩個(gè)變量，假設(shè)y受x變量的影響，其之間的關(guān)系為式中，w為回歸系數(shù)；b為截距。回歸的典型例子就是給定數(shù)據(jù)點(diǎn)，擬合出最佳的曲線，這種只包含一個(gè)自變量x的模型被稱(chēng)為一元線性回歸模型，如圖6-11所示。圖6-11一元線性回歸模型（6-1）2）多元線性回歸的原理多元線性回歸研究的是一個(gè)因變量與多個(gè)自變量之間的關(guān)系，多元線性回歸函數(shù)的計(jì)算公式為（6-2）知識(shí)準(zhǔn)備—1.線性回歸的原理知識(shí)準(zhǔn)備—2.模型評(píng)估2．模型評(píng)估如何根據(jù)多個(gè)樣本

來(lái)確定線性回歸模型的w和b呢？線性回歸模型示例如圖6-12所示，對(duì)于平面中的n個(gè)點(diǎn)可以有無(wú)數(shù)條直線來(lái)對(duì)它們進(jìn)行擬合，如何選出最合適的直線是我們需要考慮的問(wèn)題。圖6-12線性回歸模型示例知識(shí)準(zhǔn)備線性回歸模型的預(yù)測(cè)可以通過(guò)殘差來(lái)評(píng)估，線性回歸模型殘差示例如圖6-13所示。圖6-13線性回歸模型殘差示例知識(shí)準(zhǔn)備—2.模型評(píng)估知識(shí)準(zhǔn)備假設(shè)選取圖6-12中的一條擬合直線，線上連續(xù)的值為預(yù)測(cè)值，那么該點(diǎn)的，擬合誤差的計(jì)算公式為擬合誤差為因此，最佳的擬合直線應(yīng)該是使所有樣本總的擬合誤差最小的直線，所有點(diǎn)的殘差可以表示為，殘差總和被定義為模型的損失（Loss）。代價(jià)函數(shù)/代價(jià)函數(shù)（LossFunction/CostFunction）用于表示模型的預(yù)測(cè)值和真實(shí)值不一致的程度，其計(jì)算公式為（6-3）（6-4）知識(shí)準(zhǔn)備—2.模型評(píng)估知識(shí)準(zhǔn)備（6-3）注意：由式（6-3）發(fā)現(xiàn)，殘差是有符號(hào)的。在選定直線上方的點(diǎn)，它的殘差總是正的；而在直線下方的點(diǎn)，它的殘差總是負(fù)的。如果將殘差簡(jiǎn)單地相加，那么正的殘差和負(fù)的殘差就會(huì)相互抵消，這樣做的話，有可能每個(gè)樣本單獨(dú)的殘差都很大，而計(jì)算得到的殘差的和卻很小。這樣的直線顯然不滿足我們的預(yù)期，因此代價(jià)函數(shù)的值應(yīng)該是一個(gè)非負(fù)數(shù)，那么我們很容易想到可以使用絕對(duì)值來(lái)消除殘差中符號(hào)的影響。用殘差絕對(duì)值的和作為代價(jià)函數(shù)，可以避免正負(fù)誤差相互抵消的問(wèn)題。知識(shí)準(zhǔn)備—2.模型評(píng)估知識(shí)準(zhǔn)備用殘差絕對(duì)值的和表示的損失函數(shù)為但是，求殘差和的最小值是一個(gè)求最值的問(wèn)題。在求函數(shù)的最值時(shí)，一般要進(jìn)行求導(dǎo)運(yùn)算，而絕對(duì)值是不利于求導(dǎo)運(yùn)算的。為了消除絕對(duì)值運(yùn)算，可以將式（6-5）中的絕對(duì)值改為平方，使得所有樣本點(diǎn)的殘差平方和最小。用殘差平方和表示的損失函數(shù)為（6-6）（6-5）知識(shí)準(zhǔn)備—2.模型評(píng)估知識(shí)準(zhǔn)備經(jīng)常將代價(jià)函數(shù)寫(xiě)為式中，m為訓(xùn)練集的數(shù)量；為x的i個(gè)元素；

為y的第i個(gè)元素；為第i個(gè)預(yù)測(cè)值，注意：有時(shí)部分版本也為了方便求導(dǎo)運(yùn)算，直接在Loss前面加上1/2。（6-7）知識(shí)準(zhǔn)備—2.模型評(píng)估知識(shí)準(zhǔn)備（6-6）式（6-6）稱(chēng)為平方和代價(jià)函數(shù)，是機(jī)器學(xué)習(xí)中最常見(jiàn)的代價(jià)函數(shù)。平方和代價(jià)函數(shù)示意圖如圖6-14所示。圖6-14平方和代價(jià)函數(shù)示意圖知識(shí)準(zhǔn)備—2.模型評(píng)估知識(shí)準(zhǔn)備—3．最小二乘法求解回歸模型3．最小二乘法求解回歸模型下面采用最小二乘法計(jì)算w和b，假設(shè)給定一組樣本值要求回歸函數(shù)盡可能擬合這組值，普通的最小二乘法則會(huì)選擇使殘差平方和達(dá)到最小值的回歸函數(shù)。我們發(fā)現(xiàn)，式（6-5）是關(guān)于w和b的二元二次方程。一元二次方程的示意圖如6-15所示。，圖6-15一元二次方程的示意圖知識(shí)準(zhǔn)備—3．最小二乘法求解回歸模型二元二次方程在三維空間中的示意圖如圖6-16所示。圖6-16二元二次方程在三維空間中的示意注意：該問(wèn)題的解決依賴于凸函數(shù)問(wèn)題的解決，其在微積分中的解釋為，當(dāng)代價(jià)函數(shù)的導(dǎo)數(shù)為0時(shí)，代價(jià)函數(shù)的取值最小。在式（6-6）的基礎(chǔ)上對(duì)w和b分別求偏導(dǎo)，得到（6-8）（6-9）代入樣本值就可以求得w和b。知識(shí)準(zhǔn)備—4．梯度下降算法求解回歸模型4．梯度下降算法求解回歸模型梯度下降算法也是將代價(jià)函數(shù)最小化的常用方法之一，如果是線性回歸，那么代價(jià)函數(shù)的形狀如圖6-16所示，是碗狀結(jié)構(gòu)，即只存在一個(gè)數(shù)據(jù)最小的點(diǎn)。而梯度下降算法的原理是將代價(jià)函數(shù)理解為一座山，假設(shè)站在某個(gè)山坡上，向四周觀察，判斷往哪個(gè)方向走一步能夠下降得最快。根據(jù)式（6-7），梯度下降的實(shí)現(xiàn)步驟如下：（1）確定“步伐”大小a，一般稱(chēng)之為學(xué)習(xí)率（LearningRate）。（2）初始化和，這決定了我們從哪個(gè)山坡上開(kāi)始下坡，選擇不同的位置進(jìn)行梯度下降的示意圖如圖6-17所示。圖6-17選擇不同的位置進(jìn)行梯度下降的示意圖（3）根據(jù)更新和，使得逐漸減小，q

更新如圖6-18所示。知識(shí)準(zhǔn)備—4．梯度下降算法求解回歸模型圖6-18

q

更新知識(shí)準(zhǔn)備—4．梯度下降算法求解回歸模型（4）當(dāng)下降的值低于定好的閾值或者條件時(shí)，停止下降。在實(shí)際的應(yīng)用過(guò)程中，根據(jù)每次梯度下降過(guò)程中樣本數(shù)的不同，通常存在3種常用的梯度下降方法，樣本數(shù)的不同會(huì)影響每次學(xué)習(xí)過(guò)程的準(zhǔn)確性和學(xué)習(xí)時(shí)間。①批量梯度下降（BatchGradientDescent，BGD）算法。批量梯度下降算法是梯度下降算法中最常用的形式，具體做法就是在更新參數(shù)時(shí)使用所有的m個(gè)樣本來(lái)更新。更新公式為梯度下降算法最終得到的是局部極小值。而線性回歸的代價(jià)函數(shù)為凸函數(shù)，有且只有一個(gè)局部最小值，則這個(gè)局部最小值一定是全局最小值。因此，在線性回歸中使用批量梯度下降算法，一定可以找到一個(gè)全局最佳解。使用批量梯度下降算法可以求出全局最佳解，易于并行實(shí)現(xiàn)，并且總體迭代次數(shù)不多，方便統(tǒng)計(jì)，但是當(dāng)樣本數(shù)目很多時(shí)，訓(xùn)練速度會(huì)較慢，每次迭代會(huì)耗費(fèi)大量的時(shí)間。知識(shí)準(zhǔn)備—4．梯度下降算法求解回歸模型②隨機(jī)梯度下降（StochasticGradientDescent，SGD）算法。隨機(jī)梯度下降算法與批量梯度下降算法的原理類(lèi)似，區(qū)別在于求梯度時(shí)沒(méi)有用所有的m個(gè)樣本的數(shù)據(jù)，而是僅僅選取一個(gè)樣本i來(lái)求梯度。更新公式為隨機(jī)梯度下降算法每次隨機(jī)選擇一個(gè)樣本來(lái)更新模型參數(shù)，這種方式的優(yōu)點(diǎn)是每次迭代量很小，訓(xùn)練速度很快，同時(shí)隨機(jī)梯度下降算法可能從一個(gè)局部極小值點(diǎn)到另一個(gè)更低的局部極小值點(diǎn)；缺點(diǎn)是可能每次更新不會(huì)按照一定正確的方向進(jìn)行，可能帶來(lái)優(yōu)化波動(dòng)，也可能最終結(jié)果并不是全局最小值點(diǎn)。知識(shí)準(zhǔn)備—4．梯度下降算法求解回歸模型③小批量梯度下降（Mini-BatchGradientDescent，MBGD）算法。小批量梯度下降算法同時(shí)參考了批量梯度下降算法和隨機(jī)梯度下降算法，選取一部分（少量）樣本進(jìn)行迭代，例如對(duì)于總體m個(gè)樣本，選取其中x個(gè)樣本進(jìn)行迭代，多數(shù)情況下可以選取x=10、20、100等。更新公式為使用小批量梯度下降算法在批量梯度下降算法和隨機(jī)梯度下降算法中間取得了一定的均衡效果。知識(shí)準(zhǔn)備—4．梯度下降算法求解回歸模型（5）算法調(diào)優(yōu)。梯度下降算法，可以在以下幾個(gè)地方進(jìn)行優(yōu)化調(diào)整：①算法的步長(zhǎng)選擇。步長(zhǎng)一般選擇1，但是在實(shí)際的應(yīng)用過(guò)程中，步長(zhǎng)的選擇取決于樣本數(shù)據(jù)，我們可以采取多次實(shí)驗(yàn)比較代價(jià)函數(shù)結(jié)果的方法進(jìn)行選擇。在步長(zhǎng)逐漸增大時(shí)，迭代速度加快也會(huì)導(dǎo)致“跨過(guò)”某些最佳解到達(dá)另一個(gè)解。步長(zhǎng)越小，迭代速度就越慢，系統(tǒng)效率也就越低。在步長(zhǎng)的選擇方面，可以依次選擇0.01、0.1、1、10、100進(jìn)行測(cè)試，再在合適的區(qū)間內(nèi)進(jìn)行微調(diào)。②算法參數(shù)的初始值選擇。初始值不同，獲得的最小值也有可能不同，因此梯度下降算法求得的只是局部最小值，若代價(jià)函數(shù)是凸函數(shù)，則該值一定是最佳解。由于有獲得局部最佳解的風(fēng)險(xiǎn)，需要多次用不同的初始值運(yùn)行算法，選擇使得代價(jià)函數(shù)最小化的初始值。知識(shí)準(zhǔn)備—4．梯度下降算法求解回歸模型③歸一化。由于樣本不同特征的取值范圍也不同，可能導(dǎo)致迭代速度很慢，為了減少特征取值的影響，可以將特征數(shù)據(jù)歸一化，也就是對(duì)于每個(gè)特征x，求出它的期望和標(biāo)準(zhǔn)差std(x)，然后轉(zhuǎn)化為這樣特征的新期望為0，新方差為1，迭代速度可以大大加快。。知識(shí)準(zhǔn)備—5．梯度下降算法與最小二乘法的對(duì)比梯度下降算法最小二乘法缺點(diǎn)：（1）需要選擇學(xué)習(xí)率a（2）需要多次迭代。（3）當(dāng)特征值的范圍相差太大時(shí)，需要?dú)w一化優(yōu)點(diǎn)：當(dāng)特征數(shù)n很大時(shí)，能夠較好地工作優(yōu)點(diǎn)：（1）不需要選擇學(xué)習(xí)率a。（2）不需要多次迭代。（3）不需要?dú)w一化。缺點(diǎn)：當(dāng)特征數(shù)n很大時(shí)，運(yùn)算得很慢，因?yàn)榍竽婢仃嚨乃俣缺容^慢通常情況下，當(dāng)n<10000時(shí)，用最小二乘法；當(dāng)n≥10000時(shí)，用梯度下降算法。對(duì)于一些復(fù)雜的算法，只能用梯度下降算法。知識(shí)準(zhǔn)備—5．梯度下降算法與最小二乘法的對(duì)比代碼實(shí)例1：批量梯度下降算法知識(shí)準(zhǔn)備—5．梯度下降算法與最小二乘法的對(duì)比代碼實(shí)例2：隨機(jī)梯度下降算法知識(shí)準(zhǔn)備—5．梯度下降算法與最小二乘法的對(duì)比代碼實(shí)例3：小批量梯度下降算法任務(wù)6.3模型評(píng)估任務(wù)情景

評(píng)估線性回歸模型優(yōu)劣的最好方式是利用方差，除了利用殘差平方和，還存在一些較為常用的評(píng)估方法。下面將采用幾種關(guān)鍵方法對(duì)線性回歸模型進(jìn)行評(píng)估。任務(wù)布置要求通過(guò)幾種常見(jiàn)的評(píng)估線性回歸模型的方法對(duì)模型進(jìn)行評(píng)估。MSE的值如圖6-19所示。圖6-19MSE的值R-squre評(píng)估模型的誤差如圖6-20所示。圖6-20R-squre評(píng)估模型的誤差任務(wù)情景使用曲線圖對(duì)比模型預(yù)測(cè)值與真實(shí)標(biāo)簽，如圖6-21所示。圖6-21模型預(yù)