Python數(shù)據(jù)挖掘與機器學習第2版 課件 第 5 章 回歸分析

數(shù)據(jù)挖掘與機器學習第5章回歸分析第5章回歸分析在生活中存在很多相互制約又相互依賴的關(guān)系，這些關(guān)系主要有確定關(guān)系和非確定關(guān)系。確定關(guān)系指變量之間存在明確的函數(shù)關(guān)系，如圓的周長與半徑之間的關(guān)系。非確定關(guān)系指各變量之間雖然有制約依賴關(guān)系，但無法用確定的函數(shù)表達式來表示，如人的血壓與體重之間存在密切關(guān)系，但無法找到一個能準確表達其關(guān)系的函數(shù)，變量之間存在的這種非確定性關(guān)系，稱為相對關(guān)系。10十一月20242第5章回歸分析事實上，有一些確定關(guān)系，由于測量誤差的影響，也經(jīng)常表現(xiàn)出某種程度的不確定性。對于不確定的關(guān)系，通過大量觀測數(shù)值，可以發(fā)現(xiàn)其中變量間存在的統(tǒng)計規(guī)律。通過回歸分析，可以表明自變量和因變量之間的顯著關(guān)系或者表明多個自變量對一個因變量的影響強度?；貧w問題在形式上與分類問題十分相似，但是在分類問題中預(yù)測值y是一個離散變量，它代表通過特征x所預(yù)測出來的類別；而在回歸問題中，y是一個連續(xù)變量。3第5章回歸分析回歸分析是一種預(yù)測性的建模技術(shù)，它研究的是因變量（目標）和自變量（預(yù)測器）之間的關(guān)系。這種技術(shù)通常用于預(yù)測分析，時間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系。例如，司機的魯莽駕駛與道路交通事故數(shù)量之間的關(guān)系，最好的研究方法就是回歸。10十一月20244它表明自變量和因變量之間的顯著關(guān)系；它表明多個自變量對一個因變量的影響強度。第5章回歸分析

回歸分析的定義與分類回歸分析是一種預(yù)測性的建模技術(shù)，它研究的是因變量（目標）和自變量（預(yù)測器）之間的關(guān)系。具體來說，回歸分析法指利用數(shù)據(jù)統(tǒng)計原理，對大量統(tǒng)計數(shù)據(jù)進行數(shù)學處理，并確定因變量與某些自變量的相關(guān)關(guān)系，建立一個相關(guān)性較好的回歸方程（函數(shù)表達式），并加以外推，用于預(yù)測今后因變量變化的分析。回歸分析通常用于預(yù)測分析，時間序列模型以及發(fā)現(xiàn)變量之間的因果關(guān)系。10十一月20245

3.1.1回歸任務(wù)6

第5章回歸分析第5章回歸分析10十一月20247根據(jù)因變量和自變量的個數(shù)分為一元回歸分析、多元回歸分析、邏輯回歸分析和其他回歸分析；根據(jù)因變量和自變量的函數(shù)表達式分為線性回歸分析和非線性回歸分析。線性回歸是回歸分析中最基本的方法。對于非線性回歸，可以借助數(shù)學手段將其轉(zhuǎn)化為線性回歸，一旦線性回歸問題得到解決，非線性回歸問題也就迎刃而解。常用的回歸分析技術(shù)有線性回歸、邏輯回歸、多項式回歸和嶺回歸等。有各種各樣的回歸技術(shù)用于預(yù)測。這些技術(shù)主要有三個度量（自變量的個數(shù)，因變量的類型以及回歸線的形狀）第5章回歸分析8

第5章回歸分析

回歸分析的過程回歸分析可以簡單理解為數(shù)據(jù)分析與預(yù)測，通過對數(shù)據(jù)進行分析實現(xiàn)預(yù)測，也就是適當擴大已有自變量的取值范圍，并承認該回歸方程在擴大的定義域內(nèi)成立。一般來說，回歸分析的主要過程和步驟如下：（1）收集一組包含因變量和自變量的數(shù)據(jù)；（2）根據(jù)因變量和自變量之間的關(guān)系，初步設(shè)定回歸模型；（3）求解合理的回歸系數(shù)；（4）進行相關(guān)性檢驗，確定相關(guān)系數(shù)；（5）利用模型對因變量作出預(yù)測或解釋，并計算預(yù)測值的置信區(qū)間。10十一月20249第5章回歸分析一元線性回歸分析一元線性回歸分析預(yù)測法，是根據(jù)自變量X和因變量Y的相關(guān)關(guān)系，建立X與Y的線性回歸方程進行預(yù)測的方法。由于市場現(xiàn)象一般是受多種因素的影響，而并不是僅僅受一個因素的影響。只有當諸多的影響因素中，確實存在一個對因變量影響作用明顯高于其他因素的變量，才能將它作為自變量，應(yīng)用一元相關(guān)回歸分析市場預(yù)測法進行預(yù)測。10一元線性回歸分析11在簡單的回歸模型中，回歸函數(shù)是解釋變量的線性函數(shù)，回歸模型則稱為一元線性回歸模型，表達式如式5.2。回歸模型的設(shè)定給出了回歸函數(shù)的形式，但模型中的回歸參數(shù)是未知的。要對模型參數(shù)進行估計和統(tǒng)計推斷，需要從總體樣本中抽樣獲得數(shù)據(jù)。設(shè)從總體中第5章回歸分析10十一月202412一元線性回歸分析【例5-1】分析預(yù)測房子的大?。ㄆ椒接⒊撸┖头績r（美元）之間的對應(yīng)關(guān)系。數(shù)據(jù)如下：y=[6450,7450,8450,94501,11450,15450,18450]x=[150,200,250,300,350,400,600]13一元線性回歸分析如果散點圖的趨勢大概呈現(xiàn)線性關(guān)系，可以建立線性方程，若不呈線性分布，可以建立其他回歸模型。從散點圖可以看出，房屋面積和售價之間存在明顯的線性關(guān)系。獲得樣本后，要對回歸模型進行參數(shù)估計和統(tǒng)計推斷。14一元線性回歸分析一元線性回歸模型的參數(shù)估計一元線性回歸模型中參數(shù)估計方法有最小二乘法、矩方法和極大似然方法.最小二乘法(LeastSqureEstimation,LSE)又稱最小平方法，它通過最小化誤差的平方和尋找數(shù)據(jù)的最佳函數(shù)匹配。15一元線性回歸分析最小二乘法也是用于擬合回歸線最常用的方法。對于觀測數(shù)據(jù)，它通過最小化每個數(shù)據(jù)點到線的垂直偏差平方和來計算最佳擬合線。因為在相加時，偏差先平方，所以正值和負值沒有抵消。10十一月202416一元線性回歸分析要點：1.自變量與因變量之間必須有線性關(guān)系2.多元回歸存在多重共線性，自相關(guān)性和異方差性。3.線性回歸對異常值非常敏感。它會嚴重影響回歸線，最終影響預(yù)測值。4.多重共線性會增加系數(shù)估計值的方差，使得在模型輕微變化下，估計非常敏感。結(jié)果就是系數(shù)估計值不穩(wěn)定5.在多個自變量的情況下，我們可以使用向前選擇法，向后剔除法和逐步篩選法來選擇最重要的自變量。10十一月202417一元線性回歸分析一元線性回歸模型的參數(shù)估計根據(jù)微積分求極值原理，通過求偏導并置為0得到：18求解方程組得到：一元線性回歸分析一元線性回歸模型的誤差方差估計19求解方程組得到：一元線性回歸分析一元線性回歸模型的誤差方差估計20一元線性回歸分析一元回歸模型的主要統(tǒng)計檢驗回歸分析要通過樣本所估計的參數(shù)來代替總體的真實參數(shù)，或者說用樣本回歸線代替總體回歸線。盡管從統(tǒng)計性質(zhì)上已知，如果有足夠多的重復(fù)抽樣，參數(shù)的估計值的期望就等于總體的參數(shù)真值，但在一次抽樣中，估計值不一定就等于該真值。那么在一次抽樣中，參數(shù)的估計值與真值的差異有多大，是否顯著，就需要進一步進行統(tǒng)計檢驗。21一元線性回歸分析一元回歸模型的主要統(tǒng)計檢驗在一元回歸的統(tǒng)計檢驗主要包括擬合優(yōu)度檢驗，變量顯著性檢驗和殘差標準差檢驗。1.擬合優(yōu)度檢驗擬合優(yōu)度檢驗是用卡方統(tǒng)計量進行統(tǒng)計顯著性檢驗的重要內(nèi)容之一。它是依據(jù)總體分布狀況，計算出分類變量中各類別的期望頻數(shù)，與分布的觀察頻數(shù)進行對比，判斷期望頻數(shù)與觀察頻數(shù)是否有顯著差異，從而達到從分類變量進行分析的目的。它是對樣本回歸直線與樣本觀測值之間擬合程度的檢驗。22一元線性回歸分析一元回歸模型的主要統(tǒng)計檢驗在一元回歸的統(tǒng)計檢驗主要包括擬合優(yōu)度檢驗，變量顯著性檢驗和殘差標準差檢驗。2.變量的顯著性檢驗（t檢驗）顯著性檢驗就是事先對總體（隨機變量）的參數(shù)或總體分布形式做出一個假設(shè)，然后利用樣本信息來判斷這個假設(shè)（備擇假設(shè)）是否合理，即判斷總體的真實情況與原假設(shè)是否有顯著性差異。顯著性檢驗是針對我們對總體所做的假設(shè)進行檢驗，其原理就是“小概率事件實際不可能性原理”來接受或否定假設(shè)。23回歸算法的評價在評價線性回歸算法時，將樣本分為訓練集（Trainset）和測試集（Testset），利用訓練集進行回歸模型的參數(shù)求解，利用測試集上的相關(guān)指標評價模型的好壞。1.回歸算法的評價指標（1）平均絕對誤差(MeanAbsoluteError,MAE)2410十一月2024回歸算法的評價1.回歸算法的評價指標（2）均方誤差(MeanSquaredError,MSE)2510十一月2024（3）均方根誤差(RootMeanSquaredError,RMSE)回歸算法的評價1.回歸算法的評價指標4）

(RSquared)MSE、RMSE、MAE都難以解決在不同問題的模型中有一個統(tǒng)一的評判尺度，因此引入2610十一月2024一元線性回歸分析例：對鳶尾花數(shù)據(jù)集中的'petal-length'和'petal-width'兩列數(shù)據(jù)進行回歸分析。27一元線性回歸分析例：對鳶尾花數(shù)據(jù)集中的'petal-length'和'petal-width'兩列數(shù)據(jù)進行回歸分析。28print(u"系數(shù):",clf.coef_

)print(u"截距:",ercept_

)fromsklearn.metricsimportmean_squared_errorass_mean_squared_errorfromsklearn.metricsimportmean_absolute_errorass_mean_absolute_errorfromsklearn.metricsimportr2_scoreass_r2_scoreprint('MAE:%.4f'%s_mean_squared_error(y_test,pre))

print('MSE:%.4f'%s_mean_absolute_error(y_test,pre))

print('R^2:%.4f'%s_r2_score(y_test,pre))系數(shù):

[[0.4118243]]截距:

[-0.3571818]MAE:0.0529MSE:0.1676R^2:0.9117多元線性回歸在實際經(jīng)濟問題中，一個變量往往受到多個變量的影響。例如，家庭消費支出，除了受家庭可支配收入的影響外，還受諸如家庭所有的財富、物價水平、金融機構(gòu)存款利息等多種因素的影響。也就是說，一個因變量和多個自變量有依存關(guān)系，而且有時幾個影響因素主次難以區(qū)分，或者有的因素雖屬次要，但也不能忽略。這時采用一元回歸分析進行預(yù)測難以奏效，需要多元回歸分析。29多元線性回歸多元回歸分析是指通過對兩個或兩個以上的自變量與一個因變量的相關(guān)分析，建立預(yù)測模型進行預(yù)測的方法。當自變量與因變量之間存在線性關(guān)系時稱為多元線性回歸分析。30多元線性回歸31多元線性回歸建立多元線性回歸模型時，為了保證回歸模型具有優(yōu)良的解釋能力和預(yù)測效果，應(yīng)首先注意自變量的選擇，其準則是：（1）自變量對因變量必須有顯著的影響，并呈密切的線性相關(guān)；（2）自變量與因變量之間的線性相關(guān)必須是真實的，而不是形式上的；（3）自變量之間應(yīng)具有一定的互斥性，即自變量之間的相關(guān)程度不應(yīng)高于自變量與因變量之間的相關(guān)程度；（4）自變量應(yīng)具有完整的統(tǒng)計數(shù)據(jù)，其預(yù)測值容易確定。32多元線性回歸多元線性回歸模型的參數(shù)估計多元線性回歸模型的參數(shù)估計，同一元線性回歸方程一樣，也是在要求誤差最小的前提下，用最小二乘法求解參數(shù)。以二元線性回歸模型為例，求解回歸參數(shù)的標準方程組為：33多元線性回歸多元線性回歸的假設(shè)檢驗及其評價1將回歸方程中所有變量作為一個整體來檢驗它們與因變量之間是否具有線性關(guān)系（方差分析法、復(fù)相關(guān)系數(shù)）；2對回歸方程的預(yù)測或解釋能力做出綜合評價（決定系數(shù)）；3在此基礎(chǔ)上進一步對各個變量的重要性作為評價（偏回歸平方和、t檢驗和標準回歸系數(shù)）。34多元線性回歸35例題：波士頓房價預(yù)測完整的分析過程=》作業(yè)邏輯回歸線性回歸算法能對連續(xù)值的結(jié)果進行預(yù)測，而邏輯回歸模型是機器學習從統(tǒng)計領(lǐng)域借鑒的另一種技術(shù)，用于分析二分類或有序的因變量與解釋變量之間的關(guān)系。邏輯回歸算法是一種廣義的線性回歸分析方法，它僅在線性回歸算法的基礎(chǔ)上，利用Sigmoid函數(shù)對事件發(fā)生的概率進行預(yù)測。也就是說，在線性回歸中可以得到一個預(yù)測值，然后將該值通過邏輯函數(shù)進行轉(zhuǎn)換，將預(yù)測值轉(zhuǎn)為概率值，再根據(jù)概率值實現(xiàn)分類。邏輯回歸常用于數(shù)據(jù)挖掘、疾病自動診斷和經(jīng)濟預(yù)測等領(lǐng)域。36邏輯回歸Logistic回歸模型37邏輯回歸38邏輯回歸11/10/2024邏輯回歸11/10/2024邏輯回歸41邏輯回歸上述邏輯回歸模型中假設(shè)樣本輸出為0或者1兩類，因此被稱為二元邏輯回歸模型。二元邏輯回歸的模型和損失函數(shù)很容易推廣到多元邏輯回歸。比如總是認為某種類型為正值，其余為0值，這種方法就是常用的one-vs-rest，簡稱OvR。另一種多元邏輯回歸的方法是Many-vs-Many(MvM)，他會選擇一部分類別的樣本和另一部分類別的樣本來做邏輯回歸二分類。11/10/2024多項式回歸線性回歸是用一條直線或者一個平面（超平面）去近似原始樣本在空間中的分布。線性回歸的局限性是只能應(yīng)用于存在線性關(guān)系的數(shù)據(jù)中，但是在實際生活中，很多數(shù)據(jù)之間是非線性關(guān)系，雖然也可以用線性回歸擬合非線性回歸，但是效果會變差，這時候就需要對線性回歸模型進行改進，使之能夠擬合非線性數(shù)據(jù)。非線性回歸是用一條曲線或者曲面去逼近原始樣本在空間中的分布，它“貼近”原始分布的能力一般較線性回歸更強。43多項式回歸線性回歸的局限性是只能應(yīng)用于存在線性關(guān)系的數(shù)據(jù)中，但是在實際生活中，很多數(shù)據(jù)之間是非線性關(guān)系，雖然也可以用線性回歸擬合非線性回歸，但是效果會變差，這時候就需要對線性回歸模型進行改進，使之能夠擬合非線性數(shù)據(jù)。多項式回歸（PolynomialRegression）是研究一個因變量與一個或多個自變量間多項式關(guān)系的回歸分析方法。多項式回歸模型是非線性回歸模型中的一種。由泰勒級數(shù)可知，在某點附近，如果函數(shù)n次可導，那么它可以用一個n次的多項式來近似。44多項式回歸研究一個因變量與一個或多個自變量間多項式的回歸分析方法，稱為多項式回歸（PolynomialRegression）。如果自變量只有一個時，稱為一元多項式回歸；如果自變量有多個時，稱為多元多項式回歸。在一元回歸分析中，如果因變量y與自變量x的關(guān)系為非線性的，但又找不到適當?shù)暮瘮?shù)曲線來擬合，則可以采用一元多項式回歸。在這種回歸技術(shù)中，最佳擬合線不是直線，而是一個用于擬合數(shù)據(jù)點的曲線。多項式回歸的最大優(yōu)點是可以通過增加x的高次項對觀測點進行逼近，直到滿意為止。多項式回歸在回歸分析中占有重要地位，因為任意函數(shù)都可以分段用多項式逼近。45多項式回歸

46示例先擬定一個一元三次多項式作為目標函數(shù)，然后再加上一些噪聲產(chǎn)生樣本集，再用轉(zhuǎn)化的線性回歸模型來完成擬合，最后對測試集進行預(yù)測。采用sklearn.linear_model包中的LinearRegression函數(shù)來完成。目標函數(shù)：3.3多項式回歸47示例產(chǎn)生樣本集與測試集：3.3多項式回歸48示例:三次多項式擬合：3.3多項式回歸49多項式回歸Python實現(xiàn)50多項式回歸Python實現(xiàn)51欠擬合、過擬合問題10十一月202452明顯地向兩端尋找曲線點，看看這些形狀和趨勢是否有意義。更高次的多項式最后可能產(chǎn)生怪異的推斷結(jié)果。欠擬合、過擬合示例模型在訓練樣本上產(chǎn)生的誤差叫訓練誤差（trainingerror。在測試樣本上產(chǎn)生的誤差叫測試誤差（testerror）。欠擬合、過擬合與泛化能力53

線性回歸模型三次多項式模型五次多項式模型九次多項式模型訓練誤差20195342094測試誤差578247123238492和2597781144138496泛化能力與模型復(fù)雜度衡量模型好壞的是測試誤差，它標志了模型對未知新實例的預(yù)測能力，因此一般追求的是測試誤差最小的那個模型。模型對新實例的預(yù)測能力稱為泛化能力，模型在新實例上的誤差稱為泛化誤差。能夠求解問題的模型往往不只一個。一般來說，只有合適復(fù)雜程度的模型才能最好地反映出訓練集中蘊含的規(guī)律，取得最好的泛化能力。

欠擬合、過擬合與泛化能力54嶺回歸嶺回歸（RidgeRegression）是一種專用于共線性數(shù)據(jù)分析的有偏估計回歸方法，實質(zhì)上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價，獲得回歸系數(shù)更為符合實際、更可靠的回歸方法，對病態(tài)數(shù)據(jù)的耐受性遠遠強于最小二乘法。嶺回歸的目標函數(shù)在一般的線性回歸的基礎(chǔ)上加入了L2正則項，在保證最佳擬合誤差的同時，使得參數(shù)盡可能的“簡單”，使得模型的泛化能力強，同時可以解決線性回歸中不可逆情況。55嶺回歸嶺回歸算法是在原線性回歸模型的損失函數(shù)中增加L2正則項11/10/2024其中表示參數(shù)向量的范數(shù)。嶺回歸在保證最佳擬合誤差的同時，增強模型的泛化能力，同時可以解決線性回歸求解中的不可逆問題。嶺回歸方程的R2（回歸平方和與總離差平方和的比值）會稍低于普通回歸分析，但回歸系數(shù)的顯著性往往明顯高于普通回歸，在存在共線性問題和病態(tài)數(shù)據(jù)偏多的研究中有較大的實用價值。嶺回歸57模型驗證=》交叉驗證Lasso回歸Lasso回歸原理嶺回歸無法剔除變量，而Lasso（LeastAbsoluteShrinkageandSelectionOperator）回歸模型，將懲罰項由L2范數(shù)變?yōu)長1范數(shù)，可以將一些不重要的回歸系數(shù)縮減為0，達到剔除變量的目的。58Lasso回歸Lasso回歸原理59彈性回歸11/10/2024逐步回歸在處理多個自變量時，需要使用逐步回歸（StepwiseRegression）。逐步回歸中，自變量的選擇是在一個自動的過程中完成的，其中包括非人為操作。逐步回歸是通過觀察統(tǒng)計的值，如R-square，t-stats和AIC指標，來識別重要的變量并通過同時添加/刪除基于指定標準的協(xié)變量來擬合模型。61逐步回歸逐步回歸是通過觀察統(tǒng)計的值，如R-square，t-stats和AIC指標，來識別重要的變量并通過同時添加/刪除基于指定標準的協(xié)變量來擬合模型。常用的逐步回歸方法有：

標