多重線性回歸課件

多重線性回歸分析多重線性回歸分析一、方法簡介1.2概念用回歸方程定量地刻畫一個因變量與多個自變量之間的線性依存關(guān)系，稱為多重線性回歸分析（multiplelinearregressionanalysis）。自變量是相互獨立的連續(xù)型變量或分類變量。

2一、方法簡介1.2概念2一、方法簡介1.3數(shù)據(jù)結(jié)構(gòu)表1進(jìn)行多重線性回歸分析資料的數(shù)據(jù)結(jié)構(gòu)3編號X1X2…XkY1X11X12…X1kY12X21X22…X2kY2：：：：：nXn1Xn2…XnkYn一、方法簡介1.3數(shù)據(jù)結(jié)構(gòu)3編號X1X2…XkY1X1二、基本原理

2.1原理簡介多重線性回歸模型：

Y=b0+b1X1+b2X2+…+bkXk+e

其中，bj(j=0,1,2…

,k)為未知參數(shù)，e為隨機(jī)誤差項。4二、基本原理2.1原理簡介45二、基本原理2.1原理簡介多重線性回歸模型中包含多個自變量，它們同時對因變量Y發(fā)生作用。

若要考察一個自變量對Y

的影響，就必須假設(shè)其他自變量保持不變。5二、基本原理2.1原理簡介6二、基本原理

2.1原理簡介因此，多重線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)。

它反映的是當(dāng)模型中的其他自變量不變時，其中一個自變量對因變量Y的均值的影響。6二、基本原理2.1原理簡介7二、基本原理

2.2前提條件

多重線性回歸分析要求資料滿足線性(Linear)、獨立性(Independence)、正態(tài)性(Normality)和方差齊性(Equalvariance)。

除此之外，還要求多個自變量之間相關(guān)性不要太強(qiáng)。

7二、基本原理2.2前提條件8二、基本原理

2.2前提條件線性——指自變量與因變量之間的關(guān)系是線性的獨立性——指各觀測值之間是相互獨立的正態(tài)性——指自變量取不同值時，因變量服從正

態(tài)分布方差齊性——指自變量取不同值時，因變量的方

差相等8二、基本原理2.2前提條件三、分析步驟1.基本任務(wù)

求出模型中參數(shù)的估計值，對模型和參數(shù)進(jìn)行假設(shè)檢驗；對自變量進(jìn)行共線性診斷，對觀測值進(jìn)行異常點診斷；結(jié)合統(tǒng)計學(xué)知識和專業(yè)知識，對回歸方程進(jìn)行合理的解釋，并加以應(yīng)用。

9三、分析步驟1.基本任務(wù)9三、分析步驟2.具體步驟2.1回歸參數(shù)估計

多重線性回歸分析的參數(shù)估計，常采用最小二乘法(OLS)進(jìn)行。該方法使殘差平方和達(dá)到最小，從而得出模型參數(shù)估計值表示Y的估計值

10三、分析步驟2.具體步驟10三、分析步驟2.具體步驟2.2模型檢驗

根據(jù)方差分析的思想，將總的離均差平方和SS總分解為回歸平方和SS回和殘差平方和SS殘兩部分。

SS總的自由度為n-1，SS回的自由度為k，SS殘的自由度為n-k-1。11三、分析步驟2.具體步驟11三、分析步驟2.具體步驟2.2模型檢驗

12三、分析步驟2.具體步驟12三、分析步驟2.具體步驟2.2模型檢驗

模型的顯著性檢驗步驟為：第一步，建立檢驗假設(shè)。H0：b1=b2=…=bk=0H1:b1,b2,…,bk不同時為013三、分析步驟2.具體步驟13三、分析步驟2.具體步驟2.2模型檢驗

第二步，計算統(tǒng)計量F的值。14三、分析步驟2.具體步驟14三、分析步驟2.具體步驟2.2模型檢驗

第三步，確定P值，下統(tǒng)計學(xué)結(jié)論。根據(jù)檢驗統(tǒng)計量F的值和自由度，確定其對應(yīng)的P值。若P>a，則接受H0，認(rèn)為回歸模型的系數(shù)全部為0；若P<a，則拒絕H0，接受H1，認(rèn)為回歸模型的系數(shù)不全為0。15三、分析步驟2.具體步驟15三、分析步驟2.具體步驟2.3參數(shù)檢驗回歸方程有統(tǒng)計學(xué)意義，可以說明整體上自變量對Y有影響，但并不意味著每個自變量對因變量的影響都有統(tǒng)計學(xué)意義。16三、分析步驟2.具體步驟16三、分析步驟2.具體步驟2.3參數(shù)檢驗考察各個自變量對因變量的影響，即檢驗其系數(shù)是否為0。若某自變量對因變量的影響無統(tǒng)計學(xué)意義，可將其從模型中刪除，重新建立回歸方程。17三、分析步驟2.具體步驟17三、分析步驟2.具體步驟2.3參數(shù)檢驗對自變量Xi的系數(shù)是否為0進(jìn)行假設(shè)檢驗，步驟為：第一步，建立檢驗假設(shè)。H0：bi=0H1:bi≠018三、分析步驟2.具體步驟18三、分析步驟2.具體步驟2.3參數(shù)檢驗第二步，計算檢驗統(tǒng)計量。19三、分析步驟2.具體步驟19三、分析步驟2.具體步驟2.3參數(shù)檢驗第三步，確定P值。根據(jù)自由度和臨界水平，查t分布表，可得雙側(cè)界值為ta/2(n-k-1)。20三、分析步驟2.具體步驟20三、分析步驟2.具體步驟2.3參數(shù)檢驗若t>ta/2(n-k-1)或t<-ta/2(n-k-1)，則P<a。此時，拒絕H0，接受H1，認(rèn)為該回歸系數(shù)不等于0。反之，則接受H0，認(rèn)為該回歸系數(shù)為0。21三、分析步驟2.具體步驟21三、分析步驟2.具體步驟2.4變量篩選

由例1的分析結(jié)果可知，不是所有的自變量對因變量的作用都有統(tǒng)計學(xué)意義。

故需要找到一個較好的回歸方程，使之滿足：方程內(nèi)的自變量對回歸都有統(tǒng)計學(xué)意義，方程外的自變量對回歸都無統(tǒng)計學(xué)意義。22三、分析步驟2.具體步驟22三、分析步驟2.具體步驟2.4變量篩選這就是自變量的選擇問題，或稱為變量篩選。選擇時，一要盡可能地不漏掉重要的自變量；二要盡可能地減少自變量的個數(shù)，保持模型的精簡。23三、分析步驟2.具體步驟23三、分析步驟2.具體步驟2.4變量篩選常用的變量篩選方法有以下8種：前進(jìn)法后退法逐步回歸法最大R2增量法最小R2增量法

R2選擇法修正R2選擇法

Mallow’sCp選擇法24三、分析步驟2.具體步驟24三、分析步驟2.4.1前進(jìn)法(FORWARD)回歸方程中變量從無到有依次選擇一個自變量進(jìn)入回歸方程，并計算該變量對應(yīng)的F統(tǒng)計量及P值。當(dāng)P小于納入標(biāo)準(zhǔn)(規(guī)定的選變量進(jìn)入方程的臨界水平)，則該變量入選，否則不能入選。25三、分析步驟2.4.1前進(jìn)法(FORWARD)25三、分析步驟2.4.1前進(jìn)法當(dāng)回歸方程中變量少時某變量不符合入選標(biāo)準(zhǔn)，但隨著回歸方程中變量逐次增多時,該變量就可能符合入選標(biāo)準(zhǔn)；這樣直到?jīng)]有變量可入選為止。具體而言，是從僅含常數(shù)項(即截距項)的最簡單模型開始，逐步在模型中添加自變量。

26三、分析步驟2.4.1前進(jìn)法26三、分析步驟2.4.1前進(jìn)法局限性：

納入標(biāo)準(zhǔn)取值小時，可能沒有一個變量能入選；納入標(biāo)準(zhǔn)取值大時，開始選入的變量后來在新條件下不再進(jìn)行檢驗，因而不能剔除后來變得無統(tǒng)計學(xué)意義的變量。

27三、分析步驟2.4.1前進(jìn)法27三、分析步驟2.4.2后退法(BACKWARD)從模型中包含全部自變量開始，計算留在回歸方程中的各個自變量所產(chǎn)生的F統(tǒng)計量和P值，當(dāng)P值小于排除標(biāo)準(zhǔn)(規(guī)定的從方程中剔除變量的臨界水準(zhǔn))則將此變量保留在方程中。

28三、分析步驟2.4.2后退法(BACKWARD)28三、分析步驟2.4.2后退法否則，從最大的P值所對應(yīng)的自變量開始逐一剔除，直到回歸方程中沒有變量可以被剔除時為止。

29三、分析步驟2.4.2后退法29三、分析步驟2.4.2后退法局限性：

排除標(biāo)準(zhǔn)大時，任何一個自變量都不能被剔除；排除標(biāo)準(zhǔn)小時，開始被剔除的自變量后來在新條件下即使變得對因變量有較大的貢獻(xiàn)了，也不能再次被選入回歸方程并參與檢驗。

30三、分析步驟2.4.2后退法30三、分析步驟2.4.3逐步回歸法(STEPWISE)此法是前進(jìn)法和后退法的結(jié)合。

回歸方程中的變量從無到有像前進(jìn)法那樣，根據(jù)F統(tǒng)計量和P值大小按納入標(biāo)準(zhǔn)水平?jīng)Q定該自變量是否入選。

31三、分析步驟2.4.3逐步回歸法(STEPWISE)31三、分析步驟2.4.3逐步回歸法(STEPWISE)當(dāng)回歸方程選入自變量后，又像后退法那樣，根據(jù)F統(tǒng)計量和P值按排除標(biāo)準(zhǔn)水平剔除無統(tǒng)計學(xué)意義的各自變量，依次類推。這樣直到?jīng)]有自變量可入選，也沒有自變量可被剔除時，則停止逐步篩選過程。

32三、分析步驟2.4.3逐步回歸法(STEPWISE)32三、分析步驟2.4.3逐步回歸法

33逐步回歸法有無符合納入標(biāo)準(zhǔn)的新變量納入新變量有無符合排除標(biāo)準(zhǔn)的變量剔除完成無有無有三、分析步驟2.4.3逐步回歸法33逐步回歸法有無符合納入三、分析步驟2.4.3逐步回歸法逐步回歸法比前進(jìn)法和后退法都能更好地選出變量構(gòu)造模型，但它也有局限性：其一，當(dāng)有m個變量入選后，選第m＋1個變量時，對它來說，前m個變量不一定是最佳組合；其二，選入或剔除自變量僅以F值和P值作標(biāo)準(zhǔn)，完全沒考慮其它標(biāo)準(zhǔn)。34三、分析步驟2.4.3逐步回歸法34三、分析步驟2.4.5變量篩選方法的選擇究竟哪一種篩選變量的方法最好？這個問題沒有絕對的定論。

一般來說，逐步回歸法和最優(yōu)回歸子集法較好。對于一個給定的資料，可試用多種變量篩選的方法，結(jié)合以下幾條判斷原則，從中選擇最佳者。35三、分析步驟2.4.5變量篩選方法的選擇35三、分析步驟2.4.5變量篩選方法的選擇其一，擬合的回歸方程在整體上有統(tǒng)計學(xué)意義；其二，回歸方程中各回歸參數(shù)的估計值的假設(shè)檢驗結(jié)果都有統(tǒng)計學(xué)意義；其三，回歸方程中各回歸參數(shù)的估計值的正負(fù)號與其后的變量在專業(yè)上的含義相吻合；36三、分析步驟2.4.5變量篩選方法的選擇36三、分析步驟2.4.5變量篩選方法的選擇其四，根據(jù)回歸方程計算出因變量的所有預(yù)測值在專業(yè)上都有意義。其五，若有多個較好的多重線性回歸方程時，殘差平方和較小且多重線性回歸方程中所含的自變量的個數(shù)又較少者為最佳。

37三、分析步驟2.4.5變量篩選方法的選擇37三、分析步驟2.5模型擬合效果評價2.5.1決定系數(shù)(R2)

即復(fù)相關(guān)系數(shù)的平方，其值等于因變量觀測值與預(yù)測值之間簡單相關(guān)系數(shù)的平方。計算公式為：

38三、分析步驟2.5模型擬合效果評價38三、分析步驟2.5模型擬合效果評價2.5.1決定系數(shù)(R2)

R2取值介于0到1之間，其含義為自變量能夠解釋因變量y變異的百分比。

R2越接近于1，說明線性回歸對實際數(shù)據(jù)的擬合程度越好。

39三、分析步驟2.5模型擬合效果評價39三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)

隨著模型中自變量個數(shù)的增加，決定系數(shù)R2將不斷增大，這不符合回歸模型中自變量個數(shù)盡可能少的原則。

40三、分析步驟2.5模型擬合效果評價40三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)故在評價兩個包含不同個數(shù)自變量的回歸模型的擬合效果時，不能簡單地用決定系數(shù)作為評價標(biāo)準(zhǔn)。此時，必須考慮回歸模型中自變量個數(shù)的影響。

41三、分析步驟2.5模型擬合效果評價41三、分析步驟2.5模型擬合效果評價2.5.2校正決定系數(shù)(Rc2)構(gòu)造校正決定系數(shù)，其公式為：

其中，n為樣本含量，p為模型中自變量個數(shù)。決定系數(shù)相同時，自變量個數(shù)越多，Rc2越小。

42三、分析步驟2.5模型擬合效果評價4243三、分析步驟2.5模型擬合效果評價2.5.3剩余標(biāo)準(zhǔn)差s

即殘差之標(biāo)準(zhǔn)差，計算公式為：

剩余標(biāo)準(zhǔn)差越小，說明回歸模型的擬合效果越好。43三、分析步驟2.5模型擬合效果評價三、分析步驟2.5模型擬合效果評價2.5.4AIC信息準(zhǔn)則

該準(zhǔn)則由日本學(xué)者赤池于1973年提出，廣泛應(yīng)用于時間序列分析中自回歸階數(shù)的確定，多重回歸、廣義線性回歸中自變量的篩選以及非線性回歸模型的比較和選優(yōu)。該統(tǒng)計量取值越小，反映模型擬合效果越好。

44三、分析步驟2.5模型擬合效果評價44三、分析步驟2.6共線性診斷多重線性回歸分析中，可能會出現(xiàn)以下問題：回歸方程的檢驗有統(tǒng)計學(xué)意義，而各偏回歸系數(shù)的檢驗均無統(tǒng)計學(xué)意義。偏回歸系數(shù)的估計值大小或其符號與實際情況和專業(yè)知識相違背，難以解釋。45三、分析步驟2.6共線性診斷45三、分析步驟2.6共線性診斷多重線性回歸分析中，可能會出現(xiàn)以下問題：(3)某個（些）與因變量關(guān)系密切的自變量，因為參數(shù)標(biāo)準(zhǔn)誤的估計值較大，相應(yīng)t值就會變得較小，造成其偏回歸系數(shù)無統(tǒng)計學(xué)意義。

46三、分析步驟2.6共線性診斷46三、分析步驟2.6共線性診斷導(dǎo)致這些問題的原因可能有：(1)研究設(shè)計不夠合理；(2)資料收集存在問題；(3)自變量間近似線性；(4)數(shù)據(jù)中存在異常點；(5)樣本少而自變量多。

47三、分析步驟2.6共線性診斷47三、分析步驟2.6共線性診斷何謂多重共線性？自變量間的近似線性關(guān)系，即是多重共線性。由于數(shù)據(jù)自身的特征，回歸模型中的自變量之間或多或少地存在一些相關(guān)性，這違反了自變量間相互獨立的假設(shè)條件，稱為多重共線性。

48三、分析步驟2.6共線性診斷48三、分析步驟2.6共線性診斷