《統(tǒng)計學(xué)—基于SPSS》((10)第10章--多元線性回歸(S3)課件

1、統(tǒng)計學(xué)基于SPSS課程內(nèi)容描述統(tǒng)計、推斷統(tǒng)計、其他常用方法使用軟件SPSS學(xué)分與課時3學(xué)分，117周，每周3課時第 10 章 多元線性回歸10.1 多元線性回歸模型 10.2 擬合優(yōu)度和顯著性檢驗10.3 多重共線性及其處理10.4 利用回歸方程進(jìn)行預(yù)測10.5 啞變量回歸regression analysis2019-5-5學(xué)習(xí)目標(biāo)多元線性回歸模型、回歸方程與估計的回歸方程回歸方程的擬合優(yōu)度與顯著性檢驗多重共線性問題及其處理利用回歸方程進(jìn)行預(yù)測啞變量的回歸用SPSS進(jìn)行回歸分析2019-5-5問題與思考不良貸款受那些因素影響 10.1 多元線性回歸模型 10.1.1 回歸模型與回歸方程 10

2、.1.2 參數(shù)的最小二乘估計第 10 章 多元線性回歸10.1.1 回歸模型與回歸方程10.1 多元線性回歸模型2019-5-5多元回歸模型 (multiple linear regression model)一個因變量與兩個及兩個以上自變量的回歸描述因變量 y 如何依賴于自變量 x1 ， x2 ， xk 和誤差項 的方程，稱為多元回歸模型涉及 k 個自變量的多元線性回歸模型可表示為 b0 ，b1，b2 ，bk是參數(shù) 是被稱為誤差項的隨機(jī)變量 y 是x1,，x2 ， ，xk 的線性函數(shù)加上誤差項 包含在y里面但不能被k個自變量的線性關(guān)系所解釋的變異性2019-5-5多元回歸模型(基本假定) 正

3、態(tài)性。誤差項是一個服從正態(tài)分布的隨機(jī)變量，且期望值為0，即N(0,2)方差齊性。對于自變量x1，x2，xk的所有值， 的方差 2都相同獨立性。對于自變量x1，x2，xk的一組特定值，它所對應(yīng)的與任意一組其他值所對應(yīng)的不相關(guān)2019-5-5多元線性回歸方程 (multiple linear regression equation)描述因變量 y 的平均值或期望值如何依賴于自變量 x1， x2 ，xk的方程多元線性回歸方程的形式為 E( y ) = 0+ 1 x1 + 2 x2 + k xk b1，b2，bk稱為偏回歸系數(shù) bi 表示假定其他變量不變，當(dāng) xi 每變動一個單位時，y 的平均變動值2

4、019-5-5二元回歸方程的直觀解釋2019-5-5估計的多元線性回歸的方程(estimated multiple linear regression equation) 是 估計值 是 y 的估計值用樣本統(tǒng)計量 估計回歸方程中的 參數(shù) 時得到的方程由最小二乘法求得一般形式為10.1.2 參數(shù)的最小二乘估計10.1 多元線性回歸模型2019-5-5參數(shù)的最小二乘估計求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計值之間的離差平方和達(dá)到最小來求得 。即2019-5-5參數(shù)的最小二乘法(例題分析)進(jìn)行回歸SPSS標(biāo)準(zhǔn)化回歸相對重要性分析(例題101)標(biāo)準(zhǔn)化回歸系數(shù) 相對重要性排位z1 = 0.3

5、36z2 = 0.413z3 = 0.113z4 = -0.096z5 = -0.17821453x1x2x3x4x5 10.2 擬合優(yōu)度和顯著性檢驗 10.2.1 模型的擬合優(yōu)度 10.2.2 模型的顯著性檢驗第 10 章 多元線性回歸10.2.1 模型的擬合優(yōu)度10.2 擬合優(yōu)度和顯著性檢驗2019-5-5多重判定系數(shù)(multiple coefficient of determination) 回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例 2019-5-5修正多重判定系數(shù)(adjusted multiple coefficient of de

6、termination) 用樣本量n和自變量的個數(shù)k去修正R2得到 計算公式為避免增加自變量而高估 R2意義與 R2類似數(shù)值小于R2輸出結(jié)果SPSS2019-5-5多重相關(guān)系數(shù)(multiple correlation coefficient) 多重判定系數(shù)的平方根R反映因變量y與k個自變量之間的相關(guān)程度實際上R度量的是因變量的觀測值 與由多元回歸方程得到的預(yù)測值 之間的關(guān)系強度，即多重相關(guān)系數(shù)R等于因變量的觀測值 與估計值 之間的簡單相關(guān)系數(shù)即 (一元相關(guān)系數(shù)r也是如此，即 。讀者自己去驗證)2019-5-5估計標(biāo)準(zhǔn)誤差 Se對誤差項的標(biāo)準(zhǔn)差 的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為

7、輸出結(jié)果SPSS10.2.2 模型的顯著性檢驗10.2 擬合優(yōu)度和顯著性檢驗2019-5-5線性關(guān)系檢驗檢驗因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用 F 檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系2019-5-5線性關(guān)系檢驗提出假設(shè)H0：12k=0 線性關(guān)系不顯著H1：1，2， k至少有一個不等于02. 計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F 4. 作出決策：若FF ，拒絕H0輸出結(jié)果SPS

8、S2019-5-5回歸系數(shù)的檢驗線性關(guān)系檢驗通過后，對各個回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗究竟要對哪幾個回歸系數(shù)進(jìn)行檢驗，通常需要在建立模型之前作出決定對回歸系數(shù)檢驗的個數(shù)進(jìn)行限制，以避免犯過多的第類錯誤(棄真錯誤) 對每一個自變量都要單獨進(jìn)行檢驗應(yīng)用 t 檢驗統(tǒng)計量2019-5-5回歸系數(shù)的檢驗(步驟)提出假設(shè)H0： bi = 0 (自變量 xi 與 因變量 y 沒有線性關(guān)系) H1： bi 0 (自變量 xi 與 因變量 y有線性關(guān)系) 計算檢驗的統(tǒng)計量 t 確定顯著性水平，并進(jìn)行決策 tt，拒絕H0； tt，不拒絕H0輸出結(jié)果SPSS2019-5-5回歸系數(shù)的推斷 (置信區(qū)間)回歸系數(shù)

9、在(1-)%置信水平下的置信區(qū)間為 回歸系數(shù)的抽樣標(biāo)準(zhǔn)差輸出結(jié)果SPSS 10.3 多重共線性及其處理 10.3.1 多重共線性及其識別 10.3.2 變量選擇與逐步回歸第 10 章 多元線性回歸10.3.1 多重共線性及其識別10.3 多重共線性及其處理2019-5-5多重共線性(multicollinearity)回歸模型中兩個或兩個以上的自變量彼此相關(guān)多重共線性帶來的問題有 可能會使回歸的結(jié)果造成混亂，甚至?xí)逊治鲆肫缤?可能對參數(shù)估計值的正負(fù)號產(chǎn)生影響，特別是各回歸系數(shù)的正負(fù)號有可能同預(yù)期的正負(fù)號相反 輸出結(jié)果SPSS2019-5-5多重共線性的識別檢測多重共線性的最簡單的一種辦法是

10、計算模型中各對自變量之間的相關(guān)系數(shù)，并對各相關(guān)系數(shù)進(jìn)行顯著性檢驗若有一個或多個相關(guān)系數(shù)顯著，就表示模型中所用的自變量之間相關(guān)，存在著多重共線性2019-5-5多重共線性的識別如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關(guān)當(dāng)模型的線性關(guān)系檢驗(F檢驗)顯著時，幾乎所有回歸系數(shù)的t檢驗卻不顯著 回歸系數(shù)的正負(fù)號與預(yù)期的相反容忍度(tolerance)與方差擴(kuò)大因子(variance inflation factor，VIF)。某個自變量的容忍度等于1減去該自變量為因變量而其他k-1個自變量為預(yù)測變量時所得到的線性回歸模型的判定系數(shù)，即1-Ri2。容忍度越小，多重共線性越嚴(yán)重。通常

11、認(rèn)為容忍度小于0.1時，存在嚴(yán)重的多重共線性方差擴(kuò)大因子等于容忍度的倒數(shù)，即 。顯然，VIF越大多重共線性就越嚴(yán)重。一般要求VIF小于5，也可放寬到小于10。如果大于10則認(rèn)為存在嚴(yán)重的多重共線性。2019-5-5相關(guān)矩陣及其檢驗 (SPSS )2019-5-5容忍度與方差擴(kuò)大因子 (SPSS )2019-5-5多重共線性的處理將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù) t 統(tǒng)計量對單個參數(shù)進(jìn)行檢驗對因變量值的推斷(估計或預(yù)測)的限定在自變量樣本值的范圍內(nèi)10.3.2 變量選擇與逐步回歸10.3 多重共線性及其處理2019-5-

12、5變量選擇過程在建立回歸模型時，對自變量進(jìn)行篩選選擇自變量的原則是對統(tǒng)計量進(jìn)行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著地減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標(biāo)準(zhǔn)，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸、最優(yōu)子集等 2019-5-5向前選擇 (forward selection)從模型中沒有自變量開始對k個自變量分別

13、擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型 分別擬合引入模型外的k-1個自變量的二元線性回歸模型 如此反復(fù)進(jìn)行，直至模型外的自變量均無統(tǒng)計顯著性為止2019-5-5向后剔除 (backward elimination)先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(pk)個去掉一個自變量的模型(這些模型中在每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中

14、剔除如此反復(fù)進(jìn)行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止2019-5-5逐步回歸 (stepwise regression)將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進(jìn)行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻(xiàn)變得不顯著，這個變量就會被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進(jìn)入到模型中2019-5-5用S

15、PSS進(jìn)行逐步回歸 (stepwise regression)例10-1的逐步回歸SPSS2019-5-5模型比較 2019-5-5模型比較 2019-5-5模型比較2019-5-5模型比較(例題104) 逐步回歸模型與含所有5個自變量的回歸模型的比較 load(D:/example/ch10/example10_1.RData) fit2-lm(yx1+x2+x5,data=example10_1) fit1-lm(yx1+x2+x3+x4+x5,data=example10_1) anova(fit2,fit1)模型比較R 10.4 利用回歸方程進(jìn)行預(yù)測第 10 章 多元線性回歸2019-

16、5-5置信區(qū)間和預(yù)測區(qū)間(例題分析)2019-5-5殘差分析(例題分析)第 10 章 多元線性回歸 10.5 啞變量回歸 10.5.1 在模型中引進(jìn)啞變量 10.5.2 含有一個啞變量的回歸10.5.1 在模型中引進(jìn)啞變量10.5 啞變量回歸2019-5-5啞變量(dummy variable)也稱虛擬變量。用數(shù)字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量比如，性別(男，女) 有兩個以上水平的啞變量貸款企業(yè)的類型(家電，醫(yī)藥，其他) 啞變量的取值為0，12019-5-5在回歸中引進(jìn)啞變量回歸模型中使用啞變量時，稱為啞變量回歸當(dāng)定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女) 一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進(jìn)k-1個啞變量2019-5-5在回歸中引進(jìn)啞變量(例題分析)10.5.2 含有一個啞變量的回歸 10.5 啞變量回歸2019-5-5啞變量回歸(例題分析)【例10-6】沿用例101。假定在分析影響日均營業(yè)額的因素中，再考慮“交通方便程度”變量，并設(shè)其取值為“方便”和“不