多元回歸模型與建模

1、2005年年5月月12/8/20211一、多元線性回歸問題一、多元線性回歸問題 1.一元回歸問題的困惑巴特勒(Butler)運輸公司的例子(p661)： 行駛距離(英里) 運送貨物次數(shù) 行駛時間(小時) 100 4 9.3 50 3 4.8 100 4 8.9 100 2 6.5 50 2 4.2 80 2 6.2 75 3 7.4 65 4 6 90 3 7.6 90 2 6.112/8/202122.做行駛時間-行駛距離的一元回歸 Coefficients t Stat P-value Intercept 1.273913 0.909454 0.389687行駛距離(英里) 0.06782

2、6 3.976755 0.00408回歸方程為 可以看出方程整體檢驗和自變量檢驗的P值為0.0041,一元回歸能夠顯著成立。但是判定系數(shù) 偏小, 說明有些因變量的解釋因素（例如運貨次數(shù)）沒有引入。0.6221 0.6641,22RR0.6642Rxy0678. 02739. 112/8/20213ppppppxxxyExxxNyNeexxxy22110222110222110)() , ( ), , 0( . 3那么假定誤差項更多的自變量多元回歸理論模型12/8/202144.來自p元回歸模型的容量為n的樣本注意： 的第 1 個腳碼 k 表示變量編號，k=1,p;第 2 個腳碼 i= 1,n

3、表示樣本編號。);,( );,( );,(21222212112111npnnnppyxxxyxxxyxxxkix12/8/202155. 多元回歸總體模型和古典假定 總體模型表示式為 古典假定 1) E(ei)=0; (E(yi)=x1i+ pxpi)； 2) 對于所有的 i，Var(ei)=； 3) ei 是服從正態(tài)分布N(0, ) 的； 4) 對于不同的 ei,ej(ij) 是相互獨立的。01 101 1 . 0iippiiiippiiyxxei=1,2, ,nE(y )xx E(e )12/8/202166.多元線性回歸方程的估計2i01 1220101201 122,0,1, . m

4、in()( ,) ()iiippippppkkipyxxxbb bbybb xb xb xb使用最小二乘方法估計得出（， ， ，）的估計值估計的回歸方程是的含義是甚麼？12/8/20217巴特勒公司二元線性回歸模型的估計自變量：x1-行駛距離, x2-運貨次數(shù)?；貧w方程：219234. 00611. 0869. 0 xxy12/8/202187.多元回歸方程變差分解和判定系數(shù)R2 總變差的分解：SST=SSR+SSE； 多元判定系數(shù)： R2=SSR/SST； 多重相關系數(shù)r； 調整（修正）的判定系數(shù) ： 巴特勒公司二元線性回歸模型的判定系數(shù)221122 )1 (1 RRRRpnn一般的有876

5、. 0 ,904. 022RR22.RRadj12/8/202198.對回歸方程的檢驗:F Test for Overall Significance 問題：因變量和所有自變量之間是否存在顯著問題：因變量和所有自變量之間是否存在顯著的關系？的關系？ 判定系數(shù)判定系數(shù) R2可以可以 做方程的整體檢驗，但是遇做方程的整體檢驗，但是遇到分布的困難。到分布的困難。 檢驗假設檢驗假設 拒絕域拒絕域 F和R2 的關系：R2 = pF/(n-p-1+pF)。?0 :H210p) 1 ,()1/(/pnpFFpnSSEpSSRMSEMSR12/8/2021109.對回歸系數(shù)的檢驗: t Test for In

6、dividual Significance 檢驗假設檢驗假設 檢驗統(tǒng)計量檢驗統(tǒng)計量 拒絕域拒絕域 0 : 0 :10kkHH的標準誤差是其中kbsbkbstkkbk ,) 1() 1(2/2/pnttpnttkk或者12/8/202111 10.巴特勒公司線性回歸模型的Excel輸出回歸統(tǒng)計 R=0.951 R2=0.904 adj R2=0.876 s=0.573 n=10 方差分析 df SS MS FSignificance F 回歸 221.601 10.800 32.878 0.00027624 殘差 7 2.299 0.328 總計 923.9 Here: SSR=21.601,

7、SSE=2.299, SST=23.9. 系數(shù)估計和檢驗 Coefficients 標準誤差 t Stat p-value Intercept -0.8687 0.9515 -0.9129 0.39163 行駛距離(英里) 0.0611 0.0099 6.1824 0.00045 運送貨物次數(shù) 0.9234 0.2211 4.1763 0.0041612/8/20211211.多重共線性(Multicollinearity) (1)巴特勒運輸公司例題的修改 行駛距離 運送貨物次數(shù)(修改數(shù)) 行駛時間 100 4 (4) 9.3 50 3 (2) 4.8 100 4 (4) 8.9 100 2

8、(4) 6.5 50 2 (2) 4.2 80 2 (3) 6.2 75 3 (3) 7.4 65 4 (3) 6 90 3 (4) 7.6 90 2 (4) 6.112/8/202113(2)巴特勒運輸公司例題的回歸結果 一元回歸方程一元回歸方程 二元回歸方程二元回歸方程 運輸次數(shù)修改后的二元回歸方程運輸次數(shù)修改后的二元回歸方程(F檢驗檢驗p值：值：0.021) *括弧內表示系數(shù)的括弧內表示系數(shù)的p-值值。 (0.004) (0.390) 622. 0 664. 0 067. 027. 1221RRxy 0.877 (0.0042) (0.0005) (0.3916) 904. 0 9234

9、. 00611. 08687. 02221RRxxy 0.573 (0.78) (0.25) (0.41) 668. 0 4671. 00868. 02989. 12221RRxxy12/8/202114(3)多重共線性問題討論 巴特勒運輸回歸結果說明:增加解釋變量不會降低R2的值,但是adj R2的值卻會降低. 前兩個回歸方程的系數(shù)p-值都很低(說明甚麼?),后一個修改運輸次數(shù)的二元回歸的兩個系數(shù)p-值都很高,以至通不過檢驗.但是后一個方程總體檢驗的F值的p-值卻為0.021(0.05水平下方程成立) 原因是修改運輸次數(shù)數(shù)據(jù),使得 x1, x2的相關系數(shù)由0.16升至0.97,發(fā)生了共線性.

10、自變量發(fā)生多重共線性,會出現(xiàn)一些(甚至全部)變量通不過檢驗,但是方程總體檢驗卻能通過.此時的解釋變量系數(shù)估計值很不可靠. 經驗表明：解釋變量數(shù)據(jù)彼此的相關系數(shù)絕對值大于0.7,回歸結果就不可信,處理辦法就是剔除p-值高的變量.對2個以上解釋變量,自變自變量的相關矩陣和方差膨脹因子(Variance Inflation Factors, 簡記作VIF)是識別多重共線性的有效方法,有專門軟件加以精確檢驗.12/8/20211512.利用模型進行預測使用計算機軟件產生回歸模型；通過檢驗判斷你的模型； 直接利用模型可以預測自變量(x01,x02,x0p)對應的因變量期望值E(y0)的估計 。預測E(y

11、0)和y0的置信區(qū)域需要某些專門軟件。0 y0 y12/8/20211613.多元回歸的殘差分析 多元回歸的殘差分析作用方法和一元基本相同。 主要的差異在于:多自變量的觀測值的杠桿率hi的計算比較復雜,需要使用專門軟件。 回歸分析建模應用中可以看到殘差分析的應用12/8/202117二二 、定性自變量(Qualitative Independent Variable)1 . 虛擬變量虛擬變量 (Dummy variable)方差分析中定性變量的解決方案：引入因子，處理。方差分析中定性變量的解決方案：引入因子，處理?；貧w分析的解決方案：引入虛擬變量回歸分析的解決方案：引入虛擬變量如何定義虛擬變量

12、？如何定義虛擬變量？ 例：例：x2=0 (女性），女性），x2=1（男性）男性）如何解釋回歸模型？如何解釋回歸模型？ 期望值模型為：期望值模型為： 女性女性: 男性男性: 截距變化，斜率相同。截距變化，斜率相同。22110)(xxyE110)(xyE1120)(xyE12/8/2021182.Johnson過濾水股份公司例子 Johnson公司對遍布南弗羅里達州的水過濾系統(tǒng)提供維修服務。為了估計服務時間和成本，公司希望能夠對顧客的每一次維修請求預測必要的維修時間。他們收集的數(shù)據(jù)中包含就近一次維修至今的時間（月數(shù)）、故障的類型（電子和機械）以及相應的維修時間（小時）。 你能夠建立起一個預測方程嗎

13、？12/8/202119(1)Johnson公司數(shù)據(jù)公司數(shù)據(jù) 維修時間維修時間/小時小時 最后維修至本次維修請求時間最后維修至本次維修請求時間/月月 故障類型故障類型 2.9 2 電子 1 3.0 6 機械 0 4.8 8 電子 1 1.8 3 機械 0 2.9 2 電子 1 4.9 7 電子 1 4.2 9 機械 0 4.8 8 機械 0 4.4 4 電子 1 4.5 6 電子 112/8/202120散點圖維修時間-維修間隔散點圖01234560246810維修間隔維修時間有正相關的關系，可做一元回歸。但是似乎可以看出有兩條接近平行的直線擬合這些散點。12/8/202121(2)(2)建立

14、維修時間建立維修時間- -上次維修間隔上次維修間隔, ,故障性質的回歸方程故障性質的回歸方程 第一個回歸方程第一個回歸方程 第二個回歸方程第二個回歸方程 解釋你得到的回歸方程！討論解釋你得到的回歸方程！討論 x2的作用。的作用。 *括弧內表示系數(shù)的括弧內表示系數(shù)的p-值值。 二元比一元的判定系數(shù)增大許多。二元比一元的判定系數(shù)增大許多。 *(0.016) (0.008) 534. 0 304. 015. 221Rxy(0.005) (0.000) (0.087) 859. 0 2627. 13876. 09305. 0221Rxxy12/8/202122(3)更復雜的定性變量更復雜的定性變量 如

15、果有如果有3種定性狀態(tài)，如何設虛擬變量種定性狀態(tài)，如何設虛擬變量? 例例:復印機銷售地區(qū)是復印機銷售地區(qū)是A、B、C三個地區(qū)三個地區(qū),已知不同已知不同地區(qū)銷售量不但與價格有關而且與地區(qū)也有關系地區(qū)銷售量不但與價格有關而且與地區(qū)也有關系,利用利用回歸分析建立銷售量模型。設回歸分析建立銷售量模型。設x1是是價格，還需要價格，還需要2個虛個虛擬變量：擬變量： 回歸方程期望值表示為：回歸方程期望值表示為： 地區(qū)地區(qū)A方程：方程： 地區(qū)地區(qū)B方程：方程： 地區(qū)地區(qū)C方程：方程： 注意：注意：k種狀態(tài)種狀態(tài),需要引入需要引入k-1個個虛擬變量。虛擬變量。其它銷售地區(qū)是B 0 12x其它銷售地區(qū)是C 0 1

16、3x3322110)(xxxyE1120)(xyE1130)(xyE110)(xyE12/8/202123三、廣義線性模型 有些復雜的曲線關系也可以用多元回歸方法擬合。1.模擬高階曲線關系模擬高階曲線關系( (Curvilinear Relationships)Curvilinear Relationships) (1) ReynoldsReynolds公司是一家生產工業(yè)天平和實驗室公司是一家生產工業(yè)天平和實驗室設備的企業(yè)。公司管理人員想要對公司銷售人員設備的企業(yè)。公司管理人員想要對公司銷售人員的工作年限和天平的銷售數(shù)量之間的關系進行研的工作年限和天平的銷售數(shù)量之間的關系進行研究。他們隨機抽取

17、了究。他們隨機抽取了1515名銷售人員，得到相應的名銷售人員，得到相應的數(shù)據(jù)：數(shù)據(jù)：12/8/202124ReynoldsReynolds公司天平銷售量與人員雇用月數(shù)公司天平銷售量與人員雇用月數(shù) 天天 平平 銷售人員銷售人員 天天 平平 銷售人員銷售人員 銷售量銷售量 雇用月數(shù)雇用月數(shù) 銷售量銷售量 雇用月數(shù)雇用月數(shù) 275 275 41 89 41 89 40 40 296 296 106 235 106 235 51 51 317 317 76 83 76 83 9 9 376 376 104 112 12 104 112 12 162 162 22 67 22 67 6 6 150 15

18、0 12 325 12 325 56 56 367 367 85 189 85 189 19 19 308 308 111 111 12/8/202125（2）散點圖和一元回歸結果050100150200250300350400020406080100120銷售人員雇用月數(shù)天平銷售量12/8/202126 R2 = 0.781174Coefficients 標準誤差t Statp-valueIntercept111.22792 21.628002 5.14277380.000189銷售人員雇用月數(shù)2.3767749 0.3488932 6.8123279 1.239E-05可以看出銷售量和人員

19、雇用月數(shù)的回歸方程為 Sale = 111.23+2.38Months (0.00012)方程的顯著性也很高。但是從散點圖看出似乎有非線性趨勢，而且判定系數(shù)也不算大。從下頁殘差表和殘差圖看出有明顯非線性特征，考慮加入二次項 x2做為第二個解釋變量，做二階回歸：12/8/202127ReynoldsReynolds公司案例公司案例殘差表 預測天平銷售量 殘差 標準殘差 208.6756926 66.32430742 1.390020675 363.166061 -67.16606097 -1.407662093 291.862814 25.13718598 0.526823567 358.412

20、5112 17.58748883 0.368597488 163.5169695 -1.516969516 -0.031792552 139.7492205 10.25077947 0.214835193 313.2537881 53.7462119 1.126409738 375.0499355 -67.04993546 -1.405228342 206.2989177 -17.29891768 -0.362549632 232.4434416 2.556558435 0.053580191 132.6188958 -49.61889584 -1.039909707 139.7492205

21、-27.74922053 -0.581566423 125.4885711 -58.48857114 -1.225799805 244.3273161 80.67268394 1.69073305 156.3866448 32.61335518 0.68350865212/8/202128ReynoldsReynolds公司案例殘差圖公司案例殘差圖Reynolds公司標準殘差-2-1.5-1-0.500.511.52100150200250300350400預測值標準殘差12/8/202129（3）二階回歸結果 R2=0.90 Coefficients 標準誤差 t Stat p-valueI

22、ntercept45.34758 22.77465 1.99114 0.0697雇用月數(shù)6.344807 1.057851 5.99782 6.24E-05月數(shù)平方 -0.03449 0.008948 -3.85388 0.0023 回歸方程為 Sale = 45.35+6.34(Months)-0.35(Months)2 (0.000) (0.002)整個方程F檢驗的p-值為0.000,無論系數(shù)和方程高度顯著通過檢驗，下頁給出二階回歸的標準化殘差，相當規(guī)范。12/8/202130Reynolds二階回歸殘差二階回歸殘差-2-1.5-1-0.500.511.520501001502002503

23、00350400預測值標準殘差12/8/2021312.因變量對數(shù)模型1）汽車耗油問題2）散點圖 有負線性相關趨勢英里/加侖28.7 29.2 34.2 27.9 33.3 26.4 23.9 30.5 18.1 19.5 14.3 20.9車重(磅)2289 2113 2180 2448 2026 2702 2657 2106 3226 3213 3607 2888例:12輛汽車重量與油耗英里/加侖問題散點圖01020304020002500300035004000汽車重量(磅)英里/加侖12/8/2021323）一元回歸 判定系數(shù)和變量系數(shù)都很顯著，方程應該可以被接受。 回歸統(tǒng)計Multi

24、ple R0.9671524R Square0.9353838Adj.R Squ.0.9289222標準誤差1.6705265觀測值12方差分析dfSSMSFSign. F回歸1 403.97591 403.975913144.760052.85E-07殘差10 27.906587 2.79065874總計11431.8825Coef.標準誤差t StatP-valueIntercept56.09568 2.5821354 21.72453069.547E-10Weight-0.011644 0.0009677 -12.0316272.85E-0712/8/2021334）一元回歸殘差分析 殘

25、差呈楔形，有隨汽車重量增加而增大的異方差趨勢。英里/加侖油標準殘差-2-1.5-1-0.500.511.522.5101520253035英里/加侖預測值標準殘差12/8/2021345）因變量對數(shù)一元回歸分析 E(lnY) = 0+ 1x 系數(shù)顯著性有提高回歸統(tǒng)計Multiple R0.9735R Square0.94771Adj.R Squ. 0.94248標準誤差0.06425觀測值12方差分析dfSSMSFSign. F回歸1 0.7482155 0.748215 181.2244 9.84E-08殘差10 0.0412867 0.004129總計11 0.7895021Coef.標準

26、誤差t StatP-valueIntercept4.52423 0.099318645.5527 6.26E-13車重(磅)-0.0005 3.722E-05-13.462 9.84E-0812/8/2021356）因變量對數(shù)一元回歸分析殘差分析 標準殘差分布比較均勻，方程可以更好的被接受。對數(shù)回歸標準殘差-2-1.5-1-0.500.511.5222.533.54ln英里/加侖預測值標準殘差12/8/2021363.其他常用的非線性變換為線性的公式 0101122lnlnlnE(Y)xE(Y)xx1212lnlnlnlnlnYAx xYAxx10( )E Yx12/8/202137四.變量選

27、取方法 上面一些例子說明選取合適的解釋變量至關重要.對于一組備選的解釋變量進行挑選,逐步回歸(Stepwise)是十分有效的方法。逐步回歸建立在向前選擇和向后消元的基礎之上。 逐步回歸的基本思想是:備選的解釋變量依照對因變量的相關程度和在回歸方程中的地位,按照一定的規(guī)則逐步吸納和剔除,直到不能吸納和剔除為止。 不少統(tǒng)計軟件都具有逐步回歸功能,例如:SAS、SPSS、Minitab、StaPro等。12/8/2021381.增加或刪除變量的F檢驗 F 檢驗用來檢驗已含x1 xk 的模型再增加自變量xk+1 (或者從已含 x1 xk xk+1刪除xk+1) 。 若 F F1,n-(k+1)-1 則

28、應該增加(或不刪除)xk+1,否則不應增加(或刪除)xk+1。 k=1則有SSE()-SSE(),(1) 1MSE()FFnk簡化完全增加變量數(shù)增加變量數(shù)完全)3, 1 (12),SSE(1),SSE(-)SSE(21211nFnxxxxxF12/8/202139增加或刪除變量的 F檢驗的巴特勒例題 巴特勒例題的一元回歸和二元回歸方程分別為 (0.0041) 括號內為變量系數(shù)的p-值 (0.0004) (0.0042) F 檢驗中的分子分母分別為 F統(tǒng)計量的 p-值=0.0042, x2 應該增加(或不應刪除)?？梢钥闯鯢統(tǒng)計量的 p-值就是二元中x2 系數(shù)的p-值。10678. 02739.

29、 1xy219234. 00611. 0869. 0 xxy3284. 0) 1210/(),(730. 5299. 2029. 81/),()(21211xxSSExxSSExSSE59. 5)7 , 1 (45.173284. 0730. 505. 0FF12/8/2021402.逐步回歸的基本步驟 1）給定顯著性水平。 2）選擇與被解釋變量相關系數(shù)最高的變量做一元回歸；如果該變量p-值不顯著，則回歸失敗結束；否則一元回歸方程成立，進入3)。 3）在一元回歸基礎上利用F-檢驗篩選其余變量，選擇其中顯著性水平(p-值）小于且F值最大的一個變量做二元回歸; 如果不存在這種變量,只能得出一元回歸

30、方程,回歸結束；否則二元回歸成立,進入 4)。 4）在二元回歸基礎上利用F-檢驗篩選其余變量，選擇其中顯著性水平小于且F值最大的一個變量做3元回歸；如果不存在這種變量,只能得出二元回歸方程,回歸結束；否則在引入3元基礎上進入第5)步。12/8/202141逐步回歸的基本步驟（續(xù)） 5）已有k個變量被引入基礎上利用F-檢驗對已被引入的變量做檢驗，刪除其中顯著性水平(p-值）大于且F值最小的一個變量，做k-1元回歸，然后繼續(xù)做刪除檢驗（每次刪除1個變量），直到沒有符合被刪除條件的變量為止,進入第 6）步。 6）在m個變量被引入基礎上利用F-檢驗篩選未被引入的變量，選擇其中顯著性水平小于且F值最大的

31、一個變量做m+1元歸，然后回到第 5) 步；否則如果不存在這種變量,只能得出m元回歸方程,回歸結束。 1 2 3 4 5 6 結束 12/8/2021423.逐步回歸的幾個問題 1）對于給定的顯著性水平，逐步回歸一定會結束，其結果唯一；不同的回歸結果不同。 2）前三步只引進變量，不剔除變量。 3）可以分別設定不同的 進和 出, 但是要求 進 出 ，否則可能形成死循環(huán)不能結束回歸。12/8/2021434.大型問題分析-逐步回歸的應用 教材740頁提供9個變量的Cravens數(shù)據(jù)，討論8個自變量對因變量SALES的多元回歸問題。相關系數(shù)陣為 利用StaPro軟件做逐步回歸，結果在以下各片SALE

32、STIMEPOTENADVSHARECHANGE ACCTSWORKTIME0.622881POTEN0.597812 0.453978ADV0.5961770.249170.1741SHARE0.483511 0.106105-0.21067 0.264458CHANGE0.489181 0.251469 0.268287 0.3765160.08547ACCTS0.753986 0.757789 0.478643 0.200037 0.403011 0.327415WORK-0.11722-0.17941-0.25884-0.27223 0.349345-0.28766-0.19885RA

33、TING0.401878 0.101172 0.358703 0.411462-0.02356 0.549333 0.228613-0.2769112/8/202144逐步回歸的應用第一步Results of stepwise regression for SALESResults of stepwise regression for SALESStep 1 - Entering variable: ACCTSStep 1 - Entering variable: ACCTSSummary measuresSummary measuresMultiple R0.7540R-Square0.56

34、85Adj R-Square0.5497StErr of Est881.0930ANOVA TableANOVA TableSourcedfSSMSFp-valueExplained1 23524074.926923524074.926930.30180.0000Unexplained23 17855474.0000776324.9565Regression coefficientsRegression coefficientsCoefficientStd Errt-valuep-valueLower limitUpper limitConstant709.3239515.24601.3767

35、0.1819-356.54231775.1900ACCTS21.72183.94605.50470.000013.558829.884712/8/202145逐步回歸的應用第二步Step 2 - Entering variable: ADVSummary measuresChange% ChangeMulti. R 0.880398 0.126412 0.167658R-Square 0.775101 0.206606 0.363426Adj R-Sq.0.754656 0.204922 0.372766StErr 650.3916 -230.701 -0.26184ANOVA TableSo

36、urcedfSSMSFp-valueExplained232073346 16036673 37.91093 7.44E-08Unexplained 229306203 423009.2Regression coefficientsCoeffi.Std Errt-valuep-valueLower limitUpper limitConstant 50.29406 407.6095 0.1233880.90292 -795.037 895.6253ACCTS19.04827 2.972908 6.4072831.9E-06 12.88283 25.21371ADV0.226527 0.0503

37、884.495620.00018 0.122028 0.33102612/8/202146逐步回歸的應用第三步Step 3 - Entering variable: POTENSummary measuresChange% ChangeMulti. R 0.909793 0.029394 0.033388R-Square 0.827723 0.0526210.06789Adj R-Sq.0.803112 0.048456 0.064209StErr 582.6357 -67.7559 -0.10418ANOVA TableSourcedfSSMSFp-valueExplained3342507

38、98 11416933 33.63223.32E-08Unexplained 217128751 339464.3Regression coefficientsCoeffi.Std Errt-valuep-valueLower limitUpper limitConstant -327.235 394.4004-0.8297 0.416039 -1147.44 492.9654ACCTS15.55396 2.999367 5.185747 3.87E-05 9.316432 21.79148ADV0.216071 0.045327 4.766888 0.000104 0.121807 0.31

39、0335POTEN0.021922 0.008656 2.532663 0.019359 0.003921 0.03992212/8/202147逐步回歸的應用第四步Step 4 - Entering variable: SHARESummary measuresChange% ChangeMulti. R0.94892 0.039127 0.043007R-Square0.90045 0.072727 0.087864Adj R-Sq. 0.88054 0.0774280.09641StErr 453.8364 -128.799 -0.22106ANOVA TableSourcedfSSMSFp-valueExplained437260200 9315050 45.22583 9.56E-10Unexplained 204119349 205967.5Regression coefficientsCoeffiStd Errt-valuep-valueLower limitUpper limitConstant -1441.93 423.5818 -3.40414 0.002814 -2325.51 -558.356ACCTS9.