多元回歸模型與建模

1、2005年年5月月12/8/20211一、多元線性回歸問(wèn)題一、多元線性回歸問(wèn)題 1.一元回歸問(wèn)題的困惑巴特勒(Butler)運(yùn)輸公司的例子(p661)： 行駛距離(英里) 運(yùn)送貨物次數(shù) 行駛時(shí)間(小時(shí)) 100 4 9.3 50 3 4.8 100 4 8.9 100 2 6.5 50 2 4.2 80 2 6.2 75 3 7.4 65 4 6 90 3 7.6 90 2 6.112/8/202122.做行駛時(shí)間-行駛距離的一元回歸 Coefficients t Stat P-value Intercept 1.273913 0.909454 0.389687行駛距離(英里) 0.06782

2、6 3.976755 0.00408回歸方程為 可以看出方程整體檢驗(yàn)和自變量檢驗(yàn)的P值為0.0041,一元回歸能夠顯著成立。但是判定系數(shù) 偏小, 說(shuō)明有些因變量的解釋因素（例如運(yùn)貨次數(shù)）沒(méi)有引入。0.6221 0.6641,22RR0.6642Rxy0678. 02739. 112/8/20213ppppppxxxyExxxNyNeexxxy22110222110222110)() , ( ), , 0( . 3那么假定誤差項(xiàng)更多的自變量多元回歸理論模型12/8/202144.來(lái)自p元回歸模型的容量為n的樣本注意： 的第 1 個(gè)腳碼 k 表示變量編號(hào)，k=1,p;第 2 個(gè)腳碼 i= 1,n

3、表示樣本編號(hào)。);,( );,( );,(21222212112111npnnnppyxxxyxxxyxxxkix12/8/202155. 多元回歸總體模型和古典假定 總體模型表示式為 古典假定 1) E(ei)=0; (E(yi)=x1i+ pxpi)； 2) 對(duì)于所有的 i，Var(ei)=； 3) ei 是服從正態(tài)分布N(0, ) 的； 4) 對(duì)于不同的 ei,ej(ij) 是相互獨(dú)立的。01 101 1 . 0iippiiiippiiyxxei=1,2, ,nE(y )xx E(e )12/8/202166.多元線性回歸方程的估計(jì)2i01 1220101201 122,0,1, . m

4、in()( ,) ()iiippippppkkipyxxxbb bbybb xb xb xb使用最小二乘方法估計(jì)得出（， ， ，）的估計(jì)值估計(jì)的回歸方程是的含義是甚麼？12/8/20217巴特勒公司二元線性回歸模型的估計(jì)自變量：x1-行駛距離, x2-運(yùn)貨次數(shù)?；貧w方程：219234. 00611. 0869. 0 xxy12/8/202187.多元回歸方程變差分解和判定系數(shù)R2 總變差的分解：SST=SSR+SSE； 多元判定系數(shù)： R2=SSR/SST； 多重相關(guān)系數(shù)r； 調(diào)整（修正）的判定系數(shù) ： 巴特勒公司二元線性回歸模型的判定系數(shù)221122 )1 (1 RRRRpnn一般的有876

5、. 0 ,904. 022RR22.RRadj12/8/202198.對(duì)回歸方程的檢驗(yàn):F Test for Overall Significance 問(wèn)題：因變量和所有自變量之間是否存在顯著問(wèn)題：因變量和所有自變量之間是否存在顯著的關(guān)系？的關(guān)系？ 判定系數(shù)判定系數(shù) R2可以可以 做方程的整體檢驗(yàn)，但是遇做方程的整體檢驗(yàn)，但是遇到分布的困難。到分布的困難。 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè) 拒絕域拒絕域 F和R2 的關(guān)系：R2 = pF/(n-p-1+pF)。?0 :H210p) 1 ,()1/(/pnpFFpnSSEpSSRMSEMSR12/8/2021109.對(duì)回歸系數(shù)的檢驗(yàn): t Test for In

6、dividual Significance 檢驗(yàn)假設(shè)檢驗(yàn)假設(shè) 檢驗(yàn)統(tǒng)計(jì)量檢驗(yàn)統(tǒng)計(jì)量 拒絕域拒絕域 0 : 0 :10kkHH的標(biāo)準(zhǔn)誤差是其中kbsbkbstkkbk ,) 1() 1(2/2/pnttpnttkk或者12/8/202111 10.巴特勒公司線性回歸模型的Excel輸出回歸統(tǒng)計(jì) R=0.951 R2=0.904 adj R2=0.876 s=0.573 n=10 方差分析 df SS MS FSignificance F 回歸 221.601 10.800 32.878 0.00027624 殘差 7 2.299 0.328 總計(jì) 923.9 Here: SSR=21.601,

7、SSE=2.299, SST=23.9. 系數(shù)估計(jì)和檢驗(yàn) Coefficients 標(biāo)準(zhǔn)誤差 t Stat p-value Intercept -0.8687 0.9515 -0.9129 0.39163 行駛距離(英里) 0.0611 0.0099 6.1824 0.00045 運(yùn)送貨物次數(shù) 0.9234 0.2211 4.1763 0.0041612/8/20211211.多重共線性(Multicollinearity) (1)巴特勒運(yùn)輸公司例題的修改 行駛距離 運(yùn)送貨物次數(shù)(修改數(shù)) 行駛時(shí)間 100 4 (4) 9.3 50 3 (2) 4.8 100 4 (4) 8.9 100 2

8、(4) 6.5 50 2 (2) 4.2 80 2 (3) 6.2 75 3 (3) 7.4 65 4 (3) 6 90 3 (4) 7.6 90 2 (4) 6.112/8/202113(2)巴特勒運(yùn)輸公司例題的回歸結(jié)果 一元回歸方程一元回歸方程 二元回歸方程二元回歸方程 運(yùn)輸次數(shù)修改后的二元回歸方程運(yùn)輸次數(shù)修改后的二元回歸方程(F檢驗(yàn)檢驗(yàn)p值：值：0.021) *括弧內(nèi)表示系數(shù)的括弧內(nèi)表示系數(shù)的p-值值。 (0.004) (0.390) 622. 0 664. 0 067. 027. 1221RRxy 0.877 (0.0042) (0.0005) (0.3916) 904. 0 9234

9、. 00611. 08687. 02221RRxxy 0.573 (0.78) (0.25) (0.41) 668. 0 4671. 00868. 02989. 12221RRxxy12/8/202114(3)多重共線性問(wèn)題討論 巴特勒運(yùn)輸回歸結(jié)果說(shuō)明:增加解釋變量不會(huì)降低R2的值,但是adj R2的值卻會(huì)降低. 前兩個(gè)回歸方程的系數(shù)p-值都很低(說(shuō)明甚麼?),后一個(gè)修改運(yùn)輸次數(shù)的二元回歸的兩個(gè)系數(shù)p-值都很高,以至通不過(guò)檢驗(yàn).但是后一個(gè)方程總體檢驗(yàn)的F值的p-值卻為0.021(0.05水平下方程成立) 原因是修改運(yùn)輸次數(shù)數(shù)據(jù),使得 x1, x2的相關(guān)系數(shù)由0.16升至0.97,發(fā)生了共線性.

10、自變量發(fā)生多重共線性,會(huì)出現(xiàn)一些(甚至全部)變量通不過(guò)檢驗(yàn),但是方程總體檢驗(yàn)卻能通過(guò).此時(shí)的解釋變量系數(shù)估計(jì)值很不可靠. 經(jīng)驗(yàn)表明：解釋變量數(shù)據(jù)彼此的相關(guān)系數(shù)絕對(duì)值大于0.7,回歸結(jié)果就不可信,處理辦法就是剔除p-值高的變量.對(duì)2個(gè)以上解釋變量,自變自變量的相關(guān)矩陣和方差膨脹因子(Variance Inflation Factors, 簡(jiǎn)記作VIF)是識(shí)別多重共線性的有效方法,有專(zhuān)門(mén)軟件加以精確檢驗(yàn).12/8/20211512.利用模型進(jìn)行預(yù)測(cè)使用計(jì)算機(jī)軟件產(chǎn)生回歸模型；通過(guò)檢驗(yàn)判斷你的模型； 直接利用模型可以預(yù)測(cè)自變量(x01,x02,x0p)對(duì)應(yīng)的因變量期望值E(y0)的估計(jì) 。預(yù)測(cè)E(y

11、0)和y0的置信區(qū)域需要某些專(zhuān)門(mén)軟件。0 y0 y12/8/20211613.多元回歸的殘差分析 多元回歸的殘差分析作用方法和一元基本相同。 主要的差異在于:多自變量的觀測(cè)值的杠桿率hi的計(jì)算比較復(fù)雜,需要使用專(zhuān)門(mén)軟件。 回歸分析建模應(yīng)用中可以看到殘差分析的應(yīng)用12/8/202117二二 、定性自變量(Qualitative Independent Variable)1 . 虛擬變量虛擬變量 (Dummy variable)方差分析中定性變量的解決方案：引入因子，處理。方差分析中定性變量的解決方案：引入因子，處理?；貧w分析的解決方案：引入虛擬變量回歸分析的解決方案：引入虛擬變量如何定義虛擬變量

12、？如何定義虛擬變量？ 例：例：x2=0 (女性），女性），x2=1（男性）男性）如何解釋回歸模型？如何解釋回歸模型？ 期望值模型為：期望值模型為： 女性女性: 男性男性: 截距變化，斜率相同。截距變化，斜率相同。22110)(xxyE110)(xyE1120)(xyE12/8/2021182.Johnson過(guò)濾水股份公司例子 Johnson公司對(duì)遍布南弗羅里達(dá)州的水過(guò)濾系統(tǒng)提供維修服務(wù)。為了估計(jì)服務(wù)時(shí)間和成本，公司希望能夠?qū)︻櫩偷拿恳淮尉S修請(qǐng)求預(yù)測(cè)必要的維修時(shí)間。他們收集的數(shù)據(jù)中包含就近一次維修至今的時(shí)間（月數(shù)）、故障的類(lèi)型（電子和機(jī)械）以及相應(yīng)的維修時(shí)間（小時(shí)）。 你能夠建立起一個(gè)預(yù)測(cè)方程嗎

13、？12/8/202119(1)Johnson公司數(shù)據(jù)公司數(shù)據(jù) 維修時(shí)間維修時(shí)間/小時(shí)小時(shí) 最后維修至本次維修請(qǐng)求時(shí)間最后維修至本次維修請(qǐng)求時(shí)間/月月 故障類(lèi)型故障類(lèi)型 2.9 2 電子 1 3.0 6 機(jī)械 0 4.8 8 電子 1 1.8 3 機(jī)械 0 2.9 2 電子 1 4.9 7 電子 1 4.2 9 機(jī)械 0 4.8 8 機(jī)械 0 4.4 4 電子 1 4.5 6 電子 112/8/202120散點(diǎn)圖維修時(shí)間-維修間隔散點(diǎn)圖01234560246810維修間隔維修時(shí)間有正相關(guān)的關(guān)系，可做一元回歸。但是似乎可以看出有兩條接近平行的直線擬合這些散點(diǎn)。12/8/202121(2)(2)建立

14、維修時(shí)間建立維修時(shí)間- -上次維修間隔上次維修間隔, ,故障性質(zhì)的回歸方程故障性質(zhì)的回歸方程 第一個(gè)回歸方程第一個(gè)回歸方程 第二個(gè)回歸方程第二個(gè)回歸方程 解釋你得到的回歸方程！討論解釋你得到的回歸方程！討論 x2的作用。的作用。 *括弧內(nèi)表示系數(shù)的括弧內(nèi)表示系數(shù)的p-值值。 二元比一元的判定系數(shù)增大許多。二元比一元的判定系數(shù)增大許多。 *(0.016) (0.008) 534. 0 304. 015. 221Rxy(0.005) (0.000) (0.087) 859. 0 2627. 13876. 09305. 0221Rxxy12/8/202122(3)更復(fù)雜的定性變量更復(fù)雜的定性變量 如

15、果有如果有3種定性狀態(tài)，如何設(shè)虛擬變量種定性狀態(tài)，如何設(shè)虛擬變量? 例例:復(fù)印機(jī)銷(xiāo)售地區(qū)是復(fù)印機(jī)銷(xiāo)售地區(qū)是A、B、C三個(gè)地區(qū)三個(gè)地區(qū),已知不同已知不同地區(qū)銷(xiāo)售量不但與價(jià)格有關(guān)而且與地區(qū)也有關(guān)系地區(qū)銷(xiāo)售量不但與價(jià)格有關(guān)而且與地區(qū)也有關(guān)系,利用利用回歸分析建立銷(xiāo)售量模型。設(shè)回歸分析建立銷(xiāo)售量模型。設(shè)x1是是價(jià)格，還需要價(jià)格，還需要2個(gè)虛個(gè)虛擬變量：擬變量： 回歸方程期望值表示為：回歸方程期望值表示為： 地區(qū)地區(qū)A方程：方程： 地區(qū)地區(qū)B方程：方程： 地區(qū)地區(qū)C方程：方程： 注意：注意：k種狀態(tài)種狀態(tài),需要引入需要引入k-1個(gè)個(gè)虛擬變量。虛擬變量。其它銷(xiāo)售地區(qū)是B 0 12x其它銷(xiāo)售地區(qū)是C 0 1

16、3x3322110)(xxxyE1120)(xyE1130)(xyE110)(xyE12/8/202123三、廣義線性模型 有些復(fù)雜的曲線關(guān)系也可以用多元回歸方法擬合。1.模擬高階曲線關(guān)系模擬高階曲線關(guān)系( (Curvilinear Relationships)Curvilinear Relationships) (1) ReynoldsReynolds公司是一家生產(chǎn)工業(yè)天平和實(shí)驗(yàn)室公司是一家生產(chǎn)工業(yè)天平和實(shí)驗(yàn)室設(shè)備的企業(yè)。公司管理人員想要對(duì)公司銷(xiāo)售人員設(shè)備的企業(yè)。公司管理人員想要對(duì)公司銷(xiāo)售人員的工作年限和天平的銷(xiāo)售數(shù)量之間的關(guān)系進(jìn)行研的工作年限和天平的銷(xiāo)售數(shù)量之間的關(guān)系進(jìn)行研究。他們隨機(jī)抽取

17、了究。他們隨機(jī)抽取了1515名銷(xiāo)售人員，得到相應(yīng)的名銷(xiāo)售人員，得到相應(yīng)的數(shù)據(jù)：數(shù)據(jù)：12/8/202124ReynoldsReynolds公司天平銷(xiāo)售量與人員雇用月數(shù)公司天平銷(xiāo)售量與人員雇用月數(shù) 天天 平平 銷(xiāo)售人員銷(xiāo)售人員 天天 平平 銷(xiāo)售人員銷(xiāo)售人員 銷(xiāo)售量銷(xiāo)售量 雇用月數(shù)雇用月數(shù) 銷(xiāo)售量銷(xiāo)售量 雇用月數(shù)雇用月數(shù) 275 275 41 89 41 89 40 40 296 296 106 235 106 235 51 51 317 317 76 83 76 83 9 9 376 376 104 112 12 104 112 12 162 162 22 67 22 67 6 6 150 15

18、0 12 325 12 325 56 56 367 367 85 189 85 189 19 19 308 308 111 111 12/8/202125（2）散點(diǎn)圖和一元回歸結(jié)果050100150200250300350400020406080100120銷(xiāo)售人員雇用月數(shù)天平銷(xiāo)售量12/8/202126 R2 = 0.781174Coefficients 標(biāo)準(zhǔn)誤差t Statp-valueIntercept111.22792 21.628002 5.14277380.000189銷(xiāo)售人員雇用月數(shù)2.3767749 0.3488932 6.8123279 1.239E-05可以看出銷(xiāo)售量和人員

19、雇用月數(shù)的回歸方程為 Sale = 111.23+2.38Months (0.00012)方程的顯著性也很高。但是從散點(diǎn)圖看出似乎有非線性趨勢(shì)，而且判定系數(shù)也不算大。從下頁(yè)殘差表和殘差圖看出有明顯非線性特征，考慮加入二次項(xiàng) x2做為第二個(gè)解釋變量，做二階回歸：12/8/202127ReynoldsReynolds公司案例公司案例殘差表 預(yù)測(cè)天平銷(xiāo)售量 殘差 標(biāo)準(zhǔn)殘差 208.6756926 66.32430742 1.390020675 363.166061 -67.16606097 -1.407662093 291.862814 25.13718598 0.526823567 358.412

20、5112 17.58748883 0.368597488 163.5169695 -1.516969516 -0.031792552 139.7492205 10.25077947 0.214835193 313.2537881 53.7462119 1.126409738 375.0499355 -67.04993546 -1.405228342 206.2989177 -17.29891768 -0.362549632 232.4434416 2.556558435 0.053580191 132.6188958 -49.61889584 -1.039909707 139.7492205

21、-27.74922053 -0.581566423 125.4885711 -58.48857114 -1.225799805 244.3273161 80.67268394 1.69073305 156.3866448 32.61335518 0.68350865212/8/202128ReynoldsReynolds公司案例殘差圖公司案例殘差圖Reynolds公司標(biāo)準(zhǔn)殘差-2-1.5-1-0.500.511.52100150200250300350400預(yù)測(cè)值標(biāo)準(zhǔn)殘差12/8/202129（3）二階回歸結(jié)果 R2=0.90 Coefficients 標(biāo)準(zhǔn)誤差 t Stat p-valueI

22、ntercept45.34758 22.77465 1.99114 0.0697雇用月數(shù)6.344807 1.057851 5.99782 6.24E-05月數(shù)平方 -0.03449 0.008948 -3.85388 0.0023 回歸方程為 Sale = 45.35+6.34(Months)-0.35(Months)2 (0.000) (0.002)整個(gè)方程F檢驗(yàn)的p-值為0.000,無(wú)論系數(shù)和方程高度顯著通過(guò)檢驗(yàn)，下頁(yè)給出二階回歸的標(biāo)準(zhǔn)化殘差，相當(dāng)規(guī)范。12/8/202130Reynolds二階回歸殘差二階回歸殘差-2-1.5-1-0.500.511.520501001502002503

23、00350400預(yù)測(cè)值標(biāo)準(zhǔn)殘差12/8/2021312.因變量對(duì)數(shù)模型1）汽車(chē)耗油問(wèn)題2）散點(diǎn)圖 有負(fù)線性相關(guān)趨勢(shì)英里/加侖28.7 29.2 34.2 27.9 33.3 26.4 23.9 30.5 18.1 19.5 14.3 20.9車(chē)重(磅)2289 2113 2180 2448 2026 2702 2657 2106 3226 3213 3607 2888例:12輛汽車(chē)重量與油耗英里/加侖問(wèn)題散點(diǎn)圖01020304020002500300035004000汽車(chē)重量(磅)英里/加侖12/8/2021323）一元回歸 判定系數(shù)和變量系數(shù)都很顯著，方程應(yīng)該可以被接受。 回歸統(tǒng)計(jì)Multi

24、ple R0.9671524R Square0.9353838Adj.R Squ.0.9289222標(biāo)準(zhǔn)誤差1.6705265觀測(cè)值12方差分析dfSSMSFSign. F回歸1 403.97591 403.975913144.760052.85E-07殘差10 27.906587 2.79065874總計(jì)11431.8825Coef.標(biāo)準(zhǔn)誤差t StatP-valueIntercept56.09568 2.5821354 21.72453069.547E-10Weight-0.011644 0.0009677 -12.0316272.85E-0712/8/2021334）一元回歸殘差分析 殘

25、差呈楔形，有隨汽車(chē)重量增加而增大的異方差趨勢(shì)。英里/加侖油標(biāo)準(zhǔn)殘差-2-1.5-1-0.500.511.522.5101520253035英里/加侖預(yù)測(cè)值標(biāo)準(zhǔn)殘差12/8/2021345）因變量對(duì)數(shù)一元回歸分析 E(lnY) = 0+ 1x 系數(shù)顯著性有提高回歸統(tǒng)計(jì)Multiple R0.9735R Square0.94771Adj.R Squ. 0.94248標(biāo)準(zhǔn)誤差0.06425觀測(cè)值12方差分析dfSSMSFSign. F回歸1 0.7482155 0.748215 181.2244 9.84E-08殘差10 0.0412867 0.004129總計(jì)11 0.7895021Coef.標(biāo)準(zhǔn)

26、誤差t StatP-valueIntercept4.52423 0.099318645.5527 6.26E-13車(chē)重(磅)-0.0005 3.722E-05-13.462 9.84E-0812/8/2021356）因變量對(duì)數(shù)一元回歸分析殘差分析 標(biāo)準(zhǔn)殘差分布比較均勻，方程可以更好的被接受。對(duì)數(shù)回歸標(biāo)準(zhǔn)殘差-2-1.5-1-0.500.511.5222.533.54ln英里/加侖預(yù)測(cè)值標(biāo)準(zhǔn)殘差12/8/2021363.其他常用的非線性變換為線性的公式 0101122lnlnlnE(Y)xE(Y)xx1212lnlnlnlnlnYAx xYAxx10( )E Yx12/8/202137四.變量選

27、取方法 上面一些例子說(shuō)明選取合適的解釋變量至關(guān)重要.對(duì)于一組備選的解釋變量進(jìn)行挑選,逐步回歸(Stepwise)是十分有效的方法。逐步回歸建立在向前選擇和向后消元的基礎(chǔ)之上。 逐步回歸的基本思想是:備選的解釋變量依照對(duì)因變量的相關(guān)程度和在回歸方程中的地位,按照一定的規(guī)則逐步吸納和剔除,直到不能吸納和剔除為止。 不少統(tǒng)計(jì)軟件都具有逐步回歸功能,例如:SAS、SPSS、Minitab、StaPro等。12/8/2021381.增加或刪除變量的F檢驗(yàn) F 檢驗(yàn)用來(lái)檢驗(yàn)已含x1 xk 的模型再增加自變量xk+1 (或者從已含 x1 xk xk+1刪除xk+1) 。 若 F F1,n-(k+1)-1 則

28、應(yīng)該增加(或不刪除)xk+1,否則不應(yīng)增加(或刪除)xk+1。 k=1則有SSE()-SSE(),(1) 1MSE()FFnk簡(jiǎn)化完全增加變量數(shù)增加變量數(shù)完全)3, 1 (12),SSE(1),SSE(-)SSE(21211nFnxxxxxF12/8/202139增加或刪除變量的 F檢驗(yàn)的巴特勒例題 巴特勒例題的一元回歸和二元回歸方程分別為 (0.0041) 括號(hào)內(nèi)為變量系數(shù)的p-值 (0.0004) (0.0042) F 檢驗(yàn)中的分子分母分別為 F統(tǒng)計(jì)量的 p-值=0.0042, x2 應(yīng)該增加(或不應(yīng)刪除)?？梢钥闯鯢統(tǒng)計(jì)量的 p-值就是二元中x2 系數(shù)的p-值。10678. 02739.

29、 1xy219234. 00611. 0869. 0 xxy3284. 0) 1210/(),(730. 5299. 2029. 81/),()(21211xxSSExxSSExSSE59. 5)7 , 1 (45.173284. 0730. 505. 0FF12/8/2021402.逐步回歸的基本步驟 1）給定顯著性水平。 2）選擇與被解釋變量相關(guān)系數(shù)最高的變量做一元回歸；如果該變量p-值不顯著，則回歸失敗結(jié)束；否則一元回歸方程成立，進(jìn)入3)。 3）在一元回歸基礎(chǔ)上利用F-檢驗(yàn)篩選其余變量，選擇其中顯著性水平(p-值）小于且F值最大的一個(gè)變量做二元回歸; 如果不存在這種變量,只能得出一元回歸

30、方程,回歸結(jié)束；否則二元回歸成立,進(jìn)入 4)。 4）在二元回歸基礎(chǔ)上利用F-檢驗(yàn)篩選其余變量，選擇其中顯著性水平小于且F值最大的一個(gè)變量做3元回歸；如果不存在這種變量,只能得出二元回歸方程,回歸結(jié)束；否則在引入3元基礎(chǔ)上進(jìn)入第5)步。12/8/202141逐步回歸的基本步驟（續(xù)） 5）已有k個(gè)變量被引入基礎(chǔ)上利用F-檢驗(yàn)對(duì)已被引入的變量做檢驗(yàn)，刪除其中顯著性水平(p-值）大于且F值最小的一個(gè)變量，做k-1元回歸，然后繼續(xù)做刪除檢驗(yàn)（每次刪除1個(gè)變量），直到?jīng)]有符合被刪除條件的變量為止,進(jìn)入第 6）步。 6）在m個(gè)變量被引入基礎(chǔ)上利用F-檢驗(yàn)篩選未被引入的變量，選擇其中顯著性水平小于且F值最大的

31、一個(gè)變量做m+1元?dú)w，然后回到第 5) 步；否則如果不存在這種變量,只能得出m元回歸方程,回歸結(jié)束。 1 2 3 4 5 6 結(jié)束 12/8/2021423.逐步回歸的幾個(gè)問(wèn)題 1）對(duì)于給定的顯著性水平，逐步回歸一定會(huì)結(jié)束，其結(jié)果唯一；不同的回歸結(jié)果不同。 2）前三步只引進(jìn)變量，不剔除變量。 3）可以分別設(shè)定不同的 進(jìn)和 出, 但是要求 進(jìn) 出 ，否則可能形成死循環(huán)不能結(jié)束回歸。12/8/2021434.大型問(wèn)題分析-逐步回歸的應(yīng)用 教材740頁(yè)提供9個(gè)變量的Cravens數(shù)據(jù)，討論8個(gè)自變量對(duì)因變量SALES的多元回歸問(wèn)題。相關(guān)系數(shù)陣為 利用StaPro軟件做逐步回歸，結(jié)果在以下各片SALE

32、STIMEPOTENADVSHARECHANGE ACCTSWORKTIME0.622881POTEN0.597812 0.453978ADV0.5961770.249170.1741SHARE0.483511 0.106105-0.21067 0.264458CHANGE0.489181 0.251469 0.268287 0.3765160.08547ACCTS0.753986 0.757789 0.478643 0.200037 0.403011 0.327415WORK-0.11722-0.17941-0.25884-0.27223 0.349345-0.28766-0.19885RA

33、TING0.401878 0.101172 0.358703 0.411462-0.02356 0.549333 0.228613-0.2769112/8/202144逐步回歸的應(yīng)用第一步Results of stepwise regression for SALESResults of stepwise regression for SALESStep 1 - Entering variable: ACCTSStep 1 - Entering variable: ACCTSSummary measuresSummary measuresMultiple R0.7540R-Square0.56

34、85Adj R-Square0.5497StErr of Est881.0930ANOVA TableANOVA TableSourcedfSSMSFp-valueExplained1 23524074.926923524074.926930.30180.0000Unexplained23 17855474.0000776324.9565Regression coefficientsRegression coefficientsCoefficientStd Errt-valuep-valueLower limitUpper limitConstant709.3239515.24601.3767

35、0.1819-356.54231775.1900ACCTS21.72183.94605.50470.000013.558829.884712/8/202145逐步回歸的應(yīng)用第二步Step 2 - Entering variable: ADVSummary measuresChange% ChangeMulti. R 0.880398 0.126412 0.167658R-Square 0.775101 0.206606 0.363426Adj R-Sq.0.754656 0.204922 0.372766StErr 650.3916 -230.701 -0.26184ANOVA TableSo

36、urcedfSSMSFp-valueExplained232073346 16036673 37.91093 7.44E-08Unexplained 229306203 423009.2Regression coefficientsCoeffi.Std Errt-valuep-valueLower limitUpper limitConstant 50.29406 407.6095 0.1233880.90292 -795.037 895.6253ACCTS19.04827 2.972908 6.4072831.9E-06 12.88283 25.21371ADV0.226527 0.0503

37、884.495620.00018 0.122028 0.33102612/8/202146逐步回歸的應(yīng)用第三步Step 3 - Entering variable: POTENSummary measuresChange% ChangeMulti. R 0.909793 0.029394 0.033388R-Square 0.827723 0.0526210.06789Adj R-Sq.0.803112 0.048456 0.064209StErr 582.6357 -67.7559 -0.10418ANOVA TableSourcedfSSMSFp-valueExplained3342507

38、98 11416933 33.63223.32E-08Unexplained 217128751 339464.3Regression coefficientsCoeffi.Std Errt-valuep-valueLower limitUpper limitConstant -327.235 394.4004-0.8297 0.416039 -1147.44 492.9654ACCTS15.55396 2.999367 5.185747 3.87E-05 9.316432 21.79148ADV0.216071 0.045327 4.766888 0.000104 0.121807 0.31

39、0335POTEN0.021922 0.008656 2.532663 0.019359 0.003921 0.03992212/8/202147逐步回歸的應(yīng)用第四步Step 4 - Entering variable: SHARESummary measuresChange% ChangeMulti. R0.94892 0.039127 0.043007R-Square0.90045 0.072727 0.087864Adj R-Sq. 0.88054 0.0774280.09641StErr 453.8364 -128.799 -0.22106ANOVA TableSourcedfSSMSFp-valueExplained437260200 9315050 45.22583 9.56E-10Unexplained 204119349 205967.5Regression coefficientsCoeffiStd Errt-valuep-valueLower limitUpper limitConstant -1441.93 423.5818 -3.40414 0.002814 -2325.51 -558.356ACCTS9.