多元線性回歸模型

1、第四章多元線性回歸模型在一元線性回歸模型中，解釋變量只有一個。但在實際問題中，影響因變量 的變量可能不止一個，比如根據(jù)經(jīng)濟(jì)學(xué)理論，人們對某種商品的需求不僅受該商 品市場價格的影響，而且受其它商品價格以及人們可支配收入水平的制約；影響勞動力勞動供給意愿（用勞動參與率度量）的因素不僅包括經(jīng)濟(jì)形勢（用失業(yè)率 度量），而且包括勞動實際工資；根據(jù)凱恩斯的流動性偏好理論，影響人們貨幣 需求的因素不僅包括人們的收入水平，而且包括利率水平等。當(dāng)解釋變量的個數(shù)由一個擴(kuò)展到兩個或兩個以上時，一元線性回歸模型就擴(kuò)展為多元線性回歸模 型。本章在理論分析中以二元線性回歸模型為例進(jìn)行。一、預(yù)備知識（一）相關(guān)概念對于一個三

2、變量總體，若由基礎(chǔ)理論，變量x1, x2和變量y之間存在因果關(guān)系，或xX2的變異可用來解釋y的變異。為檢驗變量Xi,X2和變量y之間因果關(guān) 系是否存在、度量變量Xi,X2對變量y影響的強(qiáng)弱與顯著性、以及利用解釋變量 Xi,X2去預(yù)測因變量y，引入多元回歸分析這一工具。將給定Xii, X2i條件下y的均值E（yi | Xii , X2i ） = 一0 Xii -2X2i（ 4.1）定義為總體回歸函數(shù)（Population Regression Function,PRF ）。定義 yi -E（yi |Xii,X2i）為誤差項（error term ）,記為，即 * = yi - E（ yi | 刈

3、，x?i）， 這樣yi =EW |旳卞劑，或y= <01刈 ：2X2ii（4.2）（4.2）式稱為總體回歸模型或者隨機(jī)總體回歸函數(shù)。其中，X1,X2稱為解釋 變量（explanatory variable ） 或自變量（independent variable ）； y 稱為被 解釋變量（explained variable ）或因變量（dependent variable ）；誤差項二解 釋了因變量的變動中不能完全被自變量所解釋的部分。在總體回歸模型（4.2 ）中參數(shù)r12是未知的，叫是不可觀察的，統(tǒng)計 計量分析的目標(biāo)之一就是估計模型的未知參數(shù)。給定一組隨機(jī)樣本 （yi , X1i ,

4、 X2i ）, i = 1,2, , n，對（4.1 ）式進(jìn)行估計，若 E（ yi | x1i , x2i ）, ' 0, ' 1, ' 2 的估AAAA計量分別記為yioi2，則定義（4.3 ）式為樣本回歸函數(shù)AAAAyi 八01 Xii：2X2i（ i = 1,2/ ,n）（ 4.3 ）AAA注意，樣本回歸函數(shù)隨著樣本的不同而不同，也就是說。，匚匕是隨機(jī)變量，它們的隨機(jī)性是由于yi的隨機(jī)性（同一組（Xii,X2i）可能對應(yīng)不同的yj、Xi,X2各自的變異、以及x1, x2之間的相關(guān)性共同引起的。定義yy為殘差項（residualAAterm）,記為 e ,即 e =

5、 yi - yi，這樣 yi = yi + e，或AAyi1 人 y（ i =1,2, ,n）（4.4）（4.4）式稱為樣本回歸模型或者隨機(jī)樣本回歸函數(shù)。樣本回歸模型中殘差項e可 視為總體回歸模型中誤差項 叫的估計量。（二）多元線性回歸模型的矩陣表示多元線性回歸模型的參數(shù)估計比一元線性回歸模型要復(fù)雜得多， 為了便于計 算和分析，便于將結(jié)果由三變量總體推廣到一般的多變量總體， 引入矩陣這一工 具簡化計算和分析。設(shè)（yi,Xii,X2i）,i =12，n是取自總體的一組隨機(jī)樣本。在該組樣本下，總體 回歸模型（4.2 ）式可以寫成方程組的形式y(tǒng)i = - 0 - 1X11- 2X21 川-1y2 =

6、 一 0 一 1X12- 2X22 川-2yn = 必仆2X2n利用矩陣運(yùn)算，可表示為yjy21JnY11xn目2_1X12aaaAn 一JXmX11X21X2nR ,X21X22X2n(4.5)2則在該組樣本下，總體回歸模型的矩陣表示為(4.6)e/le2e =_en則樣本回歸模型的矩陣表示為(4.7)y 二 X ： e（三）模型假定假定1回歸模型是參數(shù)線性的，并且是設(shè)定正確的 假定2隨機(jī)誤差項與解釋變量不相關(guān)。即cov(Xji，叫)=0 , j =1,2。如果解釋變量是非隨機(jī)的，則該假設(shè)自動滿足。 假定3零均值假定。即E(叫)=0, i =1,2, n假定4同方差假定。即var(叫)2，i

7、 =1,2, ,n假定5無自相關(guān)假定。即兩個誤差項之間不相關(guān)cov( 曲)=0 i = j，i =1,2廠，n，j =1,2,n假定6解釋變量X1與X2之間不存在完全共線性，即兩個解釋變量之間無確切的 的線性關(guān)系。假定7正態(tài)性假定。即2叫N(0,匚)，i =1,2, ,n(四) 參數(shù)估計與估計量的分布 系數(shù)向量：的OLS估計為A一 (XTX)XTy(4.8 )其中，xt為X的轉(zhuǎn)置矩陣。在隨機(jī)誤差項服從正態(tài)分布的假定下，系數(shù)向量的 估計量也服從正態(tài)分布，即A1 N( 1 ,；2(XTX)(4.9 )記C =(XTX)J的第j個主對角元素為Cjj，貝UAj N( j；2Cjj)(4.10 )有了系

8、數(shù)估計量的分布，就可以對總體參數(shù)做假設(shè)檢驗。與雙變量總體相同，A總體誤差7是不可觀察的，因而其方差二2是未知的。若用二2的無偏估計量二2代 替二2，則OLS估計量服從自由度為n-3的t分布，而不是正態(tài)分布，即At(n -3)(4.11 )se( : j)2 其中，se(:j)=2 Cjj，匚2:。n-3(五) 預(yù)測原理回歸分析的目的之一是利用回歸模型預(yù)測因變量。假設(shè)三變量總體的回歸模型為(4.2 )，即月 = o' ：lXi ：2X2-i(4.2 )在一組隨機(jī)樣本(y,Xi,X2),i =1,2, ,n下，利用OLS求得樣本回歸函數(shù)為(4.3 )ANNAy J：oXi2 X2( i =

9、1,2,n )(4.3 )給定樣本外一點Xf =(1,Xif,X2f)T，貝U因變量yf的點預(yù)測為(4.12 )(4.13)y f = 'o' 1 X1 2 X2 fA點預(yù)測yf的標(biāo)準(zhǔn)誤為AA1TT1se( yf) = ；1 Xf (X X) Xf因變量yf的置信度為1 -:的區(qū)間預(yù)測為AAAAyf-tg( n-3)se(yf), y2( n-3)se(yf)(4.14 )二、案例案例1 Woody餐館的選址分析Woody餐館是一家價位適中、24小時營業(yè)的家庭連鎖店，公司邀請你決策下 一家連鎖店的選址問題。你決定建立一個回歸模型來解釋每一家連鎖餐館的毛銷 售額Y(the gro

10、ss sales volume ),通過文獻(xiàn)的閱讀，你認(rèn)為以下變量對毛銷 售額的影響較大，N =競爭變量：餐館位置半徑2里以內(nèi)市場直接競爭者的數(shù)量；P=人口：餐館位置半徑3里以內(nèi)人口的數(shù)量；匸收入：餐館位置半徑3里以內(nèi)家庭平均收入。并且通過調(diào)研，你獲得了 33家Woody餐館連鎖店的數(shù)據(jù)。 案例2經(jīng)濟(jì)形勢和實際工資對人們工作意愿的影響在第三章，我們根據(jù)勞動經(jīng)濟(jì)學(xué)理論，分析了經(jīng)濟(jì)形勢對人們工作意愿的影 響存在兩種效應(yīng)：受挫工人效應(yīng)和增加工人效應(yīng)；并且利用1980-2002年的數(shù)據(jù) 實證了受挫工人效應(yīng)占主導(dǎo)地位。但根據(jù)勞動經(jīng)濟(jì)學(xué)理論，影響人們工作意愿的因素，除了經(jīng)濟(jì)形勢以外，還 有實際的工資水平。

11、從理論上說，實際工資增加對勞動供給具有兩種效應(yīng)：替代效應(yīng)與收入效應(yīng)。替代效應(yīng)趨于使勞動供給增加，而收入效應(yīng)則趨于使勞動供給 降低，兩種效應(yīng)的相對影響取決于家庭的偏好(參考文獻(xiàn)4 ，p49)。本案例考察實際工資對人們工作意愿是否有影響，以及在有影響的情況下， 那種效應(yīng)占優(yōu)。數(shù)據(jù)見表3.1。三、實驗?zāi)康陌咐? Woody餐館的選址分析1、繪制丫對N P、I的散點圖，并在散點圖中附加回歸線。2、 建立丫對N、P、I的線性回歸模型，并定性分析解釋變量N、P、I對丫的影 響。3、利用樣本數(shù)據(jù)及OLS法對回歸模型進(jìn)行估計，并報告回歸結(jié)果。4、觀察回歸系數(shù)的顯著性和方程的顯著性，并解釋回歸系數(shù)的含義。案例2

12、經(jīng)濟(jì)形勢和實際工資對人們工作意愿的影響1、繪制clfpr對ahe82的散點圖，并附回歸線，觀察城市勞動參與率與實際工 資之間的線性關(guān)系。2、 建立clfpr對ahe82的一元線性回歸模型，利用1980-2002年的數(shù)據(jù)估計模 型，并觀察回歸系數(shù)的顯著性和方程的顯著性。3、同時考慮經(jīng)濟(jì)形勢與實際工資對人們工作意愿的影響，建立二元線性回歸模 型，利用1980-2002年的數(shù)據(jù)估計模型，觀察回歸系數(shù)的顯著性和方程的顯著性， 并解釋回歸系數(shù)的經(jīng)濟(jì)含義。4、對上面（2）與（3）中估計結(jié)果的差別進(jìn)行解釋。5、模型的選擇問題，在以下三個模型之間，哪個模型更好呢？clfprt = ：0 cunrt t（I）c

13、lfprt 二：0 ahe82t t（n）clfprt = ：0 ahe82t：2cu nr-t（川）四、實驗原理五、實驗步驟案例1 Woody餐館的選址分析180,000160,000140,000120,000100,00080,00002468 10N180,000160,000 -140,000Y120,000 -100,000 -80,0000100,000200,000300,000P180,000 1160,000 -140,000* / * * / «丫d *120,000 -*.卜100,000 £ 二80,000 -y10,00020,00030,000

14、40,000圖4-1 Y對N P、I的散點圖1、打開Eviews工作文件 Woody.wfl，按住Ctrl鍵，點擊工作文件目錄中的序 列丫、N、P、I圖標(biāo)，點擊鼠標(biāo)右鍵，點擊 Open/as Group,出現(xiàn)包含序列丫、N、 P、I的組對象窗口。點擊組對象窗口工具欄的 View按鈕，選擇Graph，在Specifi選項中選擇Scatter，在 Fit lines 中選擇 Regression Line，在 Multiple 中選擇 Multiple graphs-First vs.All,設(shè)定完畢后點擊 確定按鈕，則出現(xiàn)丫對N P、I的三張散 點圖，點擊鼠標(biāo)右鍵，選擇Copy,將散點圖復(fù)制到

15、Word文檔中，如圖4-1所示。2、Y對N P、I的線性回歸模型為Yi 。1 1 N i 一： 2 Pi 1 3 I i （4.15）一般來說，人口越多，餐館的毛銷售額越大；人們的收入水平越高，餐館的 毛銷售額越大；競爭者的數(shù)量越多，餐館的毛銷售額越低。即P和I對丫有正的 影響，N對丫有負(fù)的影響，從而 J,的預(yù)期符號為正，、的預(yù)期符號為負(fù)。圖 4-1散點圖中回歸線的斜率與理論的預(yù)期是一致的。3、 在文件窗口點擊 object/new object,在出現(xiàn)的對象類型中選擇 equation,在 對象名中填寫eq1,點擊0K出現(xiàn)對話框圖4.2Equation EstimationSpeci f i

16、cat 1 on Opt 1 OY13Eciuat ion sued fl cationDependent variable followed by List of resressoi's 丑nd FDL tejnsj OR an eKjaliclt equalico like圖4.2回歸方程的設(shè)定在估計方法中選擇最小二乘法，樣本范圍填寫 1到30。設(shè)定完畢后點擊確定。出現(xiàn)圖4.3 EQuation: EQI Workfilt: WOOrtssionI n vifiw Pr cic ob jeet Pr i<nt |fJrne | IPr| For ecrtst弓上曰t:呂|氏匕

17、卻廿玄r>pF5nci!F?nt X/h廠VMethod: Least SquaresDate 1 1/1 7/1 2 Time.1 O.SOSample- 1 33Included observations-33VariableCoefficientStd Errort-StatisticProk>.C1Q2192 41837o 000011.2079230.5432942.3705040.0246N-9074 674-4O OOOIc0 35<iee8O 072814 9798100 0000R-squaredO ©181S4初 m 曰 n depenclent

18、 var1 ZS634 6Adjust&d R-squaredO 578653S O dependent var22404 09S.E. of regression14642.7SAkaike infocriterion22.12O7USum 円qu曰廠oEdO 1 3F-DS3SSuhw日廠孑 crirt=rionNN 3OS? 1 RLog likelihood-3O 9930> lannan-Ouinn criter.22.181021 &Our Liiiri-WiJtori103F*rob(F-statisticQ 000003圖4.3方程估計的輸出 根據(jù)圖4.3

19、，報告估計結(jié)果如下Y = 102192.4 - 9074.67*N + 0.35*P + 1.29*1（2052.67）（0.073）（0.54 ）2t=-4.424.872.37R =0.584、從估計輸出結(jié)果可知，回歸系數(shù)的符號方向（正、負(fù)）和大小均與理論分析 一致，t統(tǒng)計量的值顯示也在 0.05的顯著性水平下顯著（這一點也可以從邊際 概率值觀察到），F(xiàn)統(tǒng)計量的值為15.64 （相應(yīng)的概率值為0.000003），表明三個 解釋變量對被解釋變量聯(lián)合顯著。多元回歸系數(shù)的含義為，當(dāng)其他變量（控制變量）不變時，該變量對因變量 的邊際影響。對于本例各系數(shù)的含義為，收入增加一個單位會使餐館的銷售收入

20、增加1.29個單位；人口增加一個單位會使餐館的銷售收入增加0.35個單位；競爭者的數(shù)量增加一個單位將使餐館的銷售數(shù)量減少9074.67個單位。案例2經(jīng)濟(jì)形勢和實際工資對人們工作意愿的影響在以下操作中，假設(shè)包含clfpr、ahe82和cunr三個序列的Eviews工作文 件clfpr.wfl已經(jīng)存在。1、打開Eviews工作文件clfpr.wfl ，建立包括序列ahe82和clfpr的組對象， 點擊組對象窗口工具欄的 View按鈕，選擇 Graph，在Specifi選項中選擇 Scatter，在Fit lines 中選擇 Regression Line，設(shè)定完畢后點擊確定按鈕， 出現(xiàn)圖4.4。

21、Group： UNTITLED Workfile: CLFPR-CUNR;Untit1ed 1 II 耳J戶rocjgtijwcfc Print宙殆 rnpl5sh輕両宙ta詞書pt寸.圖4.4 clfpr 對ahe82的散點圖由散點圖可見，clfpr與ahe82之間存在非常弱的線性關(guān)系，回歸線斜率為 負(fù)，且接近于水平線。2、建立一元線性回歸模型如下：clfprt =iahe82t 7（4.16）用1980-2002年的數(shù)據(jù)估計上述模型，估計結(jié)果如圖4.5所示Equation: UNTITLED Workfile:CLFPR-CUMR:UntitL=II 旦)saj|ViewprocObjec

22、t printName | FreezeEstliimate (Fore-caiStStats |Dependent Viariable CLFPR Method: Least Squares Date: 1 1/18/12 Time: 1 0:1 7Sample 1980 2002 Included observations 23VariableCoefficientStd. Errort-StatisticProb.AHE92 C-0 88451972.685671 227799-O 7204099.4284斗 57.709190O 47920.0000R-quar&dAdjust

23、ed R-squared S.E. of regression Sum squared resid Log likelihood F-statisticProb(F-statistic)O 024118 -0 0223531.181 70329 32484 -35 429400.5189890.479216ean dependeTit var S.D. dependent var Akaike info criterion Schwarz criterion H;annan-Quinn crrter Durbin-Watson stat65 89565 1 168713 3.254731 3.

24、3534693 2795S30.05685圖4.5 clfpr 對ahe82回歸的估計結(jié)果從圖4.5的t統(tǒng)計量和概率值均可知，實際工資對勞動參與率沒有顯著影響， 擬合優(yōu)度（0.024118）很低，調(diào)整的擬合優(yōu)度更是為負(fù)值，F(xiàn)統(tǒng)計量和概率值也 顯示方程常數(shù)項和解釋變量（ahe82）對因變量（clfpr ）的聯(lián)合影響不顯著。回 歸的結(jié)果與理論分析相悖。3、同時考慮經(jīng)濟(jì)形勢與實際工資對人們工作意愿的影響，建立二元線性回歸模 型如下clfprt = ：0ahe82t：2cunr'-t（ 4.17）利用1980-2002年的數(shù)據(jù)估計模型，估計結(jié)果如圖4.6所示11 Equation: UNTIT

25、LED Workfile:CLFPR-CUNR:Unt1tl. IS l| View | Proc | Object PrintName | FreezeEstimateFo廠e匚a stStats ResidsDependent Variable CLFPRMethod. Least SquaresDate： 1 1/10/12 Time10:19Sample 1 980 2002Included observations-23VariableCoefficientStd.匚rrort*StatisticProbAHE82-1 4104320.610348-2.310967 0316CUNR

26、-0 0716310 082705-8T208450 OOOOC80.951224.77033716 969710.0000R-squared0 772914fJesn dependent var65 89565Adjusted R-squared0 750205S O dependent var1 168713匚一 of regression0.5841 17Akaike info criterion1.883676Sum squared resid6 823S46Schwarz criterion2 031784Log likelihood-18.66227Hannan-Quinn ci

27、rter.1.920924F-statistic34 03611Durbin-Watson5tat0 7S7065Prob(F-statistic o aooooa圖4.6 clfpr 對ahe82和cunr回歸的估計結(jié)果由圖4.6中間部分的t統(tǒng)計量和概率值可知，解釋變量ahe82和cunr均在0.05的水平上對clfpr有顯著影響；調(diào)整的擬合優(yōu)度為0.750205，擬合度較高； F統(tǒng)計量的值為34.03611，相應(yīng)的概率值為0.000000,表明ahe82和cunr對clfpr 的聯(lián)合影響顯著。解釋變量ahe82和cunr的回歸系數(shù)分別為-1.41和-0.67，它們的經(jīng)濟(jì)含義 為，在cunr保持不變的條件下，實際小時工資增加1美元，勞動參與率降低1.41 個百分點，表明實際工資對勞動供給影響的收入效應(yīng)占優(yōu)，即收入