多元線性回歸模型

：：E-mail：1內(nèi)§1§2§3多元線性回歸模型的參數(shù)估計——§4§5§6內(nèi)大經(jīng)濟管理學院 2§1單一方程模型概線其內(nèi)大經(jīng)濟管理學院3內(nèi)大經(jīng)濟管理學院 4加入加入隨機干擾項系統(tǒng)部分，+,反映自變量——隨機干擾部分：因素對消費的影響。內(nèi)大經(jīng)濟管理5樣本數(shù)據(jù)的結ct=a+byt+ 其中ut表示第t內(nèi)大經(jīng)濟管理6例2例2 內(nèi)大經(jīng)濟管理學院 7若得到nYi=AKaLi其中ui表示對第i8線性線性lnYilnAalnKiblnLilnii1,2,...,yA*akbl 內(nèi)大經(jīng)濟管理9其ylnklnlln內(nèi)大經(jīng)濟管理ca0a1Qa2Q2...akQk內(nèi)大經(jīng)濟管理線性令Xjjj1,2,...,ca0a1X1a2X2...akXk內(nèi)大經(jīng)濟管理線統(tǒng)計（回歸）之間的關系，消費支出與可支配收入之間的關系統(tǒng)計統(tǒng)計（回歸）關系與因果強內(nèi)大經(jīng)濟管理內(nèi)大經(jīng)濟管理口口的個人 20003000400050006000內(nèi)大經(jīng)濟管理中國農(nóng)村用電消費量 0 內(nèi)大經(jīng)濟管理學 變變量的叫內(nèi)大經(jīng)濟管理線線例yabxyabxuyaxbu參數(shù)參數(shù)線例yabxuyabx2y內(nèi)大經(jīng)濟管理§2多元線性回歸模型及基本假模ytb0b1x1tb2x2t bkxktutt1,2,...,如果k1,稱為一元回歸模如果k1,稱為多內(nèi)大經(jīng)濟管理第t期； ut——（第t期的）內(nèi)大經(jīng)濟管理yxx…x因變量Dependent自變量Independent被解釋變量Explained解釋變量Explanatory內(nèi)生變量Endogenous外生變量Exogenous回歸變量預測變量預測因子結果變量Effect原因變量Causal目標變量Target控制變量Controlb0b0,b1,b2,..., jjxj變化一個單位y將變化bj個單位隨機隨機干擾（1）包含眾多微小的隨機因素或者偶然因如人類行為的內(nèi)在隨機性、天氣因素、自然等等。例如：消費=abu，人們可能在某一理論的含混不數(shù)據(jù)的不可得省略一些次要變量（基于節(jié)儉原則保留主要變量內(nèi)大經(jīng)濟管理（3）y中的測量誤差或者x的較差 變內(nèi)大經(jīng)濟管理模型模型的矩陣表y1b0b1x11b2x21...bkxk1u1y2b0b1x12b2x22...bkxk2 ynb0b1x1nb2x2n...bkxkn內(nèi)大經(jīng)濟管理模型的矩陣表令Y2yy1 Xn1xu1xxxk1b0k2b1b uU2xknYXb內(nèi)大經(jīng)濟管理模型的基本假設（classical模型的基本假設（classical為什么要 u是隨量，對其分布，我們知之甚少，必須對u作一些合理的假設； 假設E(ut)0,t1,2,...,假設假設Var(u),t2 同方差假cov(ut,us)E(utus)0,t內(nèi)大經(jīng)濟管理假設Cov(Xji,ui)0,i1,2,...,內(nèi)大經(jīng)濟管理假設假設X內(nèi)大經(jīng)濟管理有時還進一步假uN ,t1, t2uOLS估計所必需的，但是內(nèi)大經(jīng)濟管理例例對給定的x，y服從正態(tài)分布：yNabx,2樣本數(shù)據(jù)(ytxt)t期，x的取值固定為xt時，從以上這個總體抽樣的結圖YX2u內(nèi)大經(jīng)濟管理1、一元線性模型的估計（復習ytb0b1xtut,t1, ,b0b1內(nèi)大經(jīng)濟管理數(shù)據(jù)數(shù)據(jù)擬繪制數(shù)據(jù)散點圖， 中可看出y隨著x而變動的趨勢。希 得到均勻穿過趨勢線，擬合數(shù) 點辦法有二一是目測，手工繪趨勢線 二是利用統(tǒng)計原理但必須規(guī)定一個擬 y?bb的標準內(nèi)大經(jīng)濟管理回歸方程（直線 y?b0b 內(nèi)大經(jīng)濟管理例例內(nèi)大經(jīng)濟管理殘差平nt殘差平nte yty?t2t2Qb0,b1內(nèi)大經(jīng)濟管理殘etyty?t,t1,2,..., t 小內(nèi)大經(jīng)最小最小二乘即：選擇b0b1，使minQb0,b1（OrdinaryLeastSquaresestimation內(nèi)大經(jīng)濟管理得Qynbt t0Qxy x 121t內(nèi)大經(jīng)濟管理整t nnXY 1tb1tnt tn1(XtX)(YtYn21 2Xtt (XiXn2st nt b0ybtb0yb內(nèi)大經(jīng)濟管理YX8220518458計算aX的平均數(shù)＝計算aX的平均數(shù)＝Y的平均數(shù)內(nèi)大經(jīng)濟管理計算a(XtX)(YtY)= (tX)2= 于是8b3 4內(nèi)大經(jīng)濟管理擬合結X內(nèi)大經(jīng)濟管理YYXYYXY-X-82205184400205198453計算計算aa?YY2內(nèi)大經(jīng)濟管理DataYLSYC內(nèi)大經(jīng)濟管理2、多元線性模型的估模型ytb0b1x1tb2x2t...bkxkt內(nèi)大經(jīng)濟管理y?y?tb0b1x1tb2x2t...bkn2tytt2etytb0b1x1tb2x2t...bkxkt2Qb0,b1,b2,...,bk最小最小二 內(nèi)大經(jīng)濟管理QQQ01k內(nèi)大經(jīng)濟管理ytnb0b1x1tb2x2t...bk xy1t 1txx2012xx...k1txktxy x xxkt xx...b kt2內(nèi)大經(jīng)濟管理b0,b1,b2bk，稱為參數(shù)的最小二乘估內(nèi)大經(jīng)濟管理OLSOLSX'YX'當X' 例Y33511和2程內(nèi)大經(jīng)濟管理學院 621311 YXX'X1555815152520X'Y762581b?(X'X)X'Y15558176255152520425811291091 Y?425X1內(nèi)大經(jīng)濟管理Y?134內(nèi)插值（擬合值Y?Y?114405?Y156257 Y?12413Y?145e34e 1050殘差 eeYY?8750e 330 550殘差平方和 RSSe(1)05051? 0e1nk152內(nèi)大經(jīng)濟管理計算計算TSS(YY)(34)(14)(84)(34)(54)R21RSS/TSS115/280R21n1(1R2)151(109464)0nk52內(nèi)大經(jīng)濟管理DataYX1LSYCX1內(nèi)大經(jīng)濟管理iews iews Method:LeastMethod:LeastDate:09/03/02Time:Sample:1EIncludedobservations:Std.t-C4Meandependent4AdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarzLogF-Durbin-WatsonProb(F- e? nk內(nèi)大經(jīng)濟管理學院86420 332u隨機干擾項的方差u2內(nèi)大經(jīng)濟管理可以證明，的無偏估計為2ue2?2unk分母（n-k-1）是殘差平方和的自由內(nèi)大經(jīng)濟管理 因為如此，在回歸分析OLS法才會得到如內(nèi)大經(jīng)濟管理復內(nèi)大經(jīng)濟管理線b線b?jj0,1k)y1y2ynjncjtt應用：由此推出b?j0,1kjEb?jbj,j1,2,...,最佳最佳內(nèi)大經(jīng)濟管理全部估偏OLS估內(nèi)大經(jīng)濟管理一致一致plimb?jbj,j1,2,...,內(nèi)大經(jīng)濟管理§4擬合優(yōu)度(goodnessoffityty?tet,t1,2,...,其中y?t是系統(tǒng)部分的解釋，殘差et是隨機干內(nèi)大經(jīng)濟管理 XXn(YtY)2 ttt(YY稱為總離差平方和（totalsunofsquares），記為TSS(2)(2)(YY)?（residualsumofsquares），記為反映了隨機因素對Y的變動的(3)(YY?稱為回歸平方和（explainedofsquares），記為可以證明?Y ，因此ESS就是擬合值的樣本方乘以（n－1），反映了擬合值的變動對的變動的影響內(nèi)大經(jīng)濟管理平方和分解的解 內(nèi)大經(jīng)濟管理決定決定系R2ESS1 稱為決定系數(shù)（determinationcoefficient），或復相關系數(shù)（multiplecorrelationcoefficient）R2被用來衡量回歸直線的擬合優(yōu)度內(nèi)大經(jīng)濟管理R2的性（1）0R2內(nèi)大經(jīng)濟管理EviewsEviews的回歸結內(nèi)大經(jīng)濟管理R2R2（4）R21說明擬合優(yōu)度越好，反之，R2越靠近0,擬合優(yōu)度越差（1）對于一元模型Yta0a1XtutR2恰好等于X和Y的相關系數(shù)(XtX)(YtYnrXY (XtX)2(YtY)nnt（2）可以證明，R2r?即Y和Y?修正修正決定系R2有一個缺點，即R2隨著解釋變量個數(shù)內(nèi)大經(jīng)濟管理修正決定系定義R2RSS/(nkTSS/(n或R2nnk(1R2稱為修正決定系數(shù)（adjusteddetermination內(nèi)大經(jīng)濟管理但是，有時R但是，有時R2R2R2max0,R2內(nèi)大經(jīng)濟管理DependentVariable:Method:LeastDate:09/10/02Time:Sample:1966Includedobservations:Std.CP--TI--H0AdjustedR-MeandependentS.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarzLog-Durbin-Watson0R2R2模型的經(jīng)濟解釋，R2或者R2越高越好。 內(nèi)大經(jīng)濟管理學院 91內(nèi)大經(jīng)濟管理數(shù)學期E b,j1,2,...,?jj內(nèi)大經(jīng)濟管理方差方差和協(xié)方OLSb?varvarb?var(X'X var 內(nèi)大經(jīng)濟管理內(nèi)大經(jīng)濟管理EviewsEviews的回歸結內(nèi)大經(jīng)濟管理bb?jvarb(X'X?2 jSEb?varbj(X'X2juj內(nèi)大經(jīng)濟管理學 ?enk011.5820.025 62.5 1.1251.875seb?20.025seb?1.8751seb?0750DependentDependentVariable:Method:LeastDate:09/10/02Time:Sample:1966Includedobservations:CP--TI--H0MeandependentAdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarzLog-Durbin-Watson0估計量的分性組合，而Yj服從正態(tài)分布，因此OLS估b?~N(b 內(nèi)大經(jīng)濟管理估計估計量的分即b?jj~Nj但是，注意到分母中的u2e?nkb?jj~t(nkj內(nèi)大經(jīng)濟管理2、參數(shù)的顯著性檢驗（t檢驗ytb0b1xtut,t1,2,,其中b1反應了自變量x對y的影如果b1＝0，則表明x對y沒有影響否則，如果b1顯著地區(qū)別于0,則表明有顯著影響內(nèi)大經(jīng)濟管理如果b如果b1＝0，則稱參數(shù)b1模型為：ytb0b1x1tb2x2tbkxktut,t12要檢驗bjH0：bj H1：bj 檢驗檢驗統(tǒng)計量——t統(tǒng)計t j~t(nkb?j在H0下t ~t(nkjj內(nèi)大經(jīng)濟管理原通常取0.01等小正如果H0t｜>t}＝{｜t｜>t}是小件在一次抽樣中b出現(xiàn)，說明假設 內(nèi)大經(jīng)濟管理檢驗檢驗步（1）計算|t（2）查表求臨界值t／2(n-k-如果|t|≤t／2，則接受H0，認為在顯著性水平為α的意義下，bj不顯著；如果|t|＞t／2，則 性水平為α的意義下，bj顯著。內(nèi)大經(jīng)濟管理例Yt=7.193-1.39X1+1.47X2se(1.595)(0.205) (4.510)(- n=13,k=2,t／2(n-k-1)=tjj結論：常數(shù)項和X1的系數(shù)是顯著的，X2的系數(shù)不顯內(nèi)大經(jīng)濟管理Eviews的回歸結Eviews的回歸結DependentVariable:YMethod:LeastDate:09/10/02Time:18:06Sample:19661992Includedobservations:CoefficienStd.Errort-Statistic簡易“2倍”檢驗當=0.05，n-k-1>8時t／2(n-k-檢驗可以化簡為：當估計值大1234567892標準差的2倍時，則認為參是顯著的，反之是不內(nèi)大經(jīng)濟管理學院 110CP--TI--H0MeandependentAdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarzLog-Durbin-Watson0P值檢驗法（P值檢驗法（p－valuep為了方便，將tt?j0j計 p＝P{｜t｜>t稱為p值（p－value 如果p，/2，t0落入0t0t 如果0t0內(nèi)大經(jīng)濟管理準內(nèi)大經(jīng)濟管理解p-value解p-value（或觀測的）顯著性水p-value：零假設H0被 DependentVariable:Method:LeastDate:09/10/02Time:Sample:1966InludedobStd.t-P--0TI--HMeandependentAdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarzLog-Durbin-Watson0內(nèi)大經(jīng)濟管理學院 pp值檢驗法優(yōu)不將固定在某個武斷的水平上是一個決定在給定的p-value，到底是否零內(nèi)大經(jīng)濟管理參數(shù)顯著性檢驗和建內(nèi)大經(jīng)濟管理小?。?）|t|與臨界值作內(nèi)大經(jīng)濟管理3、方程的顯著性檢（F檢驗模型ytb0b1x1tb2x2tbkxktut,t12問題：yx’s之間的線性關系是否成立，如果各個x前的系數(shù)都等于0，那么這種線性關系只要一個x前的系數(shù)不等于0，那么這種線性關系內(nèi)大經(jīng)濟管理方差方差分內(nèi)大經(jīng)濟管理Eviews的回歸結內(nèi)大經(jīng)濟管理假H假H0：b1＝b2＝…＝bk（零假設H1：b1，b2，…，bk至少有一個不等于0（備擇假設FESS/RSS/(nk~F(k,nkkF ESS/kRSS/(nk1)~F(k,nkn-準（1）計算F（k,n-k-F>F，則H0，認F≤F，則接受H0，認內(nèi)大經(jīng)濟管理例例F（k,n-k-1）＝內(nèi)大經(jīng)濟管理DependentVariable:Method:LeastDate:09/10/02Time:Sample:1966Includedobservations:Std.CP--TI--H0MeandependentAdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarzLog-0Durbin-Watsonpppvalueprob(FF當P值小于顯著性水平時，方程在顯著性水當P值大于顯著性水平時，方程在顯著性水x的值，預測y例消費函數(shù)的回歸方程是如果2002年的國民收入Y＝1500（億元），那么2002年消費支出的預測值是多少？答案：C2000.8*15001400需求函數(shù)的回歸方程是：Q=20-如果預計價格P=10，收入I=12內(nèi)大經(jīng)濟管理點預ytb0b1x1tb2x2tbkxktut,t1,2,...,y?b?b1xb2xbkx t1,2,...,給定X0(1,x10,x20,,xk0 ，預測性質：最佳線性無偏bkk X內(nèi)大經(jīng)濟管理區(qū)間區(qū)間預y0的100(1-α)％置信區(qū)(y?0tae,y0e)其y?0是點預t／2＝t／2(n-k-1)t分布的臨界是預測誤差的標準內(nèi)大經(jīng)濟管理?2u1X(X'X)X00其?2e2unk內(nèi)大經(jīng)濟管理yy?0/u1(xx2 (xx02例回歸方程：?24.45+X0點預測：?0=24.45+0.509(100)=?=2u={42.16[1+1/10+(100-170)/33,000]}==.05，df=n-k-1＝8,t/2X0=100y0的9575.36即（58.635內(nèi)大經(jīng)濟管理學 yy?=24.45+YY0 X內(nèi)大經(jīng)濟管理預測精度的影響因un——(xtx越 x0——x0x的平均數(shù)越近，預測誤差2——x內(nèi)大經(jīng)濟管理內(nèi)插內(nèi)插預測和外推預內(nèi)大經(jīng)濟管理內(nèi)插預X0跑遍自變量在樣本期內(nèi)的觀測內(nèi)大經(jīng)濟管理誤誤etyty?t,t1,2,...,reteytt residual/Graphor轉折轉折點預單從該圖就可以看出，我們更應選擇產(chǎn)生實線C型，因為雖然它的模擬誤差均方根很大，但它很好地反映了變量X的顯著變化。內(nèi)大經(jīng)濟管理外推預X0取實際值以外的其他一內(nèi)大經(jīng)濟管理Eviews內(nèi)大經(jīng)濟管理?EViews預測結果顯示和評內(nèi)大經(jīng)濟管理內(nèi)大經(jīng)內(nèi)大經(jīng)濟管理內(nèi)大經(jīng)濟管理局東南局（SoutheasternTransportationAuthority,STA）是負責向東部一個大城市提供鐵路通勤服務的公共機構，它在1993年初全系統(tǒng)經(jīng)營赤字上升的問題。另外，由于政府和州同時實行財政緊縮計劃，致使得到額外補貼支持的希STA的董事會要求系統(tǒng)經(jīng)理提出方案以減緩系統(tǒng)的財政狀況。經(jīng)理人員作出的第一個建議是對服務進行重大削減調(diào)整，將導致在下午7時之后和周末不提供服務，從周一至周五的服務時間也要減少。STA董事會 這個方案在政治上不可能被接受，只能作為最后的辦法來考慮。董事會建議鑒于5年多來持續(xù)基本票價一直在上漲，所以應該考慮把票價從當前1的水平長到1.50的新水平，因此，董事會經(jīng)理人員進行一次票價擬議上調(diào)的可能影響研究。此系統(tǒng)的經(jīng)理們收集了有關對STA乘客需求有涉及過去的24年，包括下列變量：1.每個乘客的價格（美分）—在下表中這個變量標2.此都市地區(qū)中由STA提供服務的人口—預期這個3.人均可支配收入—這個變量開始被認為對STA乘4.市區(qū)每小時停車費（美分）—預期這個變量對S內(nèi)大經(jīng)濟管理學 此此內(nèi)大經(jīng)濟管理1.1.在此需求研究中什么是因變量2.3.對S號4利用計算機中的多元回歸程序，對表1給出的數(shù)據(jù)所形成的需5.對計算出來的回歸方程中每一個系數(shù)給予一個經(jīng)濟解釋6.可決系數(shù)的值是多少？你如何解釋這個結7.用19928.用1992系統(tǒng)乘坐情況有影響的各個變量可能會有什么9此回歸方程的德賓－10.根據(jù)自變量的相關矩陣分析，你對模型中存在的多重共線性11.如果票價提高到1.5 ，其他所有變量都保持在179統(tǒng)計量是多少？它對數(shù)據(jù)中存在的年水平上不變，那么對 統(tǒng)的每周收益的預期影響是什么內(nèi)大經(jīng)濟管理學 DependentVariable:Method:LeastDate:09/10/02Time:Sample:1966Includedobservations:Std.CP--TI--H0MeandependentAdjustedR-S.D.dependentS.E.ofAkaikeinfoSumsquaredSchwarzLog-Durbin-Watson01.因變量是每周的乘客1.因變量是每周的乘客 2(P),人口(T),人均可支配收入(I),市區(qū)每小時停車費(H). PTI－（富人更可能開自己的車H