多元線性回歸模型及假定

1、第三章 多元線性回歸模型基本要求：1、理解多元線性回歸模型的定義2、理解多元線性回歸模型的假定3、掌握參數(shù)估計(jì)的計(jì)算4、理解參數(shù)統(tǒng)計(jì)性質(zhì)第一節(jié) 多元線性回歸模型及假定一、多元線性回歸模型許多經(jīng)濟(jì)現(xiàn)象往往要受多個(gè)因素的影響，研究被解釋變量受多個(gè)解釋變量的影響，就要利用多 元回歸模型。多元線性回歸模型與一元線性回歸模型基本類似，只不過解釋變量由一個(gè)增加到兩個(gè)以上，被 解釋變量Y與多個(gè)解釋變量X 1 X2,Xk之間存在線性關(guān)系。假定被解釋變量Y與多個(gè)解釋變量X 1 X2,., Xk之間具有線性關(guān)系，是解釋變量的多元線性 函數(shù)，稱為多元線性回歸模型。即 TOC o 1-5 h z HYPERLINK

2、l bookmark38 o Current Document Y = P 0 + P1 X 1 + P 2 X 2 + +B kxk +N(3-1)其中Y為被解釋變量，Xj(j = 1,2, ,k)為k個(gè)解釋變量，Pj(j = 0,1,2, ,k)為k +1個(gè)未知參數(shù)， N為隨機(jī)誤差項(xiàng)。.被解釋變量Y的期望值與解釋變量X 1 X2,.,Xk的線性方程為： HYPERLINK l bookmark40 o Current Document E (Y) = P0 + P1 X 1 + P2 X 2 + + P kXk(3-2)稱為多元總體線性回歸方程，簡稱總體回歸方程。對(duì)于n組觀測(cè)值Yi, X

3、1i, X2i，,Xi (i = 1,2,., n)，其方程組形式為： HYPERLINK l bookmark136 o Current Document Y = P0 + P1 X 1 + P2 X 2 i + + P kxk + 也,(i = 1,2, , n)(3-3)即.Y =P +P X +P X + + P X +NY = P +P %1 +p2 X21 + + X +620112222k k22Y =P0 + P1 X 1 +P2X2 + + PkXk +6其矩陣形式為其中Y =n *1Y1Y2Y1Y2Y11X11X12*X1nX21X22*X2n_ nP1rXoAk1P1X1

4、Ak2P+2:.2:X:AknPkn(3-4)為被解釋變量的觀測(cè)值向量；X=* *( k+1)1121k11X12X22*Xk2 為解釋變量的觀測(cè)1 X X X1 n2 nkn -值矩陣；p (k+1)*10 12 PPPN一從，一、一 一為總體回歸參數(shù)向量；n =.2為隨機(jī)誤差項(xiàng)向量。n x1總體回歸方程表示為:(3-5)與一元線性回歸分析一樣，多元線性回歸分析仍是根據(jù)觀測(cè)樣本估計(jì)模型中的各個(gè)參數(shù)，對(duì)估 計(jì)參數(shù)及回歸方程進(jìn)行統(tǒng)計(jì)檢驗(yàn)，從而利用回歸模型進(jìn)行經(jīng)濟(jì)預(yù)測(cè)和分析。多元線性回歸模型包含 多個(gè)解釋變量，多個(gè)解釋變量同時(shí)對(duì)被解釋變量Y發(fā)生作用，若要考察其中一個(gè)解釋變量對(duì)Y的影 響就必須假設(shè)其

5、它解釋變量保持不變來進(jìn)行分析。因此多元線性回歸模型中的回歸系數(shù)為偏回歸系 數(shù)，即反映了當(dāng)模型中的其它變量不變時(shí)，其中一個(gè)解釋變量對(duì)因變量Y的均值的影響。由于參數(shù)Po,P1，外 ,Pk都是未知的,可以利用樣本觀測(cè)值(xii,X2i, ,Xki,y)對(duì)它們進(jìn)行八 八 八八估計(jì)。若計(jì)算得到的參數(shù)估計(jì)值為P ,P,P , ,P，用參數(shù)估計(jì)值替代總體回歸函數(shù)的未知參數(shù) 0 1 2kPo, Pj P2, , Pk，則得多元線性樣本回歸方程：八八八八Y = P +P X +P X +i 01 1i2 2i八+ P Xk kn八(3-6)其中P.(j = 0,1,2, , k)為參數(shù)估計(jì)值,Y (i = 1,

6、2, n)為Y的樣本回歸值或樣本擬合值、樣本估J計(jì)值。其矩陣表達(dá)形式為:八人Y = XP(3-7)人其中丫 =n x1Xn x( k+1)z%+1)X1B0B1B2八y1 八 y2X11X12X1n為被解釋變量樣本觀測(cè)值向量y的n X1階擬合值列向量；X21X22X2nXk 1Xk 2Xkn為解釋變量X的n X (k +1)階樣本觀測(cè)矩陣；為未知參數(shù)向量P的(k +1)x 1階估計(jì)值列向量。人樣本回歸方程得到的被解釋變量估計(jì)值y與實(shí)際觀測(cè)值y之間的偏差稱為殘差e。e =yy=y-(B +Bx +B +i i i i 01 1i2 i4+ B x )ki ki(3-8)二、多元線性回歸模型的假定

7、與一元線性回歸模型相同，多元線性回歸模型利用普通最小二乘法(OLS)對(duì)參數(shù)進(jìn)行估計(jì)時(shí)，有 如下假定：假定1零均值假定：E(n ) = 0, i = 1,2, , n，即iE (p) = EN1N2E (N )1E(N )2(3-9)E(N )n假定2同方差假定(R的方差為同一常數(shù)攵):V(N ) = E(N2) =O2,(i = 1,2,n)ii假定3無自相關(guān)性：.ijC。伏 , N ) = E(NN ) = 0,( i 中 j, i, j = 1,2, , n)；1；2L；nE ( ； 2)1E (；)21;2;21；12;E (W) E (；) 2n= 21u n假定4隨機(jī)誤差項(xiàng)從與解釋變

8、量X不相關(guān)（這個(gè)假定自動(dòng)成立）:Cov (Xi, ； i) = 0,( j = 1,2,，k, i = 1,2,，n)假定5隨機(jī)誤差項(xiàng)從服從均值為零，方差為。2的正態(tài)分布:N N(0,o 2I )假定6解釋變量之間不存在多重共線性:rank (X)= k +1 n即各解釋變量的樣本觀測(cè)值之間線性無關(guān)，解釋變量的樣本觀測(cè)值矩陣 k+1，從而保證參數(shù)b b , pk的估計(jì)值唯一。；1n；2； n(3-10)X的秩為參數(shù)個(gè)數(shù)第二節(jié) 多元線性回歸模型的參數(shù)估計(jì)及統(tǒng)計(jì)性質(zhì)一、多元線性回歸模型的參數(shù)估計(jì)（一）回歸參數(shù)的最小二乘估計(jì)對(duì)于含有k個(gè)解釋變量的多元線性回歸模型Y = P +P X +P X + +

9、P X +；(i = 1,2, , n)i 011i 22 ik ki i八八八設(shè)，PJ,分別作為參數(shù)Pn，B：，P的估計(jì)量，得樣本回歸方程為: 01 k01 kY = P +P X +P X +i 011i 22 i八+ B Xk ki觀測(cè)值Y與回歸值Y的殘差e為:i i i 011i 2 i八八八ki ki八Y Y = Y -(P +P X +P + +P X )由最小二乘法可知p ,p，,p應(yīng)使全部觀測(cè)值Y與回歸值Y的殘差e的平方和最小，即使01 kiiiq( B ,B ,B，,B )=012kXT=Z (Y -p -pZe2 二 Z(Y - Y )2ii i八八i 011i2X p X

10、 p X )2ki八八取得最小值。根據(jù)多元函數(shù)的極值原理，Q分別對(duì)p ,p ,p求一階偏導(dǎo)，并令其等于零，即 01ks Q,-Q = 0,( j = 1,2, k)sp.j(3-12)嬰二2Z sp0翌二2Zsp1(Y-p -p X -p X -i 01 1i2 2 i八-p X )(-1)=0k ki-p kxki)(-X ) = 0黑=Z(Y-B 邛 X -8 X spi 01 1i2 2 ik化簡得下列方程組/X-p kxki)(-XJ = 0np +p ZX +p ZX +、1 2 1p Zx +8Zx2+8 Z01i11i 2+8 Z xkX X + 2 i 1iki+ p ZkXk

11、iX1 Z X1Y(3-13)6 Z x +8 Z x x +8 Z x x + +8l 0 ki 11i ki 22 i kikki上述(k +1)個(gè)方程稱為正規(guī)方程，其矩陣形式為 nZ X1iZXZ X11iZXZ X 2Xi2 i 1iZ x xEkiXiX八p0p1p2Z XiY1i i(3-14)ZXkiZ X1XZ X 2XZ X 2kiZ X/ki i因?yàn)閚E x1iEXki- 1XX X1121XY1i iE XE X11iE x 1iX1X12X22Xk21X11X21kiE XJki iXk1EXEX Xi2 i 1iE X2iX1X1nX2nX.kn1X12X22kiX1

12、1X12X1nEX X XEkiXXki 1i1X1nX2nX 2kiX21X22X2nXk1Xk2=X XY1Y2=X Y八B0 z B1 八 B2為估計(jì)值向量樣本回歸模型Y = Xp+e兩邊同乘樣本觀測(cè)值矩陣X的轉(zhuǎn)置矩陣X，則有八XY = XXp + Xe得正規(guī)方程組:XY = XXp(3-15)由假定(6)，R(X) = k +1，XX為(k +1)階方陣，所以XX滿秩，XX的逆矩陣(XX)-1存在。因而p =(XX)-1 XY(3-16)則為向量P的OLS估計(jì)量。以二元線性回歸模型為例，導(dǎo)出二元線性回歸模型的OLS估計(jì)量的表達(dá)式。由(3-3)式得二元線 性回歸模型為y = B 0 +

13、B1 x+ B2 x 2.+ n . 為了計(jì)算的方便，先將模型中心化。設(shè)0。x = 1Zj ni=1LpqLjYLYYX , X = X X ,(j = 1,2)ji ji jni=1=z,(p, q = 1,2)=Z xiyi,(j = 1,2)=B +P X +P X二a0XX =X11X121i則二元回歸模型改寫為中心化模型。(3-17)將Lpq因?yàn)閤21x22a0P1P2X X2i 1i0Z XXE1i 2 iX22ir Z y Z xYZ JY- 2 i i (3-18)=Zxpixqi,(p, q = 1,2)代入得XX =0LiiL210L12L22(3-19)Zx二Zxi=1j

14、i i=1(yi + y)= =Z X,i=1=LjYi=1XY =Z YiL1YLL 2 Y由(3-16)式得Y Zxjii=1,(j = 1,2)(3-20)1P = (XfX)-iXT= n0工YiL1YLL 2Y -1(3-21)其中L12LiiL22L121L L -L L11 2212 21L卜12L22LL-i = iiLL 12由(3-21)式可知F=o a2-L2 y- 1 L2-L 1Mn -122L1LI11- -1 23(3-22)(3-23)(3-24)2 LIy2L-22 2L21-22L11-bl-22:z112_x26-_x8-F-o.= (1-X(XX) X|

15、4=1i x(xx)-ixmn設(shè)P = I -X(XX) X ,可以得出p是階對(duì)稱幕等矩陣，P = P, P2 = P。于是e = P2而殘差的平方和為工 e2 = ee = (Pp)，(Pp) = yPPp = pPp=pI X( XX) -1 Xp nE(ee) = EpI X( XX)-1 Xp n=。2trI - X(XX)-i X |Jn=O 2trI -trX(XX)-1 X|Jn=。2n - (k +1) R其中“ tr ”表示矩陣的跡，即矩陣主對(duì)角線元素的和。于是。2 E(ee)= E (_ee_、R n - (k +1) I n - (k +1)隨機(jī)誤差項(xiàng)R的方差。2的無偏估

16、計(jì)量，記作S 2，即E(S 2)=。2，S 2=旨2，S為殘差的 Ree R e R e標(biāo)準(zhǔn)差(或回歸標(biāo)準(zhǔn)差)。因此工 e2eeS2 =-(3-25)e n - k -1 n - k -1其中 TOC o 1-5 h z 八一八e 2 = ee = (Y - X0)( Y - X0) i 人人人=YY - 20 XY + P XX0人人=YY - 20 XY + B XX(XX)-1 XY人=YY - B XY例如,對(duì)于二元線性回歸模型(k = 2) ee 工 e2S 2 =-ie n - 3 n - 3e 2 = e e = L -8 L -B LYY11y2 2 Y=E Y2 _ E X1

17、 Y - q E X2 Y(3-26)(3-27)(3-28)二、估計(jì)參數(shù)的統(tǒng)計(jì)性質(zhì)1、線性性人指最小二乘估計(jì)量P是被解釋變量的觀測(cè)值Y,Y , ,Y的線性函數(shù)。 12 k由于人0 =(XX) -1XY設(shè)P=(XX)-1X，則矩陣P為一非隨機(jī)的(k + 1)x n階常數(shù)矩陣。所以 人0 = PY(3-29)人顯然最小二乘估計(jì)量0是被解釋變量的觀測(cè)值Y,Y , ,Y的線性函數(shù)。12 k2、無偏性將Y=X0 + 2代入(3-16)式得0 =(XX)-1 XX0 + Q =(XX)T X X0 +(XrX)T 孫= 0 +(X，X)T X(3-30)E g )= 0 + E (XX )-1 X，N=

18、 0 +(XrX A X E 3)二 0人所以0是0的無偏估計(jì)量。3.最小方差性設(shè)P為n x p階數(shù)值矩陣，X為p x n階隨機(jī)矩陣(隨機(jī)變量為元素的矩陣)，Q為n x n階數(shù) 值矩陣，則E(PXQ )= P(E(X )Q人下面我們推導(dǎo)0的方差、協(xié)方差矩陣。定義：VarG= E隕-0)6-0)由(3-30)式得人p - p =人p -p00p -p11B -pVar ()、L 0u )Cov 節(jié),p 10Cov , B )k 0(XX )-1 Xh(P - p ) =(XX y XCov pVar1Cov f)，：k1Cov，p0kCov 節(jié),p1kVai)k:X(XX )-1所以Var=E

19、(XX)-i XXX(XX)-i二(XX)T XE (m)X(X，X A=(XX)1 X,o 21 X(XX)1(3-31)N n=o 2(XX)-1 N這個(gè)矩陣主對(duì)角線上的元素表示P的方差，非主對(duì)角線上的元素表示P的協(xié)方差。例如Var(%中2 (X,X 卜N的第1 行與第1列交叉處的元素往對(duì)角線上的元素兀Cov（3i，B）是位于的第2行與第/列交叉處的元素（非主對(duì)角線上的元素）人在應(yīng)用上，我們關(guān)心的P的方差，而忽略協(xié)方差，因此把（3-31）式記作(3-32)VarG=。2（XX ）-1p TSS = ESS + RSS總離差平方和分解為回歸平方和與殘差平方和兩部分。(二)樣本決定系數(shù)對(duì)于多元

20、回歸方程，其樣本決定系數(shù)為復(fù)決定系數(shù)或多重決定系數(shù)。R2 ,(i = 1,2,k)，簡記為 R 2。YXnc ESSR 2 =TSS(3-40)根據(jù)式(3-39)R 2 = 1-RSTSS因?yàn)門SS =EG -y)=EY2 -nY2 ii由(3-26)式知人RSS = YY - p XY所以人_ESS = TSS - RSS = BXY - nY 2八BXY - nY 2YY nY 2(3-42)R2作為檢驗(yàn)回歸方程與樣本值擬合優(yōu)度的指標(biāo)：R2(0 R2 Fn k 1)時(shí)，拒絕H 0，則 認(rèn)為回歸方程顯著成立；當(dāng)F tm-k-1)，則拒絕H 0 : P i = 0，接受多邛/0，即認(rèn)為Pi顯著

21、不為零。若2t t a(n - k-1)，則接受H 0：Pi= 0，即認(rèn)為Pi顯著為零。2四、利用多元線性回歸方程進(jìn)行預(yù)測(cè)對(duì)于多元線性回歸模型Y =P0 + P1X+ P2X2. + PkXki + 比=X 0 + 其中 TOC o 1-5 h z /、 I X =G,X/X2i，,X)，0 =(P0,Pj,Pk)，(i = 1,2,n)根據(jù)樣本觀測(cè)值Q X 1i, X 2 i,Xj Y)(i = 1,2,n)利用最小二乘法求得回歸方程 HYPERLINK l bookmark469 o Current Document 八人Y = X 0 HYPERLINK l bookmark267 o

22、Current Document lI預(yù)測(cè)就是給解釋變量某一特定值X 0 = G, X10, X 20,Xk 0)對(duì)被解釋變量的值Y0進(jìn)行估計(jì)，八Y作為Y的預(yù)測(cè)值。設(shè)e000八=Y - Y00稱其為預(yù)測(cè)誤差。e 0為一隨機(jī)變量，可以證明e 0服從正態(tài)分布，即e N B, o 2, + X(XX% X0日 00將式中。；用它的估計(jì)值S；代替，則得e 0的標(biāo)準(zhǔn)差o( e 0)o e )= S J1 + X(X，X)-1 X0 e *00其中eeS 一: e n n k 1統(tǒng)計(jì)量 人 y y0對(duì)于給定置信水平1-a，預(yù)測(cè)值Y0置信區(qū)間為Y t .6(e ) Y Y +1 6(e )0 a 2000

23、a 20即為Y t S J1 + X(XX)-1 X E(Y X ) Y +1 S V1 + X(XX)-1 X 0 a 2 e V 00000 a 2 e V 00五、多元線性回歸分析實(shí)例第四節(jié)最大似然估計(jì)一、似然函數(shù)(一)基本假定對(duì)于所研究的模型Y = Xp + n，給定如下基本假設(shè)：(1)日N (0,6 2I)RCov(Xj,匕)=0,(i = 1,2,n; j = 1,2,k)P(x) = k(4)隨機(jī)抽樣總是生產(chǎn)單一的最可能結(jié)果：任意樣本都是其所屬總體的代表。這個(gè)強(qiáng)假定是針對(duì) 小樣本而言的。(二)似然函數(shù)L(Y; Xp； 6 21)= P (Y)=1exp日(2兀62)n 2N確定隨

24、機(jī)變量Y的任一觀測(cè)樣本的聯(lián)合概率的函數(shù)，就稱為Y的似然函數(shù)。 一般表達(dá)式為：(3-47)1(Y - XP)( Y XP) 26 2N二、極大似然估計(jì)法的基本思想極大似然估計(jì)法(maximum likelihood estimation,MLE)需要對(duì)隨機(jī)擾動(dòng)項(xiàng)的分布做出假定，通 常選擇正態(tài)分布假定。在極大似然估計(jì)中，假定樣本是固定的，n個(gè)觀測(cè)值都是獨(dú)立觀測(cè)的，這個(gè) 樣本可由各種不同的總體生成，而每個(gè)樣本總體都有自己的參數(shù)。那么在可供選擇的總體中，哪個(gè) 總體最可能生成所觀測(cè)到的n個(gè)樣本值？為此需要估計(jì)每個(gè)可能總體取得這n個(gè)觀測(cè)值的聯(lián)合概 率，選擇其參數(shù)能使觀測(cè)樣本的聯(lián)合概率最大的那個(gè)總體。三、線性回歸模型的最大似然估計(jì)一元隨機(jī)擾動(dòng)變量的正態(tài)分布密度函數(shù)為P Q)=_ exp172g 2I 202|四四相互獨(dú)立的多元隨機(jī)擾動(dòng)變量的正態(tài)分布密度函數(shù)為(3-48)pQ)= pQ ,n，旦)=p( )p( ) pQ )ex