第四章多元線性回歸方程

第四章：多元線性回歸方程多元回歸模型三變量線性回歸模型多元線性回歸模型的若干假定多元線性回歸模型的估計(jì)與假設(shè)檢驗(yàn)一、多元回歸模型多元回歸模型(MultipleRegressionModel)：包含多個(gè)解釋變量的回歸模型。多元指有多種因素（即變量）對(duì)因變量有影響。實(shí)際上，許多回歸模型都是多元回歸模型，因?yàn)楹苌儆薪?jīng)濟(jì)現(xiàn)象能夠僅用一個(gè)解釋變量能解釋清楚。多元回歸模型對(duì)多元回歸模型的假設(shè)過程與雙變量有何不同？如何估計(jì)多元回歸模型？多元回歸模型的估計(jì)過程與雙變量模型有何不同？多元回歸有沒有一些在雙變量模型中未曾遇到過的獨(dú)特的特性？既然一個(gè)多元回歸模型能夠包括任意多個(gè)解釋變量，那么對(duì)于具體的情況，我們?nèi)绾螞Q定解釋變量的個(gè)數(shù)？二、三變量線性回歸模型形式：Y=b0+b1X1+b2X2+uY：因變量；X1，X2：解釋變量u：隨機(jī)擾動(dòng)項(xiàng)b0為截距，表示當(dāng)X1，X2=0時(shí)，Y的平均值b1，b2為偏斜率系數(shù)、偏回歸系數(shù)或也稱回歸系數(shù)三變量線性回歸模型上式表明任何一個(gè)Y值可以表示成為兩部分之和系統(tǒng)成分或決定成分b0+b1X1+b2X2非系統(tǒng)成分u，是由除X1，X2以外其他因素決定的。偏回歸系數(shù)的含義b1，b2稱為(偏)回歸系數(shù)或偏斜率系數(shù)意義b1度量X2在不變的情況下，X1每變動(dòng)一單位，Y的估計(jì)值Y’的改變量。b2度量在X1不變的情況下，X2每變動(dòng)一單位，Y的估計(jì)值Y’的改變量。這是多元回歸的一個(gè)特殊性質(zhì)。例Y’=15-1.2X1+0.8X2令X2值為10，則Y’=15-1.2X1+0.8*10=23-1.2X1這里b1=-1.2表示當(dāng)X2為常數(shù)時(shí)，X1每增加一個(gè)單位，Y的估計(jì)值Y’將減少1.2個(gè)單位，這個(gè)斜率就是偏回歸系數(shù)。（X2取其他常數(shù)也是一樣）令X1=5，得Y’=15-1.2*5+0.8X2=9+0.8X2偏回歸系數(shù)的含義簡言之，偏回歸系數(shù)反映了當(dāng)模型中的其中一個(gè)解釋變量為常量時(shí)，另一個(gè)解釋變量對(duì)因變量的影響。多元回歸的這個(gè)獨(dú)特性質(zhì)不但能使我們引入多個(gè)變量，而且能夠“分離”出每個(gè)解釋變量X對(duì)因變量Y的影響。三、多元線性回歸模型的若干假定利用最小二乘法（OLS）對(duì)參數(shù)進(jìn)行估計(jì)。為了假設(shè)檢驗(yàn)，假定隨機(jī)項(xiàng)u服從均值為0，方差為σ

u

2的正態(tài)分布，即u～N(0,σ

u

2)假定1零均值假定：E(ui)=0,i=1,2,….n對(duì)X1，X2的每個(gè)觀測(cè)值，u可以取不同的值，考慮u的所有可能值，它們的總體平均值（期望值）等于0。假定2同方差假定：Var(ui)=σ

u

2,i=1,2,…n上式表明，各次觀測(cè)值中u具有相同的方差，即各次觀測(cè)所受到的隨機(jī)影響的程度相同，稱為等方差性。假定3無自相關(guān)假定：Cov(ui,uj)=0,i≠j,i,j=1,2…..n表明任意兩次觀測(cè)的ui,uj是不相關(guān)的，即u在某次的觀測(cè)值與任何其它次觀測(cè)中的值互不影響，稱為無序列相關(guān)性。等方差性和無序列相關(guān)性稱為高斯—馬爾柯夫（Gauss-Markov）假定。假定4隨機(jī)項(xiàng)與自變量不相關(guān)：Cov(ui,x1i)=0；Cov(ui,x2i)=0區(qū)分隨機(jī)項(xiàng)u與自變量x1、x2各自對(duì)y的影響。如果x是非隨機(jī)變量，即x是在重復(fù)抽樣中取某固定值，該條件自然滿足。假定5解釋變量X1，X2之間不存在線性相關(guān)關(guān)系，即兩個(gè)解釋變量之間無確切的線性關(guān)系。用統(tǒng)計(jì)學(xué)語言，稱為非共線性或非多重共線性。非完全共線性是指變量不能完全表示為其他變量的完全線性函數(shù)。X1=3+2X2；X1=4X2完全共線性若X1=4X2將其代入Y’=b0’

+b1’

X1+b2’

X2Y’=b0’

+b1’*

4X2+b2’

X2=b0’

+（4b1’+b2’

）

X2=b0’

+A

X2雙變量模型無法從A值中得到b0’

、b1’的值完全共線性結(jié)論：在存在完全共線性的情況下，不能估計(jì)回歸系數(shù)的值，換句話說，不能估計(jì)解釋變量各自對(duì)因變量Y的影響。事實(shí)上，也沒有區(qū)分的必要，因?yàn)椴]有兩個(gè)獨(dú)立的變量。在實(shí)際中，很少有完全共線性的情況，但是存在高度完全共線性或近似完全共線性的情況很多。四、多元線性回歸模型的估計(jì)與假設(shè)檢驗(yàn)普通最小二乘估計(jì)量的計(jì)算最小二乘估計(jì)量的方差與標(biāo)準(zhǔn)差多元回歸方程的擬合優(yōu)度假設(shè)檢驗(yàn)OLS估計(jì)量b0’

、b1’

、b2’的計(jì)算原理：為了使殘差平方和Q(b0’,b1’,b2’)=∑ei2

=∑[Yi-(b0’+b1’X1+b2’X2)]2最小，b0’,b1’,b2’應(yīng)該滿足分別將對(duì)Q(b0’,b1’,b2’)它們求偏導(dǎo)數(shù)均等于0。OLS估計(jì)量的方差與標(biāo)準(zhǔn)差多元回歸方程的擬合優(yōu)度多元回歸方程的擬合優(yōu)度：多元決定（判定）系數(shù)R2一元回歸方程中R2的概念對(duì)多元回歸方程也同樣適用多元判定系數(shù)在多元回歸模型中，將度量解釋變量對(duì)被解釋變量影響大小的解釋程度的量稱為多元決定（判定）系數(shù)，仍用R2表示。R2=ESS/TSS其中TSS=ESS+RSSTSS=總離差平方和；ESS=回歸平方和；RSS=殘差平方和修正的決定系數(shù)R2R2有一個(gè)缺點(diǎn)，即R2隨著解釋變量個(gè)數(shù)的增加而增加，無論增加的解釋變量在經(jīng)濟(jì)上是否有意義，情況總是如此。三變量回歸模型R2的往往要比雙變量回歸模型R2值大。這是因?yàn)镽2的定義中沒有考慮自由度問題。為了避免這個(gè)現(xiàn)象，需要對(duì)決定系數(shù)進(jìn)行自由度調(diào)整修正的決定系數(shù)R2若k>1,則R2

≤R2，即：隨著模型中解釋變量的增加，修正決定系數(shù)越來越小于非修正決定系數(shù)R2，這似乎是對(duì)增加解釋變量的“懲罰”。多元相關(guān)系數(shù)R=√R2度量了Y與所有解釋變量的線性相關(guān)程度。一元線性回歸模型中的相關(guān)系數(shù)R可正可負(fù)，但在多元回歸中，R只能為正值。假設(shè)檢驗(yàn)參數(shù)顯著性檢驗(yàn)方程顯著性檢驗(yàn)參數(shù)顯著性檢驗(yàn)?zāi)Ｐ蜑閅=b0+b1X1+b2X2+u要檢驗(yàn)bj的顯著，提出假設(shè)：H0：bj=0（原假設(shè)或者稱為零假設(shè)）H1：bj≠0（備擇假設(shè)）參數(shù)顯著性檢驗(yàn)的三種方法|t|與臨界值做比較“2倍”檢驗(yàn)法P值檢驗(yàn)法檢驗(yàn)統(tǒng)計(jì)量—t統(tǒng)計(jì)量在基本假設(shè)下：在H0成立下t統(tǒng)計(jì)量檢驗(yàn)顯著性原理如果H0成立，P{｜t｜>t

/2}＝

{｜t｜>t

/2}是小概率事件，如果該事件在一次抽樣中就出現(xiàn)，說明假設(shè)H0值得懷疑，應(yīng)當(dāng)拒絕H00bj-t／2t／2／2／2接受H0拒絕H0拒絕H0檢驗(yàn)步驟（1）計(jì)算|t|（2）查表求臨界值t／2(n-k-1)（3）比較，下結(jié)論如果|t|≤t／2，則接受H0，認(rèn)為在顯著性水平為

的意義下，bj不顯著；如果|t|＞t／2，則拒絕H0，認(rèn)為在顯著性水平為

的意義下，bj顯著。例估計(jì)結(jié)果：Yt=7.193-1.39X1+1.47X2

se(1.595)(0.205)(0.956)t(4.510)(-6.780)(1.538)n=13,k=2,=0.05t／2(n-k-1)=t0.025(10)=2.228結(jié)論：常數(shù)項(xiàng)和X1的系數(shù)是顯著的，X2的系數(shù)不顯著簡易“2倍”檢驗(yàn)法當(dāng)=0.05，n-k-1>8時(shí)，t