第四章多元線性回歸方程

第四章：多元線性回歸方程多元回歸模型三變量線性回歸模型多元線性回歸模型的若干假定多元線性回歸模型的估計與假設(shè)檢驗一、多元回歸模型多元回歸模型(MultipleRegressionModel)：包含多個解釋變量的回歸模型。多元指有多種因素（即變量）對因變量有影響。實際上，許多回歸模型都是多元回歸模型，因為很少有經(jīng)濟(jì)現(xiàn)象能夠僅用一個解釋變量能解釋清楚。多元回歸模型對多元回歸模型的假設(shè)過程與雙變量有何不同？如何估計多元回歸模型？多元回歸模型的估計過程與雙變量模型有何不同？多元回歸有沒有一些在雙變量模型中未曾遇到過的獨特的特性？既然一個多元回歸模型能夠包括任意多個解釋變量，那么對于具體的情況，我們?nèi)绾螞Q定解釋變量的個數(shù)？二、三變量線性回歸模型形式：Y=b0+b1X1+b2X2+uY：因變量；X1，X2：解釋變量u：隨機(jī)擾動項b0為截距，表示當(dāng)X1，X2=0時，Y的平均值b1，b2為偏斜率系數(shù)、偏回歸系數(shù)或也稱回歸系數(shù)三變量線性回歸模型上式表明任何一個Y值可以表示成為兩部分之和系統(tǒng)成分或決定成分b0+b1X1+b2X2非系統(tǒng)成分u，是由除X1，X2以外其他因素決定的。偏回歸系數(shù)的含義b1，b2稱為(偏)回歸系數(shù)或偏斜率系數(shù)意義b1度量X2在不變的情況下，X1每變動一單位，Y的估計值Y’的改變量。b2度量在X1不變的情況下，X2每變動一單位，Y的估計值Y’的改變量。這是多元回歸的一個特殊性質(zhì)。例Y’=15-1.2X1+0.8X2令X2值為10，則Y’=15-1.2X1+0.8*10=23-1.2X1這里b1=-1.2表示當(dāng)X2為常數(shù)時，X1每增加一個單位，Y的估計值Y’將減少1.2個單位，這個斜率就是偏回歸系數(shù)。（X2取其他常數(shù)也是一樣）令X1=5，得Y’=15-1.2*5+0.8X2=9+0.8X2偏回歸系數(shù)的含義簡言之，偏回歸系數(shù)反映了當(dāng)模型中的其中一個解釋變量為常量時，另一個解釋變量對因變量的影響。多元回歸的這個獨特性質(zhì)不但能使我們引入多個變量，而且能夠“分離”出每個解釋變量X對因變量Y的影響。三、多元線性回歸模型的若干假定利用最小二乘法（OLS）對參數(shù)進(jìn)行估計。為了假設(shè)檢驗，假定隨機(jī)項u服從均值為0，方差為σ

u

2的正態(tài)分布，即u～N(0,σ

u

2)假定1零均值假定：E(ui)=0,i=1,2,….n對X1，X2的每個觀測值，u可以取不同的值，考慮u的所有可能值，它們的總體平均值（期望值）等于0。假定2同方差假定：Var(ui)=σ

u

2,i=1,2,…n上式表明，各次觀測值中u具有相同的方差，即各次觀測所受到的隨機(jī)影響的程度相同，稱為等方差性。假定3無自相關(guān)假定：Cov(ui,uj)=0,i≠j,i,j=1,2…..n表明任意兩次觀測的ui,uj是不相關(guān)的，即u在某次的觀測值與任何其它次觀測中的值互不影響，稱為無序列相關(guān)性。等方差性和無序列相關(guān)性稱為高斯—馬爾柯夫（Gauss-Markov）假定。假定4隨機(jī)項與自變量不相關(guān)：Cov(ui,x1i)=0；Cov(ui,x2i)=0區(qū)分隨機(jī)項u與自變量x1、x2各自對y的影響。如果x是非隨機(jī)變量，即x是在重復(fù)抽樣中取某固定值，該條件自然滿足。假定5解釋變量X1，X2之間不存在線性相關(guān)關(guān)系，即兩個解釋變量之間無確切的線性關(guān)系。用統(tǒng)計學(xué)語言，稱為非共線性或非多重共線性。非完全共線性是指變量不能完全表示為其他變量的完全線性函數(shù)。X1=3+2X2；X1=4X2完全共線性若X1=4X2將其代入Y’=b0’

+b1’

X1+b2’

X2Y’=b0’

+b1’*

4X2+b2’

X2=b0’

+（4b1’+b2’

）

X2=b0’

+A

X2雙變量模型無法從A值中得到b0’

、b1’的值完全共線性結(jié)論：在存在完全共線性的情況下，不能估計回歸系數(shù)的值，換句話說，不能估計解釋變量各自對因變量Y的影響。事實上，也沒有區(qū)分的必要，因為并沒有兩個獨立的變量。在實際中，很少有完全共線性的情況，但是存在高度完全共線性或近似完全共線性的情況很多。四、多元線性回歸模型的估計與假設(shè)檢驗普通最小二乘估計量的計算最小二乘估計量的方差與標(biāo)準(zhǔn)差多元回歸方程的擬合優(yōu)度假設(shè)檢驗OLS估計量b0’

、b1’

、b2’的計算原理：為了使殘差平方和Q(b0’,b1’,b2’)=∑ei2

=∑[Yi-(b0’+b1’X1+b2’X2)]2最小，b0’,b1’,b2’應(yīng)該滿足分別將對Q(b0’,b1’,b2’)它們求偏導(dǎo)數(shù)均等于0。OLS估計量的方差與標(biāo)準(zhǔn)差多元回歸方程的擬合優(yōu)度多元回歸方程的擬合優(yōu)度：多元決定（判定）系數(shù)R2一元回歸方程中R2的概念對多元回歸方程也同樣適用多元判定系數(shù)在多元回歸模型中，將度量解釋變量對被解釋變量影響大小的解釋程度的量稱為多元決定（判定）系數(shù)，仍用R2表示。R2=ESS/TSS其中TSS=ESS+RSSTSS=總離差平方和；ESS=回歸平方和；RSS=殘差平方和修正的決定系數(shù)R2R2有一個缺點，即R2隨著解釋變量個數(shù)的增加而增加，無論增加的解釋變量在經(jīng)濟(jì)上是否有意義，情況總是如此。三變量回歸模型R2的往往要比雙變量回歸模型R2值大。這是因為R2的定義中沒有考慮自由度問題。為了避免這個現(xiàn)象，需要對決定系數(shù)進(jìn)行自由度調(diào)整修正的決定系數(shù)R2若k>1,則R2

≤R2，即：隨著模型中解釋變量的增加，修正決定系數(shù)越來越小于非修正決定系數(shù)R2，這似乎是對增加解釋變量的“懲罰”。多元相關(guān)系數(shù)R=√R2度量了Y與所有解釋變量的線性相關(guān)程度。一元線性回歸模型中的相關(guān)系數(shù)R可正可負(fù)，但在多元回歸中，R只能為正值。假設(shè)檢驗參數(shù)顯著性檢驗方程顯著性檢驗參數(shù)顯著性檢驗?zāi)Ｐ蜑閅=b0+b1X1+b2X2+u要檢驗bj的顯著，提出假設(shè)：H0：bj=0（原假設(shè)或者稱為零假設(shè)）H1：bj≠0（備擇假設(shè)）參數(shù)顯著性檢驗的三種方法|t|與臨界值做比較“2倍”檢驗法P值檢驗法檢驗統(tǒng)計量—t統(tǒng)計量在基本假設(shè)下：在H0成立下t統(tǒng)計量檢驗顯著性原理如果H0成立，P{｜t｜>t

/2}＝

{｜t｜>t

/2}是小概率事件，如果該事件在一次抽樣中就出現(xiàn)，說明假設(shè)H0值得懷疑，應(yīng)當(dāng)拒絕H00bj-t／2t／2／2／2接受H0拒絕H0拒絕H0檢驗步驟（1）計算|t|（2）查表求臨界值t／2(n-k-1)（3）比較，下結(jié)論如果|t|≤t／2，則接受H0，認(rèn)為在顯著性水平為

的意義下，bj不顯著；如果|t|＞t／2，則拒絕H0，認(rèn)為在顯著性水平為

的意義下，bj顯著。例估計結(jié)果：Yt=7.193-1.39X1+1.47X2

se(1.595)(0.205)(0.956)t(4.510)(-6.780)(1.538)n=13,k=2,=0.05t／2(n-k-1)=t0.025(10)=2.228結(jié)論：常數(shù)項和X1的系數(shù)是顯著的，X2的系數(shù)不顯著簡易“2倍”檢驗法當(dāng)=0.05，n-k-1>8時，t