多元線性回歸模型常見問題及解決方法

1、多元線性回歸模型n基本假設(shè)(1)隨機(jī)擾動(dòng)項(xiàng)ui數(shù)學(xué)期望（均值）為零。E(ui)=0(2)隨機(jī)擾動(dòng)項(xiàng)ui的同方差性且無自相關(guān)Var(ui)=2(3)解釋變量X列線性無關(guān)。R(Xnk)=K(4)隨機(jī)擾動(dòng)項(xiàng)ui與解釋變量X不相關(guān)。cov(ui,X)=001122;1,2,iiikikiYXXXin異方差性的定義 n對(duì)于線性回歸模型n同方差性假設(shè)為n如果出現(xiàn)n即對(duì)于不同的樣本點(diǎn)，隨機(jī)誤差項(xiàng)的方差不再是常數(shù)，而是互不相同，則認(rèn)為出現(xiàn)了異方差性(Heteroscedasticity)。01122;1,2,iiikikiYXXXin212(,);1,2,iiiikVarXXXin212(,);1,2,iii

2、ikiVarXXXin實(shí)際經(jīng)濟(jì)問題中的異方差性（1）研究居民家庭的儲(chǔ)蓄行為 Yi=0+1Xi+ui Y-儲(chǔ)蓄額 X-可支配收入 ui的方差單調(diào)遞增（2）居民消費(fèi)函數(shù) Ci=0+1Yi+ui 將居民收入等距離分成n組，取組平均數(shù)作為樣本觀測(cè)值。 Y服從正態(tài)分布。人數(shù)多的組平均數(shù)誤差小。 樣本觀測(cè)值的觀測(cè)誤差隨解釋變量觀測(cè)值改變。異方差性的檢驗(yàn) n異方差性，即相對(duì)于不同的樣本點(diǎn)，也就是相對(duì)于不同的解釋變量觀測(cè)值，隨機(jī)誤差項(xiàng)具有不同的方差。n檢驗(yàn)異方差性，就是檢驗(yàn)隨機(jī)誤差項(xiàng)的方差與解釋變量觀測(cè)值之間的相關(guān)性。n問題在于隨機(jī)誤差項(xiàng)的方差如何估計(jì)？ n一般處理方法是先采用普通最小二乘法估計(jì)模型，得到隨機(jī)

3、誤差項(xiàng)的估計(jì)量，用 表示，稱為近似估計(jì)量。即ie 22()()()iiiVarEE e( )iiiOLSeYY 檢驗(yàn)方法 （1）圖示檢驗(yàn)法大概判斷（2）帕克檢驗(yàn)與戈里瑟檢驗(yàn)（3）GQ檢驗(yàn)（4）懷特檢驗(yàn)懷特(White)檢驗(yàn) n以兩個(gè)解釋變量的回歸模型為例，說明懷特檢驗(yàn)的基本思想與步驟。n設(shè)回歸模型為nYi=0+1X1i+2X2i+in先對(duì)模型作普通最小二乘回歸，得到 ，然后作輔助回歸：2ie 222011223142512iiiiiiiieXXXXX X n在同方差性假設(shè)下，輔助回歸的可決系數(shù)R2與樣本容量n的乘積，漸進(jìn)地服從自由度為輔助回歸方程中解釋變量個(gè)數(shù)的2分布，即nnR22n在大樣本下

4、，對(duì)統(tǒng)計(jì)量nR2進(jìn)行相應(yīng)的2檢驗(yàn)。n若存在異方差性，表明 與解釋變量的某種組合有顯著的相關(guān)性，這時(shí)往往有較大的可決系數(shù)R2，并且某一參數(shù)的t檢驗(yàn)值較大。2ie 加權(quán)最小二乘法(WLS) n加權(quán)最小二乘法(Weighted Least Squares, WLS)是對(duì)原模型加權(quán)，使之變成一個(gè)新的不存在異方差性的模型，然后采用普通最小二乘法估計(jì)其參數(shù)。n加權(quán)的基本思想：在采用普通最小二乘法時(shí)，對(duì)較小的殘差平方賦予較大的權(quán)數(shù)，對(duì)較大的賦予較小的權(quán)數(shù)，從而對(duì)殘差提供的信息的重要程度作校正，提高參數(shù)估計(jì)的精度。 n加權(quán)最小二乘法就是對(duì)加了權(quán)重的殘差平方和實(shí)施普通最小二乘法。n記wi為權(quán)數(shù)，則加了權(quán)重的殘差

5、平方和為n如在異方差檢驗(yàn)過程中已知n即隨機(jī)誤差項(xiàng)的方差 與解釋變量Xji之間存在相關(guān)性。22011()i iiikkwew YXX222()()()iiijiVarEf X2i n可以用 去除原模型，使之變?yōu)槿缦滦问叫履Ｐ停?)jif X011221111()()()()11()()iiijijijijikkiijijiYXXf Xf Xf Xf XXf Xf X n在新模型中，n即滿足同方差性，可用普通最小二乘法估計(jì)其參數(shù)，得到參數(shù)0,1,k的無偏、有效估計(jì)量。222111( )()()()()iijijijijiVarVarf Xf Xf Xf X n上述即為加權(quán)最小二乘法，其中權(quán)數(shù)為 。

6、n普通最小二乘法只是加權(quán)最小二乘法中權(quán)數(shù)恒取1的一種特例，加權(quán)最小二乘法具有比普通最小二乘法更普遍的意義。n加權(quán)最小二乘法也稱為廣義最小二乘法(Generalized Least Squares, GLS)。1()jif X n加權(quán)最小二乘法的關(guān)鍵是尋找適當(dāng)?shù)臋?quán)，或者說是尋找隨機(jī)誤差項(xiàng)的方差與解釋變量之間適當(dāng)?shù)暮瘮?shù)形式。如發(fā)現(xiàn)n則加權(quán)最小二乘法中的權(quán)即為 。21212(,)(,)iiiikiiikVarXXXf XXX121/(,)iiikf XXX序列相關(guān)性的定義 n對(duì)于線性回歸模型n在其他假設(shè)仍成立的條件下，隨機(jī)誤差項(xiàng)序列相關(guān)即Cov(i,j)=E(ij)0 n序列相關(guān)性經(jīng)常出現(xiàn)在以時(shí)間序

7、列為樣本的模型里。自相關(guān)現(xiàn)象是指一個(gè)變量前后期數(shù)值之間存在的相關(guān)關(guān)系。t=t-1+t01122;1,2,iiikikiYXXXin序列相關(guān)性產(chǎn)生的原因 n經(jīng)濟(jì)變量故有的慣性（物價(jià)指數(shù)，消費(fèi)） n模型設(shè)定的偏誤 n數(shù)據(jù)的編造 （由已知數(shù)據(jù)生成）(一)經(jīng)濟(jì)變量故有的慣性 n消費(fèi)函數(shù)模型：n消費(fèi)習(xí)慣沒有包括在解釋變量中，其對(duì)消費(fèi)的影響包含在隨機(jī)誤差項(xiàng)中，產(chǎn)生序列相關(guān)性。 01;1,2,tttCYtn(二)模型設(shè)定的偏誤 n模型設(shè)定偏誤指所設(shè)定的模型不正確，表現(xiàn)為遺漏了重要解釋變量或模型函數(shù)形式有偏誤。n如應(yīng)估計(jì)模型n但將模型設(shè)定為0112233tttttYXXX01122ttttYXXv 序列相關(guān)性

8、的檢驗(yàn) n序列相關(guān)性檢驗(yàn)的思路：首先采用普通最小二乘法估計(jì)模型，以求得隨機(jī)誤差項(xiàng)的近似估計(jì)量，用 表示：n然后通過分析這些近似估計(jì)量之間的相關(guān)性，以達(dá)到判斷隨機(jī)誤差項(xiàng)是否具有序列相關(guān)性的目的。n序列相關(guān)性的檢驗(yàn)方法有：回歸檢驗(yàn)法、D.W.檢驗(yàn)法、馮諾曼比檢驗(yàn)法等。 te ()tttOLSeYY回歸檢驗(yàn)法 n以 為被解釋變量，以各種可能的相關(guān)量，如 等為解釋變量，建立各種方程：nn對(duì)方程進(jìn)行估計(jì)并進(jìn)行顯著性檢驗(yàn)，如存在某一種函數(shù)形式，使方程顯著成立，則說明原模型存在序列相關(guān)性。 te 212,ttteee1;2,ttteetn1122;3,tttteeetnD.W.檢驗(yàn)法 nD.W.檢驗(yàn)由杜賓(

9、J. Durbin)和瓦森(G. S. Watson)于1951年提出，用于檢驗(yàn)序列自相關(guān)。nD.W.檢驗(yàn)的假定條件是：n(1)解釋變量X非隨機(jī)；n(2)隨機(jī)誤差項(xiàng)t為一階自回歸形式：nt=t-1+t n(3)回歸模型中不含有滯后因變量作為解釋變量，即不出現(xiàn)以下形式：n(4)回歸模型含有截距項(xiàng)。 nD.W.檢驗(yàn)的原假設(shè)為：H0: =0，即t不存在一階自回歸。0111ttktkttYXXY n構(gòu)造統(tǒng)計(jì)量：n該統(tǒng)計(jì)量的分布與給定樣本中的X值有復(fù)雜關(guān)系，其精確分布很難得到。 21221().ntttntteeD We n但可導(dǎo)出臨界值的上限dU與下限dL，且上下限只與樣本容量n和解釋變量的個(gè)數(shù)k有關(guān)

10、，而與解釋變量的取值無關(guān)。n根據(jù)樣本容量n和解釋變量的個(gè)數(shù)k查D.W.分布表，得到臨界值dU和dL，按照下列準(zhǔn)則判斷模型的自相關(guān)狀態(tài)： n若0D.W.dL，則存在正自相關(guān)；n若dLD.W.dU，則不能確定；n若dUD.W.4-dU，則無自相關(guān)；n若4-dUD.W.4-dL，則不能確定；n若4-dLD.W.4，則存在負(fù)自相關(guān)。 n如果存在完全一階正相關(guān)，則1，D.W.0；n如果存在完全一階負(fù)相關(guān)，則-1，D.W.4；n如果完全不相關(guān)，則=0，D.W.=2；n從判斷準(zhǔn)則看，存在一個(gè)不能確定的D.W.值區(qū)域，這是該檢驗(yàn)方法的一個(gè)缺陷。nD.W.檢驗(yàn)只能檢驗(yàn)一階自相關(guān)，且對(duì)存在滯后被解釋變量的模型無法

11、檢驗(yàn)。 序列相關(guān)性的修正n（1）回歸模型選用不當(dāng)，改用適當(dāng)?shù)幕貧w模型。n（2）缺少重要的自變量，增加自變量。n（3）以上都不行，則采用廣義最小二乘法、廣義差分法。廣義最小二乘法 n廣義最小二乘法是最具有普遍意義的最小二乘法，普通最小二乘法和加權(quán)最小二乘法是它的特例。n對(duì)于模型 Y=X+n若存在序列相關(guān)性，同時(shí)存在異方差性，即有21121222122212( ,)()nnnnnCovE n其中，為對(duì)稱正定矩陣，故存在一可逆矩陣D，使得n=DDn用D-1左乘模型兩邊，得到新模型：nD-1Y=D-1X+D-1n即Y*=X*+* n由于n故，可用普通最小二乘法估計(jì)新模型，記參數(shù)估計(jì)量為 ，則n此即原模

12、型的廣義最小二乘估計(jì)量，是無偏、有效估計(jì)量。 *11111211212()()()()()()EE DDD EDDDDDD DI *1*11111111()()()()XXXYX DD XX DD YXXXY n由上可知，只要知道隨機(jī)誤差項(xiàng)的方差-協(xié)方差矩陣2，就可采用廣義最小二乘法得到參數(shù)的最佳線性無偏估計(jì)量。 矩陣？ 下面的證明出自潘文卿李子奈版計(jì)量課后習(xí)題答案P62。n需要對(duì)隨機(jī)誤差項(xiàng)的自相關(guān)結(jié)構(gòu)進(jìn)行特殊設(shè)定，才能得到其估計(jì)值。一般假設(shè)隨機(jī)誤差項(xiàng)具有一階序列相關(guān)性：nt=t-1+t; -11n此時(shí)，2221()1tVar2221(,)1sstt sCov n于是122221211( )1

13、1nnnnVar n 221222100001000010001100010000100001 n 2110000010000010000001000001000001D多重共線性n多元線性回歸模型n其基本假設(shè)之一是解釋變量X1,X2,Xk相互獨(dú)立。n如果某兩個(gè)或多個(gè)解釋變量之間出現(xiàn)了相關(guān)性，則成為存在多重共線性(Multicollinearity)。 01122iiikikiYXXX實(shí)際經(jīng)濟(jì)問題中的多重共線性服裝需求函數(shù)模型：Qi=f(Ii,Pi,.) I-收入 P-價(jià)格直觀判斷，收入與價(jià)格不相關(guān)。調(diào)查數(shù)據(jù)表明，二者有一定的相關(guān)性。多重共線性的后果 n完全共線性下參數(shù)估計(jì)量不存在 n近似共線

14、性下普通最小二乘法參數(shù)估計(jì)量的方差變大 n參數(shù)估計(jì)量經(jīng)濟(jì)含義不合理 （若出現(xiàn)參數(shù)估計(jì)值的經(jīng)濟(jì)意義明顯不合理的情況，應(yīng)首先懷疑是否存在多重共線性。 ）n變量的顯著性檢驗(yàn)和模型的預(yù)測(cè)功能失去意義 多重共線性的檢驗(yàn)n多重共線性表現(xiàn)為解釋變量之間具有相關(guān)關(guān)系。n多重共線性檢驗(yàn)的任務(wù)：n(1)檢驗(yàn)多重共線性是否存在；n(2)判明存在多重共線性的范圍。（哪些變量之間存在多重共線性）n多重共線性檢驗(yàn)的方法：判定系數(shù)檢驗(yàn)法、逐步回歸檢驗(yàn)法等。 (一)檢驗(yàn)多重共線性是否存在 n(1)對(duì)兩個(gè)解釋變量的模型，采用簡(jiǎn)單相關(guān)系數(shù)法：求出X1與X2的簡(jiǎn)單相關(guān)系數(shù)r，若r接近1，說明兩變量存在較強(qiáng)的多重共線性。 n(2)對(duì)

15、多個(gè)解釋變量的模型，采用綜合統(tǒng)計(jì)檢驗(yàn)n若在普通最小二乘法下，模型的R2與F值較大，但各參數(shù)估計(jì)值的t檢驗(yàn)值較小，說明各解釋變量對(duì)Y的聯(lián)合線性作用顯著。n各解釋變量間存在共線性使得它們對(duì)Y的獨(dú)立作用不能分辨，使t檢驗(yàn)不顯著。(二)判明存在多重共線性的范圍 n確定多重共線性由哪些變量引起。n判定系數(shù)檢驗(yàn)法n將模型中每個(gè)解釋變量分別以其余解釋變量為解釋變量進(jìn)行回歸，計(jì)算相應(yīng)的擬合優(yōu)度，也稱為判定系數(shù)。n若某一種形式的判定系數(shù)較大，說明該形式中作為被解釋變量的Xj可以用其他解釋變量的線性組合替代，即Xj與其他解釋變量間存在共線性。 n對(duì)出現(xiàn)較大判定系數(shù)的回歸方程作F檢驗(yàn)：n其中， 為第j個(gè)解釋變量對(duì)其他解釋變量的回歸方程的判定系數(shù)。n若存在較強(qiáng)的共線性，則 較大且接近于1，此時(shí)1- 較小，從而Fj的值較大。2.2./(1)(1,)(1) /()jjjRkFF knkRnk2. jR2. jR2. jR隨機(jī)解釋變量問題 n多元線性回歸模型 若cov(Xi,i)0,即擾動(dòng)項(xiàng)與解釋變量無關(guān)性假設(shè)不成立，則最小二乘估計(jì)量的無偏性和一致性也不成立。該解釋變量具有內(nèi)生性。假設(shè)E(i?Xi)=i 01122iiikikiYXXX n對(duì)于多元線性回歸模型，其矩陣形式為