面板數(shù)據(jù)回歸(Panel Data)

1、面板數(shù)據(jù)分析面板數(shù)據(jù)分析(Panel Data Analysis)20132013年商學(xué)院暑期微觀計量培訓(xùn)年商學(xué)院暑期微觀計量培訓(xùn)陳華帥陳華帥2013年年7月月9日下午日下午變量遺漏問題變量遺漏問題 被解釋變量：y 解釋變量：x 不可觀察的效果：c 我們感興趣的是：E(yx,c)，不是E(yx) 假設(shè)：E(yx,c)=+x +c x與c無關(guān)，仍然可以得到 的無偏估計量 x與c相關(guān)，無法得到 的一致估計量解決辦法解決辦法 尋找c的代理變量p p直接影響因變量y 當(dāng)給定p時，c對y沒有影響 p與隨機(jī)擾動項無關(guān) 尋找一個IV Z與c相關(guān)，但與隨機(jī)擾動項無關(guān)Panel Data的方法 當(dāng)遺漏變量不隨時

2、間而變化，如國家的初始技 術(shù)效率，城市的歷史，或個人的一些特征等 問題的解決得益于對同一個個體的重復(fù)觀測一個簡單的例子一個簡單的例子 yt,xt ， t=1,2 c不隨時間而改變，但是隨個體變化而改變 考慮教育回報問題：yt=0+xt+c+ut 外生性假設(shè)：E(ut| xt, c)=0 E(xtut)=0 討論：討論： 如果E(xtc)=0，則可以進(jìn)行Pooled OLS估計 如果：E(xtc)0，則Pooled OLS不一致 解決辦法：一階差分（時間上相減）y=x+uc=0不見了 考察古典假設(shè)： 要求E(xu)=0，即x與u不相關(guān)E(xu)=E(x2-x1)(u2-u1)=E(x2u2)-E

3、(x1u2)-E(x2u1)+E(x1u1)=0 -E(x1u2)-E(x2u1)則E(x1u2)+E(x2u1)=0 要求xx滿列秩，則沒有一個x=0，即每 個x在t=1,2中隨時間有變化什么是什么是 Panel Data 定義 對固定單位、個人、企業(yè)、家庭或其他經(jīng)濟(jì)體 重復(fù)觀測所形成的數(shù)據(jù) 典型的Panel在時間上進(jìn)行重復(fù)觀察 跟蹤同樣的個體（如個人、家庭、企業(yè)、城市、國家等）而得到的跨時間數(shù)據(jù)例 單位：i=1,2,N 觀察時點：t=1,2, Ti 一般而言，NTi 是Panel Data， Ti N是多元時間序列數(shù)據(jù) 如果Ti對于每個單位都相同，叫平衡面板（Balanced Panel）

4、 如果Ti對于每個單位不都相同，叫不平衡面 板（Unbalanced Panel） 對于非平衡面板數(shù)據(jù)，我們關(guān)心非平衡是否是內(nèi)生的 比如，yit是收入，隨著時間流逝富人更容易退出樣本，因為他們的時間成本比較高，此時數(shù)據(jù)的非平衡就是內(nèi)生引起的 此時，即使最初的模型是線性模型，yit的條件期望是xit 的線性函數(shù)，我們需要非線性的樣本選擇方法更多例子更多例子 雙胞胎數(shù)據(jù)yij 老大、老二： i=1,2 不同的家庭： j=1,2,J 教師的教學(xué)評估成績yijt 不同的教師：i=1,2,N 所授的課程：j=1,2,Ji 不同學(xué)年：t=1,2,Ti 都是對固定單位進(jìn)行重復(fù)觀察面板數(shù)據(jù)的優(yōu)勢面板數(shù)據(jù)的優(yōu)勢

5、 面板數(shù)據(jù)模型提供了更多的數(shù)據(jù)信息，增加了自由度，并減少了解釋變量的共線性，從而得到更為有效的估計量 面板數(shù)據(jù)模型可以分析單純截面數(shù)據(jù)和時間序列數(shù)據(jù)無法分析的重要經(jīng)濟(jì)問題 當(dāng)遺漏變量是不隨時間而變化的表示個體異質(zhì)性的一些變量時，面板數(shù)據(jù)可以用來處理某些遺漏變量問題面板數(shù)據(jù)模型面板數(shù)據(jù)模型 廣義的面板數(shù)據(jù)模型：隨機(jī)參數(shù)模型 參數(shù)太多，不可估計 需要對 it，t，uit 進(jìn)行更多的假設(shè)限定靜態(tài)面板數(shù)據(jù)模型vs.動態(tài)面板數(shù)據(jù)模型 如果xit不包含滯后因變量，上述模型為靜態(tài)線性面板數(shù)據(jù)模型，否則就是動態(tài)線性面板數(shù)據(jù)模型= it + xit t + uit , i = 1,2,.,n, t = 1,.,

6、Tiyit 雙向效應(yīng)模型：引入個人和時間dummy 個人效應(yīng)模型 固定效應(yīng)與隨機(jī)效應(yīng)模型：ci是否和xit相關(guān) 固定效應(yīng)： E(ci | xit ) 0 隨機(jī)效應(yīng)： E(ci | xit ) = 0混合模型（總體均值模型）= i + t + xit + uityit= ci + xit + uityit= i + xit + uityit= + xit + uityit面板數(shù)據(jù)模型的假設(shè)面板數(shù)據(jù)模型的假設(shè) 以未觀測效應(yīng)模型為例 ci+ uit稱為合成誤差 (composite error) ci稱為個體效應(yīng) (individual effect)、個體異質(zhì)性 (individual heter

7、ogeneity)，或不可觀測的異質(zhì)性 uit是隨時間和個體變化的特異性誤差 (idiosyncratic error)= xit + ci + uityit 假設(shè)特異性誤差uit和解釋變量xit是不相關(guān)的 如果個體異質(zhì)性ci和解釋變量xit也不相關(guān)，則可 以用混合最小二乘（pooled OLS，POLS）來 得到一致估計 所謂的POLS方法，是指對所有跨i和t的觀測值 進(jìn)行OLS回歸，對模型進(jìn)行POLS回歸 但是個體異質(zhì)性往往和解釋變量相關(guān)，此時用 POLS估計得到的估計量是有偏且不一致的， 此偏差稱為異質(zhì)性偏差（heterogeneity bias）,這是遺漏（不隨時間變化的）變量引起的偏

8、差嚴(yán)格外生性假設(shè)嚴(yán)格外生性假設(shè) 假設(shè)E(ux, ci)=0即E(uitxi1, xi2,xis,xiT, ci)=0等價于E(yitxi1, xi2,xis,xiT, ci)=xit+ci可以得到E(xituis)=0 解釋 當(dāng)ci和xit被控制，對任意的st，xis對yit沒有偏效應(yīng)(patial effect)，即解釋變量給定條件ci下是 嚴(yán)格外生的 嚴(yán)格外生性假設(shè)是一個比較強(qiáng)烈的假設(shè) 在嚴(yán)格外生性假設(shè)下，滯后因變量不能出 現(xiàn)在解釋變量中 嚴(yán)格外生性假設(shè)也禁止了t期隨機(jī)擾動項uit 對t+1期解釋變量xit+1的影響 如果解釋變量中包含有政策變量，而政策 變量經(jīng)常會對前期的沖擊進(jìn)行調(diào)整，即

9、為 沖擊的反饋效應(yīng)(feedback effect)，此時uit 和xit+1相關(guān)，嚴(yán)格外生性假設(shè)被違反面板數(shù)據(jù)模型的估計量面板數(shù)據(jù)模型的估計量 Pooled OLS 估計量：估計量： 前面介紹過 如果解釋變量xit與ci和uit都不相關(guān)，POLS一致 但是方差的估計結(jié)果有問題 總的隨機(jī)擾動項存在序列相關(guān) Cov(ci+uit, ci+uit+1) 0，且很高 如果固定效應(yīng)面板模型是正確的話，POLS不一致 Cov(xit, ci) 0 Cov(xit, ci+uit+1) 0 組間組間(between) 估計量：估計量： POLS運用時間和截面上的變化估計 組間估計量運用不同個人間的變化估計

10、 如果 與 、ci不相關(guān)，則對上式的POLS估計一致 不是最有效的iiiiycxuixiu 組內(nèi)組內(nèi)(within) 估計量：估計量： 也稱為固定效應(yīng)(FE)估計量 POLS運用時間和截面上的變化估計 組間估計量運用不同個人間的變化估計 組內(nèi)估計量運用同一個個人的變化估計 無法識別時間固定的解釋變量的影響()()itiitiitiyyxxuu 一階差分一階差分(FD)估計量：估計量： 面板數(shù)據(jù)模型滯后一期并相減得到： yit = xit + uit 對上式進(jìn)行POLS估計 滿足嚴(yán)格外生性假設(shè)時，F(xiàn)D估計量一致 E(uit | xi 2 ,xi 3 ,.,xiT ) = 0 當(dāng)uit服從隨機(jī)游走

11、時(random walk)，F(xiàn)D估計 量最有效 E(ui ui | xi ,i ) = u 2IT 1 在T=2而且平衡面板的條件下，F(xiàn)D估計量和FE 估計量是一樣的隨機(jī)效應(yīng)面板模型隨機(jī)效應(yīng)面板模型Random-Effect Panel Model 如果總體很大，抽取的樣本單位具有較大 的隨機(jī)性，那么與個體有關(guān)的效應(yīng)將被視 為具有隨機(jī)分布的性質(zhì)idyearyx1x2x3x41001120002540024007.7810012240026300054008.5910013027000.0010021038000.0010022200039400060008.70100233600400360

12、08.19100317001807006.5510032100019010006.911003302030303.43基本假設(shè) 假設(shè)RE.1 (a) 嚴(yán)格外生性E(uit|xi,ci)=0, xi=xi1,xi2,xiTt=1,2,T (b) ci獨立于xit，即 Eci|xi=Eci=0itiititycxu RE.3假設(shè) (a)同方差假設(shè)： E(u u | x ) = 2 I (b) E(c2 | x ) = 2 i i iu Ti i c 假設(shè)RE.2 具體表述： 這種結(jié)構(gòu)表明誤差項是同方差且存在序列 相關(guān)的TcTuucccuccccucJI2222222222222. 在RE.1-RE

13、.3成立時，如果我們用Pooled OLS來估計模型，估計量是一致的 但是POLS估計量忽略了隨機(jī)誤差項的結(jié)構(gòu) 信息，所以不是有效的 而且其方差-協(xié)方差矩陣不會等于 2 ( X X )1 因此可以考慮GLS的方法 RE.1和RE.2假設(shè)保證后面的GLS估計結(jié)果 是一致的，RE.3保證v具有同方差結(jié)構(gòu)，從 而假設(shè)保證FGLS估計結(jié)果是最有效的v RE估計：GLS)()(1 -111 -1111iniiiniiREyXXXyXXX）（ 在RE.1-RE.3成立時，如果我們用Pooled OLS來估計模型，估計量是一致的 但是POLS估計量忽略了隨機(jī)誤差項的結(jié)構(gòu) 信息，所以不是有效的 而且其方差-協(xié)

14、方差矩陣不會等于 2 ( X X )1 因此可以考慮GLS的方法 RE.1和RE.2假設(shè)保證后面的GLS估計結(jié)果 是一致的，RE.3保證v具有同方差結(jié)構(gòu)，從 而假設(shè)保證FGLS估計結(jié)果是最有效的v 隨機(jī)效應(yīng)估計量實際上是通過準(zhǔn)去除時間均值（quasi time demeaning）而得到的 隨機(jī)效應(yīng)并不是在每個時間t去掉因變量和 自變量的時間均值，而是在每個時間t去掉 時間均值的一部分 對Q個多重假設(shè) H0 : R = r 進(jìn)行假設(shè)檢驗 在RE.3成立時，可用F檢驗 不論RE.3是否成立，都可以用Wald檢驗： RE.3成立與否，決定對 的估計方法隨機(jī)效應(yīng)模型的參數(shù)檢驗隨機(jī)效應(yīng)模型的參數(shù)檢驗對

15、對Unobserved EffectUnobserved Effect存在性的檢驗存在性的檢驗 如果不存在Unobserved Effect，直接用 Pooled OLS估計就可以了 對Unobserved Effect存在性的檢驗也可以 看成是模型設(shè)定檢驗 在Pooled Model和RE Model之間進(jìn)行選擇 檢驗假設(shè)：H0: 2c = 0，即vit不存在序列相關(guān) Breusch and Pagan (1980) 檢驗 拉格朗日乘數(shù)檢驗(LM) 依賴于對uit的正態(tài)假設(shè) 具體檢驗統(tǒng)計量為 原假設(shè)成立下，LM統(tǒng)計量卡方分布，自由 度為1221121112(1)nTitiiuuuPOLSnT

16、itiivnTLMvyxTv Wooldridge (2002)檢驗統(tǒng)計量BPW 在原假設(shè)成立下，vit序列不相關(guān)，BPW的漸進(jìn)分 布是標(biāo)準(zhǔn)正態(tài)分布 該統(tǒng)計量能夠探察vit中的許多種序列相關(guān) 但是拒絕原假設(shè)并不意味著RE的誤差結(jié)構(gòu)就是正 確的 如果xit中沒有包括滯后的被解釋變量，vit即使?jié)M足Random Effect的誤差結(jié)構(gòu)，原假設(shè)仍然會被拒絕11111/221111 nTTitisiistnTTitisiistv vBPWv v 固定效應(yīng)模型固定效應(yīng)模型Fixed-Effect Panel Model固定效應(yīng)模型的基本假設(shè)固定效應(yīng)模型的基本假設(shè) 與RE模型最大的不同在于,FE模型假設(shè)c

17、i可以與uit相關(guān)，即對ciuit是否成立不做假定。由于少了RE中的獨立性假定,FE比RE的結(jié)果更加穩(wěn)健。 X中不能包含不隨時間改變的變量 解釋變量如果包含不隨時間變化的變量，我們無法識別這些變量對的影響 不隨時間變化的變量指的是對所有的樣本單位都不隨時間而變化。如果該變量對部分樣本單位隨時間變化，就可以包含進(jìn)來。itiititycxu固定效應(yīng)轉(zhuǎn)換估計固定效應(yīng)轉(zhuǎn)換估計 固定效應(yīng)模型的估計策略是轉(zhuǎn)換方程消去不可觀測的效應(yīng)ci 我們可以采用一階差分的方法，也可以采用固定效應(yīng)轉(zhuǎn)換 (fixed effects transformation) 固定效應(yīng)轉(zhuǎn)換也叫做組內(nèi)轉(zhuǎn)換 (within transfo

18、rmation) 的固定效應(yīng)估計量的固定效應(yīng)估計量 FE是對組內(nèi)模型進(jìn)行的POLS估計，所以也 稱為組內(nèi)估計量)()()()()()()()(11111111111111QyXQXXyXXXyxxxyyxxxxxxiNiiiNiiNiTtitititNiTtitiitiNiTtitiitiNiTtitFE ）（ 在固定效應(yīng)模型假設(shè)下， 是無偏且一致的 FE.1嚴(yán)格外生性假設(shè)中中假定E(uit|xi,ci)=0 可以推出 但是如果在隨機(jī)效應(yīng)模型假設(shè)下， 僅僅用 了組內(nèi)的信息，因此它不是有效估計量|(|)(|)0|()0itiitiiiitiitiE uxE uxE uxE uxE uxx（）（）

19、FEFE 在固定效應(yīng)模型假設(shè)下， 是無偏且一致的 FE.1嚴(yán)格外生性假設(shè)中中假定E(uit|xi,ci)=0 可以推出 但是如果在隨機(jī)效應(yīng)模型假設(shè)下， 僅僅用 了組內(nèi)的信息，因此它不是有效估計量|(|)(|)0|()0itiitiiiitiitiE uxE uxE uxE uxE uxx（）（）FEFE虛擬變量回歸虛擬變量回歸(LSDV) 虛擬變量回歸是傳統(tǒng)的固定效應(yīng)估計方法 把ci看成參數(shù)，和一起進(jìn)行估計 對此，可以采用最小二乘虛擬變量回歸 定義1,0,ijif ijdif ij NiNiiiccccdddd.,.2121 有 yit= xit + di c + uitTTTTnnnnlll

20、ldddddddD0.00.0.1222111211估計結(jié)果估計結(jié)果 可以證明： 最小二乘虛擬變量回歸得到的的估計量和 固定效應(yīng)估計量是一樣的 Wooldridge (2002)認(rèn)為這里 LSDV和 FE 相等 僅僅是一種巧合 很多情況下，尤其在非線性面板數(shù)據(jù)模型 中，把c看成參數(shù)和 一起進(jìn)行估計得到的 估計量是不一致的非主要參數(shù)問題非主要參數(shù)問題 當(dāng)截面觀測增加時，ci的個數(shù)也增加了 當(dāng)n趨于無窮大，ci并沒有截面信息的積累，而時間長度T是固定的，隨著截面長度 n趨于無窮大，非主要參數(shù)ci的個數(shù)也趨于無窮大 加上非線性模型的復(fù)雜性很難先行消去ci ，參數(shù)的估計也被污染（contaminate

21、d），從而在一般情況下也無法得到一致估計量虛擬變量回歸估計量性質(zhì)虛擬變量回歸估計量性質(zhì) FE是 的一個無偏估計量，當(dāng)T固定而n趨 于無窮時， FE 是 的一個一致估計量；而 ci 僅僅是ci 的無偏估計量，在T固定時 ci 不是 一致估計量 計量軟件一般不匯報固定效應(yīng)ci的估計值， 不過經(jīng)常會匯報整體截距項的值隨機(jī)效應(yīng)和固定效應(yīng)估計量的比較隨機(jī)效應(yīng)和固定效應(yīng)估計量的比較 可以證明： RE估計量是組間回歸估計量和FE估計量的加權(quán)平均 FE模型對ci與xi的關(guān)系不作假定，因此比RE更Robust，其代價是： FE中由于包含了一個均值 x ，自由度自動減少了一個，并且 的精度降低； 解釋變量過多，易

22、引起多重共線性(LSDV)； FE觀察不出不隨時間改變的變量的影響FE隨機(jī)效應(yīng)和固定效應(yīng)估計量的比較隨機(jī)效應(yīng)和固定效應(yīng)估計量的比較或E(ci | Xi ) = E(ci ) = 0Cov(ci , xit ) = 0RE還是還是FE：Hausman檢驗檢驗 僅僅從估計量的性質(zhì)來說，我們可能認(rèn)為，隨機(jī)效應(yīng)估計量要好于固定效應(yīng) 在對兩個估計量進(jìn)行比較時，我們發(fā)現(xiàn)當(dāng)個體效應(yīng)方差非常大的情況或T非常大時，F(xiàn)E估計量是RE估計量的一個極限 但是，隨機(jī)效應(yīng)模型有一個非常強(qiáng)的假設(shè)： FE是無論原假設(shè)成立與否都是一致的，但 在原假設(shè)下不是有效的 RE在原假設(shè)下是一致的，并且漸進(jìn)有效（樣本越大越有效），但如果原

23、假設(shè)被拒 絕，則RE不是一致的 不論在原假設(shè)還是備擇假設(shè)下，我們都保 持嚴(yán)格外生假設(shè)。如果嚴(yán)格外生假設(shè)被違 反，則固定效應(yīng)和隨機(jī)效應(yīng)估計量都是不 一致的RE還是還是FE：應(yīng)用考慮：應(yīng)用考慮 數(shù)據(jù) 當(dāng)數(shù)據(jù)為省份、國家、單位資料時，即為非隨 機(jī)抽取的資料時用FE較合適；為隨機(jī)抽取的資 料時,用RE較合適 研究問題：政策分析 政策變量通常會與觀察不到的個體特征ci與觀 察到的xi相關(guān) ci與xi存在相關(guān)性 FE模型更合適StataStata程序應(yīng)用實例程序應(yīng)用實例假設(shè)有假設(shè)有3期的跟蹤數(shù)據(jù)，變量及數(shù)據(jù)如下：期的跟蹤數(shù)據(jù)，變量及數(shù)據(jù)如下：idyabcd100120002540024007.781002

24、038000.0010037001807006.55idyabcd1001240026300054008.591002200039400060008.701003100019010006.91idyabcd1001027000.001002360040036008.191003100019010006.91截面截面1：截面截面2：截面截面3：use D:cross1.dtaforeach aaa of varlist y-d ren aaa aaa1sort idsave D:ff1.dta, replace use D:cross2.dtaforeach bbb of varlist y-d

25、 ren bbb bbb2sort idsave D:ff2.dta, replace use D:cross3.dtaforeach ccc of varlist y-d ren ccc ccc3sort idsave D:ff3.dta, replace1. 創(chuàng)建創(chuàng)建panel data：調(diào)整過后，各截面的變量名修正為（數(shù)值不變）：調(diào)整過后，各截面的變量名修正為（數(shù)值不變）：idy1a1b1c1d1100120002540024007.781002038000.0010037001807006.55idy2a2b2c2d21001240026300054008.59100220003940

26、0060008.701003100019010006.91idy3a3b3c3d31001027000.001002360040036008.191003100019010006.91截面截面1：截面截面2：截面截面3：2. 截面合并截面合并:use D:ff1.dtamerge id using D:ff2.dtadrop _mergesort idmerge id using D:ff3.dtadrop _mergesave D:total.dta, replaceidy1a1b1c1d1y2a2b2c2d2y3a3b3c3d31001 2000254002400 7.78 2400263

27、000 5400 8.59027000.001002038000.00 2000394000 6000 8.70 36004003600 8.1910037001807006.55 10001901000 6.91 10001901000 6.91合并后的文件合并后的文件”total”中，數(shù)據(jù)格式如下：中，數(shù)據(jù)格式如下：3.轉(zhuǎn)化為面板數(shù)據(jù)：轉(zhuǎn)化為面板數(shù)據(jù)：use D:total.dtaxtset idreshape long y a b c d, i(id) j(year)save D:sample.dta, replaceidyearyabcd1001120002540024007.7810

28、012240026300054008.5910013027000.0010021038000.0010022200039400060008.7010023360040036008.19100317001807006.5510032100019010006.911003302030303.43轉(zhuǎn)化后的面板轉(zhuǎn)化后的面板數(shù)據(jù)格式：數(shù)據(jù)格式：如果仍將轉(zhuǎn)化回寬數(shù)據(jù)格式，命令行如下如果仍將轉(zhuǎn)化回寬數(shù)據(jù)格式，命令行如下:idy1a1b1c1d1y2a2b2c2d2y3a3b3c3d31001 2000254002400 7.78 2400263000 5400 8.59027000.001002038000.00 2000394000 6000 8.70 36004003600 8.1910037001807006.55 10001901000 6.91 10001901000 6.91use D:sample.dtareshape wide y-d, i(id) j(year)save D:sample.dta, replace面板數(shù)據(jù)回歸指令：面板