計(jì)量經(jīng)濟(jì)學(xué)多元線性回歸ppt課件

1、多元回歸分析Multiple Regression Analysis y = b0 + b1x1 + b2x2 + . . . bkxk + u 4.進(jìn)一步的問(wèn)題本章大綱n數(shù)據(jù)的測(cè)度單位換算對(duì)OLS統(tǒng)計(jì)量的影響n對(duì)函數(shù)方式的進(jìn)一步討論n擬合優(yōu)度和回歸元選擇的進(jìn)一步討論n預(yù)測(cè)和殘差分析課堂提綱n重新定義變量的影響n估計(jì)系數(shù)nR 平方nt 統(tǒng)計(jì)量n函數(shù)方式n對(duì)數(shù)函數(shù)方式n含二次式的模型n含交叉項(xiàng)的模型重新定義變量n為什么我們想這樣做？n數(shù)據(jù)測(cè)度單位變換經(jīng)常被用于減少被估參數(shù)小數(shù)點(diǎn)后的零的個(gè)數(shù)，這樣結(jié)果更美觀一些。n既然這樣做主要為了美觀，我們希望本質(zhì)的東西不改動(dòng)。重新定義變量：一個(gè)例子n以下模型反

2、映了嬰兒出生體重與孕婦吸煙量和家庭收入之間的關(guān)系：n(1)n思索如下單位變換：n(2) 出生體重單位由盎司變?yōu)榘鮪(3) 香煙的支數(shù)變?yōu)榘鼣?shù)n估計(jì)結(jié)果列于下表n012minbwghtcigsfacTable 6.1Y (column) (1) bwght(2)bwghtlbs(3) bwghtX (rows)Cigs-0.4634 (0.0916)-0.0289 (0.0057)-Packs-9.268 (1.832)Faminc0.0927 (0.0292)0.0058 (0.0018)0.0927(0.0292)Intercept116.794 (1.049)7.3109 (0.0656)

3、116.974(1.049)Observations888R-squared0.02980.02980.0298SSR557,485.512177.5778557.485.51SER20.0631.253920.063改動(dòng)被解釋變量測(cè)度單位的影響n由于1磅16盎司，被解釋變量被除以16。n比較第1列與第2列。n(1)中被估參數(shù)/16 (2)中被估參數(shù)n(1)中被估參數(shù)的規(guī)范差/16 (2)中被估參數(shù)的規(guī)范差n(1)和(2)中 t 統(tǒng)計(jì)量一樣nR平方一樣n(1)中SSR/16*16 (2)中SSRn(1)中SER(規(guī)范差)/16 (2)中SER012/16/16(/16)(/16)minbwgh

4、tcigsfac改動(dòng)解釋變量測(cè)度單位的影響n如今香煙數(shù)量單位變?yōu)榘如今比較 第(1)列和第(3)列。n變量faminc系數(shù)和截距項(xiàng)的估計(jì)值和其規(guī)范差分析同上。npacks的系數(shù)估計(jì)值和規(guī)范差變?yōu)?0倍。nt 統(tǒng)計(jì)量一樣nR平方一樣nSSR一樣nSER一樣012(*20)(/20)minbwghtcigsfac重新定義變量n改動(dòng)變量y的測(cè)度單位會(huì)導(dǎo)致系數(shù)和規(guī)范差相應(yīng)的改動(dòng)，所以解釋變量系數(shù)顯著性和對(duì)其解釋沒(méi)有改動(dòng)。n改動(dòng)一個(gè)變量x的測(cè)度單位會(huì)導(dǎo)致該變量系數(shù)和規(guī)范差的相應(yīng)改動(dòng)，所以一切解釋變量顯著性和對(duì)其解釋沒(méi)有改動(dòng)。n假設(shè)被解釋變量以對(duì)數(shù)方式出現(xiàn)，改動(dòng)被解釋變量度量單位對(duì)任何斜率系數(shù)沒(méi)有影響

5、。n來(lái)自log(cy)=log(c)+log(y)，改動(dòng)y測(cè)度單位將改動(dòng)截距，不改動(dòng)斜率系數(shù)。Beta系數(shù)n思索如下方式的樣本回歸方程：n=200+20,000 x1 +0.2x2n我們能說(shuō)x1是最重要的變量嗎？n如今，查看以下各個(gè)變量的單位：ny單位：美圓nx1單位：美分nx2單位：千美圓Beta系數(shù)n上例提示了什么問(wèn)題？n被估計(jì)系數(shù)的大小是不可比較的。n一個(gè)相關(guān)的問(wèn)題是，當(dāng)變量大小差別過(guò)大時(shí)，在回歸中因運(yùn)算近似而導(dǎo)致的誤差會(huì)比較大。Beta系數(shù)n有時(shí)，我們會(huì)看見(jiàn)“規(guī)范化系數(shù)或“Beta系數(shù)，這些稱號(hào)有著特殊的意義n運(yùn)用Beta系數(shù)是由于有時(shí)我們把y和各個(gè)x交換為規(guī)范化版本也就是，減去均值后

6、除以規(guī)范離差。n系數(shù)反映對(duì)于一單位x的規(guī)范離差的y的規(guī)范離差。Beta系數(shù)j12k01 12 2yxy1 x2 xx., zz zzz.z(2)jikkijjiiiyxyjkjjyxxxxxyyyxzzbbbb樣本回歸方程的標(biāo)準(zhǔn)形式是標(biāo)準(zhǔn)化和 ，。現(xiàn)在將 向回歸得到注意沒(méi)有截距項(xiàng)現(xiàn)在，與的關(guān)系如何？Beta系數(shù)1122121212.,1,2,.,iiikikkkyyyykjjjyjijijyyxxxxxxbjkbxyb可以看到令傳統(tǒng)上被稱為標(biāo)準(zhǔn)化系數(shù)或 系數(shù)。意思是，如果 改變一單位標(biāo)準(zhǔn)離差，則 改變單位標(biāo)準(zhǔn)離差。例子 ustratiodistroomscrimenoxprice543210z

7、stratiozdistzroomszcrimeznoxceizpr270. 0235. 0514. 0143. 0340. 0函數(shù)方式nOLS也可以用在x和y不是嚴(yán)厲線性的情況，經(jīng)過(guò)運(yùn)用非線性方程，使得關(guān)于參數(shù)仍為線性。n可以取x，y一個(gè)或全部的自然對(duì)數(shù)n可以用x的平方方式n可以用x的交叉項(xiàng)對(duì)數(shù)模型的解釋n假設(shè)模型是 ln(y) = b0 + b1ln(x) + unb1是y對(duì)于x的彈性n假設(shè)模型是ln(y) = b0 + b1x + unb1近似是，給定一單位x的改動(dòng)，y的百分比變化，常被稱為半彈性。為什么運(yùn)用對(duì)數(shù)模型？n取對(duì)數(shù)后變量的斜率系數(shù)，不隨變量測(cè)度單位改動(dòng)。n假設(shè)回歸元和回歸子都

8、取對(duì)數(shù)方式，斜率系數(shù)給出對(duì)彈性的一個(gè)直接估計(jì)。n對(duì)于y0的模型，條件分布經(jīng)常偏斜或存在異方差，而ln(y)就小多了，所以nln(y)的分布窄多了，限制了異?；驑O端觀測(cè)值(outliers)的影響。一些閱歷法那么n什么類型的變量經(jīng)常用對(duì)數(shù)方式？n一定為正的錢數(shù)：工資，薪水，企業(yè)銷售額和企業(yè)市值。n非常大的變量：如人口，雇員總數(shù)和學(xué)校注冊(cè)人數(shù)等。n什么類型的變量經(jīng)常用程度值方式？n用年丈量的變量：如教育年限，任務(wù)閱歷，任期年限和年齡n可以以程度值或?qū)?shù)方式出現(xiàn)的變量：n比例或百分比變量：失業(yè)率，養(yǎng)老保險(xiǎn)金參與率等。對(duì)數(shù)方式的限制n一個(gè)變量取零或負(fù)值，那么不能運(yùn)用對(duì)數(shù)。n假設(shè)y非負(fù)但可以取零，那么有

9、時(shí)運(yùn)用log(1+y)。n當(dāng)數(shù)據(jù)并非多數(shù)為零時(shí)，運(yùn)用log(1+y) 估計(jì)，并且假定變量為log(y)，解釋所得的估計(jì)值，是可以接受的。慎重運(yùn)用對(duì)數(shù)方式n留意到，當(dāng)y取對(duì)數(shù)方式時(shí)，更難以預(yù)測(cè)原變量的值，由于原模型允許我們預(yù)測(cè)log(y)而不是y。01 1111111log( ).1log( )% exp( log( ) 1 100*(exp() 1) yxxyyxyyyyxy 考慮如果我們想知道時(shí)， 的百分比變化，我們不能只報(bào)告 ，因?yàn)?，所以含二次式的模型n對(duì)于方式為y = b0 + b1x + b2x2 + u的模型，我們不能單獨(dú)將b1解釋為關(guān)于x，y變化的度量，我們需求將b2也思索進(jìn)來(lái)，由

10、于20121212(1) (2) 2, so(3) 2yxxyxxyxx n假設(shè)感興趣的是，給定x的初始值和變動(dòng)，預(yù)測(cè)y的變化，那么可以直接運(yùn)用1。n普通來(lái)說(shuō)，我們可以運(yùn)用x的平均值，中值，或上下四分位數(shù)來(lái)預(yù)測(cè)y，取決于我們感興趣的問(wèn)題。含二次式的模型122(0.35)(0.041)(0.0009)01 ，所以調(diào)整過(guò)的R2總比R2小。n參與一個(gè)解釋變量有兩個(gè)相反的效果。1SSR降低導(dǎo)致調(diào)整過(guò)的R2添加。2 (n-1)/(n-k-1) 添加導(dǎo)致調(diào)整過(guò)的R2降低。n調(diào)整過(guò)的R2能夠是負(fù)的，發(fā)生在以下情況：一切解釋變量使殘差平方和下降的太少，缺乏以抵消因子(n-1)/(n-k-1)。n R2只需在過(guò)

11、原點(diǎn)回歸中才能夠?yàn)樨?fù)。比較R2和Adjusted R2nR2和調(diào)整過(guò)的R2通知我們，解釋變量能否很好地預(yù)測(cè)了，或“解釋了，手頭數(shù)據(jù)中被解釋變量的值。nR2和調(diào)整過(guò)的R2并沒(méi)有通知我們n被包含變量能否統(tǒng)計(jì)顯著n解釋變量能否是被解釋變量變動(dòng)的真正緣由n能否有脫漏變量偏誤，或n能否選取了最適宜的解釋變量組合R2和Adjusted R2 在決議某個(gè)變量能否應(yīng)該被參與模型時(shí)，R2和Adjusted R2并非理想的工具。決議一個(gè)解釋變量能否屬于模型的要素應(yīng)該是，該解釋變量在總體中對(duì)y的部分效應(yīng)能否為零。擬合優(yōu)度和解釋變量選擇的進(jìn)一步討論擬合優(yōu)度和解釋變量選擇的進(jìn)一步討論nAdjusted R-Square

12、d2/11/SSRSSR nRSSTSST n 2/(1)111/(1)1SSRnkSSRnRSSTnSST nk 2211 (1)1nRRnk n我們定義總體R2為：y的變異在總體中能被解釋變量解釋的比例，為n調(diào)整過(guò)的R2仍不是總體R2的一個(gè)無(wú)偏估計(jì)量，由于兩個(gè)無(wú)偏估計(jì)量的比例不是一個(gè)無(wú)偏估計(jì)量。221/.uy擬合優(yōu)度和解釋變量選擇的進(jìn)一步討論擬合優(yōu)度和解釋變量選擇的進(jìn)一步討論n調(diào)整過(guò)的R2最根本的吸引力，在于它對(duì)向模型添加自變量的懲罰。n假設(shè)我們向回歸模型參與一個(gè)新的解釋變量，當(dāng)且僅當(dāng)新變量的t統(tǒng)計(jì)量的絕對(duì)值大于1時(shí)，調(diào)整過(guò)的R2添加。擬合優(yōu)度和解釋變量選擇的進(jìn)一步討論擬合優(yōu)度和解釋變量選

13、擇的進(jìn)一步討論利用調(diào)整的R2在兩個(gè)非嵌套模型中進(jìn)展選擇n假設(shè)兩個(gè)模型中任何一個(gè)都不是另一個(gè)的特例，那么兩個(gè)模型是非嵌套的。nF統(tǒng)計(jì)量只允許我們檢驗(yàn)嵌套的模型，由于有限制的模型是無(wú)限制模型的特例。n我們需求一些在無(wú)嵌套模型間進(jìn)展選擇的指點(diǎn)。n當(dāng)變量有不同函數(shù)方式時(shí)，經(jīng)過(guò)比較調(diào)整過(guò)的R2 ，在不同的解釋變量的非嵌套組合中進(jìn)展選擇，是頗有價(jià)值的。n例如，一個(gè)模型是y= b0 + b1x1 + b2log(x2 ) ，n另一個(gè)是y= b0 + b1x1 +b2 x2+b3 x22 。n假設(shè)第一個(gè)模型調(diào)整過(guò)的R平方為0.3，而第二個(gè)為0.6，我們傾向于選擇第二個(gè)模型利用調(diào)整的R2在兩個(gè)非嵌套模型中進(jìn)展選

14、擇n 調(diào)整過(guò)的R2的限制：我們不能利用它在關(guān)于因變量函數(shù)方式不同的模型間進(jìn)展選擇利用調(diào)整的R2在兩個(gè)非嵌套模型中進(jìn)展選擇預(yù)測(cè)分析：估計(jì)量01 112001 11001 1.c ,.,.( |,.,).kkkkkkkkyxxccccE y cccc設(shè)想我們有估計(jì)方程 。我們將自變量的具體數(shù)值代入其中時(shí)，得到y(tǒng)的一個(gè)預(yù)測(cè)值。例如，令分別代表k個(gè)自變量中每一個(gè)的具體值，想要估計(jì)的參數(shù)：。它的估計(jì)量是。0001 101110.().()kkkkkccyxcxcu如何得到 的標(biāo)準(zhǔn)誤差？本質(zhì)上講，這是一個(gè)尋找OLS估計(jì)量的線性組合的標(biāo)準(zhǔn)誤差的問(wèn)題。因?yàn)?，我們可以得到 。的標(biāo)準(zhǔn)誤差就是新的回歸截距項(xiàng)的標(biāo)準(zhǔn)

15、誤差。預(yù)測(cè)分析：規(guī)范差預(yù)測(cè)分析：置信區(qū)間00000*( ), *( )c sec sec在得到估計(jì)量和相應(yīng)的標(biāo)準(zhǔn)誤之后，下一步比較直接的是估計(jì) 的置信區(qū)間：，其中 是給定顯著性水平的臨界值。預(yù)測(cè)分析：一個(gè)特殊y的置信區(qū)間0 10(|,.)kE y xxy我們剛剛定義，因此，我們可以為y的平均值建立一個(gè)置信區(qū)間。如何為總體中的一個(gè)特定的值， 建立置信區(qū)間呢？需要考慮進(jìn)不可觀察誤差的變化。預(yù)測(cè)分析： y0的預(yù)測(cè)區(qū)間10 000010000yO LS y.,ey .E (e )0kkxxy令的回 歸 線 為則 ， 預(yù) 測(cè) 誤 差 為 ，容 易 證 明。000020000V(e )(y )()(y )

16、y*(e ),y*(e )VV uVc sec se我們也可以證明。現(xiàn)在預(yù)測(cè)區(qū)間為。預(yù)測(cè)分析： y0的預(yù)測(cè)區(qū)間10 000010000yO LS y.,ey .E (e )0kkxxy令的回 歸 線 為則 ， 預(yù) 測(cè) 誤 差 為 ，容 易 證 明。n有時(shí)，檢驗(yàn)個(gè)體觀測(cè)值來(lái)看它的因變量高于還是低于預(yù)測(cè)值是有用的。n也就是，檢驗(yàn)個(gè)體觀測(cè)值的殘差。殘差分析殘差分析n例：將房?jī)r(jià)對(duì)一些可觀測(cè)特點(diǎn)回歸，得預(yù)測(cè)值，算出殘差。殘差為負(fù)那么闡明根據(jù)可觀測(cè)要素房?jī)r(jià)偏低。負(fù)的程度最大值的大小闡明我們還沒(méi)有控制要素的重要程度?？蔀楦闹到㈩A(yù)測(cè)區(qū)間。 y = b0 + b1x1 + b2x2 + . . . bkxk

17、+ u 5. Dummy Variables虛擬變量n 虛擬變量是一個(gè)取值為1或0的變量。n例: male (= 1 if are male, 0 otherwise), south (= 1 if in the south, 0 otherwise), etc.n虛變量也稱二值變量。虛擬變量n思索只需一個(gè)解釋變量(x)和一個(gè)虛擬變量(d)的簡(jiǎn)單模型。n y = b0 + d0d + b1x + un 該模型可以看做是一個(gè)截距的變化。This can be interpreted as an intercept shiftn假設(shè)d = 0, 那么 y = b0 + b1x + un 假設(shè) d = 1, 那么y = (b0 + d0) + b1x + und = 0組為基組。Example of d0 0 xyd00y = (b0 + d0) + b1xy = b0 + b1xslope = b1d = 0d = 1例1 日本1985-1995年水稻產(chǎn)量與耕種面積的變化 年份產(chǎn)量10萬(wàn)噸Y耕種面積萬(wàn)公頃X19851162321986116228198710621219889920919891032081990105206199