第3章多元線性回歸

會(huì)計(jì)學(xué)1第3章多元線性回歸3.1多元線性回歸模型一、多元線性回歸模型的一般形式

對(duì)n組觀測(cè)數(shù)據(jù)(xi1,xi2,…,xip;yi),i=1,2,…,n,線性回歸模型表示為:第1頁(yè)/共58頁(yè)3.1多元線性回歸模型一、多元線性回歸模型的一般形式

寫成矩陣形式為:y=Xβ+ε,其中,第2頁(yè)/共58頁(yè)3.1多元線性回歸模型二、多元線性回歸模型的基本假定

1.解釋變量x1,x2,…,xp是確定性變量,不是隨機(jī)變量,且要求rk(X)=p+1＜n。表明設(shè)計(jì)矩陣X中的自變量列之間不相關(guān),X是一滿秩矩陣。第3頁(yè)/共58頁(yè)3.1多元線性回歸模型二、多元線性回歸模型的基本假定

2.隨機(jī)誤差項(xiàng)具有0均值和等方差,即這個(gè)假定稱為Gauss-Markov條件第4頁(yè)/共58頁(yè)3.1多元線性回歸模型二、多元線性回歸模型的基本假定

3.正態(tài)分布的假定條件為:用矩陣形式(3.5)式表示為:ε～N(0,s2In)第5頁(yè)/共58頁(yè)3.1多元線性回歸模型二、多元線性回歸模型的基本假定

在正態(tài)假定下:y～N(Xβ,s2In)E(y)=Xβ

var(y)=s2In

第6頁(yè)/共58頁(yè)3.1多元線性回歸模型三、多元線性回歸方程的解釋

y表示空調(diào)機(jī)的銷售量,x1表示空調(diào)機(jī)的價(jià)格,x2表示消費(fèi)者可用于支配的收入。y=β0+β1x1+β2x2+εE(y)=β0+β1x1+β2x2

在x2保持不變時(shí),有在x1保持不變時(shí),有第7頁(yè)/共58頁(yè)3.1多元線性回歸模型三、多元線性回歸方程的解釋

考慮國(guó)內(nèi)生產(chǎn)總值GDP和三次產(chǎn)業(yè)增加值的關(guān)系，

GDP=x1+x2+x3現(xiàn)在做GDP對(duì)第二產(chǎn)業(yè)增加值x2的一元線性回歸，得回歸方程第8頁(yè)/共58頁(yè)3.1多元線性回歸模型年份GDP第一產(chǎn)業(yè)增加值x1第二產(chǎn)業(yè)增加值x2第三產(chǎn)業(yè)增加值x3199018547.95017.07717.45813.5199121617.85288.69102.27227.0199226638.15800.011699.59138.6199334634.46882.116428.511323.8199446759.49457.222372.214930.0199558478.111993.028537.917947.2199667884.613844.233612.920427.5199774462.614211.237222.723028.7199878345.214552.438619.325173.5199982067.514472.040557.827037.7200089468.114628.244935.329904.6200197314.815411.848750.033153.02002105172.316117.352980.236074.82003117390.216928.161274.139188.02004136875.920768.172387.243720.6第9頁(yè)/共58頁(yè)3.1多元線性回歸模型三、多元線性回歸方程的解釋

建立GDP對(duì)x1和x2的回歸，得二元回歸方程=2914.6+0.607x1+1.709x2你能夠合理地解釋兩個(gè)回歸系數(shù)嗎？第10頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

一、回歸參數(shù)的普通最小二乘估計(jì)

最小二乘估計(jì)要尋找第11頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

一、回歸參數(shù)的普通最小二乘估計(jì)

第12頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

一、回歸參數(shù)的普通最小二乘估計(jì)

經(jīng)整理后得用矩陣形式表示的正規(guī)方程組

移項(xiàng)得存在時(shí)，即得回歸參數(shù)的最小二乘估計(jì)為：第13頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

二、回歸值與殘差為回歸值

稱為帽子矩陣，其主對(duì)角線元素記為hii

，則第14頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

二、回歸值與殘差

此式的證明只需根據(jù)跡的性質(zhì)tr(AB)=tr(BA),因而第15頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

二、回歸值與殘差

cov(e,e)=cov(（I-H）Y,（I-H）Y)=（I-H）cov(Y,Y)（I-H）′=σ2（I-H）In（I-H）′=σ2（I-H）得

D(ei)=(1-hii)σ2，i=1,2,…,n第16頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

二、回歸值與殘差

是σ2的無(wú)偏估計(jì)

第17頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

三、回歸參數(shù)的最大似然估計(jì)

y～N(Xβ,σ2In)似然函數(shù)為等價(jià)于使(y-Xβ)′(y-Xβ)達(dá)到最小,這又完全與OLSE一樣第18頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

例3.1國(guó)際旅游外匯收入是國(guó)民經(jīng)濟(jì)發(fā)展的重要組成部分，影響一個(gè)國(guó)家或地區(qū)旅游收入的因素包括自然、文化、社會(huì)、經(jīng)濟(jì)、交通等多方面的因素，本例研究第三產(chǎn)業(yè)對(duì)旅游外匯收入的影響?！吨袊?guó)統(tǒng)計(jì)年鑒》把第三產(chǎn)業(yè)劃分為12個(gè)組成部分，分別為x1農(nóng)林牧漁服務(wù)業(yè),x2地質(zhì)勘查水利管理業(yè),x3交通運(yùn)輸倉(cāng)儲(chǔ)和郵電通信業(yè),x4批發(fā)零售貿(mào)易和餐飲業(yè),x5金融保險(xiǎn)業(yè),x6房地產(chǎn)業(yè),x7社會(huì)服務(wù)業(yè),x8衛(wèi)生體育和社會(huì)福利業(yè)，x9教育文化藝術(shù)和廣播,x10科學(xué)研究和綜合藝術(shù),x11黨政機(jī)關(guān)，x12其他行業(yè)。采用1998年我國(guó)31個(gè)省、市、自治區(qū)的數(shù)據(jù)，以國(guó)際旅游外匯收入（百萬(wàn)美元）為因變量y，以如上12個(gè)行業(yè)為自變量做多元線性回歸，數(shù)據(jù)見(jiàn)表3.1，其中自變量單位為億元人民幣。第19頁(yè)/共58頁(yè)3.2回歸參數(shù)的估計(jì)

第20頁(yè)/共58頁(yè)3.3參數(shù)估計(jì)量的性質(zhì)

性質(zhì)1

是隨機(jī)向量y的一個(gè)線性變換。性質(zhì)2

是β的無(wú)偏估計(jì)。

第21頁(yè)/共58頁(yè)3.3參數(shù)估計(jì)量的性質(zhì)

第22頁(yè)/共58頁(yè)3.3參數(shù)估計(jì)量的性質(zhì)

當(dāng)p=1時(shí)

第23頁(yè)/共58頁(yè)3.3參數(shù)估計(jì)量的性質(zhì)

性質(zhì)4Gauss-Markov定理預(yù)測(cè)函數(shù)是的線性函數(shù)

Gauss-Markov定理

在假定E(y)=Xβ,D(y)=σ2In時(shí),β的任一線性函數(shù)的最小方差線性無(wú)偏估計(jì)(BestLnearUnbiasedEstimator簡(jiǎn)記為BLUE)為c′,其中c是任一p+1維向量,是β的最小二乘估計(jì)。第24頁(yè)/共58頁(yè)3.3參數(shù)估計(jì)量的性質(zhì)

第一，取常數(shù)向量c的第j（j=0,1,…,n）個(gè)分量為1，其余分量為0，這時(shí)G-M定理表明最小二乘估計(jì)是βj的最小方差線性無(wú)偏估計(jì)。第二，可能存在y1,y2,…,yn的非線性函數(shù)，作為的無(wú)偏估計(jì)，比最小二乘估計(jì)的方差更小。第三，可能存在的有偏估計(jì)量，在某種意義（例如均方誤差最小）下比最小二乘估計(jì)更好。第四，在正態(tài)假定下，是的最小方差無(wú)偏估計(jì)。也就是說(shuō)，既不可能存在y1,y2,…,yn的非線性函數(shù)，也不可能存在y1,y2,…,yn的其它線性函數(shù)，作為的無(wú)偏估計(jì)，比最小二乘估計(jì)方差更小。第25頁(yè)/共58頁(yè)3.3參數(shù)估計(jì)量的性質(zhì)

性質(zhì)5cov（，e）=0此性質(zhì)說(shuō)明與e不相關(guān),在正態(tài)假定下等價(jià)于與e獨(dú)立,從而與獨(dú)立。性質(zhì)6

在正態(tài)假設(shè)(1)(2)第26頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

一、F檢驗(yàn)

H0:β1=β2=…=βp=0SST=SSR+SSE

當(dāng)H0成立時(shí)服從第27頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

一、F檢驗(yàn)

方差來(lái)源自由度平方和均方F值P值回歸殘差總和pn-p-1n-1SSRSSESSTSSR/pSSE/(n-p-1)P(F>F值)=P值第28頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

二、回歸系數(shù)的顯著性檢驗(yàn)

H0j:βj=0,j=1,2,…,p～Ｎ（β,σ２（Ｘ＇X）-1）記(Ｘ＇X)-1=（cij)i,j=0,1,2,…,p構(gòu)造t統(tǒng)計(jì)量

其中第29頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

二、回歸系數(shù)的顯著性檢驗(yàn)（剔除x1)第30頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

二、回歸系數(shù)的顯著性檢驗(yàn)

第31頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

二、回歸系數(shù)的顯著性檢驗(yàn)

從另外一個(gè)角度考慮自變量xj的顯著性。y對(duì)自變量x1,x2,…,xp線性回歸的殘差平方和為SSE，回歸平方和為SSR，在剔除掉xj后，用y對(duì)其余的p-1個(gè)自變量做回歸，記所得的殘差平方和為SSE（j），回歸平方和為SSR（j），則自變量xj對(duì)回歸的貢獻(xiàn)為ΔSSR（j）=SSR-SSR（j），稱為xj的偏回歸平方和。由此構(gòu)造偏F統(tǒng)計(jì)量第32頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

二、回歸系數(shù)的顯著性檢驗(yàn)

當(dāng)原假設(shè)H0j

：βj=0成立時(shí)，（3.42）式的偏F統(tǒng)計(jì)量Fj服從自由度為(1,n-p-1)的F分布，此F檢驗(yàn)與（3.40）式的t檢驗(yàn)是一致的，可以證明Fj=tj2第33頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)

三、回歸系數(shù)的置信區(qū)間可得βj的置信度為1-α的置信區(qū)間為：第34頁(yè)/共58頁(yè)3.4回歸方程的顯著性檢驗(yàn)四、擬合優(yōu)度

決定系數(shù)為：

y關(guān)于x1,x2,…,xp的樣本復(fù)相關(guān)系數(shù)第35頁(yè)/共58頁(yè)3.5中心化和標(biāo)準(zhǔn)化

一、中心化

經(jīng)驗(yàn)回歸方程經(jīng)過(guò)樣本中心將坐標(biāo)原點(diǎn)移至樣本中心，即做坐標(biāo)變換：回歸方程轉(zhuǎn)變?yōu)椋夯貧w常數(shù)項(xiàng)為第36頁(yè)/共58頁(yè)3.5中心化和標(biāo)準(zhǔn)化

二、標(biāo)準(zhǔn)化回歸系數(shù)

當(dāng)自變量的單位不同時(shí)普通最小二乘估計(jì)的回歸系數(shù)不具有可比性，例如有一回歸方程為:其中x1的單位是噸,x2的單位是公斤第37頁(yè)/共58頁(yè)3.5中心化和標(biāo)準(zhǔn)化

二、標(biāo)準(zhǔn)化回歸系數(shù)

樣本數(shù)據(jù)的標(biāo)準(zhǔn)化公式為：得標(biāo)準(zhǔn)化的回歸方程第38頁(yè)/共58頁(yè)3.5中心化和標(biāo)準(zhǔn)化

二、標(biāo)準(zhǔn)化回歸系數(shù)

標(biāo)準(zhǔn)化回歸系數(shù)第39頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

一、樣本相關(guān)陣自變量樣本相關(guān)陣

增廣的樣本相關(guān)陣為：

第40頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

一、樣本相關(guān)陣YX1X2X3X4X5X6X7X8X9X10X11X12Y1.0000.2600.3420.5800.4790.5180.5300.7410.3790.5750.6730.2570.038X10.2601.0000.6400.6910.7380.5820.5190.6630.6910.7190.1500.7580.301X20.3420.6401.0000.7730.6580.5020.4640.6020.6600.6860.1180.7600.337X30.5800.6910.7731.0000.9340.7420.7100.8850.8670.8890.3140.8550.457X40.4790.7380.6580.9341.0000.7800.7430.8870.9260.8920.3480.8490.437X50.5180.5820.5020.7420.7801.0000.9890.7400.7900.8500.6300.7050.515X60.5300.5190.4640.7100.7430.9891.0000.7030.7530.8210.6460.6660.493X70.7410.6630.6020.8850.8870.7400.7031.0000.7810.8340.5410.6490.190X80.3790.6910.6600.8670.9260.7900.7530.7811.0000.9310.4040.9060.548X90.5750.7190.6860.8890.8920.8500.8210.8340.9311.0000.5690.8950.533X100.6730.1500.1180.3140.3480.6300.6460.5410.4040.5691.0000.2410.155X110.2570.7580.7600.8550.8490.7050.6660.6490.9060.8950.2411.0000.613X120.0380.3010.3370.4570.4370.5150.4930.1900.5480.5330.1550.6131.000第41頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

二、偏判定系數(shù)

當(dāng)其他變量被固定后,給定的任兩個(gè)變量之間的相關(guān)系數(shù),叫偏相關(guān)系數(shù)。

偏相關(guān)系數(shù)可以度量p+1個(gè)變量y,x1,x2,xp之中任意兩個(gè)變量的線性相關(guān)程度,而這種相關(guān)程度是在固定其余p-1個(gè)變量的影響下的線性相關(guān)。

第42頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

二、偏判定系數(shù)

偏判定系數(shù)測(cè)量在回歸方程中已包含若干個(gè)自變量時(shí)，再引入某一個(gè)新的自變量后y的剩余變差的相對(duì)減少量，它衡量y的變差減少的邊際貢獻(xiàn)。第43頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

二、偏判定系數(shù)

以x1表示某種商品的銷售量，

x2表示消費(fèi)者人均可支配收入，

x3表示商品價(jià)格。從經(jīng)驗(yàn)上看，銷售量x1與消費(fèi)者人均可支配收入x2之間應(yīng)該有正相關(guān)，簡(jiǎn)單相關(guān)系數(shù)r12應(yīng)該是正的。但是如果你計(jì)算出的r12是個(gè)負(fù)數(shù)也不要感到驚訝，這是因?yàn)檫€有其它沒(méi)有被固定的變量在發(fā)揮影響，例如商品價(jià)格x3在這期間大幅提高了。反映固定x3后x1與x2相關(guān)程度的偏相關(guān)系數(shù)r12；3會(huì)是個(gè)正數(shù)。第44頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

1．兩個(gè)自變量的偏判定系數(shù)二元線性回歸模型為：yi=β0+β1xi1+β2xi2+εi記SSE（x2）是模型中只含有自變量x2時(shí)y的殘差平方和，SSE(x1，x2)是模型中同時(shí)含有自變量x1和x2時(shí)y的殘差平方和。因此模型中已含有x2時(shí)再加入x1使y的剩余變差的相對(duì)減小量為：此即模型中已含有x2時(shí)，y與x1的偏判定系數(shù)。第45頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

1．兩個(gè)自變量的偏判定系數(shù)同樣地，模型中已含有x1時(shí)，y與x2的偏判定系數(shù)為：第46頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

2.一般情況在模型中已含有x2,…,xp時(shí)，y與x1的偏判定系數(shù)為：第47頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

三、偏相關(guān)系數(shù)

偏判定系數(shù)的平方根稱為偏相關(guān)系數(shù)，其符號(hào)與相應(yīng)的回歸系數(shù)的符號(hào)相同。

例3.2

研究北京市各經(jīng)濟(jì)開(kāi)發(fā)區(qū)經(jīng)濟(jì)發(fā)展與招商投資的關(guān)系，因變量y為各開(kāi)發(fā)區(qū)的銷售收入（百萬(wàn)元），選取兩個(gè)自變量，

x1為截至1998年底各開(kāi)發(fā)區(qū)累計(jì)招商數(shù)目，

x2為招商企業(yè)注冊(cè)資本（百萬(wàn)元）。表中列出了至1998年底招商企業(yè)注冊(cè)資本x2在5億至50億元的15個(gè)開(kāi)發(fā)區(qū)的數(shù)據(jù)。第48頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

三、偏相關(guān)系數(shù)

北京開(kāi)發(fā)區(qū)數(shù)據(jù)x1x2yx1x2y253547.79553.967671.13122.2420896.34208.555322863.3214006750.323.175116046410012087.052815.440862.757.55251639.311052.12187672.99224.188253357.73427122901.76538.94120808.47442.82743546.182442.7928520.2770.12第49頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

三、偏相關(guān)系數(shù)

偏相關(guān)系數(shù)表第50頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

三、偏相關(guān)系數(shù)

用y與x1做一元線性回歸時(shí)，x1能消除y的變差SST的比例為再引入x2時(shí)，x2能消除剩余變差SSE（X1）的比例為因而自變量x1和x2消除y變差的總比例為=1-(1-0.651)(1-0.546)=0.842=84.2%。這個(gè)值84.2%恰好是y對(duì)x1和x2二元線性回歸的判定系數(shù)R2第51頁(yè)/共58頁(yè)3.6相關(guān)陣與偏相關(guān)系數(shù)

三、偏相關(guān)系數(shù)

對(duì)任意p個(gè)變量x1,x2,…,xp定義它們之間的偏相關(guān)系數(shù)其中符號(hào)Δij表示相關(guān)陣第i行第j列元素的代數(shù)余子式驗(yàn)證第52頁(yè)/共58頁(yè)3.7本章小結(jié)與評(píng)注

例3.3中國(guó)民航客運(yùn)量的