應(yīng)用回歸大實(shí)驗(yàn)

1、實(shí) 驗(yàn) 報(bào) 告所屬課程名稱 應(yīng)用回歸分析 實(shí)驗(yàn)時(shí)間 20152016學(xué)年第 一 學(xué)期 所在實(shí)驗(yàn)室 學(xué)14408 yao目錄1.前言32.問題簡(jiǎn)述33.多元線性回歸34.違背基本假設(shè)的情況54.1 異方差性的檢驗(yàn)及處理54.2自相關(guān)的診斷及處理65.自變量的選擇與逐步回歸75.1所有子集回歸75.2前進(jìn)法135.3后退法135.4 逐步回歸法146.多重共線性的情形及其處理156.1 方差擴(kuò)大因子法156.2 特征根分析157.嶺回歸168.總結(jié)17附錄181.前言前幾年全國(guó)各地的房?jī)r(jià)一路攀升，成為了當(dāng)時(shí)經(jīng)濟(jì)生活中的一個(gè)熱點(diǎn)問題，X現(xiàn)在也沒有很好的解決房?jī)r(jià)問題，所以我決定用回歸分析中的方法來了解

2、樓房?jī)r(jià)格。樓房作為一種特殊的商品，在市場(chǎng)上受價(jià)值規(guī)律影響，其價(jià)格主要由商品房本身的價(jià)值決定，且價(jià)格圍繞價(jià)值上下波動(dòng)；當(dāng)商品房供給大于需求時(shí)，其價(jià)格下降，反之其價(jià)格攀升，這是以簡(jiǎn)單價(jià)值規(guī)律的視角得出的結(jié)論，一般來說，一個(gè)地區(qū)的商品房?jī)r(jià)格是由需求、供給等因素決定的。不論供求關(guān)系以及其商品房?jī)r(jià)值本身如何，房?jī)r(jià)的變化讓普通人難以琢磨，不少專家發(fā)表文章稱，房地產(chǎn)市場(chǎng)是國(guó)家經(jīng)濟(jì)走勢(shì)的晴雨表，是宏觀經(jīng)濟(jì)疲軟或者堅(jiān)挺的重要標(biāo)志，這充分說明了房地產(chǎn)市場(chǎng)在國(guó)家經(jīng)濟(jì)生活中的重要性。我選擇了4種可能對(duì)商品房?jī)r(jià)影響的因素（住房竣工面積、商品房銷售面積、建筑業(yè)貸款、個(gè)人住房公積金貸款利率），利用書上的五種方法建立數(shù)學(xué)模型

3、，得出模型，從而更實(shí)際科學(xué)的了解房?jī)r(jià)。2.問題簡(jiǎn)述考慮商品房的平均價(jià)格Y與四個(gè)自變量：住房竣工面積X1、商品房銷售面積X2、建筑業(yè)貸款X3、個(gè)人住房公積金貸款利率X4之間的關(guān)系?，F(xiàn)收集了2003年至2011年共9年的數(shù)據(jù)，對(duì)此數(shù)據(jù)做回歸分析，變量的定義在表1中給出。表1 變量定義變量定義Y平均價(jià)格X1住房竣工面積X2商品房銷售面積X3建筑業(yè)貸款X4個(gè)人住房公積金貸款利率3.多元線性回歸 多元線性回歸模型參數(shù)估計(jì)的任務(wù)有兩項(xiàng)：一是求得反映變量之間的數(shù)量關(guān)系的結(jié)構(gòu)參數(shù)的估計(jì)量，二是求得隨機(jī)誤差項(xiàng)方差的估計(jì)量。表2 Anova模型平方和df均方FSig.1回歸4.47441.11942.368.00

4、2a殘差0.10640.026總計(jì)4.588A.預(yù)測(cè)變量: (常量), x4, x1, x3, x2；B.因變量: y 由表2可知，模型的F值為42.368，P值為0.002，在顯著性水平0.05下，模型顯著。表3 系數(shù)模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn) 誤差試用版1(常量)-4.2750.939-4.5550.01X1-0.0010.002-0.11-0.8310.453X20.0060.0010.6565.330.006X30.0870.020.4264.3790.012X41.030.1980.4895.1990.007 由上表可知，我們可以得到的多元回歸方程為： 由表1可知：SS

5、T=4.580，SSR=4.474，SSE=0.106因此可以得到，即97.686%，R2是判定系數(shù)，R=1說明擬合是完全的，R=0說明Y的變化與X無關(guān)，實(shí)際意義是：在商品房單價(jià)取值的變差中，能被商品房竣工面積、商品房銷售面積、建筑業(yè)貸款、個(gè)人住房公積金貸款利率的多元線性回歸方程所解釋的比例為97.686%。因?yàn)檫@個(gè)數(shù)值非常接近1，說明其擬合度較高。4.違背基本假設(shè)的情況4.1 異方差性的檢驗(yàn)及處理圖1 殘差圖 由上圖可知，Y的觀測(cè)值的方差并不相同，而是隨著X的增加而增加。 表4 相關(guān)系數(shù)X1X2X3X4abseSpearman 的 rhoX1相關(guān)系數(shù)10.533.683*-0.455-0.2

6、33Sig.（雙側(cè)）.0.1390.0420.2190.546N99999X2相關(guān)系數(shù)0.53310.4330.009-0.6Sig.（雙側(cè)）0.139.0.2440.9820.088N99999X3相關(guān)系數(shù).683*0.4331-0.3760.033Sig.（雙側(cè)）0.0420.244.0.3190.932N99999X4相關(guān)系數(shù)-0.4550.009-0.3761-0.358Sig.（雙側(cè)）0.2190.9820.319.0.343N99999abse相關(guān)系數(shù)-0.233-0.60.033-0.3581Sig.（雙側(cè)）0.5460.0880.9320.343.N99999由上表可知，計(jì)算丨

7、e丨與Xi的等級(jí)相關(guān)系數(shù)分別為：-0.233，-0.6，0.033，-0.358；Xi的P值都大于0.05，所以不能構(gòu)造權(quán)函數(shù)，不存在異方差。 4.2自相關(guān)的診斷及處理圖2 散點(diǎn)圖 從上圖可知，繪制et，t的散點(diǎn)圖，點(diǎn)都比較散亂，表明隨機(jī)擾動(dòng)項(xiàng)不存在序列相關(guān)。 表5 模型匯總模型RR 方調(diào)整 R 方標(biāo)準(zhǔn) 估計(jì)的誤差Durbin-Watson1.988a0.9770.9540.162481.844 由上表可知，DW值為1.844，所以認(rèn)為沒有有自相關(guān)，這與圖示檢驗(yàn)法的結(jié)果相同。 5.自變量的選擇與逐步回歸5.1所有子集回歸在此回歸建模中，有4個(gè)可供選擇得變量X1，X2，X3，X4由于每個(gè)自變量都

8、有入選和不入選兩種情況，因此Y關(guān)于這些變量的所有可能回歸方程就有24-1=15個(gè)。關(guān)于自變量選擇有3個(gè)準(zhǔn)則。準(zhǔn)則1：自由度調(diào)整復(fù)決定系數(shù)達(dá)到最大；準(zhǔn)則2：赤池信息量AIC達(dá)到最小；準(zhǔn)則3：Cp統(tǒng)計(jì)量達(dá)到最小。計(jì)算公式如下： 其中，SSEp為選模型的殘差平方和，SSEm為全模型的殘差平方和。由此，我們用R編程如下所示：france=read.table('clipboard') #自變量子集X1，X2，X3，X4> n=9;m=4;p=4> lm.sol=lm(V2V3+V4+V5+V6,data=france)> attach(france)>y=lm.

9、sol$coef1+V3*lm.sol$coef2+V4*lm.sol$coef3+V5*lm.sol$coef4+V6*lm.sol$coef5> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssem=sum(y-mean(V2)2)> Cp=(n-m-1)*1-n+2*p> R2;Ra2;AIC;Cp1 0.97694151 0.9538831 21.484941 3> n=9;m=4;p=3 #

10、自變量子集X1，X2，X3> lm.sol=lm(V2V3+V4+V5,data=france)> y=lm.sol$coef1+V3*lm.sol$coef2+V4*lm.sol$coef3+V5*lm.sol$coef4> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;C

11、p1 0.82112941 0.7138071 17.921231 0.3620411> n=9;m=4;p=3 #自變量子集X1，X2，X4> lm.sol=lm(V2V3+V4+V6,data=france)> y=lm.sol$coef1+V3*lm.sol$coef2+V4*lm.sol$coef3+V6*lm.sol$coef4> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum

12、(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.86638631 0.78621811 18.404081 0.5473417> n=9;m=4;p=3 #自變量子集X1，X3，X4> lm.sol=lm(V2V3+V5+V6,data=france)> y=lm.sol$coef1+V3*lm.sol$coef2+V5*lm.sol$coef3+V6*lm.sol$coef4> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/

13、(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.81317421 0.70107871 17.833611 0.3294692> n=9;m=4;p=3 #自變量子集X2，X3，X4> lm.sol=lm(V2V4+V5+V6,data=france)> y=lm.sol$coef1+V4*lm.sol$coef2+V5*lm.sol$coef3+V6*lm.sol$co

14、ef4> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.9729591 0.95673441 19.448181 0.983694> n=9;m=4;p=2 #自變量子集X1，X2> lm.sol=lm(V2V3+V4,data=france)> y=lm.

15、sol$coef1+V3*lm.sol$coef2+V4*lm.sol$coef3> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.75028721 0.66704961 15.109211 -1.928016> n=9;m=4;p=2 #自變量子集X1，X3>

16、lm.sol=lm(V2V3+V5,data=france)> y=lm.sol$coef1+V3*lm.sol$coef2+V5*lm.sol$coef3> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.27954191 0.039389161 6.2234691 -

17、3.855441> n=9;m=4;p=2 #自變量子集X1，X4> lm.sol=lm(V2V3+V6,data=france)> y=lm.sol$coef1+V3*lm.sol$coef2+V6*lm.sol$coef3> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;A

18、IC;Cp1 0.70658771 0.60878361 14.569131 -2.106939> n=9;m=4;p=2 #自變量子集X2，X3> lm.sol=lm(V2V4+V5,data=france)> y=lm.sol$coef1+V4*lm.sol$coef2+V5*lm.sol$coef3> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)>

19、 Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.76724141 0.68965521 15.310311 -1.858598> n=9;m=4;p=2 #自變量子集X2，X4> lm.sol=lm(V2V4+V6,data=france)> y=lm.sol$coef1+V4*lm.sol$coef2+V6*lm.sol$coef3> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean

20、(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.85879881 0.81173171 16.324911 -1.483725> n=9;m=4;p=2 #自變量子集X3，X4> lm.sol=lm(V2V5+V6,data=france)> y=lm.sol$coef1+V5*lm.sol$coef2+V6*lm.sol$coef3> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)

21、/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.71903831 0.62538441 14.726331 -2.055962> n=9;m=4;p=1 #自變量子集X1> lm.sol=lm(V2V3,data=france)> y=lm.sol$coef1+V3*lm.sol$coef2> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)

22、2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.25128281 0.14432321 3.264311 -5.971145> n=9;m=4;p=1 #自變量子集X2> lm.sol=lm(V2V4,data=france)> y=lm.sol$coef1+V4*lm.sol$coef2> R2=sum(y-mean(V2)2

23、)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.73950371 0.70228991 12.978911 -3.972168> n=9;m=4;p=1 #自變量子集X3> lm.sol=lm(V2V5,data=france)> y=lm.sol$coef1+V5*lm.sol$coef2>

24、R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.18898191 0.073122171 0.69996171 -6.22623> n=9;m=4;p=1 #自變量子集X4> lm.sol=lm(V2V6,data=france)> y=lm.sol$coef1+V

25、6*lm.sol$coef2> R2=sum(y-mean(V2)2)/sum(V2-mean(V2)2)> Ra2=1-(n-1)/(n-p-1)*(1-R2)> AIC=n*log(sum(y-mean(V2)2)+2*p> ssep=sum(y-mean(V2)2)> Cp=(n-m-1)*ssep/ssem-n+2*p> R2;Ra2;AIC;Cp1 0.33359921 0.2383991 5.8145621 -5.634108對(duì)統(tǒng)計(jì)量列表，如下表所示：自變量子集R2R2aAICCpX10.25128280.14432323.26431-5.971

26、145X20.73950370.702289912.97891-3.972168X30.18898190.073122170.6999617-6.22623X40.33359920.2383995.814562-5.634108X1，X20.75028720.667049615.10921-1.928016X1，X30.27954190.039389166.223469-3.855441X1，X40.70658770.608783614.56913-2.106939X2，X30.76724140.689655215.31031-1.858598X2，X40.85879880.811731716

27、.32491-1.483725X3，X40.71903830.625384414.72633-2.055962X1，X2，X30.82112940.71380717.921230.3620411X1，X2，X40.86638630.786218118.404080.5473417X1，X3，X40.81317420.701078717.833610.3294692X2，X3，X40.9729590.956734419.448180.983694X1，X2，X3，X40.97694150.95388321.484943由上表可知，綜合以上三個(gè)準(zhǔn)則，我們選X2，X3，X4為我們的最優(yōu)子集，得到回歸

28、方程為： 5.2前進(jìn)法表9 Anova模型平方和df均方FSig.1回歸3.38713.38719.872.003a殘差1.19370.17總計(jì)4.588表10 系數(shù)模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn) 誤差試用版1(常量)0.9510.3242.9310.022X30.0080.0020.864.4580.003 從上面兩個(gè)表格，我們可以得到的最優(yōu)模型為： 5.3后退法表11 Anova模型平方和df均方FSig.1回歸4.47441.11942.368.002a殘差0.10640.026總計(jì)4.5882回歸4.45631.48559.968.000b殘差0.12450.025總計(jì)4.5

29、88表12 系數(shù)模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn) 誤差試用版1(常量)-4.2750.939-4.5550.01X1-0.0010.002-0.11-0.8310.453X20.0060.0010.6565.330.006X30.0870.020.4264.3790.012X41.030.1980.4895.1990.0072(常量)-4.540.855-5.3080.003X20.0050.0010.5856.8520.001X30.080.0170.3914.5940.006X41.0930.1770.5196.1680.002從上表可知，得到最優(yōu)模型為： 可見與子集分析的模型相同

30、。 5.4 逐步回歸法表13 Anova模型平方和df均方FSig.1回歸3.38713.38719.872.003a殘差1.19370.17總計(jì)4.588表14 系數(shù)模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn) 誤差試用版1(常量)0.9510.3242.9310.022X20.0080.0020.864.4580.003從上表可知，得到最優(yōu)模型為： 6.多重共線性的情形及其處理6.1 方差擴(kuò)大因子法表15 系數(shù)模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn) 誤差試用版容差VIF1(常量)-4.2750.939-4.5550.01X1-0.0010.002-0.11-0.8310.4530

31、.3293.043X20.0060.0010.6565.330.0060.382.631X30.0870.020.4264.3790.0120.611.64X41.030.1980.4895.1990.0070.6511.536 由上表可知，X1，X2,X3,X4的方差擴(kuò)大因子都不是很大，VIF均沒有超過10，說明多重共線性弱或者不存在嚴(yán)重的多重共線性。 6.2 特征根分析表16 共線性診斷模型維數(shù)特征值條件索引方差比例(常量)X1X2X3X4114.74410000020.1525.58900.080.150.01030.0748.00200.170.340.17040.02813.060.

32、010.60.230.750.0150.00252.0430.990.140.270.070.98 由表16可知，最大的條件數(shù)等于52.043，說明自變量間存在較強(qiáng)的多重共線性，這與方差擴(kuò)大因子法的結(jié)果一致，表中第5行常量，X4的系數(shù)分別為0.99,0.98，說明常量與X4之間存在較強(qiáng)的多重共線性；表中第4行X1，X3的系數(shù)分別為0.6,0.75，說明X1，X3之間存在多重共線性。綜合兩種方法，我們剔除X1。表17 系數(shù)模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn) 誤差試用版容差VIF1(常量)-4.540.855-5.3080.003X20.0050.0010.5856.8520.0010.7421.348X30.080.0170.3914.5940.0060.7461.341X41.0930.1770.5196.1680.0020.7631.31 由上表可知，方差擴(kuò)大因子都接近1.3，說明已經(jīng)不存在強(qiáng)多重共線性，可以作為最終回歸模型?；貧w模型為： 7.嶺回歸用R編程如下所示：> france=read.table(