最新應(yīng)用回歸分析第七章答案

1、第七章 嶺回歸1. 嶺回歸估計(jì)是在什么情況下提出的？ 答：當(dāng)解釋變量間出現(xiàn)嚴(yán)重的多重共線性時(shí)，用 普通最小二乘法估計(jì)模型參數(shù)，往往 參數(shù)估計(jì)方差太大，使普通最小二乘法的效果變得很 不理想，為了解決這一問題，統(tǒng) 計(jì)學(xué)家從模型和數(shù)據(jù)的角度考慮，采用回歸診斷和自變量 選擇來克服多重共線性的影 響，這時(shí)，嶺回歸作為一種新的回歸方法被提出來了。2. 嶺回歸估計(jì)的定義及其統(tǒng)計(jì)思想是什么？ 答：一種改進(jìn)最小二乘估計(jì)的方法叫做嶺估計(jì)。當(dāng)自變量間存在多重共線性，1X'X I"0 時(shí)，我們?cè)O(shè)想給 X'X 加上一個(gè)正常數(shù)矩陣 kIk>0, 那么 X'X+kI 接近奇異的程度小

2、得 多， 考慮到變量的量綱問題，先對(duì)數(shù)據(jù)作標(biāo)準(zhǔn)化，為了計(jì)算方便，標(biāo)準(zhǔn)化后的設(shè)計(jì)陣仍然用 X表示，定義為 ? X'X I X'y ，稱為 的嶺回歸估計(jì)，其中 k 稱 為嶺參數(shù)。3. 選擇嶺參數(shù) k 有哪幾種主要方法？ 答：選擇嶺參數(shù)的幾種常用方法有 1. 嶺跡法， 2. 方差擴(kuò)大因子法，3.由殘差平方和來 確定 k 值。4. 用嶺回歸方法選擇自變量應(yīng)遵從哪些根本原那么？ 答：用嶺回歸方法來選擇變量應(yīng)遵從 的原那么有： 1在嶺回歸的計(jì)算中，我們假定設(shè)計(jì)矩陣 X 已經(jīng)中心化和標(biāo)準(zhǔn)化了，這樣可以直接 比 較標(biāo)準(zhǔn)化嶺回歸系數(shù)的大小，我們可以剔除掉標(biāo)準(zhǔn)化嶺回歸系數(shù)比較穩(wěn)定且絕對(duì)值 很小的

3、自變量。2當(dāng) k 值較小時(shí)標(biāo)準(zhǔn)化嶺回歸系數(shù)的絕對(duì)值并不是很小，但是不穩(wěn)定，隨著k 的增加迅速趨于零。像這樣的嶺回歸系數(shù)不穩(wěn)定 , 震動(dòng)趨于零的自變量，我們也可以予以刪 除。3去掉標(biāo)準(zhǔn)化嶺回歸系數(shù)很不穩(wěn)定的自變量，如果有假設(shè)干個(gè)嶺回歸系數(shù)不穩(wěn)定，究1.000000嶺回竟去掉幾個(gè)，去掉哪幾個(gè)，這并無一般原那么可循，這需根據(jù)去掉某個(gè)變量后重新進(jìn)行 歸分析的效果來確定。5. 對(duì)第5章習(xí)題9的數(shù)據(jù)，逐步回歸的結(jié)果只保存了3個(gè)自變量x1, x2，x5，用y對(duì)這3個(gè)自變量做嶺回歸分析。答：依題意，對(duì)逐步回歸法所保存的三個(gè)自變量做嶺回歸分析程序?yàn)椋篿n clude'C:Program FilesSPS

4、SEVALRidge regressi on. sps'. ridgeregdep=y/e nter x1 x2 x5 /start=0.0/stop=1/i nc=0.01.-1.000000-2.000000RIDG E TR ACE4.0000003.0000002.0000000.000000x1 K x2 K x5 K x1Kx2 Kx5 KK嶺跡圖如下:計(jì)算結(jié)果為:歸系數(shù)的嶺估計(jì)根本穩(wěn)定，重新做嶺回歸。嶺跡圖如下:先取k=0.08語法命令如下：in clude'C:Program FilesSPSSEVALRidge regressio n.sps'.rid

5、gereg dep=y/e nter x1 x2 x5可以看到，變量X1、X2迅速由負(fù)變正，X5迅速減小，在之間各回 /k=0.08.運(yùn)行結(jié)果如下:得到回歸方程為：y? 0.16x i 0.08 x 2 0.06x 3 738.84再取k=0.01語法命令如下：in clude'C:Program FilesSPSSEVALRidge regressi on. sps'. ridgereg dep=y/e nterx1 x2 x5/k=0.01.運(yùn)行結(jié)果：* Ridge Regressio n with k = 0.01 *Mult R .9931857RSquare .986

6、4179Adj RSqu .9840210SE 329.6916494ANOVA tabledf SS MSRegress 3.000 134202141 44733947Residual 17.000 1847841.9 108696.58F value Sig F411.5487845 .0000000Variables in the Equation0.0796x2 + 0.1014x5B SE (B) Beta B/SE (B)X1.0556780.0615651.0981355.9043751x2.0796395.0218437.32912933.6458814x5.1014400.

7、0108941.56210889.3114792Con sta nt 753.3058478 121.7381256 .0000000 6.1879205回歸方程為：從上表可看出，方程通過F檢驗(yàn)，R檢驗(yàn)，經(jīng)查表，所有自變量均通過t檢 驗(yàn)，說明回歸方程通過檢驗(yàn)。從經(jīng)濟(jì)意義上講，X1 農(nóng)業(yè)增加值、X2 工業(yè)增加值X5 社會(huì)消費(fèi)總額 的增加應(yīng)該對(duì)y 財(cái)政收入有正方向的影響，嶺回歸方程中三個(gè)自變量的系 數(shù) 均為正值，與實(shí)際的經(jīng)濟(jì)意義相符。比逐步回歸法得到的方程有合理解釋。6. 對(duì)習(xí)題3.12的 問題，分別用普通最小二乘和嶺回歸建立GDP對(duì)第二產(chǎn)業(yè)增加值x2，和第三產(chǎn)業(yè)增加值 x3的二元線性回歸，解釋所

8、得到的回歸系數(shù)？答：1 普通最小二乘法：Coe fficie nts aModelUn sta ndardized Coefficie ntsStan dardized Coefficie ntstSig.BStd. ErrorBeta1 (Co nsta nt)4352.859679.0656.410.000第二產(chǎn)業(yè)增加值1.438.151.7759.544.000第三產(chǎn)業(yè)增加值.679.244.2262.784.017a. Depe nde nt Variable: GDP根據(jù)上表得到y(tǒng)與x2， x3的線性回歸方程為：y? =4352.859+1.438x2+0.679x3 上式中的回歸系

9、數(shù)得不到合理的解釋.?3的數(shù)值應(yīng)該大于1,實(shí)際上，X3的年增長幅度大于X1和X2的年增長幅度，因此合理的?3的數(shù)值應(yīng)大于1。這個(gè)問 題產(chǎn)生的原因仍然是存在共線性， 所以采用嶺回歸來改進(jìn)這個(gè)問題。2) 嶺回歸法：程序?yàn)椋篿nclude'C:Program FilesSPSSEVALRidge regression.sps'. ridgereg dep=GDP/enter x2 x3/start=0.0/stop=0.5/inc=0.01.根據(jù)嶺跡圖如以下圖可知，?2k和？3k很不穩(wěn)定，但其和大體上穩(wěn)定，說明 x2 和 x3 存在多重共線性。取 k=0.1 ， SPSS 輸出結(jié)果為

10、：Mult R .998145 ， RSquare .996294Adj RSqu .995677 ， SE2364.837767ANOVA tabledf SS MSRegress 2.000 1.80E+010 9.02E+009Residual 12.000 67109492 5592457.7F valueSig F1613.140715.000000Variables in the EquationB SE(B) Beta B/SE(B)x2.907990 .021842 .48906741.571133x31.393800 .035366 .46364939.410560Con s

11、ta nt 6552.305986 1278.903452 .000000 5.123378RIDG E TR AC E0.8000000.700000x2Kx3K0.6000000.5000000.4000000.3000000.200000i11111r0 000000.100000.400000.50000 60000嶺回 歸 系 數(shù)?與 前 面 的 分 析 是吻 合的 ，其 解釋得嶺參數(shù)？k3=O.122時(shí)7,嶺回歸萬程為 y? =65 52 .306+0 是.9當(dāng)08第二X2產(chǎn)+1業(yè).3增93加8值x23保，持不變時(shí)，第三產(chǎn)業(yè)增加值X3每增加1億元GDP增加1.227億元，這 個(gè)解釋

12、是合理的y?7. 一家大型商業(yè)銀行有多家分行，近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的提高，為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)做些定量分析，以便找出控制不良貸款的方法，表7.5是該銀行所屬25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。(1 )計(jì)算y與其余四個(gè)變量的簡(jiǎn)單相關(guān)系數(shù)。2 建立不良貸款 y 對(duì) 4 個(gè)自變量的線性回歸方程，所得的回歸系數(shù)是否合理？ 3 分析回歸模型的共線性。 4 采用后退法和逐步回歸法選擇變量，所得回歸方程的回歸系數(shù)是否合理，是否還 存在共線性？ 5 建立不良貸款 y 對(duì) 4 個(gè)自變量的嶺回歸。 6 對(duì)第 4 步剔除變量后的回歸方程再做嶺回歸

13、。變量 7 某研究人員希望做 y 對(duì)各項(xiàng)貸款余額，本年累計(jì)應(yīng)收貸款 .貸款工程個(gè)數(shù)這三個(gè) 的回歸，你認(rèn)為這種做是否可行，如果可行應(yīng)該如何做？相關(guān)性不良貸款y各項(xiàng)貸款余額x1本年累計(jì)應(yīng)收到款x2貸款工程個(gè)數(shù)x3本年固定資產(chǎn)投資額x4Pears on 相關(guān)性不良貸款y1.000.844.732.700.519各項(xiàng)貸款余額x1.8441.000.679.848.780本年累計(jì)應(yīng)收到款x2.732.6791.000.586.472貸款工程個(gè)數(shù)x3.700.848.5861.000.747本年固定資產(chǎn)投資額x4.519.780.472.7471.000Sig.單側(cè)不良貸款y.000.000.000.00

14、4各項(xiàng)貸款余額x1.000.000.000.000'本年累計(jì)應(yīng)收到款X2.000.000.001.009貸款工程個(gè)數(shù)x3.000.000.001.000本年固定資產(chǎn)投資額x4.004.000.009.000N不良貸款y2525252525各項(xiàng)貸款余額x12525252525本年累計(jì)應(yīng)收到款x22525252525貸款工程個(gè)數(shù)x32525252525本年固定資產(chǎn)投資額x42525252525系數(shù)a模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.共線性統(tǒng)計(jì)量B標(biāo)準(zhǔn)誤差試用版容差VIF1常量-1.022.782-1.306.206各項(xiàng)貸款余額x1.040.010.8913.837.001.1885.331

15、本年累計(jì)應(yīng)收到款x2.148.079.2601.879.075.5291.890貸款工程個(gè)數(shù)x3.015.083.034.175.863.2613.835本年固定資產(chǎn)投資額x4-.029.015-.325-1.937.067.3602.781a.因變量:不良貸款y共線性診斷a方差比例本年固定條件索各項(xiàng)貸款余本年累計(jì)應(yīng)貸款工程個(gè)資產(chǎn)投資模型維數(shù)特征值引常量額x1收到款x2數(shù)x3額x4114.5381.000.01.00.01.00.002.2034.733.68.03.02.01.093.1575.378.16.00.66.01.134.0668.287.00.09.20.36.725.0361

16、1.215.15.87.12.63.05a.因變量:不良貸款y后退法得系數(shù)a模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn)誤差試用版1常量-1.022.782-1.306.206各項(xiàng)貸款余額x1.040.010.8913.837.001本年累計(jì)應(yīng)收到款x2.148.079.2601.879.075貸款工程個(gè)數(shù)x3.015.083.034.175.863本年固定資產(chǎn)投資額x4-.029.015-.325-1.937.0672常量-.972.711-1.366.186各項(xiàng)貸款余額x1.041.009.9144.814.000本年累計(jì)應(yīng)收到款x2.149.077.2611.938.066本年固定資產(chǎn)投資額

17、x4-.029.014-.317-2.006.0583常量-.443.697-.636.531各項(xiàng)貸款余額x1.050.0071.1206.732.000本年固定資產(chǎn)投資額x4-.032.015-.355-2.133.044a.因變量:不良貸款y逐步回歸得系數(shù)a模型非標(biāo)準(zhǔn)化系數(shù)標(biāo)準(zhǔn)系數(shù)tSig.B標(biāo)準(zhǔn)誤差試用版1常量-.830.723-1.147.263各項(xiàng)貸款余額x1.038.005.8447.534.0002常量-.443.697-.636.531各項(xiàng)貸款余額x1.050.0071.1206.732.000本年固定資產(chǎn)投資額x4-.032.015-.355-2.133.044a.因變量:不

18、良貸款yR-SQUARE AND BETA COEFFICIENTS FOR ESTIMATED VALUESOF Kx2 x3 x4K RSQ x1.00000.79760.891313.259817.034471-.324924.05000.79088.713636.286611.096624-.233765.10000.78005.609886.295901.126776-.174056.15000.76940.541193.297596.143378-.131389.20000.75958.491935.295607.153193-.099233.25000.75062.454603.

19、291740.159210-.074110.30000.74237.425131.286912.162925-.053962.35000.73472.401123.281619.165160-.037482.40000.72755.381077.276141.166401-.023792.45000.72077.364000.270641.166949-.012279.50000.71433.349209.265211.167001-.002497.55000.70816.336222.259906.166692.005882.60000.70223.324683.254757.166113.

20、013112.65000.69649.314330.249777.165331.019387.70000.69093.304959.244973.164397.024860.75000.68552.296414.240345.163346.029654.80000.68024.288571.235891.162207.033870.85000.67508.281331.231605.161000.037587.90000.67003.274614.227480.159743.040874.95000.66508.268353.223510.158448.0437871.0000.66022.2

21、62494.219687.157127.046373Run MATRIX procedure:* Ridge Regression with k = 0.4 *Mult R .802353780RSquare .643771588Adj RSqu .611387187SE 2.249999551ANOVA table df SS MSRegress 2.000 201.275 100.638Residual 22.000 111.375 5.062F value Sig F19.87906417 .00001172 Variables in the Equation B SE(B) Beta

22、B/SE(B)x1.025805860 .003933689 .5744623956.560218798x4.004531316 .007867533 .050434658.575951348Constant .357087614 .741566536 .000000000 .481531456 END MATRIX Y 對(duì) x1 x2 x3 做嶺回歸Run MATRIX procedure:* Ridge Regression with k = 0.4 *Mult R .850373821RSquare .723135635Adj RSqu .683583583SE 2.030268037ANOVA table df SS MSRegress 3.000 226.089 75.363Residual 21.000 86.562 4.122F value Sig F18.28313822 .00000456Variables in the Equation -B SE(B) Beta B/SE(B)x1.016739073