應用回歸分析--第三章課后習題整理

3 13 1 即即y xy x yn y y 2 1 1 1 1 1 21 11 xn x x 2 22 12 xn x x xnp px px 2 1 p 1 0 n 2 1 基本假定基本假定 1 1 解釋變量 解釋變量x1 x2 xpx1 x2 xp是確定性變量 不是隨機變量 且要求是確定性變量 不是隨機變量 且要求 rank X p 1 n rank X p 1 n 表明設計矩陣表明設計矩陣X X中自變量列之間不相關(guān) 樣本量的個中自變量列之間不相關(guān) 樣本量的個 數(shù)應大于解釋變量的個數(shù)數(shù)應大于解釋變量的個數(shù) 2 2 隨機誤差項具有零均值和等方差 即高斯馬爾柯夫條件隨機誤差項具有零均值和等方差 即高斯馬爾柯夫條件 nE 2 1 0 0 cov 2 n 2 1 3 3 對于多元線性回歸的正態(tài)分布假定條件的矩陣模型為對于多元線性回歸的正態(tài)分布假定條件的矩陣模型為 N N 0 0 隨即向量隨即向量y N Xy N X nI 2 nI 2 3 23 2 當當存在時 回歸參數(shù)的最小二乘估計為存在時 回歸參數(shù)的最小二乘估計為 1 XX T YXXX TT1 要求出回歸參數(shù)要求出回歸參數(shù) 即要求 即要求是一個非奇異矩陣 是一個非奇異矩陣 所以 所以 XX T 0 XX T 可逆矩陣可逆矩陣為為p 1p 1階的滿秩矩陣 又根據(jù)兩個矩陣乘積的秩不大于階的滿秩矩陣 又根據(jù)兩個矩陣乘積的秩不大于XX T 每一因子的秩每一因子的秩rank X rank X p 1 p 1 而而X X為為n n p 1 p 1 階矩陣 于是應有階矩陣 于是應有n n p 1p 1 結(jié)論說明 要想用最小二乘法估計多元線性回歸模型的未知參數(shù) 結(jié)論說明 要想用最小二乘法估計多元線性回歸模型的未知參數(shù) 樣本量樣本量n n必須大于模型自變量必須大于模型自變量p p的個數(shù) 的個數(shù) 3 33 3 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 21 1 222 11 1 2 11 2 11 2 1 2222 22 phHtr pn pn h pn h pn eD pn eEeD pn eE pn eE pn SSE pn EE eneeyySSE n nn nnn nn n 注 3 43 4不不能斷定這個方程一定很理想 因為樣本決定系數(shù)與回歸方程中能斷定這個方程一定很理想 因為樣本決定系數(shù)與回歸方程中 自變量的數(shù)目以及樣本量自變量的數(shù)目以及樣本量n n有關(guān) 當樣本量個數(shù)有關(guān) 當樣本量個數(shù)n n太小 而自變量又太小 而自變量又 較多 使樣本量與自變量的個數(shù)接近時 較多 使樣本量與自變量的個數(shù)接近時 易接近易接近1 1 其中隱藏一些 其中隱藏一些 2 R 虛假成分 虛假成分 3 53 5當接受當接受H H 時 認定在給定的顯著性水平時 認定在給定的顯著性水平下 自變量下 自變量x1 x2 x1 x2 xpxp 0 對因變量對因變量y y無顯著影響 于是通過無顯著影響 于是通過x1 x2 x1 x2 xpxp去推斷去推斷y y也就無多大意也就無多大意 義 在這種情況下 一方面可能這個問題本來應該用非線性模型去義 在這種情況下 一方面可能這個問題本來應該用非線性模型去 描述 而誤用了線性模型 使得自變量對因變量無顯著影響 另一描述 而誤用了線性模型 使得自變量對因變量無顯著影響 另一 方面可能是在考慮自變量時 把影響因變量方面可能是在考慮自變量時 把影響因變量y y的自變量漏掉了 可以的自變量漏掉了 可以 重新考慮建模問題 重新考慮建模問題 當拒絕當拒絕H H 時 我們也不能過于相信這個檢驗 認為這個回歸模型時 我們也不能過于相信這個檢驗 認為這個回歸模型 0 已經(jīng)完美了 當拒絕已經(jīng)完美了 當拒絕H H 時 我們只能認為這個模型在一定程度上說時 我們只能認為這個模型在一定程度上說 0 明了自變量明了自變量x1 x2 x1 x2 xpxp與自變量與自變量y y的線性關(guān)系 這時仍不能排除排除的線性關(guān)系 這時仍不能排除排除 我們漏掉了一些重要的自變量 我們漏掉了一些重要的自變量 3 63 6中心化經(jīng)驗回歸方程的常數(shù)項為中心化經(jīng)驗回歸方程的常數(shù)項為0 0 回歸方程只包含 回歸方程只包含p p個參數(shù)估計個參數(shù)估計 值值比一般的經(jīng)驗回歸方程減少了一個未知參數(shù) 在變量較比一般的經(jīng)驗回歸方程減少了一個未知參數(shù) 在變量較p 21 多時 減少一個未知參數(shù) 計算的工作量會減少許多 對手工計算多時 減少一個未知參數(shù) 計算的工作量會減少許多 對手工計算 尤為重要 尤為重要 在用多元線性回歸方程描述某種經(jīng)濟現(xiàn)象時 由于自變量所用的在用多元線性回歸方程描述某種經(jīng)濟現(xiàn)象時 由于自變量所用的 單位大都不同 數(shù)據(jù)的大小差異也往往很大 這就不利于在同一標單位大都不同 數(shù)據(jù)的大小差異也往往很大 這就不利于在同一標 準上進行比較 為了消除量綱不同和數(shù)量級的差異帶來的影響 就準上進行比較 為了消除量綱不同和數(shù)量級的差異帶來的影響 就 需要將樣本數(shù)據(jù)標準化處理 然后用最小二乘法估計未知參數(shù) 求需要將樣本數(shù)據(jù)標準化處理 然后用最小二乘法估計未知參數(shù) 求 得標準化回歸系數(shù) 得標準化回歸系數(shù) 3 73 7 對對進行中心化處理得進行中心化處理得ppxxxy 22110 再將等式除以因變量的樣再將等式除以因變量的樣 222111pppxxxxxxyy 本標準差本標準差則有則有 yyL y 22 2 11 1 pp yy p yyyyyy xx L xx L xx LL yy pp pp yy ppp yyyyL xx L L L xx L L L xx L L 22 22222 11 11111 2211ppxxx 所以所以 j pj L L yy jjj 2 1 3 83 8 為為相關(guān)陣 相關(guān)陣 第第i i行 第行 第j j列的代數(shù)余子式 列的代數(shù)余子式 ij ij r pp 2211 12 3 12 r 1 1 1 1 1 1 1 1 13 31 22 23 32 11 23 31 21 21 r r r r r r r 1 1 22 1323 312321 rr rrr 3 93 9 F F j 1 1 1 1 1 1 1 1 1 1 1 2 2 2 2 yj yj yj yj j j j j j j j jjj j r r pn r rpn SSESSE SSE SSE SSE pn SSE SSE SSE SSE pn SSE SSE pn SSE SSR pn pn SSE SSR 小于小于1 1 F F 與與一一對應 所以一一對應 所以F F 與與等價等價 2 yj rj 2 yj rj 2 yj r 3 103 10 p pn SSE pn p SSR SSE pn p SSR ppnF F 11 1 1 2 1 1 1 R SST SSR SST SSE SSE SSR SSE SSESSR SSE SSR SSE SSR p pn SSE SSR p pn 證得證得 ppnF F R 1 2 3 113 11 1 1 相關(guān)性相關(guān)性 yx1x2x3 Pearson 相關(guān)性 1 556 731 724 顯著性 雙側(cè) 095 016 018 y N10101010 Pearson 相關(guān)性 5561 113 398 顯著性 雙側(cè) 095 756 254 x1 N10101010 Pearson 相關(guān)性 731 1131 547 顯著性 雙側(cè) 016 756 101 x2 N10101010 Pearson 相關(guān)性 724 398 5471 顯著性 雙側(cè) 018 254 101 x3 N10101010 在 0 05 水平 雙側(cè) 上顯著相關(guān) 2 2 3 3 4 4 5 5 6 6 模型匯總模型匯總 模型 R R 方調(diào)整 R 方 標準 估計的誤 差 1 898a 806 70823 44188 a 預測變量 常量 x3 x1 x2 AnovaAnovab b 模型平方和 df 均方 FSig 回歸 13655 37034551 7908 283 015a 殘差 3297 1306549 522 1 總計 16952 5009 a 預測變量 常量 x3 x1 x2 b 因變量 y 系數(shù)系數(shù)a a 非標準化系數(shù)標準系數(shù) 模型 B 標準 誤差試用版 tSig 常量 348 280176 459 1 974 096 x13 7541 933 3851 942 100 x27 1012 880 5352 465 049 1 x312 44710 569 2771 178 284 a 因變量 y 1回歸方程為回歸方程為 y 348 280 3 754x1 7 101x2 12 447x3 2復相關(guān)系數(shù)復相關(guān)系數(shù)R 0 898 決定系數(shù)為 決定系數(shù)為0 806 擬合度較高 擬合度較高 3方差分析表 方差分析表 F 8 283 P值值 0 015 0 05 表明回歸方程高度顯著 說明 表明回歸方程高度顯著 說明x1 x2 x3 整體上對整體上對 y有高度顯著的線性影響有高度顯著的線性影響 4回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗x1工業(yè)總產(chǎn)值的工業(yè)總產(chǎn)值的P值值 0 100 X2農(nóng)業(yè)總產(chǎn)值的農(nóng)業(yè)總產(chǎn)值的P值值 0 049 X3居民非產(chǎn)品支出的居民非產(chǎn)品支出的P值值 0 284 在在0 1的顯著性水平上 的顯著性水平上 x3未通過檢驗 應將其剔除掉未通過檢驗 應將其剔除掉 輸入 移去的變量輸入 移去的變量b b 模型輸入的變量移去的變量方法 1x2 x1a 輸入 a 已輸入所有請求的變量 b 因變量 y 模型匯總模型匯總 模型 R R 方調(diào)整 R 方 標準 估計的誤 差 1 872a 761 69224 08112 a 預測變量 常量 x2 x1 AnovaAnovab b 模型平方和 df 均方 FSig 回歸 12893 19926446 60011 117 007a 殘差 4059 3017579 900 1 總計 16952 5009 a 預測變量 常量 x2 x1 b 因變量 y 系數(shù)系數(shù)a a 非標準化系數(shù)標準系數(shù) 模型 B 標準 誤差試用版 tSig 常量 459 624153 058 3 003 020 x14 6761 816 4792 575 037 1 x28 9712 468 6763 634 008 系數(shù)系數(shù)a a 模型 非標準化系數(shù)標準系數(shù) tSig B 標準 誤差試用版 1 常量 459 624153 058 3 003 020 x14 6761 816 4792 575 037 x28 9712 468 6763 634 008 a 因變量 y 1回歸方程為回歸方程為 y 459 624 4 676x1 8 971x2 2復相關(guān)系數(shù)復相關(guān)系數(shù)R 0 872 決定系數(shù)為 決定系數(shù)為0 761 由決定系數(shù)看回歸方程接近高度相關(guān) 由決定系數(shù)看回歸方程接近高度相關(guān) 3方差分析表 方差分析表 F 11 117 P值值 0 007 表明回歸方程高度顯著說明 表明回歸方程高度顯著說明x1 x2 整體上對整體上對y有高度有高度 顯著的線性影響顯著的線性影響 4回歸系數(shù)的顯著性檢驗回歸系數(shù)的顯著性檢驗x1工業(yè)總產(chǎn)值的工業(yè)總產(chǎn)值的P值值 0 037 X2農(nóng)業(yè)總產(chǎn)值的農(nóng)業(yè)總產(chǎn)值的P值值 0 008 在在0 05的顯著性水平上的顯著性水平上 自變量自變量x1 x2對對y均有顯著影響均有顯著影響 7 系數(shù)系數(shù)a a 非標準化系數(shù)標準系數(shù)B 的 95 0 置信區(qū)間 模型 B 標準 誤差試用版 tSig 下限上限 常量 459 624153 058 3 003 020 821 547 97 700 x14 6761 816 4792 575 037 3818 970 1 x28 9712 468 6763 634 0083 13414 808 a 因變量 y 8 標準化回歸方程標準化回歸方程y 0 479x1 0 676x2 9 把把x01 75 x02 42帶入帶入y 459 624 4 676x1 8 971x2得得 y 267 86 y置信水平置信水平95 的區(qū)間估計為 的區(qū)間估計為 211 09492 324 57506 y置信水平置信水平95 的近似區(qū)間估計為 的近似區(qū)間估計為 219 6978 316 0222 E y 置信水平置信水平95 的區(qū)間估計為的區(qū)間估計為 245 00541 290 66457 10 由于由于X3的回歸系數(shù)顯著性檢驗未通過 所以居民非商品支出的回歸系數(shù)顯著性檢驗未通過 所以居民非商品支出 對貨運總量影響不大 但是回歸方程整體對數(shù)據(jù)擬合較好 對貨運總量影響不大 但是回歸方程整體對數(shù)據(jù)擬合較好 3 123 12 輸入 移去的變量輸入 移去的變量b b 模型輸入的變量移去的變量方法 1x2 x1a 輸入 a 已輸入所有請求的變量 b 因變量 y 模型匯總模型匯總 模型 R R 方調(diào)整 R 方 標準 估計的誤 差 11 000a 999 9991189 51547 a 預測變量 常量 x2 x1 AnovaAnovab b 模型平方和 df 均方 FSig 回歸 1 809E1029 046E96393 516 000a 殘差 16979364 566121414947 047 1 總計 1 811E1014 a 預測變量 常量 x2 x1 b 因變量 y 系數(shù)系數(shù)a a 非標準化系數(shù)標準系數(shù)共線性統(tǒng)計量 模型 B 標準 誤差試用版 tSig 容差 VIF 常量 2914 6461337 4662 179 050 x1 607 299 0812 034 065 05020 196 1 x21 709 074 921