回歸分析課程設(shè)計1

1、 課 程 設(shè) 計 報 告 課程名稱 應(yīng)用回歸分析 實驗學(xué)期 2021 年至 2021 年 第 二 學(xué)期所在學(xué)院 理學(xué)院 年級 專業(yè)班級 學(xué)生姓名 學(xué)號 自評成績 教師評成績 學(xué)生姓名 學(xué)號 自評成績 教師評成績 學(xué)生姓名 學(xué)號 自評成績 教師評成績 學(xué)生姓名 學(xué)號 自評成績 教師評成績 學(xué)生姓名 學(xué)號 自評成績 教師評成績 指導(dǎo)教師 目錄前言.3問題簡述.3多元線性回歸.4違背根本假設(shè)情況.74.1 多元加權(quán)最小二乘估計.74.2 自相關(guān)性問題及其處理.8自變量選擇與逐步回歸.125.1 所有子集回歸.12 最優(yōu)Ra2法.125.1.2 最優(yōu)Cp法.125.2 逐步回歸.135.2.1 前進法

2、.135.2.2 后退法.145.2.3 逐步回歸法.17多重共線性的情形及其處理.186.1 多重共線性的診斷.186.1.1 方差擴大因子法.186.1.2 特征根判定法.19消除多重共線性.196.3 主成分回歸.23嶺回歸.248含定性變量的回歸模型.28自變量中含有定性變量的回歸模型的應(yīng)用.288.2 Logistic回歸模型.348.3 Probit回歸模型. 359. 總結(jié).36前言本文以“汽車耗油量消耗因素的數(shù)據(jù)為載體，在SPSS軟件環(huán)境下，驗證及梳理了?應(yīng)用回歸分析?中的數(shù)據(jù)分析方法和實驗原理。本文主要利用了多元線性回歸、最小二乘法估計、逐步回歸、多重共線性診斷及消除、嶺回歸

3、分析、定性變量回歸等一系列的方法對數(shù)據(jù)進展處理，通過在實踐中學(xué)習(xí)、學(xué)習(xí)中相互促進討論，到達(dá)加深學(xué)生對?應(yīng)用回歸分析?的理解，提高學(xué)生對相關(guān)統(tǒng)計軟件的應(yīng)用能力的效果。問題簡述為研究決定汽車的汽油消耗的因素，收集了30種型號的汽車數(shù)據(jù)。其中包括每輛汽車的汽油消耗量Y，以英里/加侖為單位，以及另外11個反映物理、機械特征的變量，如下表中數(shù)據(jù)的來源是1975年的Motor Trend雜志，變量的定義在表1中給出。表1 變量定義變量定義Y英里/加侖X1排氣量立方英寸X2馬力X3扭矩英尺.磅X4壓縮比X5后軸動力比X6化油器筒形X7變速檔數(shù)X8整體長度英寸X9寬度英寸X10重量磅X11傳動類型1=自動，0

4、=手動多元線性回歸通過軟件運行的增廣相關(guān)矩陣，如表2：表2 增廣相關(guān)矩陣由相關(guān)系數(shù)矩陣可以看出，因變量Y耗油量與自變量X1排氣量, X2馬力, X3扭矩, X6化油器, X8整體長度, X9寬度, X10重量, X11傳動類型呈現(xiàn)負(fù)相關(guān)，與X4壓縮比，X5后軸動力比，X7變速檔數(shù)呈現(xiàn)正相關(guān)。這與實際情況相符。回歸分析結(jié)果：表3 最小二乘回歸分析結(jié)果通過回歸分析表，我們可以知道回歸方程高度顯著。但同時發(fā)現(xiàn)沒有一個數(shù)據(jù)對因變量Y有顯著性影響，故使用后退法逐一剔除變量。首先剔除X11，用Y與其余10個自變量作回歸，輸出結(jié)果：表4 剔除x11回歸分析表剔除X11后，其余自變量的顯著性都發(fā)生了不同程度的

5、變化，但仍然沒有自變量通過檢驗，故繼續(xù)剔除變量，剔除X6，輸出結(jié)果：表5 剔除x6回歸分析表剔除X4：表6 剔除x6回歸分析表可以發(fā)現(xiàn)，此時已有自變量能通過檢驗，再一次剔除其余變量，最終方程中保存X8，X10，輸出結(jié)果：表7 最終回歸分析表得回歸方程為：Y=16.185+0.213X8-0.01X10再根據(jù)公式：Xij*=Xij-XjLjjYi*=Yi-YLYYj*=LjjLYYj對數(shù)據(jù)進展處理，回歸輸出結(jié)果：表8 標(biāo)準(zhǔn)化回歸分析表可得出標(biāo)準(zhǔn)化回歸方程：Y*=0.714X8*-1.535X10*4違背根本假設(shè)情況4.1 多元加權(quán)最小二乘估計首先得到等級相關(guān)系數(shù)：表9 等級相關(guān)系數(shù)得等級相關(guān)系數(shù)

6、re8=-0.161，re10=-0.209，因而選X8構(gòu)造權(quán)函數(shù)，輸出結(jié)果：表10 加權(quán)最小二乘分差分析根據(jù)以上結(jié)果，在m=-2時，對數(shù)擬然函數(shù)到達(dá)極大，因而冪指數(shù)m的最優(yōu)取值為m=-2。加權(quán)最小二乘的R2=0.745，F(xiàn)值；而普通最小二乘的R2=0.771，F(xiàn)值。所以，普通最小二乘法的擬合效果優(yōu)于加權(quán)最小二乘法。最小二乘法回歸方程：Y=15.556+0.201X8-0.009X104.2 自相關(guān)性問題及其處理相關(guān)性檢驗：根據(jù)輸出結(jié)果，略小于2，故可認(rèn)為存在相關(guān)性。1)用迭代法消除自相關(guān)。根據(jù)公式：=1-12DW=0.053故有：yt=yt-0.053yt-1xt=xt-0.053xt-1得

7、到數(shù)據(jù)組：表11 迭代法數(shù)據(jù)組根據(jù)以上數(shù)據(jù)計算作最小二乘，輸出結(jié)果：表12 迭代法回歸分析根據(jù)輸出結(jié)果，相關(guān)性依然沒有被消除。2)一階差分法計算差分：yt=yt-yt-1，xt=xt-xt-1差分結(jié)果：表13 一階差分法數(shù)據(jù)組根據(jù)以上數(shù)據(jù)計算作最小二乘，輸出結(jié)果：表13 一階差分法回歸結(jié)果由輸出結(jié)果可以看到，一階差分仍然沒有消除自相關(guān)性。3)準(zhǔn)確最大似然法表14 準(zhǔn)確最大似然法回歸結(jié)果4)科克倫奧克特法表15 科克倫奧克特法回歸結(jié)果5)普萊斯溫斯登法表16 普萊斯溫斯登法回歸結(jié)果根據(jù)上面輸出的一系列結(jié)果，我們認(rèn)為普萊斯溫斯登法消除差分結(jié)果效果最正確。5.自變量選擇與逐步回歸5.1 所有子集回歸

8、 最優(yōu)Ra2法通過SAS輸出結(jié)果：由輸出結(jié)果可知，最優(yōu)子集為x5，x8，x10，Ra2=0.7804。 5.1.2 最優(yōu)Cp法通過SAS輸出結(jié)果：由輸出結(jié)果可知，最優(yōu)子集為x5，x8，x10，Cp=-0.5769。5.2 逐步回歸5.2.1 前進法取顯著性水平為：表17 前進法輸出結(jié)果由上面的結(jié)果可以得出，前進法引入了 最優(yōu)的回歸模型是復(fù)決定系數(shù)調(diào)整的復(fù)決定系數(shù)為，而全模型的復(fù)決定系數(shù)，調(diào)整的復(fù)決定系數(shù)為。 .2 后退法：取顯著性水平表18 后退法輸出結(jié)果由上面的結(jié)果可以得出，模型1是全模型，從模型2到模型9依次剔除變量，故最優(yōu)的回歸模型是復(fù)決定系數(shù)，調(diào)整的復(fù)決定系數(shù)為，而全模型的復(fù)決定系數(shù)，

9、調(diào)整的復(fù)決定系數(shù)為。 5.2.3 逐步回歸法：取顯著性水平為：表19 逐步回歸法輸出結(jié)果由上面的結(jié)果可以得出，逐步回歸法的最優(yōu)回歸子集為模型2，回歸方程是逐步回歸的選元過程為第一步引入；第二步引入。復(fù)決定系數(shù)，調(diào)整的復(fù)決定系數(shù)為，而全模型的復(fù)決定系數(shù)，調(diào)整的復(fù)決定系數(shù)為。 6.多重共線性的情形及其處理6.1 多重共線性的診斷 方差擴大因子法表20 方差擴大因子法方差分析從輸出結(jié)果1看到，x1,x2,x3,x7,x8,x10的方差擴大因子均大于10，分別為VIF1=129,VIF2=43.996,VIF3=161.185,VIF7=11.748,VIF8=20.507,VIF10=85.570,

10、說明回歸方程存在著嚴(yán)重的多重共線性。6.1.2 特征根判定法表21 方差擴大因子法方差分析特征根分析：從輸出結(jié)果2可以看到，矩陣XX有多個特征根接近于零，說明X有多個多重共線性關(guān)系。條件數(shù)：從條件數(shù)看到，最大的條件數(shù)，說明自變量間存在嚴(yán)重的多重共線性，這與方差擴大因子法的結(jié)果一致。從Variance Proportions方差比例表可以看到，第11行x4,x8,x10同時較大，為，說明x4,x8,x10存在多重共線性。消除多重共線性 從表20看到，回歸系數(shù)沒能通過顯著性檢驗，應(yīng)先作自變量的選元，舍去一些變量。依次把P值最大的自變量剔除，再建立回歸方程。表22 消除多重共線性回歸分析根據(jù)表22，

11、依次剔除變量x11,x6,x4,x7,x1,x9,x2,x3。然后得：剩下變量x5,x8,x10。表23多重共線性顯著性檢驗表x5的系數(shù)的P值為，沒能通過顯著性檢驗，剔除。剩下x8,x10.在只剩下變量x8,x10的情況下，回歸方程與回歸系數(shù)均通過了顯著性檢驗，但是x8,x10的方差擴大因子VIF8=VIF10=11.48010,條件數(shù)k3=67.41610,說明x8與x10仍存在較強的多重共線性。下面分別建立y對x8,x10的一元線性回歸。得y對x8的回歸方程1：y=63.138-0.224x8決定系數(shù)R得y對x10的回歸方程2：y=40.618-0.006x10決定系數(shù)R所以回歸方程2比回

12、歸方程1擬合得更好。最終的回歸模型為y=40.618-0.006x10標(biāo)準(zhǔn)化回歸方程為y*=-0.853x10*6.3 主成分回歸表24 輸出結(jié)果 根據(jù)表24，結(jié)果中有11個主成分的特征值Eigenvalues)，最大的是1=7.705，最小的是 11=0.003。方差百分比反映主成分所能解釋數(shù)據(jù)變異的比例，也就是包含原數(shù)據(jù)的信息比例。第一個主成分Factor1的方差百分比=70.049%，含有原始11個變量70%的信息量；前4個主成分累計含有原始11個變量近95%的信息量。因此取四個主成分已經(jīng)足夠了。 現(xiàn)在用y對前4個主成分Factor1,Factor2,Factor3,Factor4做普通

13、最小二乘回歸，得主成分回歸的回歸方程： y=20.043-5.439Factor1+0.062Factor2-0.299Factor3+0.241Factor4不過以上回歸方程的自變量是用四個主成分Factor1,Factor2,Factor3和Factor4表示的，應(yīng)該轉(zhuǎn)換回到用原始自變量表示的回歸方程。 分別用四個主成分Factor1,Factor2,Factor3和Factor4做因變量，以11個原始自變量為自變量做線性回歸，所得的回歸系數(shù)就是所需要的線性組合的系數(shù)。這個回歸中殘差為0，這是因為主成分就是原始自變量的線性組合，是確定的函數(shù)關(guān)系，所做的回歸相當(dāng)于解一個線性方程組。得到Fac

14、tor1=-1.434+0.001x1+0.003x2+0.002x3-0.209x4-0.182x5+0.069x6-0.166x7+0.006x8+0.019x9+0.250 x11Factor2=-20.200+0.001x1+0.005x2+0.001x3+1.694x4+0.549x5+0.432x6+0.451x7+0.003x8-0.001x9-0.342x11Factor3=-10.987-0.002x2-0.001x3-0.469x4+0.936x5-0.443x6+0.379x7+0.020 x8+0.109x9 -0.607x11Factor4=-29.540-0.006

15、x2+3.733x4-0.879x5-0.470 x6-0.276x7+0.011x8+0.022x9+0.358x11復(fù)原后的主成分回歸方程為：y=22.756099-0.005377x1-0.016855x2-0.010579x3+2.281663x4+0.532233x5+0.202913x6+0.750999x7+0.715222x8+0.58453x9-1.113183x11 7. 嶺回歸嶺回歸是針對出現(xiàn)多重共線性時，普通最小二乘法明顯變壞的問題的一種改良的最小二乘估計方法。嶺回歸計算程序是SPSS軟件的附加功能，需要用語法命令實現(xiàn)，菜單對話框中沒有此功能。語法命令：Include

16、spss安裝地址。根據(jù)樣本數(shù)據(jù)，用SPSS計算XX的11個特征根，其中后兩個都很接近于0.表25 共線性診斷而且，說明設(shè)計矩陣X含較嚴(yán)重的多重共線性。2關(guān)于嶺參數(shù)k的選擇，有三個方法：嶺跡法，方差擴大因子法，由殘差平方和來確定K值。根據(jù)嶺跡分析，把11個回歸系數(shù)的嶺跡繪成圖1：圖1從圖中我們看到當(dāng)時，嶺跡大體上到達(dá)穩(wěn)定。3用嶺回歸選擇變量，原那么：剔除標(biāo)準(zhǔn)嶺回歸系數(shù)比擬穩(wěn)定且決定值很小的自變量；剔除標(biāo)準(zhǔn)化嶺回歸系數(shù)不穩(wěn)定，震動趨向于零的自變量；剔除標(biāo)準(zhǔn)化嶺回歸系數(shù)很不穩(wěn)定的自變量。根據(jù)原那么1，首先剔除x4,x6,x11，得到嶺跡圖：圖2由于x1,x3當(dāng)k從0略增加時，很快趨于0所以亦應(yīng)剔除，

17、得到嶺跡圖：圖3再根據(jù)原那么1剔除x2,x7,x9, 得到嶺跡圖如下：圖4最后根據(jù)原那么1把x5剔除，得到嶺跡圖如下：圖5由上圖可知，嶺參數(shù)k在附近趨于穩(wěn)定，于是去重新作嶺回歸，得到表26：表26得到y(tǒng)對x8,x10的標(biāo)準(zhǔn)化嶺回歸方程為：y=5.38819+0.79774x8-5.72341x10未標(biāo)準(zhǔn)化嶺回歸方程為：y*=35.06028+0.0386x8*-0.0062x10*8含定性變量的回歸模型自變量中含有定性變量的回歸模型的應(yīng)用考慮含有交互效應(yīng)的回歸模型檢驗結(jié)果如下：表27 交互效應(yīng)回歸分析從上表上我們可以看出被直接排除了；又的、的，故剔除、重新作模型擬合。表28 剔除x8,x102

18、回歸分析由上面分析我們可以看出，這次的模型擬合效果很好，所以模型可以認(rèn)為是只考慮y耗油量 與整體長度：圖6由圖6，我們可以看出當(dāng)時，汽油消耗量明顯降低。因此，我們考慮由兩段構(gòu)成的分段線性回歸，這可以通過引入一個01型自變量實現(xiàn)。假定回歸直線的斜率在=165處改變，建立回歸模型來擬合，其中為了更清楚起見，引入兩個新的自變量，有 。這樣回歸模型轉(zhuǎn)化為標(biāo)準(zhǔn)形式的二元線性回歸模型 1所以回歸模型1可以分解為兩個線性回歸方程：當(dāng)時， 當(dāng)時， 用普通最小二乘法擬合模型1表29 普通最小二乘擬合1所以其回歸方程為利用此模型可說明整體長度小于165時，每增加一個單位長度，單位耗油量降低英里/加侖，當(dāng)整體長度大

19、于165時，每增加一個單位長度，單位耗油量降低-1.416+1.239=英里/加侖.另外，我們直接對y 和做一元線性回歸，有表30 對y和x8的回歸分析，明顯比分段函數(shù)的差 其回歸方程為上式說明，整體長度每增加1單位，耗油量減少同理我們也可以考慮y 與重量的關(guān)系：圖7由圖7可知，2500為分界限。建立回歸模型來擬合，其中為了更清楚起見，引入兩個新的自變量，有 。這樣回歸模型轉(zhuǎn)化為標(biāo)準(zhǔn)形式的二元線性回歸模型 2所以回歸模型1可以分解為兩個線性回歸方程：當(dāng)時， 當(dāng)時， 用普通最小二乘法擬合模型2表31 普通最小二乘法擬合2復(fù)決定系數(shù),擬合效果不錯，擬合的回歸方程為：利用此模型可說明重量小于2500時，每增加1個單位重量，耗油量降低英里/加侖；當(dāng)重量大于2500時，每增加一個單位重量，耗油量降低英里/加侖。另外，我們直接對y 和做一元線性回歸表