多元回歸分析總結(jié)分析

1、第十二章 多元回歸分析在許多實(shí)際問題中，影響因變量的因素有一個(gè)時(shí)，我們用一元回歸分析解決問題，但是影響因變量的因素往往有多個(gè)，此時(shí)問題就上升到了一個(gè)因變量同多個(gè)自變量的多元回歸問題。當(dāng)因變量與自變量之間為線性關(guān)系時(shí)，我們稱之為多元線性回歸。多元性性回歸分析的原理同一元線性回歸基本相同，但計(jì)算上要復(fù)雜得多。1、 建立回歸模型 回歸方程 2、 利用最小二乘法對(duì)參數(shù)進(jìn)行估計(jì)參數(shù)包括3、 寫出回歸方程4、 方程擬合優(yōu)度的檢驗(yàn)5、 線性關(guān)系檢驗(yàn)6、 回歸系數(shù)的檢驗(yàn)檢驗(yàn)單個(gè)自變量對(duì)因變量的影響是否顯著，檢驗(yàn)步驟同線性關(guān)系的檢驗(yàn)，檢驗(yàn)過程中可能會(huì)因?yàn)椤岸嘀毓簿€性”問題導(dǎo)致某些自變量無法通過檢驗(yàn)。7、 利用回

2、歸方程進(jìn)行預(yù)測(cè) 利用給定的k個(gè)自變量，求出因變量y的平均值的預(yù)測(cè)區(qū)間和個(gè)別值的預(yù)測(cè)區(qū)間。8、 變量選擇我稱之為“模型的簡化”主要方法 原理：對(duì)統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)，將一個(gè)或一個(gè)以上的自變量引入模型，如果增加一個(gè)自變量會(huì)使得殘差平方和（SSE）明顯減少，則將該自變量留在模型中，否則剔除。9、多重共線性問題 1、產(chǎn)生原因：自變量之間的相關(guān)性 2、檢驗(yàn)方法本章知識(shí)結(jié)構(gòu)如下： 方法一：多重判定系數(shù) 方法二：估計(jì)標(biāo)準(zhǔn)誤差 多 元 回 歸 分 析1) 提出假設(shè)2) 計(jì)算統(tǒng)計(jì)量3) 作出決策 a) 向前選擇b) 向后剔除c) 逐步回歸a) 計(jì)算各對(duì)自變量之間的相關(guān)系數(shù)，并對(duì)各相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)；b) 當(dāng)

3、模型的線性關(guān)系進(jìn)行F檢驗(yàn)顯著時(shí)，幾乎所有回歸系數(shù)的t檢驗(yàn)卻不顯著；c) 回歸系數(shù)與預(yù)期的的相反；主要知識(shí)點(diǎn)：建立的回歸模型中回歸系數(shù)和誤差項(xiàng)分別代表的含義：回歸系數(shù)表示當(dāng)其他 個(gè)自變量不變時(shí)，第個(gè)自變量一個(gè)單位因變量的平均變動(dòng)量；誤差項(xiàng)表示不能由各個(gè)自變量與之間的線性關(guān)系所解釋的變異性。利用軟件用最小二乘法對(duì)參數(shù)進(jìn)行估計(jì)的方法及步驟：在Excel中使用“工具”“數(shù)據(jù)分析” “回歸” 輸入數(shù)據(jù)區(qū)域“確定”，即可得到各參數(shù)的估計(jì)值，此時(shí)便可以寫出回歸方程。擬合優(yōu)度的檢驗(yàn)方法：方法一：多重判定系數(shù) 表示在因變量的總變差中被估計(jì)的回歸方程所解釋的比例； 故越大越好。方法二：估計(jì)標(biāo)準(zhǔn)誤差 表示根據(jù)所建立

4、的回歸方程，用自變量來預(yù)測(cè)因變量時(shí)，平均預(yù)測(cè)誤差的大?。?故越小越好，越小說明波動(dòng)性越小。用軟件進(jìn)行線性關(guān)系檢驗(yàn)的方法：在Excel中，在“工具”“數(shù)據(jù)分析” “回歸” 方差分析一欄中有“SignificanceF”值（即P值），當(dāng)時(shí)，拒絕原假設(shè)；當(dāng)時(shí)，接受原假設(shè)?；貧w系數(shù)的檢驗(yàn)：檢驗(yàn)單個(gè)自變量對(duì)因變量的影響是否顯著，檢驗(yàn)步驟同線性關(guān)系的檢驗(yàn)，檢驗(yàn)過程中可能會(huì)因?yàn)椤岸嘀毓簿€性”問題導(dǎo)致某些自變量無法通過檢驗(yàn)。檢驗(yàn)步驟：第1步：提出假設(shè)。對(duì)于任意參數(shù)有 第2步：計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t。 第3步：做出統(tǒng)計(jì)決策。 給定顯著性水平，根據(jù)自由度=n-k-1查t分布表，得的值。若，則拒絕原假設(shè)；若，則不拒絕原

5、假設(shè)。多重共線性：產(chǎn)生原因：自變量之間的相關(guān)性；檢驗(yàn)方法： 方法一：檢驗(yàn)?zāi)Ｐ椭懈鲗?duì)自變量之間是否顯著相關(guān)，若顯著相關(guān)則暗示存在多重共線性； 方法二：當(dāng)模型的線性關(guān)系檢驗(yàn)（F檢驗(yàn)）顯著時(shí)，幾乎所有回歸系數(shù)的t檢驗(yàn)卻不顯著； 方法三：當(dāng)回歸系數(shù)的正負(fù)號(hào)與預(yù)期的相反時(shí)也預(yù)示著多重共線性的存在；問題的處理：方法一：將一個(gè)或多個(gè)相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)；方法二：如果要在模型中保留所有的自變量，那就應(yīng)該： 避免根據(jù)t統(tǒng)計(jì)量對(duì)單個(gè)參數(shù)進(jìn)行檢驗(yàn)。 對(duì)因變量y值得推斷（估計(jì)或預(yù)測(cè)）限定在自變量樣本值的范圍內(nèi)。利用回歸方程進(jìn)行預(yù)測(cè)：利用給定的k個(gè)自變量，求出因變量y的平均值的預(yù)測(cè)區(qū)間和

6、個(gè)別值的預(yù)測(cè)區(qū)間。變量選擇：原理：對(duì)統(tǒng)計(jì)量進(jìn)行顯著性檢驗(yàn)，將一個(gè)或一個(gè)以上的自變量引入模型，如果增加一個(gè)自變量會(huì)使得殘差平方和（SSE）明顯減少，則將該自變量留在模型中，否則剔除。主要方法：1）向前選擇2）向后剔除3）逐步回歸本章例題  對(duì)于絕大多數(shù)的鋼種而言，磷是有害的元素之一，要求含磷越低越好，經(jīng)過試驗(yàn)技術(shù)人員發(fā)現(xiàn)，高磷鋼的效率與高磷鋼的出鋼量及高磷鋼中的FeO含量有一定關(guān)系, 所測(cè)數(shù)據(jù)如下表：試驗(yàn)序號(hào)出鋼量()含量()效率(y)187.913.282.02101.413.584.03109.820.080.0493.014.288.6588.016.481.56115.314.

7、283.5756.914.973.08103.413.088.09101.014.991.41080.312.981.01196.514.678.012110.615.386.513102.918.283.4設(shè)高磷鋼的效率為y、高磷鋼的出鋼量為、高磷鋼中的FeO含量為用Excel進(jìn)行回歸，回答下面的問題：（1） 寫出估計(jì)的回歸方程。（2） 在高磷鋼的效率的總變差中，被估計(jì)的回歸方程所解釋的比例是多少？（3） 檢驗(yàn)回歸方程的線性關(guān)系是否顯著（）。（4） 檢驗(yàn)各回歸系數(shù)是否顯著（）。（5） 檢驗(yàn)所建立的回歸方程是否存在多重共線性。解：用Excel進(jìn)行回歸分析輸出如下所示：回歸統(tǒng)計(jì)Multiple

8、R0.688844R Square0.474506Adjusted R Square0.369407標(biāo)準(zhǔn)誤差3.846481觀測(cè)值13方差分析dfSSMSFSignificance F回歸分析2133.598166.799074.5148490.040072殘差10147.954214.79542總計(jì)12281.5523Coefficients標(biāo)準(zhǔn)誤差P-valueLower 95%Upper 95%下限 95.0%上限 95.0%Intercept75.143789.4877361.29E-0554.0037996.2837754.0037996.28377出鋼量0.2154850.0745

9、780.0161240.0493140.3816550.0493140.381655FeO含量-0.843210.5484180.155181-2.065160.378745-2.065160.378745（1） 由此可得到高磷鋼的效率與高磷鋼的出鋼量及高磷鋼中的FeO含量的回歸方程：其中回歸系數(shù)表示，在FeO含量不變時(shí)，高磷鋼的效率每增加一個(gè)單位，高磷鋼的出鋼量將增加0.215485個(gè)單位。 表示，在高磷鋼的出鋼量不變時(shí)，高磷鋼的效率每增加一個(gè)單位，F(xiàn)eO含量要降低0.84321個(gè)單位。（2）在回歸統(tǒng)計(jì)一欄中有=0.474506，所以在高磷鋼的效率的總變差中，被估計(jì)的回歸方程所解釋的比例是47.75%。（3）在方差分析一欄中有Significance F（即P值）=0.040072，在的顯著性水平下，有P<,故拒絕原假設(shè)，說明高磷鋼的效率與高磷鋼的出鋼量和高磷鋼中的FeO含量之間存在顯著性的線性關(guān)系。（4）由回歸分析輸出的結(jié)果中的P-value（即P值）一欄可以看出，只有出鋼量對(duì)應(yīng)的回歸系數(shù)通過了檢驗(yàn)。說明在影響高磷鋼的效率的兩個(gè)變量中，只有出鋼量的影響是顯著的，而高磷鋼中的FeO含量則對(duì)高磷鋼的效率沒有顯著性