線性回歸分析 (2)

1、線性回歸分析1一. 前言回歸分析的目的: 設(shè)法找出變量間的依存(數(shù)量)關(guān)系, 用函數(shù)關(guān)系式表達(dá)出來2二、基本概念1、應(yīng)變量（dependent variable)2、自變量（independent variable）3、一元線性回歸直線回歸方程的模型是：yi=a+bxi+ei其中（）a是截距（）b是回歸系數(shù)(regression coefficient)（回歸直線的斜率） 回歸系數(shù)的統(tǒng)計(jì)學(xué)意義是：自變量每變化一個單位，應(yīng)變量平均變化的單位數(shù)（）ei是殘差3因此直線回歸方程的一般形式是：其中 是應(yīng)變量y的預(yù)測值或稱估計(jì)值。44、多元線性回歸 多元線性回歸方程模型為： yi=b0+b1x1i+b2

2、x2i+bnxni+ei其中 b0是常數(shù)項(xiàng)，是各自變量都等于0時，應(yīng)變量的估計(jì)值。有時，人們稱它為本底值。b1，b2，bn是偏回歸系數(shù)( pertial regression coefficient )，其統(tǒng)計(jì)學(xué)意義是在其它所有自變量不變的情況下，某一自變量每變化一個單位，應(yīng)變量平均變化的單位數(shù)。 如果所有參加分析的變量都是標(biāo)準(zhǔn)化的變量，這時b0就等于0， b1，b2，bn 就變成了標(biāo)準(zhǔn)化偏回歸系數(shù)，用符號b1，b2，bn表示。 bi= bi*sxi/sy 由于bi沒有量綱，因此可以相互比較大小，反映自變量的相對作用大小。 (3) ei是殘差5多元線性回歸方程的一般形式是：其中的符號含義同前。

3、6三、理論假設(shè)自變量x與應(yīng)變量y之間存在線性關(guān)系；正態(tài)性：隨機(jī)誤差（即殘差）e服從均值為 0，方差為的正態(tài)分布；等方差：對于所有的自變量x，殘差e的條件方差為 ，且為常數(shù)；獨(dú)立性：在給定自變量x的條件下，殘差e的條件期望值為0（本假設(shè)又稱零均值假設(shè)）；無自相關(guān)性：各隨機(jī)誤差項(xiàng)e互不相關(guān)；7殘差e與自變量x不相關(guān)：隨機(jī)誤差項(xiàng)e與相應(yīng)的自變量x不相關(guān)；無共線性：自變量x之間相互獨(dú)立8四、回歸方程的建立散點(diǎn)圖奇異點(diǎn)（ouliers）最小二乘法（least square, LS）殘差平方和（sum of squares for residuals）9一元線性回歸時，計(jì)算比較簡單：多元線性回歸時，比較復(fù)

4、雜，一般需要用計(jì)算機(jī)處理。10五、線性回歸的檢驗(yàn)、回歸方程的檢驗(yàn)方差分析法：應(yīng)變量的總變異可分解為回歸平方和(regression sum of squares)：可用線性回歸解釋的部分11剩余平方和(residual sum of squares)：即殘差平方和，不能用線性回歸解釋的部分以上三部分的自由度分別為n-1，m和n-m-1。其中，n為樣本數(shù)，m為自變量數(shù)。方差分析的假設(shè)為一元線性回歸：H0: =0 H1: 0多元線性回歸：H0: 1= 2= m=0H1: 1， 2， m中至少有一個不等于零因此方差分析的結(jié)論是線性回歸方程是否顯著，是否有意義。12、回歸偏回歸系數(shù)的檢驗(yàn) 檢驗(yàn)回歸系數(shù)

5、是否為零，每一個偏回歸系數(shù)是否為零。用t檢驗(yàn)方法。統(tǒng)計(jì)量 自由度結(jié)論：回歸偏回歸系數(shù)是否有意義，是否為零；對應(yīng)的自變量是否有意義。13、常數(shù)項(xiàng)（截距）的檢驗(yàn) 檢驗(yàn)常數(shù)項(xiàng)（截距）是否為零。用t檢驗(yàn)方法。 一元線性回歸：H0: =0 H1: 014多元線性回歸：H0: 0=0 H1: 0015、模型的預(yù)測效果檢驗(yàn) 亦稱回歸模型的擬合優(yōu)度檢驗(yàn)。檢驗(yàn)回歸模型對樣本數(shù)據(jù)的擬合程度。決定系數(shù)（determination coefficient）（ R square）調(diào)整（校正）決定系數(shù)（adjusted R square）復(fù)相關(guān)系數(shù)R （multiple correlation coefficient）1

6、6、線性回歸適用性檢驗(yàn)（）回歸模型殘差的正態(tài)性檢驗(yàn)殘差的直方圖殘差的累積概率圖（P-P圖）（）回歸模型殘差的獨(dú)立性檢驗(yàn)用Durbin-Watson檢驗(yàn)，其參數(shù)稱為Dw或D。D的取值范圍是0D4。其統(tǒng)計(jì)學(xué)意義為：D2，殘差與自變量相互獨(dú)立；D2，殘差與自變量負(fù)相關(guān)。17（）殘差的方差齊性檢驗(yàn) 以上都是對殘差的分析，稱為殘差分析。殘差分析還可以）檢出奇異點(diǎn) ）評判預(yù)測效果。（）共線性診斷共線性（collinearity）共線性的危害共線性的鑒別容差（tolerance）方差膨脹因子（variance inflation factor）18六、自變量的選擇強(qiáng)迫引入法（Enter）強(qiáng)迫剔除法（Remove）前進(jìn)法（Forward） 后退法（Backward）逐步向前法（Forward