統(tǒng)計(jì)學(xué)-回歸分析

第六章回歸分析（RegressionAnalysis）

第六章回歸分析第六章回歸分析

“回歸”一詞是英國(guó)著名統(tǒng)計(jì)學(xué)家FrancisGalton在19世紀(jì)末期研究孩子與其父母身高之間的關(guān)系時(shí)提出來(lái)的。Galton發(fā)現(xiàn)身材高的父母其孩子也高，但這些孩子平均起來(lái)并不像他們的父母那樣高；身材矮的父母其孩子也比較矮，但這些孩子的平均身高要比他們父母的平均身高高。Galton把這種孩子的身高向中間值靠近的趨勢(shì)稱為回歸效應(yīng)。后來(lái)，人們把他發(fā)展的這種方法稱為回歸分析?；貧w一詞的由來(lái)第六章回歸分析

回歸分析：是指對(duì)具有相關(guān)關(guān)系的現(xiàn)象，根據(jù)其相關(guān)關(guān)系的具體形態(tài)，選擇一個(gè)合適的數(shù)學(xué)模型（稱為回歸方程式），用來(lái)近似地表達(dá)變量間的平均變化關(guān)系的一種統(tǒng)計(jì)分析方法。第六章回歸分析回歸模型多元回歸一元回歸線性回歸非線性回歸線性回歸非線性回歸第六章回歸分析

第一節(jié)一元線性回歸第二節(jié)多元線性回歸第三節(jié)線性回歸的殘差分析與適用條件的檢驗(yàn)第四節(jié)相關(guān)分析、回歸分析與因果關(guān)系第六章回歸分析第一節(jié)一元線性回歸（SimpleLinearRegressionModel）

一、一元線性回歸的標(biāo)準(zhǔn)形式二、一元線性回歸的參數(shù)估計(jì)三、一元線性回歸的擬合優(yōu)度四、一元線性回歸的非標(biāo)準(zhǔn)形式五、一元線性回歸的計(jì)算機(jī)實(shí)現(xiàn)第一節(jié)一元線性回歸一、一元線性回歸的標(biāo)準(zhǔn)模型第一節(jié)一元線性回歸ε的意義：（1）理論的模糊性；（2）數(shù)據(jù)的欠缺；（3）核心變量與周邊變量；（4）人類行為的內(nèi)在隨機(jī)性；（5）替代變量的誤差效應(yīng)；（6）函數(shù)形式的誤差效應(yīng)。第一節(jié)一元線性回歸對(duì)于誤差ε，我們假定：第一節(jié)一元線性回歸對(duì)于誤差ε，我們假定：第一節(jié)一元線性回歸對(duì)于誤差ε，我們假定：第一節(jié)一元線性回歸二、一元線性回歸方程的參數(shù)估計(jì)xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)ei=yi-yi＾第一節(jié)一元線性回歸最小二乘估計(jì)（ordinaryleastsquares，OLS）：xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾第一節(jié)一元線性回歸第一節(jié)一元線性回歸若要使Z最小，只需：第一節(jié)一元線性回歸對(duì)以上兩式進(jìn)行整理，得：第一節(jié)一元線性回歸聯(lián)立（3）、（4）組成如下方程組：求解得：第一節(jié)一元線性回歸對(duì)于指數(shù)模型，等式兩邊取對(duì)數(shù)得：則根據(jù)直線趨勢(shì)的最小二乘法得：據(jù)此查反對(duì)數(shù)表，即可得出β0和β1的估計(jì)值。第一節(jié)一元線性回歸對(duì)于矩陣形式：第一節(jié)一元線性回歸第一節(jié)一元線性回歸思考：

做回歸時(shí)，必須把變量標(biāo)準(zhǔn)化嗎？變量標(biāo)準(zhǔn)化的利弊是什么？第一節(jié)一元線性回歸（二）最小二乘估計(jì)量的性質(zhì)

1、無(wú)偏性

2、最優(yōu)性

第一節(jié)一元線性回歸（二）最小二乘估計(jì)量的性質(zhì)

3、一致性當(dāng)樣本容量不斷增加趨于無(wú)窮時(shí)，其方差趨于0。第一節(jié)一元線性回歸第一節(jié)一元線性回歸第一節(jié)一元線性回歸第一節(jié)一元線性回歸（三）一元線性回歸的參數(shù)檢驗(yàn)第一節(jié)一元線性回歸關(guān)于參數(shù)檢驗(yàn)統(tǒng)計(jì)量的分布：第一節(jié)一元線性回歸三、一元線性回歸的擬合優(yōu)度第一節(jié)一元線性回歸第一節(jié)一元線性回歸第一節(jié)一元線性回歸決定系數(shù)R與顯著性檢驗(yàn)F值之間的關(guān)系：第一節(jié)一元線性回歸第一節(jié)一元線性回歸四、一元線性回歸非標(biāo)準(zhǔn)形式第一節(jié)一元線性回歸四、一元線性回歸非標(biāo)準(zhǔn)形式第一節(jié)一元線性回歸第一節(jié)一元線性回歸第一節(jié)一元線性回歸第一節(jié)一元線性回歸五、一元線性回歸的計(jì)算機(jī)實(shí)現(xiàn)

Spss：analyze→regression→linear；

Eviews：quick→estimateequation。>datalm1=read.csv("CH9回歸人均食品支出.csv",head=TRUE)>attach(datalm1);plot(人均食出,人均收入)>相關(guān)系數(shù)=cor(人均食出,人均收入)>modellm1=lm(人均食出~人均收入,data=datalm1)#進(jìn)行回歸>summary(modellm1);names(modellm1)#顯示模型中可調(diào)用的對(duì)象第一節(jié)一元線性回歸例題：第一節(jié)一元線性回歸

例題：研究我國(guó)31個(gè)省市自治區(qū)的人均食品支出對(duì)人均收入的依賴關(guān)系。（數(shù)據(jù)為“CH9回歸人均食品支出.sav”）

1、觀察散點(diǎn)圖第一節(jié)一元線性回歸2、計(jì)算相關(guān)系數(shù)第一節(jié)一元線性回歸3、進(jìn)行回歸第一節(jié)一元線性回歸第一節(jié)一元線性回歸

4、評(píng)價(jià)擬合效果

練習(xí)：某礦1993-2007年生產(chǎn)原煤與掘進(jìn)進(jìn)尺的數(shù)據(jù)如下表，試建立二者之間的回歸方程。（數(shù)據(jù)文件為“某礦93至07年兩項(xiàng)數(shù)據(jù)年度表.csv”）第一節(jié)一元線性回歸第二節(jié)多元線性回歸（Multipleregressionanalysis）

一、多元線性回歸的標(biāo)準(zhǔn)模型二、多元線性回歸的參數(shù)估計(jì)三、多元線性回歸的擬合優(yōu)度四、多元線性回歸的變量篩選五、多元線性回歸的計(jì)算機(jī)實(shí)現(xiàn)第二節(jié)多元線性回歸一、多元線性回歸的標(biāo)準(zhǔn)模型第二節(jié)多元線性回歸從自變量的變化說(shuō)開(kāi)去：1、自變量的變與不變；2、諸葛亮的識(shí)人“七法”：窮之以辭辯而觀其變2、自變量的等距變化與非等距變化預(yù)測(cè)的形式：內(nèi)插預(yù)測(cè)與外推預(yù)測(cè)第二節(jié)多元線性回歸為什么經(jīng)常取差分？

差分的實(shí)質(zhì)是微分，也就是增長(zhǎng)率，在取差分的過(guò)程中，可以把影響變量的不隨時(shí)間而變的其他因素的影響(這種影響在研究中或者是非重點(diǎn)，或者觀測(cè)不到)消除掉。因此，差分實(shí)際上就是去除了不變的部分，保留了隨時(shí)間而變的部分。

此外，不用標(biāo)準(zhǔn)的橫截面關(guān)系式而是采用差分模型的形式，可以有效地克服方程中遺漏變量的影響。第二節(jié)多元線性回歸多元線性回歸的基本假定：第二節(jié)多元線性回歸二、多元線性回歸方程的參數(shù)估計(jì)第二節(jié)多元線性回歸三、多元線性回歸的擬合優(yōu)度與一元回歸一樣，仍用R2度量方程的擬合優(yōu)度：第二節(jié)多元線性回歸第二節(jié)多元線性回歸四、多元線性回歸的變量篩選（一）主要思路優(yōu)先選擇對(duì)R2貢獻(xiàn)大的變量進(jìn)入方程。（二）主要難點(diǎn)變量之間的相關(guān)性加大了選擇的難度。（三）主要方法

1、前進(jìn)篩選法（Forward）

2、后退篩選法（Backward）

3、逐步篩選法（Stepwise）第二節(jié)多元線性回歸

五、多元線性回歸的計(jì)算機(jī)實(shí)現(xiàn)：

Spss：analyze→regression→linear；

Eviews：quick→estimateequation。第二節(jié)多元線性回歸第三節(jié)線性回歸的殘差分析與適用條件的檢驗(yàn)

一、殘差分析第三節(jié)殘差分析與適用條件的檢驗(yàn)二、模型適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)

例題：我國(guó)31個(gè)省市自治區(qū)的人均食品支出、人均收入、糧食單價(jià)的數(shù)據(jù)如下，試建立人均食品支出對(duì)人均收入以及糧食單價(jià)的回歸方程。（數(shù)據(jù)見(jiàn)隨書(shū)光盤數(shù)據(jù)文件“CH9回歸人均食品支出.sav”）第三節(jié)殘差分析與適用條件的檢驗(yàn)1、觀察散點(diǎn)圖第三節(jié)殘差分析與適用條件的檢驗(yàn)2、計(jì)算相關(guān)系數(shù)第三節(jié)殘差分析與適用條件的檢驗(yàn)3、進(jìn)行回歸第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)4、殘差分析第三節(jié)殘差分析與適用條件的檢驗(yàn)

例題：某研究者調(diào)查了16家公司CEO的年收入、年齡、是否有MBA學(xué)位的數(shù)據(jù)，見(jiàn)隨書(shū)光盤數(shù)據(jù)文件“CH9公司CEO收入年齡MBA虛擬.sav”，試建立CEO的年收入與年齡、是否有MBA之間的回歸方程（教材P310例9.5.4）。第三節(jié)殘差分析與適用條件的檢驗(yàn)

1、畫(huà)出散點(diǎn)圖第三節(jié)殘差分析與適用條件的檢驗(yàn)

2、計(jì)算相關(guān)系數(shù)第三節(jié)殘差分析與適用條件的檢驗(yàn)

3、進(jìn)行回歸第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第三節(jié)殘差分析與適用條件的檢驗(yàn)第四節(jié)相關(guān)分析、回歸分析與因果關(guān)系

一、相關(guān)分析與回歸分析相關(guān)分析和回歸分析雖然都用于表述兩個(gè)變量之間的聯(lián)系，但其側(cè)重點(diǎn)不同，相關(guān)分析更多的是變量之間聯(lián)系的密切程度，而回歸分析則重點(diǎn)說(shuō)明自變量在數(shù)量上的變化對(duì)于因變量在數(shù)量上的影響程度。第四節(jié)相關(guān)、回歸與因果關(guān)系

當(dāng)然，兩者之間也有密切聯(lián)系：它們不僅具有共同的研究對(duì)象，而且在具體應(yīng)用時(shí)，常常互相補(bǔ)充。相關(guān)分析需要依靠回歸分析來(lái)表明現(xiàn)象數(shù)量相關(guān)的具體形式，而回歸分析則需要依靠相關(guān)分析來(lái)表明現(xiàn)象數(shù)量變化的相關(guān)程度。只有當(dāng)變量之間存在著高度相關(guān)時(shí)，進(jìn)行回歸分析尋求其相關(guān)的具體形式才有意義。其次，相關(guān)系數(shù)與回歸系數(shù)在符號(hào)上一般是一致的；再次，相關(guān)系數(shù)在大小上等于決定系數(shù)開(kāi)根號(hào)。所以，相關(guān)系數(shù)越大，表示x對(duì)y的解釋能力越強(qiáng)，兩者之間的關(guān)系也就越密切。第四節(jié)相關(guān)、回歸與因果關(guān)系二、回歸分析與因果關(guān)系