教育學(xué)相關(guān)與回歸分析全

不要過于教條地對(duì)待研究的結(jié)果，尤其當(dāng)數(shù)據(jù)的質(zhì)量受到懷疑時(shí)。

——DamodarN.Gujarati統(tǒng)計(jì)名言第八章相關(guān)與回歸分析8.1

相關(guān)分析8.2一元線性回歸分析8.3多元線性回歸分析8.4非線性回歸分析

學(xué)習(xí)目標(biāo)相關(guān)關(guān)系的分析參數(shù)的最小二乘估計(jì)回歸直線的擬合優(yōu)度回歸方程的顯著性檢驗(yàn)利用回歸方程進(jìn)行預(yù)測(cè)用Excel

和SPSS進(jìn)行回歸子代與父代一樣嗎？Galton被譽(yù)為現(xiàn)代回歸和相關(guān)技術(shù)的創(chuàng)始人。1875年，Galton利用豌豆實(shí)驗(yàn)來確定尺寸的遺傳規(guī)律。他挑選了7組不同尺寸的豌豆，并說服他在英國(guó)不同地區(qū)的朋友每一組種植10粒種子，最后把原始的豌豆種子(父代)與新長(zhǎng)的豌豆種子(子代)進(jìn)行尺寸比較。當(dāng)結(jié)果被繪制出來之后，他發(fā)現(xiàn)并非每一個(gè)子代都與父代一樣，不同的是，尺寸小的豌豆會(huì)得到更大的子代，而尺寸大的豌豆卻得到較小的子代。Galton把這一現(xiàn)象叫做“返祖”(趨向于祖先的某種平均類型)，后來又稱之為“向平均回歸”。一個(gè)總體中在某一時(shí)期具有某一極端特征(低于或高于總體均值)的個(gè)體在未來的某一時(shí)期將減弱它的極端性(或者是單個(gè)個(gè)體或者是整個(gè)子代)，這一趨勢(shì)現(xiàn)在被稱作“回歸效應(yīng)”。人們發(fā)現(xiàn)它的應(yīng)用很廣，而不僅限于從一代到下一代豌豆大小問題子代與父代一樣嗎？正如Galton進(jìn)一步發(fā)現(xiàn)的那樣，平均來說，非常矮小的父輩傾向于有偏高的子代；而非常高大的父輩則傾向于有偏矮的子代。在第一次考試中成績(jī)最差的那些學(xué)生在第二次考試中傾向于有更好的成績(jī)(比較接近所有學(xué)生的平均成績(jī))，而第一次考試中成績(jī)最好的那些學(xué)生在第二次考試中則傾向于有較差的成績(jī)(同樣比較接近所有學(xué)生的平均成績(jī))。同樣，平均來說，第一年利潤(rùn)最低的公司第二年不會(huì)最差，而第一年利潤(rùn)最高的公司第二年則不會(huì)是最好的如果把父代和子代看作兩個(gè)變量，找出這兩個(gè)變量的關(guān)系，并根據(jù)這種關(guān)系建立適當(dāng)?shù)臄?shù)學(xué)模型，就可以根據(jù)父代的數(shù)值預(yù)測(cè)子代的取值，這就是經(jīng)典的回歸方法要解決的問題。學(xué)完本章的內(nèi)容你會(huì)對(duì)回歸問題有更深入的理解

8.1變量間的關(guān)系

8.1.1變量間是什么樣的關(guān)系？

8.1.2用散點(diǎn)圖描述相關(guān)關(guān)系

8.1.3用相關(guān)系數(shù)度量關(guān)系強(qiáng)度第8章相關(guān)與回歸分析怎樣分析變量間的關(guān)系？建立回歸模型時(shí)，首先需要弄清楚變量之間的關(guān)系。分析變量之間的關(guān)系需要解決下面的問題變量之間是否存在關(guān)系？如果存在，它們之間是什么樣的關(guān)系？變量之間的關(guān)系強(qiáng)度如何？樣本所反映的變量之間的關(guān)系能否代表總體變量之間的關(guān)系？8.1.1變量間是什么樣的關(guān)系？8.1變量間的關(guān)系

xy函數(shù)關(guān)系是一一對(duì)應(yīng)的確定關(guān)系設(shè)有兩個(gè)變量x和y，變量y隨變量x一起變化，并完全依賴于x

，當(dāng)變量x取某個(gè)數(shù)值時(shí)，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量各觀測(cè)點(diǎn)落在一條線上

函數(shù)關(guān)系(幾個(gè)例子)

函數(shù)關(guān)系的例子某種商品的銷售額y與銷售量x之間的關(guān)系可表示為

y=px

(p為單價(jià))圓的面積S與半徑之間的關(guān)系可表示為S=

R2

企業(yè)的原材料消耗額y與產(chǎn)量x1

、單位產(chǎn)量消耗x2

、原材料價(jià)格x3之間的關(guān)系可表示為

y=x1x2x3

相關(guān)關(guān)系

(幾個(gè)例子)子女的身高與其父母身高的關(guān)系從遺傳學(xué)角度看，父母身高較高時(shí)，其子女的身高一般也比較高。但實(shí)際情況并不完全是這樣，因?yàn)樽优纳砀卟⒉煌耆怯筛改干砀咭粋€(gè)因素所決定的，還有其他許多因素的影響一個(gè)人的收入水平同他受教育程度的關(guān)系收入水平相同的人，他們受教育的程度也可能不同，而受教育程度相同的人，他們的收入水平也往往不同。因?yàn)槭杖胨诫m然與受教育程度有關(guān)系，但它并不是決定收入的惟一因素，還有職業(yè)、工作年限等諸多因素的影響農(nóng)作物的單位面積產(chǎn)量與降雨量之間的關(guān)系在一定條件下，降雨量越多，單位面積產(chǎn)量就越高。但產(chǎn)量并不是由降雨量一個(gè)因素決定的，還有施肥量、溫度、管理水平等其他許多因素的影響相關(guān)關(guān)系

(correlation)一個(gè)變量的取值不能由另一個(gè)變量唯一確定當(dāng)變量

x取某個(gè)值時(shí)，變量y的取值對(duì)應(yīng)著一個(gè)分布各觀測(cè)點(diǎn)分布在直線周圍

變量之間存在非嚴(yán)格確定的依存關(guān)系y

x

相關(guān)關(guān)系(幾個(gè)例子)

相關(guān)關(guān)系的例子父親身高y與子女身高x之間的關(guān)系收入水平y(tǒng)與受教育程度x之間的關(guān)系糧食畝產(chǎn)量y與施肥量x1

、降雨量x2

、溫度x3之間的關(guān)系商品的消費(fèi)量y與居民收入x之間的關(guān)系商品銷售額y與廣告費(fèi)支出x之間的關(guān)系相關(guān)關(guān)系的分類按變量的多少分為:單相關(guān)、復(fù)相關(guān)和偏相關(guān)按相關(guān)程度分為:完全相關(guān)、不完全相關(guān)和不相關(guān)按相關(guān)形式分為：線性相關(guān)和非線性相關(guān)按相關(guān)方向分為:正相關(guān)和負(fù)相關(guān)按相關(guān)性質(zhì)分為：真實(shí)相關(guān)和虛假相關(guān)8.1.2用相關(guān)表、相關(guān)圖描述相關(guān)關(guān)系8.1變量間的關(guān)系相關(guān)表和相關(guān)圖相關(guān)表是一種反映變量之間相關(guān)關(guān)系的統(tǒng)計(jì)表。將某一變量按其取值的大小排列，然后再將與其相關(guān)的另一變量的對(duì)應(yīng)值平行排列，便可得到簡(jiǎn)單的相關(guān)表。如前表8.1所示相關(guān)圖又稱散點(diǎn)圖。它是以直角坐標(biāo)系的橫軸代表變量x，縱軸代表變量Y，將兩個(gè)變量間相對(duì)應(yīng)的變量值用坐標(biāo)點(diǎn)的形式描繪出來，用來反映兩變量之間的相關(guān)關(guān)系的圖形。缺點(diǎn)：二者是研究相關(guān)關(guān)系的直觀工具，它們只能對(duì)現(xiàn)象之間存在的相關(guān)關(guān)系的方向、形式、密切程度作大致判斷，不能說明具體相關(guān)關(guān)系的密切程度。因此需要計(jì)算相關(guān)系數(shù)。8.1.2用散點(diǎn)圖描述相關(guān)關(guān)系8.1變量間的關(guān)系

完全負(fù)線性相關(guān)完全正線性相關(guān)

散點(diǎn)圖

(scatterdiagram)

不相關(guān)

負(fù)線性相關(guān)

正線性相關(guān)

非線性相關(guān)

完全負(fù)線性相關(guān)（散點(diǎn)圖舉例）從下圖可以看出，居民的消費(fèi)支出和可支配收入之間呈現(xiàn)正線性相關(guān)關(guān)系

8.1.3用相關(guān)系數(shù)度量關(guān)系強(qiáng)度8.1變量間的關(guān)系2）相關(guān)系數(shù)(correlationcoefficient)對(duì)變量之間關(guān)系密切程度的度量對(duì)兩個(gè)變量之間線性相關(guān)程度的度量稱為簡(jiǎn)單相關(guān)系數(shù)反映一個(gè)因變量與兩個(gè)及兩個(gè)以上變量之間相關(guān)程度的統(tǒng)計(jì)分析指標(biāo)稱為復(fù)相關(guān)系數(shù)。偏相關(guān)系數(shù)是指在多元相關(guān)分析中考慮其他變量但假定其保持不變的情況下計(jì)算出來的反映兩個(gè)變量之間相關(guān)程度的統(tǒng)計(jì)分析方法。若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計(jì)算的，稱為總體相關(guān)系數(shù)，記為

若是根據(jù)樣本數(shù)據(jù)計(jì)算的，則稱為樣本相關(guān)系數(shù)，記為

r相關(guān)系數(shù)的計(jì)算公式（記住）

樣本相關(guān)系數(shù)的計(jì)算公式或化簡(jiǎn)為相關(guān)系數(shù)的性質(zhì)性質(zhì)1：r

的取值范圍是[-1,1]|r|=1，為完全相關(guān)r=1，為完全正相關(guān)r=-1，為完全負(fù)正相關(guān)r=0，不存在線性相關(guān)關(guān)系（并不說明不存在關(guān)系）-1

r<0，為負(fù)相關(guān)0<r

1，為正相關(guān)|r|越趨于1表示關(guān)系越強(qiáng)；|r|越趨于0表示關(guān)系越弱相關(guān)系數(shù)的性質(zhì)性質(zhì)2：r具有對(duì)稱性。即x與y之間的相關(guān)系數(shù)和y與x之間的相關(guān)系數(shù)相等，即rxy=ryx性質(zhì)3：r數(shù)值大小與x和y原點(diǎn)及尺度無關(guān)，即改變x和y的數(shù)據(jù)原點(diǎn)及計(jì)量尺度，并不改變r(jià)數(shù)值大小性質(zhì)4：僅僅是x與y之間線性關(guān)系的一個(gè)度量，它不能用于描述非線性關(guān)系。這意為著，r=0只表示兩個(gè)變量之間不存在線性相關(guān)關(guān)系，并不說明變量之間沒有任何關(guān)系性質(zhì)5：r雖然是兩個(gè)變量之間線性關(guān)系的一個(gè)度量，卻不一定意味著x與y一定有因果關(guān)系取值及其意義-1.0+1.00-0.5+0.5完全負(fù)相關(guān)無線性相關(guān)完全正相關(guān)負(fù)相關(guān)程度增加r正相關(guān)程度增加相關(guān)系數(shù)的經(jīng)驗(yàn)解釋|r|

0.8時(shí)，可視為兩個(gè)變量之間高度相關(guān)0.5

|r|<0.8時(shí)，可視為中度相關(guān)0.3

|r|<0.5時(shí)，視為低度相關(guān)|r|<0.3時(shí)，說明兩個(gè)變量之間的相關(guān)程度極弱，可視為不相關(guān)上述解釋必須建立在對(duì)相關(guān)系數(shù)的顯著性進(jìn)行檢驗(yàn)的基礎(chǔ)之上3.相關(guān)關(guān)系的顯著性檢驗(yàn)1）r

的抽樣分布r是依據(jù)樣本數(shù)據(jù)計(jì)算的，根據(jù)一個(gè)樣本的相關(guān)系數(shù)能否說明總體的相關(guān)性呢？這需對(duì)樣本相關(guān)系數(shù)的顯著性進(jìn)行檢驗(yàn)。樣本相關(guān)系數(shù)的理論分布函數(shù)是很復(fù)雜的。r的抽樣分布隨總體相關(guān)系數(shù)和樣本容量的大小而變化。在進(jìn)行這項(xiàng)檢驗(yàn)時(shí)，通常假設(shè)x與y是正態(tài)變量，如果總體相關(guān)系數(shù)

=0,則樣本相關(guān)系數(shù)r服從t分布2）檢驗(yàn)的步驟1. 檢驗(yàn)兩個(gè)變量之間是否存在線性相關(guān)關(guān)系等價(jià)于對(duì)回歸系數(shù)b1的檢驗(yàn)采用R.A.Fisher提出的

t檢驗(yàn)檢驗(yàn)的步驟為提出假設(shè)：H0：

；H1：

0

計(jì)算檢驗(yàn)的統(tǒng)計(jì)量：

確定顯著性水平

，并作出決策若

t

>t

，拒絕H0

若

t

<t

，不能拒絕H0

8.2一元線性回歸的估計(jì)和檢驗(yàn)

8.2.1一元線性回歸模型

8.2.2參數(shù)的最小二乘估計(jì)

8.2.3回歸直線的擬合優(yōu)度

8.2.4顯著性檢驗(yàn)第8章一元線性回歸分析8.2.1一元線性回歸分析8.2一元線性回歸的估計(jì)和檢驗(yàn)什么是回歸分析？

(regressionanalysis)回歸分析是指根據(jù)相關(guān)關(guān)系的具體形態(tài)，選擇合適的數(shù)學(xué)模型（回歸方程），近似地描述變量間的平均變化關(guān)系的一種統(tǒng)計(jì)分析方法?；貧w分析實(shí)際上是相關(guān)現(xiàn)象間不確定、不規(guī)則的數(shù)量關(guān)系的一般化、規(guī)律化?；貧w分析采用的方法是配合直線或曲線來反映現(xiàn)象之間的一般數(shù)量關(guān)系。這條直線或曲線叫回歸直線或回歸曲線，它們的方程稱為回歸直線方程或回歸曲線方程。

回歸的古典和現(xiàn)代意義1.回歸的古典意義：高爾頓遺傳學(xué)的回歸概念父母身高與子女身高的關(guān)系:

無論高個(gè)子或低個(gè)子的子女都有向人的平均身高回歸的趨勢(shì)2.回歸的現(xiàn)代意義：一個(gè)因變量對(duì)若干解釋變量依存關(guān)系的研究回歸的目的（實(shí)質(zhì)）：

由固定的自變量去估計(jì)因變量的平均值相關(guān)分析與回歸分析的聯(lián)系簡(jiǎn)單說：(1)相關(guān)分析是回歸分析的基礎(chǔ)和前提。如果缺少相關(guān)分析，沒有從定性上說明現(xiàn)象間是否存在相關(guān)關(guān)系及相關(guān)關(guān)系的密切程度，就無法進(jìn)行回歸分析。

(2)回歸分析是相關(guān)分析的深入和繼續(xù)。僅僅說明現(xiàn)象間具有密切的相關(guān)關(guān)系是不夠的，只有進(jìn)行回歸分析，擬合回歸方程，才可能進(jìn)行深入分析和回歸預(yù)測(cè)，相關(guān)分析才有實(shí)際應(yīng)用價(jià)值?；貧w分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預(yù)測(cè)因變量的變化相關(guān)分析中所涉及的變量x和y都是隨機(jī)變量；回歸分析中，因變量y是隨機(jī)變量，自變量x

可以是隨機(jī)變量，也可以是非隨機(jī)的確定變量相關(guān)分析主要是描述兩個(gè)變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對(duì)變量y的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制

二、回歸分析的種類（一）按回歸分析中自變量的個(gè)數(shù)不同

1.簡(jiǎn)單回歸/一元回歸:在回歸關(guān)系中包含兩個(gè)變量，一個(gè)是具有確定性的自變量；另一個(gè)稱因變量,是隨機(jī)變量。

2.多元回歸:在回歸關(guān)系中包含三個(gè)或以上的變量，一個(gè)是因變量,是隨機(jī)變量；其他變量是具有確定性的自變量。（二）按回歸線的形狀

1.直線回歸:變量間變化的規(guī)律近似于線性關(guān)系，從散點(diǎn)圖看，表示變量關(guān)系的點(diǎn)接近于一條直線。

2.非直線回歸:變量間變化的規(guī)律不是線性關(guān)系，從散點(diǎn)圖看，表示變量關(guān)系的點(diǎn)接近于一條曲線。一元線性回歸涉及一個(gè)自變量的回歸因變量y與自變量x之間為線性關(guān)系被預(yù)測(cè)或被解釋的變量稱為因變量(dependentvariable)，用y表示用來預(yù)測(cè)或用來解釋因變量的一個(gè)或多個(gè)變量稱為自變量(independentvariable)，用x表示因變量與自變量之間的關(guān)系用一個(gè)線性方程來表示一元線性回歸模型

(linearregressionmodel)描述因變量y如何依賴于自變量x和誤差項(xiàng)

的方程稱為回歸模型一元線性回歸模型可表示為

y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項(xiàng)線性部分反映了由于x的變化而引起的y的變化誤差項(xiàng)

是隨機(jī)變量反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對(duì)y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性

0和

1稱為模型的參數(shù)一元線性回歸模型

(基本假定)

因變量y與自變量x之間具有線性關(guān)系在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機(jī)的誤差項(xiàng)

滿足正態(tài)性。

是一個(gè)服從正態(tài)分布的隨機(jī)變量，且期望值為0，即

~N(0,

2)。對(duì)于一個(gè)給定的x值，y的期望值為E(y)=

0+

1x方差齊性。對(duì)于所有的x值，

的方差是一個(gè)特定的值，

的方差也都等于

2

，都相同。同樣，一個(gè)特定的x值，y的方差也都等于

2獨(dú)立性。獨(dú)立性意味著對(duì)于一個(gè)特定的x值，它所對(duì)應(yīng)的ε與其他x值所對(duì)應(yīng)的ε不相關(guān)；對(duì)于一個(gè)特定的x值，它所對(duì)應(yīng)的y值與其他x所對(duì)應(yīng)的y值也不相關(guān)估計(jì)的回歸方程

(estimatedregressionequation)總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計(jì)用樣本統(tǒng)計(jì)量和代替回歸方程中的未知參數(shù)和，就得到了估計(jì)的回歸方程一元線性回歸中估計(jì)的回歸方程（經(jīng)驗(yàn)回歸方程）為其中：是估計(jì)的回歸直線在y

軸上的截距，是直線的斜率，它表示對(duì)于一個(gè)給定的x

的值，是y

的估計(jì)值，也表示x

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值

8.2.2參數(shù)的最小二乘估計(jì)8.2一元線性回歸的估計(jì)和檢驗(yàn)參數(shù)的最小二乘估計(jì)

德國(guó)科學(xué)家KarlGauss(1777—1855)提出用最小化圖中垂直方向的誤差平方和來估計(jì)參數(shù)

使因變量的觀察值與估計(jì)值之間的誤差平方和達(dá)到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實(shí)際數(shù)據(jù)的誤差比其他任何直線都小KarlGauss的最小化圖xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)ei=yi-yi＾參數(shù)的最小二乘估計(jì)

(

和的計(jì)算公式)

根據(jù)最小二乘法，可得求解和的公式如下參數(shù)的最小二乘估計(jì)8.2.3回歸直線的擬合優(yōu)度8.2一元線性回歸的估計(jì)和檢驗(yàn)變差因變量

y的取值是不同的，y取值的這種波動(dòng)稱為變差。變差來源于兩個(gè)方面：由于自變量x的取值不同造成的除x以外的其他因素(如x對(duì)y的非線性影響、測(cè)量誤差等)的影響對(duì)一個(gè)具體的觀測(cè)值來說，變差的大小可以通過該實(shí)際觀測(cè)值與其均值之差來表示誤差分解圖xyy

誤差平方和的分解

(誤差平方和的關(guān)系)

SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{誤差平方和的分解

(三個(gè)平方和的意義)總平方和(SST—totalsumofsquares)反映因變量的n個(gè)觀察值與其均值的總誤差回歸平方和(SSR—sumofsquaresofregression)反映自變量x的變化對(duì)因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE—sumofsquaresoferror)反映除x以外的其他因素對(duì)y取值的影響，也稱為不可解釋的平方和或剩余平方和樣本決定系數(shù)R2

(coefficientofdetermination)回歸平方和占總誤差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R2

1，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差決定系數(shù)平方根等于相關(guān)系數(shù)

估計(jì)標(biāo)準(zhǔn)誤差

實(shí)際觀察值與回歸估計(jì)值誤差平方和的均方根反映實(shí)際觀察值在回歸直線周圍的分散狀況對(duì)誤差項(xiàng)

的標(biāo)準(zhǔn)差

的估計(jì)，是在排除了x對(duì)y的線性影響后，y隨機(jī)波動(dòng)大小的一個(gè)估計(jì)量反映用估計(jì)的回歸方程預(yù)測(cè)y時(shí)預(yù)測(cè)誤差的大小

計(jì)算公式為回歸標(biāo)準(zhǔn)差越小，表明實(shí)際觀測(cè)值與所擬合的樣本回歸線的離差程度越小，即回歸線具有較強(qiáng)的代表性。8.2.4顯著性檢驗(yàn)8.2一元線性回歸的估計(jì)和檢驗(yàn)回歸方程的顯著性檢驗(yàn)檢驗(yàn)自變量與因變量之間的線性關(guān)系是否顯著將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個(gè)數(shù)k)殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-k-1)回歸方程的顯著性檢驗(yàn)

(檢驗(yàn)的步驟)

提出假設(shè)H0：

1=0線性關(guān)系不顯著2.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平

，并根據(jù)分子自由度1和分母自由度n-2求統(tǒng)計(jì)量的P值作出決策：若P<，拒絕H0。表明兩個(gè)變量之間的線性關(guān)系顯著作出決策：若F>F

,拒絕H0線性關(guān)系顯著回歸系數(shù)的檢驗(yàn)和推斷在一元線性回歸中，等價(jià)于線性關(guān)系的顯著性檢驗(yàn)采用t檢驗(yàn)檢驗(yàn)x與y之間是否具有線性關(guān)系，或者說，檢驗(yàn)自變量x對(duì)因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布

回歸系數(shù)的檢驗(yàn)和推斷

提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量3.確定顯著性水平

，計(jì)算出統(tǒng)計(jì)量的P值，并做出決策P<，拒絕H0，表明自變量是影響因變量的一個(gè)顯著因素

t

>t

(n-2)，拒絕H0；

t

<t

(n-2)，不能拒絕H0回歸系數(shù)的檢驗(yàn)和推斷

(b1和b0的置信區(qū)間)

b1在1-

置信水平下的置信區(qū)間為2.b0在1-

置信水平下的置信區(qū)間為三種檢驗(yàn)的關(guān)系在一元線性回歸分析中，回歸系數(shù)顯著性的t檢驗(yàn)、回歸方程顯著性的F檢驗(yàn)，相關(guān)系數(shù)顯著性t檢驗(yàn)，三者等價(jià)的，檢驗(yàn)結(jié)果是完全一致的。對(duì)一元線性回歸，只做其中的一種檢驗(yàn)即可。

8.3利用回歸方程進(jìn)行預(yù)測(cè)

8.3.1平均值的置信區(qū)間

8.3.2個(gè)別值的預(yù)測(cè)區(qū)間第8章一元線性回歸區(qū)間估計(jì)對(duì)于自變量

x的一個(gè)給定值x0，根據(jù)回歸方程得到因變量y的一個(gè)估計(jì)區(qū)間區(qū)間估計(jì)有兩種類型置信區(qū)間估計(jì)(confidenceintervalestimate)預(yù)測(cè)區(qū)間估計(jì)(predictionintervalestimate)8.3.1平均值的置信區(qū)間8.3利用回歸方程進(jìn)行預(yù)測(cè)平均值的置信區(qū)間利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的平均值的估計(jì)區(qū)間，這一估計(jì)區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-

置信水平下的置信區(qū)間為式中：為估計(jì)標(biāo)準(zhǔn)誤差個(gè)別值的預(yù)測(cè)區(qū)間利用估計(jì)的回歸方程，對(duì)于自變量x的一個(gè)給定值x0

，求出因變量y

的一個(gè)個(gè)別值的估計(jì)區(qū)間，這一區(qū)間稱為預(yù)測(cè)區(qū)間(predictioninterval)

y0在1-

置信水平下的預(yù)測(cè)區(qū)間為注意！殘差

(residual)因變量的觀測(cè)值與根據(jù)估計(jì)的回歸方程求出的預(yù)測(cè)值之差，用e表示反映了用估計(jì)的回歸方程去預(yù)測(cè)而引起的誤差可用于確定有關(guān)誤差項(xiàng)

的假定是否成立用于檢測(cè)有影響的觀測(cè)值殘差圖

(residualplot)表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標(biāo)準(zhǔn)化殘差圖用于判斷誤差

的假定是否成立檢測(cè)有影響的觀測(cè)值殘差圖(形態(tài)及判別)

(a)滿意模式

殘差x

0

(b)非常數(shù)方差

殘差x

0

(c)模型不合適

殘差x

0

若所有的x值，的方差都相同，而且假設(shè)描述變量x和y之間的關(guān)系的回歸模型是合理的，那么殘差圖中的所有點(diǎn)都應(yīng)落在一條水平帶中間。第三節(jié)多元線性回歸PowerPoint統(tǒng)計(jì)學(xué)多元線性回歸11.1

多元線性回歸模型11.2

回歸方程的擬合優(yōu)度11.3顯著性檢驗(yàn)11.4

利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)11.5非線性回歸學(xué)習(xí)目標(biāo)1.回歸模型、回歸方程、估計(jì)的回歸方程2.回歸方程的擬合優(yōu)度回歸方程的顯著性檢驗(yàn)利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)非線性回歸用Excel進(jìn)行回歸分析多元線性回歸模型1.1多元回歸模型與回歸方程1.2估計(jì)的多元回歸方程1.3參數(shù)的最小二乘估計(jì)多元回歸模型與回歸方程多元回歸模型

(multipleregressionmodel)一個(gè)因變量與兩個(gè)及兩個(gè)以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項(xiàng)

的方程，稱為多元回歸模型涉及k個(gè)自變量的多元回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項(xiàng)的隨機(jī)變量

y是x1,，x2

，

，xk

的線性函數(shù)加上誤差項(xiàng)

包含在y里面但不能被k個(gè)自變量的線性關(guān)系所解釋的變異性多元線性回歸模型

(基本假定)誤差項(xiàng)ε是一個(gè)期望值為0的隨機(jī)變量，即E(

)=0對(duì)于自變量x1，x2，…，xk的所有值，

的方差

2都相同誤差項(xiàng)ε是一個(gè)服從正態(tài)分布的隨機(jī)變量，即ε~N(0,

2)，且相互獨(dú)立理論回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=

0+

1x1

+

2x2

+…+

k

xkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當(dāng)xi

每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面

0

ix1yx2(x1,x2)}估計(jì)的多元回歸方程估計(jì)的多元回歸的方程

(estimatedmultipleregressionequation)用樣本統(tǒng)計(jì)量估計(jì)回歸方程中的參數(shù)

時(shí)得到的方程由最小二乘法求得一般形式為

是的估計(jì)值是y

的估計(jì)值參數(shù)的最小二乘估計(jì)參數(shù)的最小二乘法求解各回歸參數(shù)的標(biāo)準(zhǔn)方程如下使因變量的觀察值與估計(jì)值之間的離差平方和達(dá)到最小來求得

。即參數(shù)的最小二乘法

(例題分析)【例】一家大型商業(yè)銀行在多個(gè)地區(qū)設(shè)有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)。試建立不良貸款y與貸款余額x1、累計(jì)應(yīng)收貸款x2、貸款項(xiàng)目個(gè)數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義

參數(shù)的最小二乘估計(jì)

(例題分析)F檢驗(yàn)t檢驗(yàn)偏回歸系數(shù)回歸方程的擬合優(yōu)度2.1多重判定系數(shù)2.2估計(jì)標(biāo)準(zhǔn)誤差樣本決定系數(shù)樣本復(fù)決定系數(shù)

(multiplecoefficientofdetermination)

回歸平方和占總平方和的比例計(jì)算公式為因變量取值的變差中，能被估計(jì)的多元回歸方程所解釋的比例樣本復(fù)相關(guān)系數(shù)為：R==調(diào)整后的決定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本量n和自變量的個(gè)數(shù)k去修正R2得到計(jì)算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2

Excel輸出結(jié)果的分析樣本復(fù)相關(guān)系數(shù)

(multiplecorrelationcoefficient)

樣本決定系數(shù)的平方根R反映因變量y與k個(gè)自變量之間的相關(guān)程度實(shí)際上R度量的是因變量的觀測(cè)值與由多元回歸方程得到的預(yù)測(cè)值之間的關(guān)系強(qiáng)度，即樣本復(fù)相關(guān)系數(shù)R等于因變量的觀測(cè)值與估計(jì)值之間的簡(jiǎn)單相關(guān)系數(shù)即

估計(jì)標(biāo)準(zhǔn)誤差

對(duì)誤差項(xiàng)

的標(biāo)準(zhǔn)差

的一個(gè)估計(jì)值衡量多元回歸方程的擬合優(yōu)度計(jì)算公式為

Excel輸出結(jié)果的分析顯著性檢驗(yàn)3.1回歸方程顯著性的F檢驗(yàn)3.2回歸系數(shù)檢驗(yàn)和推斷回歸方程顯著性的F檢驗(yàn)回歸方程顯著性的F檢驗(yàn)檢驗(yàn)因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗(yàn)檢驗(yàn)方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗(yàn)來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系回歸方程的顯著性檢驗(yàn)提出假設(shè)H0：

1

2

k=0線性關(guān)系不顯著H1：

1，

2，

k至少有一個(gè)不等于02.計(jì)算檢驗(yàn)統(tǒng)計(jì)量F確定顯著性水平

和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0

Excel輸出結(jié)果的分析回歸系數(shù)檢驗(yàn)和推斷回歸系數(shù)的檢驗(yàn)線性關(guān)系檢驗(yàn)通過后，對(duì)各個(gè)回歸系數(shù)有選擇地進(jìn)行一次或多次檢驗(yàn)究竟要對(duì)哪幾個(gè)回歸系數(shù)進(jìn)行檢驗(yàn)，通常需要在建立模型之前作出決定對(duì)回歸系數(shù)檢驗(yàn)的個(gè)數(shù)進(jìn)行限制，以避免犯過多的第Ⅰ類錯(cuò)誤(棄真錯(cuò)誤)對(duì)每一個(gè)自變量都要單獨(dú)進(jìn)行檢驗(yàn)應(yīng)用t檢驗(yàn)統(tǒng)計(jì)量回歸系數(shù)的檢驗(yàn)

(步驟)提出假設(shè)H0：bi=0(自變量xi

與

因變量y沒有線性關(guān)系)H1：bi

0(自變量xi

與

因變量y有線性關(guān)系)計(jì)算檢驗(yàn)的統(tǒng)計(jì)量t3.確定顯著性水平

，并進(jìn)行決策

t>t

（n-k-1)，拒絕H0；t<t

（n-k-1)

，不拒絕H0

Excel輸出結(jié)果的分析回歸系數(shù)的推斷

(置信區(qū)間)

回歸系數(shù)在1-

置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標(biāo)準(zhǔn)差

Excel輸出結(jié)果的分析利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)軟件應(yīng)用第四節(jié)非線性回歸分析一、非線性函數(shù)形式的確定

在對(duì)實(shí)際的客觀現(xiàn)象進(jìn)行定量分析時(shí)，選擇回歸方程的具體形式應(yīng)遵循以下原則：首先，方程形式應(yīng)與有關(guān)實(shí)質(zhì)性科學(xué)的基本理論相一致。例如，采用冪函數(shù)的形式，能夠較好地表現(xiàn)生產(chǎn)函數(shù)；采用多項(xiàng)式方程能夠較好地反映總成本與總產(chǎn)量之間的關(guān)系等等。其次，方程有較高的擬合程度。因?yàn)橹挥羞@樣，才能說明回歸方程可以較好地反映現(xiàn)實(shí)經(jīng)濟(jì)的運(yùn)行情況。最后，方程的數(shù)學(xué)形式要盡可能簡(jiǎn)單。如果幾種形式都能基本符合上述兩項(xiàng)要求，則應(yīng)該選擇其中數(shù)學(xué)形式較簡(jiǎn)單的一種。一般來說，數(shù)學(xué)形式越簡(jiǎn)單，其可操作性就越強(qiáng)。非線性回歸1.因變量y與x之間不是線性關(guān)系2.