第八章 相關(guān)分析與回歸分析

第八章相關(guān)分析與回歸分析第一節(jié)相關(guān)分析第二節(jié)一元線性回歸分析第三節(jié)多元線性回歸分析第一節(jié)相關(guān)分析一、變量之間的兩類關(guān)系

（一）函數(shù)關(guān)系

函數(shù)關(guān)系亦稱確定性關(guān)系，是指變量（現(xiàn)象）之間存在的嚴(yán)格確定的依存關(guān)系。

（二）相關(guān)關(guān)系

相關(guān)關(guān)系，是指變量（現(xiàn)象）之間存在著非嚴(yán)格、不確定的依存關(guān)系。第八章相關(guān)分析和回歸分析二、相關(guān)關(guān)系的種類

（一）按相關(guān)的密切程度可分為：完全相關(guān)、不完全相關(guān)、不相關(guān)

（二）按表現(xiàn)形態(tài)可分為：線性相關(guān)、非線性相關(guān)

（三）按相關(guān)的方向可分為：正相關(guān)、負(fù)相關(guān)

（四）按研究變量的多少可分為：單相關(guān)、復(fù)相關(guān)、偏向關(guān)。

第八章相關(guān)分析和回歸分析三、相關(guān)分析與回歸分析

（一）相關(guān)分析

相關(guān)分析主要研究兩個或者兩個以上隨機(jī)變量之間相互依存關(guān)系的方向和密切程度的方法。

（二）回歸分析

回歸分析是研究某一隨機(jī)變量關(guān)于另一個（或多個）非隨機(jī)變量之間數(shù)量關(guān)系變動趨勢的方法。其目的在于根據(jù)已知非隨機(jī)變量來估計和預(yù)測隨機(jī)變量的總體均值。第八章相關(guān)分析和回歸分析四、相關(guān)關(guān)系的測度

（一）相關(guān)圖相關(guān)圖又稱散點(diǎn)圖。它是將具有相關(guān)關(guān)系的兩個變量間相對應(yīng)的變量值，在直角坐標(biāo)系上用坐標(biāo)點(diǎn)的形式描繪出來，根據(jù)坐標(biāo)點(diǎn)的分布狀況來大致判別相關(guān)形式、相關(guān)方向和相關(guān)的密切程度。

第八章相關(guān)分析和回歸分析（a）正相關(guān)(b)負(fù)相關(guān)（二）相關(guān)系數(shù)

相關(guān)系數(shù)是衡量變量之間線性相關(guān)密切程度及相關(guān)方向的統(tǒng)計分析指標(biāo)。1.相關(guān)系數(shù)的計算公式

總體相關(guān)系

第八章相關(guān)分析和回歸分析樣本相關(guān)系數(shù)

第八章相關(guān)分析和回歸分析樣本相關(guān)系數(shù)分子分母的簡化計算形式：2.相關(guān)系數(shù)的性質(zhì)（1）；（2）當(dāng)時，變量間不存在線性相關(guān)關(guān)系；（3）當(dāng)時，變量間具有完全線性相關(guān)關(guān)系，當(dāng)時，稱完全正相關(guān)，當(dāng)時，稱完全負(fù)相關(guān)。（4）當(dāng)時，變量間存在負(fù)相關(guān)關(guān)系；當(dāng)時，變量之間存在正相關(guān)關(guān)系（5）的取值越接近0，變量間線性相關(guān)關(guān)系越弱，越接近1，變量間線性相關(guān)關(guān)系越強(qiáng)。第八章相關(guān)分析和回歸分析3.相關(guān)系數(shù)的檢驗(yàn)

第八章相關(guān)分析和回歸分析對的統(tǒng)計量檢驗(yàn)法第一步：提出假設(shè)；第二步：計算檢驗(yàn)統(tǒng)計量第三步：根據(jù)給定的顯著性水平，進(jìn)行決策。若，拒絕，表明變量間線性相關(guān)關(guān)系顯，不能拒絕，表明變量間的線性著；若相關(guān)關(guān)系不顯著；

例8-1根據(jù)1996-2012年國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資額資料，見書本表8-1，計算國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資額之間的相關(guān)系數(shù)，并對相關(guān)系數(shù)進(jìn)行顯著性檢驗(yàn)。

解：1）計算相關(guān)系數(shù)

第八章相關(guān)分析和回歸分析2）對樣本相關(guān)系數(shù)進(jìn)行t檢驗(yàn)計算t統(tǒng)計量

對給定顯著性水平，查表得，這里，故在0.05的顯著性水平下，檢驗(yàn)通過，說明國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資額之間的相關(guān)關(guān)系顯著。第八章相關(guān)分析和回歸分析第二節(jié)一元線性回歸分析一、一元線性回歸模型

（一）回歸模型的基本形式

一元線性總體回歸模型：

與是參數(shù)和的最小二乘估計。實(shí)際觀測值與之間差值稱為殘差，即：

第八章相關(guān)分析和回歸分析一元線性回歸方程：（二）一元線性回歸模型的基本假設(shè)

假設(shè)1：隨機(jī)誤差項(xiàng)具有零均值，同方差性，即

假設(shè)2：隨機(jī)誤差項(xiàng)之間不存在序列相關(guān)關(guān)系，即假設(shè)3：解釋變量是確定性變量，且與隨機(jī)誤差項(xiàng)之間線性無關(guān)。假設(shè)4：隨機(jī)誤差項(xiàng)服從零均值、同方差的正態(tài)分布，即：第八章相關(guān)分析和回歸分析二、一元線性回歸模型的估計

（一）參數(shù)和的最小二乘估計

最小二乘法：就是使殘差平方和達(dá)到最小時求得參數(shù)和的估計值與的方法。第八章相關(guān)分析和回歸分析殘差平方和公式為：對分別求一階偏導(dǎo)，并令其為0，得方程組：第八章相關(guān)分析和回歸分析求解方程組得的最小二乘估計量例8-2根據(jù)表8-1中給出的我國國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資額數(shù)據(jù)，建立回歸方程。解：根據(jù)例8-1的計算結(jié)果可知，國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資額之間具有顯著的線性相關(guān)關(guān)系，由此可建立簡單直線回歸方程：

將表8-1中的有關(guān)數(shù)據(jù)代入上式，可得

所求回歸方程為：

表明固定資產(chǎn)投資額每增加一億元，國內(nèi)生產(chǎn)總值平均增加1.305億元第八章相關(guān)分析和回歸分析

（二）最小二乘估計量的性質(zhì)

最小二乘估計量與分別是其真值與的無偏估計，且都服從正態(tài)分布。

第八章相關(guān)分析和回歸分析

（三）總體方差的估計第八章相關(guān)分析和回歸分析回歸標(biāo)準(zhǔn)差：其簡捷公式：越小表明實(shí)際觀測點(diǎn)與所擬合的樣本回歸線的離差程度越小，回歸線能較好的代表總回歸模型。反之，越大表明實(shí)際觀測點(diǎn)與所擬合的樣本回歸線的離差程度越大，回歸線的代表性越差。（四）回歸系數(shù)的區(qū)間估計

其中：

第八章相關(guān)分析和回歸分析三、一元線性回歸模型的檢驗(yàn)

（一）擬合優(yōu)度檢驗(yàn)

所謂擬合優(yōu)度，是指模型對樣本觀測值的擬合程度，即樣本回歸直線與觀測點(diǎn)之間的緊密程度。衡量擬合優(yōu)度的指標(biāo)通常用樣本可決系數(shù)（又稱決定系數(shù)）記：總偏差平方和：

回歸平方和：

殘差平方和：

總偏差平方和分解式：第八章相關(guān)分析和回歸分析樣本可決系數(shù)可定義為回歸平方和與總偏差平方和之比，用來反映回歸方程的擬合程度，記為。用公式表示：的取值在0到1之間，其值越接近1，說明回歸方程的擬合程度越高；反之，其值越小，說明回歸方程的擬合效果差。第八章相關(guān)分析和回歸分析（二）回歸方程的顯著性檢驗(yàn)（檢驗(yàn)）

檢驗(yàn)的步驟：1.提出假設(shè)原假設(shè)；備擇假設(shè)2.構(gòu)造統(tǒng)計量

在原價設(shè)成立的條件下，上述統(tǒng)計量

3.給定顯著性水平，確定拒絕域：，在附表中可直接查找的值。第八章相關(guān)分析和回歸分析4.作出判斷根據(jù)樣本計算出統(tǒng)計量的數(shù)值，然后與的值進(jìn)行比較，若，則拒絕原假設(shè)，認(rèn)為回歸方程是顯著的，即與之間有顯著的線性關(guān)系。若，則接受原假設(shè)，認(rèn)為回歸方程不顯著。第八章相關(guān)分析和回歸分析（三）回歸系數(shù)的顯著性檢驗(yàn)（檢驗(yàn)）

檢驗(yàn)的步驟：1.提出假設(shè)原假設(shè)；備擇假設(shè)2.構(gòu)造統(tǒng)計量

在原價設(shè)成立時，統(tǒng)計量3.給定顯著性水平，確定拒絕域：，在附表中可直接查找的值。第八章相關(guān)分析和回歸分析4.作出判斷根據(jù)樣本計算出統(tǒng)計量的數(shù)值，然后與的值進(jìn)行比較，若，則拒絕原假設(shè)，認(rèn)為顯著不為0，變量x與y之間一元線性關(guān)系顯著成立；若，則接受原假設(shè)，認(rèn)為回歸方程不顯著。認(rèn)為顯著為0，變量x與y之間一元線性關(guān)系不成立；第八章相關(guān)分析和回歸分析

第八章相關(guān)分析和回歸分析例8-3對例8-2建立的國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資額的回歸方程進(jìn)行顯著性檢驗(yàn)。解：1）先進(jìn)行檢驗(yàn)，計算統(tǒng)計量對于給定的顯著性水平，查表得，由于，拒絕原假設(shè)，認(rèn)為回歸方程是顯著的。2）還可以進(jìn)行檢驗(yàn)，計算統(tǒng)計量當(dāng)時，查表得，由于，拒絕原假設(shè)，說明顯著不為0，即國內(nèi)生產(chǎn)總值和固定資產(chǎn)投資額之間具有顯著的線性相關(guān)關(guān)系。四、一元線性回歸模型的應(yīng)用：估計與預(yù)測（一）的均值的估計

點(diǎn)估計：區(qū)間估計：第八章相關(guān)分析和回歸分析（二）的預(yù)測區(qū)間第八章相關(guān)分析和回歸分析第三節(jié)多元線性回歸分析一、多元線性回歸模型

（一）多元線性回歸模型的一般形式

分別是參數(shù)的最小二乘估計。實(shí)際觀測值與之間差值稱為殘差，即：

第八章相關(guān)分析和回歸分析多元線性回歸方程：n個多元線性回歸模型的矩陣形式為:其中，第八章相關(guān)分析和回歸分析多元線性回歸方程的矩陣形式：其中，（二）多元線性回歸模型的基本假設(shè)

假設(shè)1：隨機(jī)誤差項(xiàng)具有零均值，同方差性，即

假設(shè)2：隨機(jī)誤差項(xiàng)之間不存在序列相關(guān)關(guān)系，即假設(shè)3：解釋變量是確定性變量，相互之間互不相關(guān)，且與隨機(jī)誤差項(xiàng)之間線性無關(guān)，

第八章相關(guān)分析和回歸分析假設(shè)4：隨機(jī)誤差項(xiàng)服從零均值、同方差的正態(tài)分布，即二、多元線性回歸模型的參數(shù)估計

（一）回歸系數(shù)的最小二乘估計

第八章相關(guān)分析和回歸分析殘差平方和公式為：分別對求一階偏導(dǎo)，并令其為0，得方程組：第八章相關(guān)分析和回歸分析解矩陣方程得：以上個方程組成的方程組稱為正規(guī)方程組，經(jīng)過整理得用矩陣形式表示如下：這就是參數(shù)的最小二乘估計量。

（二）最小二乘估計量的性質(zhì)

第八章相關(guān)分析和回歸分析參數(shù)估計量的期望為因而，參數(shù)估計量是的無偏估計參數(shù)估計量的方差-協(xié)方差陣為

（三）總體方差的估計

第八章相關(guān)分析和回歸分析三、擬合優(yōu)度檢驗(yàn)

多元回歸分析中的可決系數(shù)用表示。

第八章相關(guān)分析和回歸分析多元回歸分析中用作為擬合優(yōu)度的評價不可靠，必須進(jìn)行修正。在樣本容量一定的情況下，將殘差平方和與總偏差平方和分別除以各自的自由度，以消除變量個數(shù)對擬合優(yōu)度的影響。修正以后的決定系數(shù)用表示。計算公式為：修正后的可絕系數(shù)與未經(jīng)修正的可絕系數(shù)之間有如下關(guān)系：第八章相關(guān)分析和回歸分析一般來說，越接近1，表明擬合程度越高；越接近0或者小于0，表明擬合程度越差。四、顯著性檢驗(yàn)

（一）回歸方程的顯著性檢驗(yàn)具體的方法步驟如下：1.提出假設(shè)原假設(shè)備擇假設(shè)不全為0第八章相關(guān)分析和回歸分析2.構(gòu)造統(tǒng)計量在原假設(shè)成立的條件下，上述統(tǒng)計量3.列出回歸模型的方差分析表第八章相關(guān)分析和回歸分析方差來源平方和自由度均方F檢驗(yàn)值回歸

殘差

總和

4.給定顯著性水平在附表中查找的值，并與方差分析表中統(tǒng)計量的數(shù)值進(jìn)行比較，若，拒絕原假設(shè)，認(rèn)為總體回歸方程中各解釋變量與被解釋變量的線性關(guān)系是顯著的。若，拒絕原假設(shè)，則認(rèn)為總回歸方程不顯著，所建立的回歸模型沒有意義。（三）回歸系數(shù)的顯著性檢驗(yàn)（檢驗(yàn)）

檢驗(yàn)的步驟：1.提出假設(shè)原假設(shè)；備擇假設(shè)2.構(gòu)造統(tǒng)計量

第八章相關(guān)分析和回歸分析其中，為回歸標(biāo)準(zhǔn)差3.給定顯著性水平，查出臨界值，當(dāng)時，拒絕原假設(shè)，可以認(rèn)為在顯著性水平下，對的影響顯著。當(dāng)時，接受原假設(shè)，認(rèn)為在顯著性水平下，對的影響不顯著。第八章相關(guān)分析和回歸分析五、多元線性回歸模型的應(yīng)用：估計與預(yù)測點(diǎn)估計：區(qū)間估計：區(qū)間估計：第八章相關(guān)分析和回歸分析六、偏相關(guān)系數(shù)與復(fù)相關(guān)系數(shù)（一）偏相關(guān)系數(shù)

考慮在對其他變量的影響進(jìn)行控制的情況下，來考察相關(guān)的多個變量中某兩個變量的相關(guān)程度，偏相關(guān)系數(shù)就是衡量這種相關(guān)程度的指標(biāo)。為簡明起見，先計算三個變量間的相關(guān)系數(shù)。三個變量擬合三個回歸方程第八章相關(guān)分析和回歸分析當(dāng)?shù)闹狄欢〞r，與的偏相關(guān)系數(shù)為：第八章相關(guān)分析和回歸分析當(dāng)?shù)闹狄欢〞r，與的偏相關(guān)系數(shù)為：當(dāng)?shù)闹狄欢〞r，與的偏相關(guān)系數(shù)為：偏相關(guān)系數(shù)的符號與相應(yīng)的偏回歸系數(shù)相同，其取值范圍在-1到1之間。在實(shí)際運(yùn)用中，可以將以上偏相關(guān)系數(shù)的定義推廣到多個變量的場合。（二）復(fù)相關(guān)系數(shù)

復(fù)相關(guān)系數(shù)，是在多元線性回歸分析中衡量因變量與多個自變量之間相關(guān)程度的指標(biāo)其計算公式如下：第八章相關(guān)分析和回歸分析本章小結(jié)本章介紹了研究現(xiàn)象之間相關(guān)關(guān)系的兩種基本方法：一是相關(guān)分析，二是回歸分析。實(shí)際應(yīng)用中，一般先進(jìn)行定性的相關(guān)分析；然后計算相關(guān)系數(shù)，擬合適當(dāng)?shù)幕貧w方程，進(jìn)行顯著性檢驗(yàn)；最后用回歸方程進(jìn)行推算和預(yù)測。在學(xué)習(xí)本章內(nèi)容的過程中，需要著重把握以下知識點(diǎn)：第八章相關(guān)分析和回歸分析本章小結(jié)一、相關(guān)分析

客觀現(xiàn)象間的依存關(guān)系大致可歸納為兩種不同類型：一類是函數(shù)關(guān)系，指變量（現(xiàn)象）之間存在的嚴(yán)格確定的依存關(guān)系；另一類是相關(guān)關(guān)系，是指變量（現(xiàn)象）之間存在著非嚴(yán)格、不確定的依存關(guān)系。相關(guān)關(guān)系可以從不同的角度進(jìn)行分類。按相關(guān)的密切程度可分為完全相關(guān)、不完全相關(guān)和不相