統(tǒng)計學-第七章相關與回歸分析

第七章相關與回歸分析制作時間：2004—2005內容提要1、相關關系的概念與種類2、相關分析3、一元線性回歸分析4、多元線性回歸分析5、曲線回歸分析學習目標1. 理解相關關系的概念掌握線性回歸的基本原理和參數的最小二乘估計掌握回歸直線的擬合優(yōu)度掌握回歸方程的顯著性檢驗利用回歸方程進行估計和預測用Excel

進行回歸分析第一節(jié)相關關系概述一、變量間的關系（一）函數關系是一一對應的確定關系設有兩個變量x和y，變量y隨變量x一起變化，并完全依賴于x

，當變量x取某個數值時，

y依確定的關系取相應的值，則稱y是x的函數，記為y=f(x)，其中x稱為自變量，y稱為因變量各觀測點落在一條線上

xy函數關系

(幾個例子)

函數關系的例子某種商品的銷售額y與銷售量x之間的關系可表示為y=px

(p為單價)圓的面積S與半徑之間的關系可表示為S=

R2

企業(yè)的原材料消耗額y與產量x1、單位產量消耗x2、原材料價格x3之間的關系可表示為

y=x1x2x3

（二）相關關系

(correlation)變量間關系不能用函數關系精確表達一個變量的取值不能由另一個變量唯一確定當變量

x取某個值時，變量y的取值可能有幾個各觀測點分布在直線周圍

xy相關關系

(幾個例子)

相關關系的例子父親身高y與子女身高x之間的關系收入水平y(tǒng)與受教育程度x之間的關系糧食畝產量y與施肥量x1、降雨量x2、溫度x3之間的關系商品的消費量y與居民收入x之間的關系商品銷售額y與廣告費支出x之間的關系二、相關關系的種類

相關關系的種類單項關1、按相關的形式分為：線性相關非線性相關2、按所研究的變量多少分為：復相關3、按相關的方向分為：正相關負相關4、按相關的程度分為：完全相關不完全相關不相關偏相關散點圖

(scatterdiagram)

不相關

負線性相關

正線性相關

非線性相關

完全負線性相關完全正線性相關

三、相關關系分析的方法（一）相關分析1、相關分析主要用于測定具有相關關系的變量之間相互關系的密切程度。2、是回歸分析的基礎。3、分析方法主要有：繪制散點圖、編制相關表、計算項關系數等。（二）回歸分析

(Regression)研究具有相關關系的變量值之間一般的數量變動關系，即自變量發(fā)生變化時，因變量平均會發(fā)生多大的變化。通過建立回歸方程來完成分析?；貧w方程除可用于研究相關變量之間的一般數量變動關系外，還常用于進行預測，即根據一個或幾個變量的取值來預測或控制另一個相關變量的取值，并給出這種預測或控制的精確程度回歸模型的類型（三）回歸分析與相關分析的區(qū)別相關分析主要是描述兩個變量之間線性關系的密切程度；回歸分析不僅可以揭示變量之間的一般數量變動關系，還可以由回歸方程進行預測和控制。相關分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預測因變量的變化相關分析中所涉及的變量x和y都是隨機變量；回歸分析中，因變量y是隨機變量，自變量x

可以是隨機變量，也可以是非隨機的確定變量第二節(jié)相關分析一、相關表和相關圖相關表與相關圖

（概念要點）1、相關表和相關圖是研究相關關系的直觀工具。一般在進行詳細的定量分析之前，可以利用它們對現象之間存在的相關關系的方向、形式和密切程度做大致的判斷。2、相關表是一種反映變量之間相關關系的統(tǒng)計表。它是將某一變量按其取值的大小排列，然后再將與其相關的另一變量的對應值平行排列，便可得到簡單的相關表。3、相關圖又稱散點圖。它是以直角坐標系的橫軸代表變量X，縱軸代表Y，將兩個變量間相應的變量值用坐標點的形式描繪出來，用來反應量變量之間相關關系的圖形。相關表

（舉例分析）家庭編號12345678910可支配收入25186045628892997598可支配收入18254560627588929899

居民收入和消費的原始資料計量單位：百元

居民消費和收入相關表計量單位：百元消費支出20154030426065705378消費支出15203040425360657870散點圖

(例題分析)【例】一家大型商業(yè)銀行在多個地區(qū)設有分行，其業(yè)務主要是進行基礎設施建設、國家重點項目建設、固定資產投資等項目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的增長，這給銀行業(yè)務的發(fā)展帶來較大壓力。為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務的有關數據做些定量分析，以便找出控制不良貸款的辦法。下面是該銀行所屬的25家分行2002年的有關業(yè)務數據散點圖

(例題分析)散點圖

(例題分析)二、相關系數及其檢驗相關系數

(correlationcoefficient)對變量之間關系密切程度的測度值（指標）對兩個變量之間線性相關程度的度量稱為單相關系數若相關系數是根據總體全部數據計算的，稱為總體相關系數，記為

，若是根據樣本數據計算的，則稱為樣本相關系數，記為r相關系數

(計算公式)

樣本相關系數的計算公式或化簡為相關系數

(取值及其意義)

r

的取值范圍是[-1,1]

|r|=1，為完全相關r=1，為完全正相關r=-1，為完全負正相關

r=0，不存在線性相關關系-1

r<0，為負相關

0<r

1，為正相關

|r|越趨于1表示關系越密切；|r|越趨于0表示關系越不密切相關系數

(取值及其意義)-1.0+1.00-0.5+0.5完全負相關無線性相關完全正相關負相關程度增加r正相關程度增加相關系數

(例題分析)

用Excel計算相關系數相關系數的顯著性檢驗相關系數的顯著性檢驗

(r的抽樣分布)1. r的抽樣分布隨總體相關系數和樣本容量的大小而變化當樣本數據來自正態(tài)總體時，隨著n的增大，r的抽樣分布趨于正態(tài)分布，尤其是在總體相關系數

很小或接近0時，趨于正態(tài)分布的趨勢非常明顯。而當

遠離0時，除非n非常大，否則r的抽樣分布呈現一定的偏態(tài)。當

為較大的正值時，r呈現左偏分布；當

為較小的負值時，r呈現右偏分布。只有當

接近于0，而樣本容量n很大時，才能認為r是接近于正態(tài)分布的隨機變量1-10

=0.8r的抽樣分布P接近0時樣本相關系數r的分布1-10

=0.8r的抽樣分布P接近1時樣本相關系數r的分布1-10

=-0.8r的抽樣分布P接近-1時樣本相關系數r的分布相關系數的顯著性檢驗

(檢驗的步驟)1. 檢驗兩個變量之間是否存在線性相關關系由于對r的正態(tài)性假設具有很大的風險，因此通常情況下，不采用正態(tài)檢驗，而采用R.A.Fisher提出的t檢驗，該檢驗可用于小樣本，也可用于大樣本。檢驗的步驟為提出假設：H0：

；H1：

0計算檢驗的統(tǒng)計量：確定顯著性水平，并作出決策若t>t

，拒絕H0

若t<t

，不能拒絕H0相關系數的顯著性檢驗

(例題分析)

對不良貸款與貸款余額之間的相關系數進行顯著性檢(

0.05)提出假設：H0：

；H1：

0計算檢驗的統(tǒng)計量3.根據顯著性水平

＝0.05，查t分布表得t

(n-2)=2.0687由于t=7.5344>t

(25-2)=2.0687，拒絕H0，不良貸款與貸款余額之間存在著顯著的正線性相關關系相關系數的顯著性檢驗

(例題分析)各相關系數檢驗的統(tǒng)計量第三節(jié)一元線性回歸一、一元線性回歸與函數模型一元線性回歸函數一元線性回歸模型總體樣本（一）一元線性回歸函數與模型的數學表達式

0是回歸直線在y軸上的截距，是當x=0時y的期望值。

1是直線的斜率，稱為回歸系數，表示當x每變動一個單位時，y的平均變動值。XYX1X2X3X4（二）一元線性回歸函數與模型意義的圖形解釋（三）一元線性回歸模型的基本假定1.誤差項u是一個期望值為0的正態(tài)分布隨機變量，即2.對于所有的x值，u的方差σ2都相同，即3.對于一個特定的x值，它所對應的u與其他x值所對應的u不相關。即4.對于一個特定的x值，它所對應的y值與其他x所對應的y值也不相關XYX1X2X3X4回歸模型基本假定的圖形解釋（四）樣本回歸方程與總體回歸方程的聯系與區(qū)別聯系：樣本回歸方程與總體回歸方程具有相同的形式，且樣本回歸模型是作為總體回歸模型的估計而存在的。區(qū)別：1、總體回歸線是未知的，并且只有一條。而樣本回歸線則是根據樣本數據擬合的，每抽取一個樣本，便可以擬合一條回歸線。2、總體回歸方程中的參數是未知的，但它是確定的。而樣本回歸方程中的參數是隨機變量，隨樣本的不同而不同。3、總體回歸模型中的ui是（因變量實際觀測值）Yi與總體回歸線之間的縱向距離，它是不可直接觀測的。而樣本回歸模型中ei是Yi與樣本回歸線之間的縱向距離，當根據樣本數據擬合出樣本回歸線之后，可以計算出ei的具體數值。二、模型參數的估計（一）回歸系數的估計

—最小二乘估計使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關系與實際數據的誤差比其他任何直線都小最小二乘估計

(圖示)xy(xn,yn)(x1,y1)

(x2,y2)(xi,yi)｝ei=yi-yi＾最小二乘法

(

和的計算公式)

根據最小二乘法的要求，可得求解和的公式如下最小二乘法

(例題分析)【例】求不良貸款對貸款余額的回歸（方程）函數回歸方程為：y=-0.8295

+0.037895

x回歸系數=0.037895表示，貸款余額每增加1億元，不良貸款平均增加0.037895億元

^最小二乘法

(例題分析)不良貸款對貸款余額回歸方程的圖示（二）總體方差的估計

此外，S2的正平方根有叫做回歸估計的標準差。S越小，回歸線的代表性越強，否則相反。除了β1和β2，一元線性回歸模型還包括另外一個未知參數，那就是總體隨機誤差項的方差б2。б2可以反映理論模型誤差的大小，它是檢驗模型時，必須利用的一個重要參數。由于б2本身不能直接觀測，因而需要用∑et2（最小二乘殘差）來估計б2?？梢宰C明б2的無偏估計為：用Excel進行回歸分析第1步：選擇“工具”下拉菜單第2步：選擇“數據分析”選項第3步：在分析工具中選擇“回歸”，然后選擇“確定”第4步：當對話框出現時

在“Y值輸入區(qū)域”設置框內鍵入Y的數據區(qū)域在“X值輸入區(qū)域”設置框內鍵入X的數據區(qū)域在“置信度”選項中給出所需的數值在“輸出選項”中選擇輸出區(qū)域在“殘差”分析選項中選擇所需的選項

用Excel進行回歸分析三、回歸模型的檢驗1、經濟理論檢驗經濟理論檢驗主要涉及估計值的符號和取值區(qū)間。如果它們與實質性科學的理論以及人們的實踐經驗不相符合，就說明模型不能很好的解釋現實現象。其原因可能是樣本偏小，不能代表總體或不能滿足標準回歸分析所要求的假定條件。2、統(tǒng)計檢驗（一級檢驗）統(tǒng)計檢驗是利用統(tǒng)計學中的抽樣理論檢驗樣本回歸方程的可靠性，包括擬合優(yōu)度檢驗和顯著性檢驗。統(tǒng)計檢驗是所有現象進行回歸分析時都必須進行的檢驗。3、計量經濟學檢驗（二級檢驗）計量經濟學檢驗是對標準回歸方程的假定條件能否得到滿足進行檢驗。（一）模型檢驗的內容（二）模型擬合優(yōu)度檢驗擬合優(yōu)度檢驗是檢驗樣本回歸方程對樣本觀測值代表性大小。衡量這一問題的指標稱為可決系數（決定系數），其數學表達式為：

（RegressionSumofSquare）（ResidualSumofSquare）（TotalDeviationSumofSquare）1、概念及公式離差平方和的分解

（變差）因變量

y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示變差的分解

(圖示)xyy{}}

離差平方和的分解

(三個平方和的關系)SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{離差平方和的分解

(三個平方和的意義)總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和2、可決系數r2的特性（1）具有非負性（2）r2的值越接近1，SSR越接近SST,即說明回歸方程對實際觀測值的擬合程度愈好，否則相反。（3）可決系數是樣本觀測值的函數，它也是一個隨機變量。（4）可決系數的平方根為相關系數，用公式表示為：

可決系數r2

(例題分析)【例】計算不良貸款對貸款余額回歸的判定系數，并解釋其意義

判定系數的實際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線性關系來解釋，或者說，在不良貸款取值的變動中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的。可見不良貸款與貸款余額之間有較強的線性關系（三）顯著性檢驗顯著性檢驗（概念要點）回歸分析中的顯著性檢驗包括兩方面的內容：一是對各回歸系數的顯著性檢驗；對于回歸系數的顯著性檢驗通常采用t檢驗，二是對整個回歸方程的顯著性檢驗。對回歸方程的顯著性檢驗則是在方差分析的基礎上采用F檢驗。在一元線性回歸模型中，由于只有一個自變量X，對=0的t檢驗與整個方程的F檢驗是等價的。所以這里只介紹回歸系數的顯著性檢驗，關于回歸方程的顯著性檢驗將在多元統(tǒng)計分析中介紹。（三）回歸系數的檢驗回歸系數的檢驗

（概念要點）2.檢驗x與y之間是否具有線性關系，或者說，檢驗自變量x對因變量y的影響是否顯著3.理論基礎是回歸系數

的抽樣分布,

1.就是根據樣本估計的結果對總體回歸系數的是否為0進行假設檢驗?；貧w系數的檢驗

(樣本統(tǒng)計量的分布)

是根據最小二乘法求出的樣本統(tǒng)計量，它是一個隨機變量,有自己的分布的分布具有如下性質分布形式：正態(tài)分布數學期望：標準差：由于

未知，需用其估計量sy來代替得到的估計的標準差回歸系數的檢驗

(檢驗步驟)提出假設H0:b1=0(沒有線性關系)H1:b1

0(有線性關系)計算檢驗的統(tǒng)計量確定顯著性水平

，并進行決策

t>t

，拒絕H0；t<t

，不能拒絕H00回歸系數的檢驗

(例題分析)

對例題的回歸系數進行顯著性檢驗(

＝0.05)提出假設H0：b1=0H1：b1

0計算檢驗的統(tǒng)計量

t=7.533515>t

=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關系回歸系數的檢驗

(例題分析)

P值的應用P=0.000000<

=0.05，拒絕原假設，不良貸款與貸款余額之間有線性關系Excel輸出的部分回歸結果R2）四、利用樣本回歸函數方程式進行估計和預測利用回歸函數方程進行

估計和預測根據自變量x

的取值估計或預測因變量y的取值估計或預測的類型點估計y的平均值的點估計y的個別值的點估計區(qū)間估計y的平均值的置信區(qū)間估計y的個別值的預測區(qū)間估計（一）點估計點估計2.點估計值有y的平均值的點估計y的個別值的點估計在點估計條件下，平均值的點估計和個別值的的點估計是一樣的，但在區(qū)間估計中則不同對于自變量x的一個給定值x0，根據回歸方程得到因變量y的一個估計值

y的平均值的點估計

利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的平均值的一個估計值E(y0)，就是平均值的點估計在前面的例子中，假如我們要估計貸款余額為100億元時，所有分行不良貸款的平均值，就是平均值的點估計。根據估計的回歸方程得y的個別值的點估計

利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y的一個個別值的估計值，就是個別值的點估計例如，如果我們只是想知道貸款余額為72.8億元的那個分行(這里是編號為10的那個分行)的不良貸款是多少，則屬于個別值的點估計。根據估計的回歸方程得（二）區(qū)間估計區(qū)間估計與預測點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區(qū)間估計對于自變量

x的一個給定值x0，根據回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型均值的預測區(qū)間(confidenceintervalestimate)個別值的預測區(qū)間(predictionintervalestimate)均值的區(qū)間估計利用樣本回歸函數方程，對于自變量

x的一個給定值x0

，求出因變量y

的平均值的估計區(qū)間

，這一估計區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-

置信水平下的置信區(qū)間為式中：sy為估計標準誤差均值的區(qū)間估計

(例題分析)

【例】求出貸款余額為100億元時，不良貸款95%置信水平下的置信區(qū)間

解：根據前面的計算結果，已知n=25，sy=1.9799，t

(25-2)=2.0687置信區(qū)間為當貸款余額為100億元時，不良貸款的平均值在2.1422億元到3.7778億元之間個別值的預測區(qū)間利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計區(qū)間，這一區(qū)間稱為預測區(qū)間(predictioninterval)

y0在1-

置信水平下的預測區(qū)間為注意！預測區(qū)間估計

(例題分析)【例】求出貸款余額為100億元時，不良貸款95%置信水平下的預測區(qū)間

解：根據前面的計算結果，已知n=25，sy=1.9799，t

(25-2)=2.0687置信區(qū)間為貸款余額為72.8億元的那個分行，其不良貸款的預測區(qū)間在-2.2467億元到6.1067億元之間影響區(qū)間寬度的因素置信水平(1-

)區(qū)間寬度隨置信水平的增大而增大數據的離散程度s區(qū)間寬度隨離散程度的增大而增大3. 樣本容量區(qū)間寬度隨樣本容量的增大而減小4. 用于預測的xp與

x的差異程度區(qū)間寬度隨xp與

x的差異程度的增大而增大置信區(qū)間、預測區(qū)間、回歸方程xpyx

x預測上限置信上限預測下限置信下限第四節(jié)多元線性回歸一、多元回歸模型與回歸函數總體多元回歸模型

(multipleregressionmodel)一個因變量與兩個及兩個以上自變量的回歸描述因變量y如何依賴于自變量x1，x2，…，

xp

和誤差項

的方程，稱為多元回歸模型涉及p個自變量的多元回歸模型可表示為

b0

，b1，b2

，，bp是參數

是被稱為誤差項的隨機變量

y是x1,，x2

，

，xp

的線性函數加上誤差項

包含在y里面但不能被p個自變量的線性關系所解釋的變異性總體多元回歸模型

(基本假定)誤差項ε是一個期望值為0的隨機變量，即E(

)=0對于自變量x1，x2，…，xp的所有值，

的方差

2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,

2)，且相互獨立總體多元回歸函數

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xp的方程多元線性回歸方程的形式為

E(y)=

0+

1x1

+

2x2

+…+

p

xp

b1，b2，，bp稱為偏回歸系數

bi

表示假定其他變量不變，當xi

每變動一個單位時，y的平均平均變動值二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面

0

ix1yx2(x1,x2)}樣本多元回歸函數

(estimatedmultipleregressionequation)是估計值是y

的估計值用樣本統(tǒng)計量估計回歸方程中的參數

時得到的方程由最小二乘法求得一般形式為樣本多元回歸函數的矩陣表達式矩陣形式二、參數的最小二乘估計參數的最小二乘法求解各回歸參數的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即參數的最小二乘法

(例題分析)【例】一家大型商業(yè)銀行在多個地區(qū)設有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關業(yè)務數據。試建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數x3和固定資產投資額x4的線性回歸方程，并解釋各回歸系數的含義

用Excel進行回歸三、模型的檢驗（一）擬合優(yōu)度檢驗復可決系數

(multiplecoefficientofdetermination)

回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例修正的可決系數

(adjustedmultiplecoefficientofdetermination)

用樣本容量n和自變量的個數p去修正R2得到計算公式為避免增加自變量而高估R2意義與R2類似數值小于R2

Excel輸出結果的分析估計標準誤差Sy對誤差項

的標準差

的一個估計值衡量多元回歸函數方程的擬合優(yōu)度計算公式為

Excel輸出結果的分析（二）線性關系檢驗線性關系檢驗檢驗因變量與所有自變量之間的線性關系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸離差平方和(SSR)同剩余離差平方和(SSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關系如果不顯著，因變量與自變量之間不存在線性關系線性關系檢驗提出假設H0：

1

2

p=0線性關系不顯著H1：

1，

2，，

p至少有一個不等于02.計算檢驗統(tǒng)計量F確定顯著性水平

和分子自由度p、分母自由度

n-p-1找出臨界值F

4.作出決策：若F>F

，拒絕H0

Excel輸出結果的分析（三）回歸系數檢驗和推斷回歸系數的檢驗線性關系檢驗通過后，對各個回歸系數有選擇地進行一次或多次檢驗究竟要對哪幾個回歸系數進行檢驗，通常需要在建立模型之前作出決定對回歸系數檢驗的個數進行限制，以避免犯過多的第一類錯誤(棄真錯誤)對每一個自變量都要單獨進行檢驗應用t檢驗統(tǒng)計量回歸系數的檢驗

(步驟)提