一元線性回歸分析課件2

1、第八章 相關(guān)與回歸分析 學(xué)習(xí)目的： 1. 理解現(xiàn)象之間存在的相關(guān)關(guān)系； 2. 能利用相關(guān)系數(shù)對相關(guān)關(guān)系進(jìn)行測定分析； 3. 明確相關(guān)分析與回歸分析的主要內(nèi)容以及它們各自的特點； 4. 掌握一元線性回歸的基本原理和參數(shù)的最小二乘估計； 5. 能夠?qū)貧w方程的顯著性進(jìn)行檢驗，并利用回歸方程進(jìn)行估計和預(yù)測。8-1第1頁，共24頁。第一節(jié) 相關(guān)分析一、變量間的關(guān)系 函數(shù)關(guān)系 是變量之間一種完全確定的關(guān)系。如，圓的面積與圓半徑之間的關(guān)系 即函數(shù)關(guān)系。 相關(guān)關(guān)系（correlation） 指變量之間的數(shù)量變化受隨機因素的影響而不能惟一確定的相互依存關(guān)系，其一般數(shù)學(xué)表達(dá)式為 ，其中 代表隨機因素。如，居民受

2、教育程度與收入的關(guān)系及相關(guān)關(guān)系。 由于客觀上常會出現(xiàn)觀察或測量上的誤差等原因，函數(shù)關(guān)系在實際工作中往往通過相關(guān)關(guān)系表現(xiàn)出來。而在研究相關(guān)關(guān)系時，為了找出變量之間數(shù)量關(guān)系的內(nèi)在聯(lián)系和表現(xiàn)形式，又常常需要借助函數(shù)關(guān)系的形式加以描述。 8-2互動地帶第2頁，共24頁。第一節(jié) 相關(guān)分析二、相關(guān)關(guān)系的種類 根據(jù)相關(guān)變量之間的密切程度不同，可分為不相關(guān)、完全相關(guān)和不完全相關(guān)。 根據(jù)相關(guān)變量的變化方向劃分，可分為正相關(guān)和負(fù)相關(guān) 根據(jù)相關(guān)變量的多少劃分，可分為單相關(guān)和復(fù)相關(guān)。 根據(jù)變量間依存關(guān)系的形式劃分，可分為直線相關(guān)和曲線相關(guān)。三、相關(guān)關(guān)系的描述與測度 散點圖（scatter diagram） 用直角坐標(biāo)

3、的橫軸表示變量x的值，縱軸表示變量y的值，每組數(shù)據(jù)在直角坐標(biāo)系中用一個點表示，n組數(shù)據(jù)在直角坐標(biāo)系中形成的n個數(shù)據(jù)點稱為散布點或散點，由坐標(biāo)及其散點形成的二維數(shù)據(jù)圖 。 8-3第3頁，共24頁。第一節(jié) 相關(guān)分析 散點圖與相關(guān)的類型8-4互動地帶第4頁，共24頁。第一節(jié) 相關(guān)分析相關(guān)系數(shù)（correlation coefficient） 是測度變量之間相關(guān)關(guān)系密切程度和相關(guān)方向的代表性指標(biāo)。對兩個變量之間線性相關(guān)程度的度量稱為簡單相關(guān)系數(shù)。若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關(guān)系數(shù)，記為 ；若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關(guān)系數(shù)，記為 。兩個變量的線性相關(guān)系數(shù) 或8-5例8.1第5

4、頁，共24頁。第一節(jié) 相關(guān)分析 相關(guān)系數(shù)的取值范圍在-1和+1之間，即：1 1。 若0 1，表明和之間存在正線性相關(guān)關(guān)系； 若-1 0，表明和之間存在負(fù)線性相關(guān)關(guān)系； 若 =1，表明和之間是完全正線性相關(guān)關(guān)系； 若 = -1，表明和之間是完全負(fù)線性相關(guān)關(guān)系。 =0只表示兩個變量之間不存在線性相關(guān)關(guān)系，并不說明變量之間沒有任何關(guān)系，比如它們之間可能存在非線性相關(guān)關(guān)系。通常認(rèn)為，當(dāng)n較大時：00.3為微弱相關(guān)；0.30.5為低度相關(guān)；0.50.8為顯著相關(guān)；0.81為高度相關(guān)。相關(guān)系數(shù)的顯著性檢驗 ； 統(tǒng)計量 服從自由度為n-2的t分布8-6互動地帶第6頁，共24頁。 例8.2 根據(jù)對25家銀行的

5、調(diào)查數(shù)據(jù)計算不良貸款額與貸款余額的相關(guān)系數(shù)為0.8436。試檢驗不良貸款額與貸款余額之間的相關(guān)系數(shù)是否顯著。 解：（1）提出原假設(shè)和備擇假設(shè) ； （2）取顯著性水平 =0.05，根據(jù)自由度 ，查 分布表得：臨界值 （3）計算檢驗的統(tǒng)計量 (4)由于 ，所以拒絕 ，表明不良貸款與貸款余額之間存在顯著的正線性相關(guān)關(guān)系。8-7互動地帶附表6第7頁，共24頁。第二節(jié) 一元線性回歸分析自變量與因變量 在回歸分析中，通常把被解釋（預(yù)測）變量稱為因變量（dependent variable），也叫響應(yīng)變量（response variable），一般假設(shè)為隨機變量； 把用來解釋（預(yù)測）的一個或多個變量稱為自變

6、量（independent variable），也稱為回歸變量（regressor），它可以是隨機變量，也可以是非隨機變量?；貧w的類型 如果回歸分析時只有一個自變量，則稱為一元回歸；含有兩個或兩個以上回歸變量時稱為多元回歸。 若響應(yīng)變量與回歸變量之間為線性關(guān)系就稱為線性回歸分析，否則稱為非線性回歸分析。 回歸模型(regression model) 描述響應(yīng)變量與回歸變量和誤差項之間的因果關(guān)系的數(shù)學(xué)表達(dá)式稱為回歸模型。 8-8第8頁，共24頁。第二節(jié) 一元線性回歸分析一、一元線性回歸模型理論回歸模型 式中A和B是未知常數(shù)，稱作回歸系數(shù)（coefficient）；回歸變量可以是隨機變量，也可以是

7、可以控制其取值的非隨機的普通變量； 是不可觀測的隨機變量，表示 和 的關(guān)系中不確定因素的影響，我們稱之為隨機誤差；響應(yīng)變量 為隨機變量。模型的三個假定 1. 隨機誤差 的期望值為0，即 2. 對于所有的 值， 的方差都相同 ； 3. 隨機誤差 是一個服從正態(tài)分布的隨機變量，且各次觀測的隨機誤差 相互獨立。回歸方程 8-9第9頁，共24頁。第二節(jié) 一元線性回歸分析估計的回歸方程 總體回歸參數(shù)A和B是未知的，我們必須利用樣本數(shù)據(jù)去估計它們。用樣本統(tǒng)計量 和 代替回歸方程中的未知參數(shù)A和B，可以得出估計的一元線性回歸方程式： 式中， 是估計的回歸直線在 軸上的截距； 是直線的斜率； 是 的 估計值，

8、也稱 為 的回歸值(regressand value)或擬合值(fitted value)。 為 每變動一個單位時， 的平均變動值。二、參數(shù)的最小二乘估計 在根據(jù)散布點去擬合回歸直線時，應(yīng)使得直線 所代表的估計值 和與其對應(yīng)的實際觀測值 之間的差為最小，即殘差（residual）最小。 即：8-10互動地帶第10頁，共24頁。第二節(jié) 一元線性回歸分析 利用數(shù)學(xué)求極值的方法，由條件 且 可得關(guān)于參數(shù)和的方程組（稱為標(biāo)準(zhǔn)方程組或正規(guī)方程組）： 解得： 8-11第11頁，共24頁。 例8.3 根據(jù)表的數(shù)據(jù)，求不良貸款對貸款余額的回歸方程。分行編號 各項貸款余額(觀測值) 不良貸款額(觀測值) 不良貸

9、款額(估計值) 殘差 -1234567891011121314151617181920212223242567.3111.3173.080.8199.716.2107.4185.496.172.864.2132.258.6174.6263.579.314.873.524.7139.4368.295.7109.6196.2102.20.91.14.83.27.82.71.612.51.02.60.34.00.83.510.23.00.20.41.06.811.61.61.27.23.21.7208 3.3882 5.7263 2.2324 6.7381 -0.2156 3.2404 6.1962

10、 2.8122 1.9292 1.6033 4.1802 1.3911 5.7869 9.1557 2.1755 -0.2687 1.9557 0.1065 4.4530 13.1233 2.7970 3.3237 6.6054 3.0433 -0.8208 -2.2882 -0.9263 0.9676 1.0619 2.9156 -1.6404 6.3038 -1.8122 0.6708 -1.3033 -0.1802 -0.5911 -2.2869 1.0443 0.8245 0.4687 -1.5557 0.8935 2.3470 -1.5233 -1.1970 -2.1237 0.59

11、46 0.1567 8-12第12頁，共24頁。 解： 作散點圖判斷回歸類型為直線回歸。代入公式求回歸系數(shù) 其回歸方程為： 這表明：銀行貸款余額越多，則不良貸款額越高；貸款余額每增加1億元，不良貸款平均增加0.0378947億元。8-13互動地帶第13頁，共24頁。第二節(jié) 一元線性回歸分析三、一元線性回歸模型的檢驗離差平方和的分解 總平方和等于回歸平方和與殘差平方和之和。 即： SST=SSR+SSE 式中，回歸效果的顯著性檢驗 1、判定系數(shù) 對于一元回歸， 越接近于 1，表明回歸直線與各觀測點越接近，回歸直線的擬合程度就越好； 越接近于 0，表明回歸方程的擬合程度越差。 8-14第14頁，共

12、24頁。第二節(jié) 一元線性回歸分析 2.估計標(biāo)準(zhǔn)誤差（standard error of estimate） 估計標(biāo)準(zhǔn)誤差 越小，說明各觀測點越靠近直線，回歸直線對各觀測點的代表性就越好，用于預(yù)測的可靠性越高。 3、回歸系數(shù)的顯著性檢驗（t檢驗） 檢驗提出的假設(shè)： 檢驗使用的統(tǒng)計量： 其中， 若 ，則拒絕H0，回歸系數(shù)等于零的可能性小于，說明兩個變量之間存在顯著的線性關(guān)系；若 ，則不拒絕H0，回歸系數(shù)有可能為零，不能證明兩個變量之間存在顯著的線性關(guān)系。 8-15互動地帶互動地帶第15頁，共24頁。第二節(jié) 一元線性回歸分析4、回歸方程的顯著性檢驗（F檢驗） 檢驗提出的假設(shè)： 兩個變量間的線性關(guān)系不

13、顯著 兩個變量間的線性關(guān)系顯著 檢驗所用的統(tǒng)計量： 若 ，則拒絕H0，說明兩個變量之間的線性關(guān)系是顯著的；若 ，則不拒絕H0，不能證明兩個變量之間存在顯著的線性關(guān)系。 例8.4 根據(jù)例8.1的數(shù)據(jù)，求利潤總額對銷售收入回歸的判定系數(shù)，并對回歸系數(shù)進(jìn)行檢驗。 解： 由于 ， 均說明了不良貸款與貸款余額之間的線性關(guān)系是顯著的。 8-16互動地帶第16頁，共24頁。第二節(jié) 一元線性回歸分析 四、一元線性回歸模型預(yù)測 點預(yù)測 利用估計的回歸模型 ，對于給定的變量 的任一值，用回歸值 作為變量 的預(yù)測（估計）值 。區(qū)間預(yù)測 1、 的平均值的置信區(qū)間估計 對于給定的 ， 在給定置信水平 條件下的預(yù)測區(qū)間為

14、： 2、 的個別值的預(yù)測區(qū)間估計 當(dāng)給定置信水平 時， 值的預(yù)測區(qū)間為： 8-17第17頁，共24頁。 例8.7 根據(jù)例8.3的估計回歸方程，求出（1）貸款余額為100億元時，不良貸款95%的置信區(qū)間；（2）貸款余額為80.8億元那個分行不良貸款的預(yù)測區(qū)間 。 解：已知： ， 查表得 （1） 當(dāng) 時，不良貸款的點估計值為： 的置信區(qū)間為： （2）貸款余額為80.8億元那個分行不良貸款的預(yù)測區(qū)間 為： 8-18第18頁，共24頁。第三節(jié) 多元線性回歸分析多元線性回歸分析是研究一個因變量（被解釋變量）與兩個或兩個以上自變量（解釋變量）之間相依關(guān)系的統(tǒng)計分析方法。一、多元線性回歸模型多元回歸模型（m

15、ultiple regression model ) 其中，隨即誤差 相應(yīng)滿足： （1）隨機誤差的期望值為0，即 （觀測無系統(tǒng)誤差）； （2）對于解釋變量 的所有值， 的方差都相同； （3）各次觀測的隨機誤差 相互獨立，因而 也相互獨立。估計（樣本）回歸方程 其中的 稱為偏回歸系數(shù)。 表示當(dāng) 不變時， 每變動一個單位因變量 的平均變動量。 8-19第19頁，共24頁。第三節(jié) 多元線性回歸分析二、多元參數(shù)的最小二乘估計 設(shè) 對其求極值得： 解此方程組即得各偏回歸系數(shù)。多元回歸系數(shù)一般使用計算機軟件求得。三、多元線性回歸模型的檢驗 1、多重判定系數(shù)。 越接近1，說明回歸效果越顯著。為避免增加自變量

16、 被高估，可計算修正的多重判定系數(shù)： 的平方根 稱為復(fù)相關(guān)系數(shù)，也稱多重相關(guān)系數(shù)。 8-20第20頁，共24頁。第三節(jié) 多元線性回歸分析 2、估計標(biāo)準(zhǔn)誤差回歸系數(shù)的顯著性檢驗 1. F檢驗 檢驗的假設(shè)： ： ； ：至少有一個回歸參數(shù)不為零 檢驗使用的統(tǒng)計量： 若 ，則認(rèn)為模型的總體回歸效果顯著； 若 ，則認(rèn)為模型總體的回歸效果不顯著。 2. t檢驗 ： ； ： 若 ，則拒絕 ，回歸系數(shù) 等于零的可能性小于，得出的結(jié)論，說明變量 的作用顯著；若 ，則不拒絕 。說明變量 的作用不顯著，可從模型中剔除。 8-21第21頁，共24頁。 例8.9 某地區(qū)管理部門，為了分析商業(yè)零售企業(yè)利潤額與商品銷售額、流通費用額的相關(guān)關(guān)系，隨機抽取了10個商業(yè)零售企業(yè)，調(diào)查某月的商品銷售額、流通費用額和利潤額情況，其數(shù)據(jù)資料如表8.3所示。 表8.3 利潤額與商品銷售額、流通費用額數(shù)據(jù)資料單位：萬元求利潤額以商品銷售額和流通費用率的回歸方程，并對其進(jìn)行統(tǒng)計檢驗。序號 利潤額 商品銷售額 流通費用額 123456789103.64.04.23.83.84.24.44.85.05.2404348424145475052564.8 4.9 5.7 5.0 4.8 5.0 5.7 5.7 6.1 6.5 合計43.04