第11講(一元線性回歸)

如果---應(yīng)當(dāng)---如果你不夠漂亮，你就應(yīng)當(dāng)聰明；如果你既不漂亮也不聰明，你就應(yīng)當(dāng)勤奮；如果你既不漂亮也不聰明，而且還不夠勤奮，你就應(yīng)當(dāng)經(jīng)常保持微笑；如果你既漂亮，又聰明、勤奮，你就應(yīng)當(dāng)謙虛。1誰是贏家？

一個農(nóng)夫牽著一頭羊走在鄉(xiāng)間小道上，迎面碰到一位游民。游民看了看農(nóng)夫和他的羊。說到：“我愿出10美元買你的這頭羊?！闭\實的農(nóng)夫說：“我的這頭羊腿有些跛，值不了10美元?！庇蚊窨隙ǖ卣f：“我會讓它值更多的錢?！鞭r(nóng)民點點頭，接過錢。露出一臉的疑惑。2

一周后，農(nóng)夫和游民再次見面了。農(nóng)夫關(guān)心地問游民：“那只羊是否讓你富有？”“當(dāng)然！”游民有些得意地說。農(nóng)夫急切地問道：“說說看，那只羊是如何讓你富有的？”看著農(nóng)夫急切的神態(tài)，游民講了他利用那只羊進行發(fā)財?shù)慕?jīng)過。言語中流露出幾分自豪與得意。3---我將那只羊帶到一個村子，然后向村民們宣布：任何人都有可能用一美元獲得這只羊。方法是用一美元購買一個抽簽權(quán)，然后，每人抽一個簽。誰抽中寫有“羊”字的簽，誰就可以得到這只羊。數(shù)百人參加了這一活動。最后，一個村民得到了這只羊。而我卻得到了數(shù)百美元。4

農(nóng)夫聽完了游民的故事，想了很久。起初他以為以一美元獲得這只羊的村民是贏家，但在他看到游民的興奮表情，知道游民是真正的贏家。不過，他卻始終不明白，為什么那么多的村民看不到這一點。細細想想，如果他在現(xiàn)場，他肯定也會同樣地花一美元去買這個抽簽權(quán)的。為什么？

5第11講一元線性回歸11.1變量間關(guān)系的度量11.2一元線性回歸11.3利用回歸方程進行估計和預(yù)測11.4殘差分析本章重點：一元線性回歸的方法本章難點：一元線性回歸的計算611.1變量間關(guān)系的度量11.1.1.變量間關(guān)系11.1.2.相關(guān)關(guān)系的描述與測度11.1.3.相關(guān)關(guān)系的顯著性檢驗711.1.1.變量間關(guān)系1）函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系設(shè)有兩個變量x和y，變量

y隨變量x一起變化，并完全依賴于x

，當(dāng)變量x取某個數(shù)值時，

y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為y=f(x)，其中x稱為自變量，y稱為因變量各觀測點落在一條線上

xy8函數(shù)關(guān)系(幾個例子)函數(shù)關(guān)系的例子①某種商品的銷售額y與銷售量x之間的關(guān)系可表示為y=px

(p為單價)②圓的面積S與半徑之間的關(guān)系可表示為S=R2

③企業(yè)的原材料消耗額y與產(chǎn)量x1、單位產(chǎn)量消耗x2、原材料價格x3之間的關(guān)系可表示為

y=x1x2x3

92）相關(guān)關(guān)系(correlation)變量間關(guān)系不能用函數(shù)關(guān)系精確表達一個變量的取值不能由另一個變量唯一確定當(dāng)變量

x取某個值時，變量y的取值可能有幾個各觀測點分布在直線周圍

xy10相關(guān)關(guān)系(幾個例子)相關(guān)關(guān)系的例子①父親身高y與子女身高x之間的關(guān)系②收入水平y(tǒng)與受教育程度x之間的關(guān)系③糧食畝產(chǎn)量y與施肥量x1、降雨量x2、溫度x3之間的關(guān)系④商品的消費量y與居民收入x之間的關(guān)系⑤商品銷售額y與廣告費支出x之間的關(guān)系11相關(guān)關(guān)系(類型)1211.1.2.相關(guān)關(guān)系的描述與測度1）散點圖(scatterdiagram)不相關(guān)負線性相關(guān)正線性相關(guān)非線性相關(guān)完全負線性相關(guān)完全正線性相關(guān)13散點圖(例題分析)【例】一家大型商業(yè)銀行在多個地區(qū)設(shè)有分行，其業(yè)務(wù)主要是進行基礎(chǔ)設(shè)施建設(shè)、國家重點項目建設(shè)、固定資產(chǎn)投資等項目的貸款。近年來，該銀行的貸款額平穩(wěn)增長，但不良貸款額也有較大比例的增長，這給銀行業(yè)務(wù)的發(fā)展帶來較大壓力。為弄清楚不良貸款形成的原因，希望利用銀行業(yè)務(wù)的有關(guān)數(shù)據(jù)做些定量分析，以便找出控制不良貸款的辦法。下面是該銀行所屬的25家分行2002年的有關(guān)業(yè)務(wù)數(shù)據(jù)

14散點圖(例題分析)15散點圖(例題分析)162）相關(guān)系數(shù)(correlationcoefficient)1.概念：①對變量之間關(guān)系密切程度的度量②對兩個變量之間線性相關(guān)程度的度量稱為簡單相關(guān)系數(shù)③若相關(guān)系數(shù)是根據(jù)總體全部數(shù)據(jù)計算的，稱為總體相關(guān)系數(shù)，記為④若是根據(jù)樣本數(shù)據(jù)計算的，則稱為樣本相關(guān)系數(shù)，記為r172.相關(guān)系數(shù)的計算公式（記?。颖鞠嚓P(guān)系數(shù)的計算公式或化簡為183）相關(guān)系數(shù)取值及其意義

r

的取值范圍是[-1,1]

|r|=1，為完全相關(guān)r=1，為完全正相關(guān)r=-1，為完全負正相關(guān)

r=0，不存在線性相關(guān)關(guān)系

-1r<0，為負相關(guān)

0<r1，為正相關(guān)

|r|越趨于1表示關(guān)系越密切；|r|越趨于0表示關(guān)系越不密切相關(guān)系數(shù)的性質(zhì)在p35919取值及其意義-1.0+1.00-0.5+0.5完全負相關(guān)無線性相關(guān)完全正相關(guān)負相關(guān)程度增加r正相關(guān)程度增加20相關(guān)系數(shù)的例題分析2111.1.3.相關(guān)關(guān)系的顯著性檢驗1）r的抽樣分布

①r是依據(jù)樣本數(shù)據(jù)計算的，根據(jù)一個樣本的相關(guān)系數(shù)能否說明總體的相關(guān)性呢？這需對樣本相關(guān)系數(shù)的顯著性進行檢驗。②樣本相關(guān)系數(shù)的理論分布函數(shù)是很復(fù)雜的。r的抽樣分布隨總體相關(guān)系數(shù)和樣本容量的大小而變化。③在進行這項檢驗時，天通常假設(shè)x與y是正態(tài)變量，如果總體相關(guān)系數(shù)=0,則樣本相關(guān)系數(shù)r服從t分布222）檢驗的步驟1. 檢驗兩個變量之間是否存在線性相關(guān)關(guān)系等價于對回歸系數(shù)b1的檢驗采用R.A.Fisher提出的t檢驗檢驗的步驟為提出假設(shè)：H0：；H1：0

計算檢驗的統(tǒng)計量：

確定顯著性水平，并作出決策若t>t，拒絕H0

若t<t，不能拒絕H023相關(guān)系數(shù)的顯著性檢驗(例題分析)對不良貸款與貸款余額之間的相關(guān)系數(shù)進行顯著性檢(0.05)1.假設(shè)：H0：；H1：02.計算檢驗的統(tǒng)計量3.根據(jù)顯著性水平＝0.05，查t分布表得t(n-2)=2.0687由于t=7.5344>t(25-2)=2.0687，拒絕H0，不良貸款與貸款余額之間存在著顯著的正線性相關(guān)關(guān)系24相關(guān)系數(shù)的顯著性檢驗(例題分析)各相關(guān)系數(shù)檢驗的統(tǒng)計量25重要不論你在什么時候開始，重要的是開始之后就不要放棄。不論你在什么時候結(jié)束，重要的是結(jié)束之后就不要悔恨。26超過超過別人一點點，別人就會嫉妒你；超過別人一大截，別人就會羨慕你。

2711.2.一元線性回歸11.2.1一元線性回歸模型

回歸模型、回歸方程、估計的回歸方程11.2.2參數(shù)的最小二乘估計11.2.3回歸直線的擬合優(yōu)度

判定系數(shù)、估計標(biāo)準(zhǔn)誤差11.2.4顯著性檢驗

線性關(guān)系的檢驗、回歸系數(shù)的檢驗11.2.5回歸分析結(jié)果的評價2811.2.1一元線性回歸模型什么是回歸分析？(Regression)從一組樣本數(shù)據(jù)出發(fā)，確定變量之間的數(shù)學(xué)關(guān)系式對這些關(guān)系式的可信程度進行各種統(tǒng)計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關(guān)系式，根據(jù)一個或幾個變量的取值來預(yù)測或控制另一個特定變量的取值，并給出這種預(yù)測或控制的精確程度回歸一詞是怎么來的?？29回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預(yù)測因變量的變化相關(guān)分析中所涉及的變量x和y都是隨機變量；回歸分析中，因變量y是隨機變量，自變量x

可以是隨機變量，也可以是非隨機的確定變量相關(guān)分析主要是描述兩個變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對變量y的影響大小，還可以由回歸方程進行預(yù)測和控制

30回歸模型的類型31一元線性回歸含義涉及一個自變量的回歸因變量y與自變量x之間為線性關(guān)系被預(yù)測或被解釋的變量稱為因變量(dependentvariable)，用y表示用來預(yù)測或用來解釋因變量的一個或多個變量稱為自變量(independentvariable)，用x表示因變量與自變量之間的關(guān)系用一個線性方程來表示321.一元線性回歸模型具體形式描述因變量y如何依賴于自變量x和誤差項

的方程稱為理論回歸模型一元線性回歸模型可表示為

y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)理論回歸模型33一元線性回歸模型基本假定①因變量y與自變量x具有線性關(guān)系②自變量x取值是非隨機的，y是隨機變量③誤差項ε是一個期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為E(y)=0+

1x④對于所有的x值，ε的方差σ2都相同⑤誤差項ε是一個服從正態(tài)分布的隨機變量，且相互獨立。即ε~N(0,σ2)獨立性意味著對于一個特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)342.回歸方程(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程一元線性回歸方程的形式如下

E(y)=0+1x方程的圖示是一條直線，也稱為直線回歸方程0是回歸直線在y軸上的截距，是當(dāng)x=0時y的期望值1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動一個單位時，y的平均變動值353.估計的回歸方程(estimatedregressionequation)P365一元線性回歸中估計的回歸方程為用樣本統(tǒng)計量和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程總體回歸參數(shù)和

是未知的，必須利用樣本數(shù)據(jù)去估計其中：是估計的回歸直線在y軸上的截距，是直線的斜率，它表示對于一個給定的x的值，是y的估計值，也表示x每變動一個單位時，y的平均變動值

3611.2.2.參數(shù)的最小二乘估計使因變量的觀察值與估計值之間的離差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小37最小二乘估計的圖示xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾38最小二乘法

(

和的計算公式)

根據(jù)最小二乘法，可得求解和的公式如下39

和的計算公式

根據(jù)最小二乘法的要求，可得求解和的公式如下：（記住）40估計方程的求法(例題分析)【例】求不良貸款對貸款余額的回歸方程回歸方程為：y=-0.8295

+0.037895

x回歸系數(shù)=0.037895表示，貸款余額每增加1億元，不良貸款平均增加0.037895億元

^41估計方程的求法(例題分析)不良貸款對貸款余額回歸方程的圖示42用Excel進行回歸分析第1步：選擇“工具”下拉菜單第2步：選擇“數(shù)據(jù)分析”選項第3步：在分析工具中選擇“回歸”，然后選擇“確定”第4步：當(dāng)對話框出現(xiàn)時

在“Y值輸入?yún)^(qū)域”設(shè)置框內(nèi)鍵入Y的數(shù)據(jù)區(qū)域

在“X值輸入?yún)^(qū)域”設(shè)置框內(nèi)鍵入X的數(shù)據(jù)區(qū)域

在“置信度”選項中給出所需的數(shù)值在“輸出選項”中選擇輸出區(qū)域在“殘差”分析選項中選擇所需的選項4311.2.3.回歸直線的擬合優(yōu)度

1、判定系數(shù)(1)變差①因變量

y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響②對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示。44(2)變差的分解(圖示)xy{}}45(3)離差平方和的分解(三個平方和的關(guān)系)SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{461.總平方和(SST)反映因變量的n個觀察值與其均值的總離差2.回歸平方和(SSR）

（SSR：sumofsquaresforregression)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和3.殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和(4)三個平方和的意義47(5)判定系數(shù)r2(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即R2＝r248判定系數(shù)與相關(guān)系數(shù)的關(guān)系：

聯(lián)系：數(shù)值上判定(可決)系數(shù)是相關(guān)系數(shù)的平方

區(qū)別：判定系數(shù)相關(guān)系數(shù)

就模型而言就兩個變量而言說明解釋變量對因變說明兩變量線性依存程度量的解釋程度

取值有非負性取值-1≦r≦1可正可負49例題分析【例】計算不良貸款對貸款余額回歸的判定系數(shù)，并解釋其意義

判定系數(shù)的實際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線性關(guān)系來解釋，或者說，在不良貸款取值的變動中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的?？梢姴涣假J款與貸款余額之間有較強的線性關(guān)系502.估計標(biāo)準(zhǔn)誤差(standarderrorofestimate)①實際觀察值與回歸估計值離差平方和的均方根②反映實際觀察值在回歸直線周圍的分散狀況③對誤差項的標(biāo)準(zhǔn)差的估計，是在排除了x對y的線性影響后，y隨機波動大小的一個估計量④反映用估計的回歸方程預(yù)測y時預(yù)測誤差的大小

計算公式為注：例題的計算結(jié)果為1.97995111.2.4.顯著性檢驗1.線性關(guān)系的檢驗①檢驗自變量與因變量之間的線性關(guān)系是否顯著②將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)p)殘差均方(MSE)

：殘差平方和SSE除以相應(yīng)的自由度(n-p-1)（注：P為字變量個）52線性關(guān)系的檢驗的步驟提出假設(shè)H0：1=0線性關(guān)系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F

作出決策：若F>F

,拒絕H0；若F<F

,不能拒絕H053例題分析

(以前面資料)提出假設(shè)H0：1=0不良貸款與貸款余額之間的線性關(guān)系不顯著計算檢驗統(tǒng)計量F確定顯著性水平=0.05，并根據(jù)分子自由度1和分母自由度25-2找出臨界值F

=4.28作出決策：若F>F,拒絕H0，線性關(guān)系顯著54方差分析表Excel輸出的方差分析表552.回歸系數(shù)的檢驗在一元線性回歸中，等價于線性關(guān)系的顯著性檢驗檢驗x與y之間是否具有線性關(guān)系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布56樣本統(tǒng)計量的分布

是根據(jù)最小二乘法求出的樣本統(tǒng)計量，它有自己的分布的分布具有如下性質(zhì)分布形式：正態(tài)分布數(shù)學(xué)期望：標(biāo)準(zhǔn)差：由于未知，需用其估計量sy來代替得到的估計的標(biāo)準(zhǔn)差57回歸系數(shù)的檢驗檢驗步驟

提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計算檢驗的統(tǒng)計量確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不能拒絕H058例題分析對例題的回歸系數(shù)進行顯著性檢驗(＝0.05)提出假設(shè)H0：b1=0H1：b1

0計算檢驗的統(tǒng)計量

t=7.533515>t=2.201，拒絕H0，表明不良貸款與貸款余額之間有線性關(guān)系59回歸系數(shù)的檢驗例題分析表P值的應(yīng)用P=0.000000<=0.05，拒絕原假設(shè)，不良貸款與貸款余額之間有線性關(guān)系603、三種檢驗的關(guān)系在一元線性回歸分析中，回歸系數(shù)顯著性的t檢驗、回歸方程顯著性的F檢驗，相關(guān)系數(shù)顯著性t檢驗，三者等價的，檢驗結(jié)果是完全一致的。對一元線性回歸，只做其中的一種檢驗即可。6111.2.5回歸分析結(jié)果的評價建立的模型是否合適？或者說，這個擬合的模型有多“好”？要回答這些問題，可以從以下幾個方面入手所估計的回歸系數(shù)

的符號是否與理論或事先預(yù)期相一致在不良貸款與貸款余額的回歸中，可以預(yù)期貸款余額越多不良貸款也可能會越多，也就是說，回歸系數(shù)的值應(yīng)該是正的，在上面建立的回歸方程中，我們得到的回歸系數(shù)為正值如果理論上認為x與y之間的關(guān)系不僅是正的，而且是統(tǒng)計上顯著的，那么所建立的回歸方程也應(yīng)該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關(guān)系，而且，對回歸系數(shù)的t檢驗結(jié)果表明二者之間的線性關(guān)系是統(tǒng)計上顯著的62回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數(shù)R2來回答這一問題在不良貸款與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯考察關(guān)于誤差項的正態(tài)性假定是否成立。因為我們在對線性關(guān)系進行F檢驗和回歸系數(shù)進行t檢驗時，都要求誤差項服從正態(tài)分布，否則，我們所用的檢驗程序?qū)⑹菬o效的。正態(tài)性的簡單方法是畫出殘差的直方圖或正態(tài)概率圖11.2.5回歸分析結(jié)果的評價63Excel輸出的部分回歸結(jié)果R2）6411.3殘差分析1用殘差證實模型的假定2用殘差檢測異常值和有影響的觀測值65殘差圖(residualplot)表示殘差的圖形關(guān)于x的殘差圖關(guān)于y的殘差圖標(biāo)準(zhǔn)化殘差圖用于判斷誤差的假定是否成立檢測有影響的觀測值66殘差圖(形態(tài)及判別)67殘差圖(例題分析)68標(biāo)準(zhǔn)化殘差(standardizedresidual)殘差除以它的標(biāo)準(zhǔn)差后得到的數(shù)值。計算公式為

sei是第i個殘差的標(biāo)準(zhǔn)差，其計算公式為

69標(biāo)準(zhǔn)化殘差圖用以直觀地判斷誤差項服從正態(tài)分布這一假定是否成立若假定成立，標(biāo)準(zhǔn)化殘差的分布也應(yīng)服從正態(tài)分布在標(biāo)準(zhǔn)化殘差圖中，大約有95%的標(biāo)準(zhǔn)化殘差在-2到+2之間70標(biāo)準(zhǔn)化殘差圖

(例題分析)71異常值(outlier)如果某一個點與其他點所呈現(xiàn)的趨勢不相吻合，這個點就有可能是異常點，或稱為野點如果異常值是一個錯誤的數(shù)據(jù)，比如記錄錯誤造成的，應(yīng)該修正該數(shù)據(jù)，以便改善回歸的效果如果是由于模型的假定不合理，使得標(biāo)準(zhǔn)化殘差偏大，應(yīng)該考慮采用其他形式的模型，比如非線性模型如果完全是由于隨機因素而造成的異常值，則應(yīng)該保留該數(shù)據(jù)在處理異常值時，若一個異常值是一個有效的觀測值，不應(yīng)輕易地將其從數(shù)據(jù)集中予以剔除72異常值識別異常值也可以通過標(biāo)準(zhǔn)化殘差來識別如果某一個觀測值所對應(yīng)的標(biāo)準(zhǔn)化殘差較大，就可以識別為異常值一般情況下，當(dāng)一個觀測值所對應(yīng)的標(biāo)準(zhǔn)化殘差小于-2或大于+2時，就