講課一元線性回歸(精簡)

第9章一元線性回歸不要過于教條地對待研究的結(jié)果，尤其當數(shù)據(jù)的質(zhì)量受到懷疑時。

——DamodarN.Gujarati統(tǒng)計名言本章章節(jié)§9.1變量間關(guān)系的度量§9.2一元線性回歸的估計和檢驗§9.3利用回歸方程進行預(yù)測§9.4用殘差檢驗?zāi)Ｐ偷募俣▽W習目標相關(guān)關(guān)系的分析參數(shù)的最小二乘估計回歸直線的擬合優(yōu)度回歸方程的顯著性檢驗利用回歸方程進行預(yù)測用殘差證實模型的假定用

SPSS進行回歸子代與父代一樣嗎？Galton被譽為現(xiàn)代回歸和相關(guān)技術(shù)的創(chuàng)始人。1875年，Galton利用豌豆實驗來確定尺寸的遺傳規(guī)律。他挑選了7組不同尺寸的豌豆，并說服他在英國不同地區(qū)的朋友每一組種植10粒種子，最后把原始的豌豆種子(父代)與新長的豌豆種子(子代)進行尺寸比較當結(jié)果被繪制出來之后，他發(fā)現(xiàn)并非每一個子代都與父代一樣，不同的是，尺寸小的豌豆會得到更大的子代，而尺寸大的豌豆卻得到較小的子代。Galton把這一現(xiàn)象叫做“返祖”(趨向于祖先的某種平均類型)，后來又稱之為“向平均回歸”。一個總體中在某一時期具有某一極端特征(低于或高于總體均值)的個體在未來的某一時期將減弱它的極端性(或者是單個個體或者是整個子代)，這一趨勢現(xiàn)在被稱作“回歸效應(yīng)”。人們發(fā)現(xiàn)它的應(yīng)用很廣，而不僅限于從一代到下一代豌豆大小問題回歸分析研究什么？研究某些實際問題時往往涉及到多個變量。在這些變量中，有一個變量是研究中特別關(guān)注的，稱為因變量，而其他變量則看成是影響這一變量的因素，稱為自變量假定因變量與自變量之間有某種關(guān)系，并把這種關(guān)系用適當?shù)臄?shù)學模型表達出來，那么，就可以利用這一模型根據(jù)給定的自變量來預(yù)測因變量，這就是回歸要解決的問題在回歸分析中，只涉及一個自變量時稱為一元回歸，涉及多個自變量時則稱為多元回歸。如果因變量與自變量之間是線性關(guān)系，則稱為線性回歸(linearregression)；如果因變量與自變量之間是非線性關(guān)系則稱為非線性回歸(nonlinearregression)

9.1變量間的關(guān)系

9.1.1變量間是什么樣的關(guān)系？

9.1.2用散點圖描述相關(guān)關(guān)系

9.1.3用相關(guān)系數(shù)度量關(guān)系強度第9章一元線性回歸怎樣分析變量間的關(guān)系？建立回歸模型時，首先需要弄清楚變量之間的關(guān)系。分析變量之間的關(guān)系需要解決下面的問題變量之間是否存在關(guān)系？如果存在，它們之間是什么樣的關(guān)系？變量之間的關(guān)系強度如何？樣本所反映的變量之間的關(guān)系能否代表總體變量之間的關(guān)系？9.1.1變量間是什么樣的關(guān)系？9.1變量間的關(guān)系——函數(shù)關(guān)系是一一對應(yīng)的確定關(guān)系設(shè)有兩個變量x和y，變量y隨變量x一起變化，并完全依賴于x，當變量x取某個數(shù)值時，y依確定的關(guān)系取相應(yīng)的值，則稱y是x的函數(shù)，記為

y=f(x)，其中x稱為自變量，y稱為因變量各觀測點落在一條線上

xy變量間的關(guān)系相關(guān)關(guān)系

(correlation)一個變量的取值不能由另一個變量唯一確定當變量

x取某個值時，變量y的取值對應(yīng)著一個分布各觀測點分布在直線周圍

yx相關(guān)關(guān)系(幾個例子)相關(guān)關(guān)系的例子父親身高(y)與子女身高(x)之間的關(guān)系收入水平(y)與受教育程度(x)之間的關(guān)系糧食畝產(chǎn)量(y)與施肥量(x1)、降雨量(x2)、溫度(x3)之間的關(guān)系商品的消費量(y)與居民收入(x)之間的關(guān)系商品銷售額(y)與廣告費支出(x)之間的關(guān)系9.1.2用散點圖描述相關(guān)關(guān)系9.1變量間的關(guān)系散點圖(scatterdiagram)不相關(guān)負線性相關(guān)正線性相關(guān)非線性相關(guān)完全負線性相關(guān)完全正線性相關(guān)用散點圖描述變量間的關(guān)系

(例題分析)【例9-1】為研究銷售收入與廣告費用支出之間的關(guān)系，某醫(yī)藥管理部門隨機抽取20家藥品生產(chǎn)企業(yè)，得到它們的年銷售收入和廣告費用支出(萬元)的數(shù)據(jù)如下。繪制散點圖描述銷售收入與廣告費用之間的關(guān)系銷售收入廣告費用618453195430167524075316019423901019809065067317023954101267200散點圖

(銷售收入和廣告費用的散點圖)

9.2一元線性回歸的估計和檢驗

9.2.1一元線性回歸模型

9.2.2參數(shù)的最小二乘估計

9.2.3回歸直線的擬合優(yōu)度

9.2.4顯著性檢驗第9章一元線性回歸9.2.1一元線性回歸模型9.2一元線性回歸的估計和檢驗什么是回歸分析？

(regressionanalysis)重點考察一個特定的變量(因變量)，而把其他變量(自變量)看作是影響這一變量的因素，并通過適當?shù)臄?shù)學模型將變量間的關(guān)系表達出來利用樣本數(shù)據(jù)建立模型的估計方程對模型進行顯著性檢驗進而通過一個或幾個自變量的取值來估計或預(yù)測因變量的取值一元線性回歸涉及一個自變量的回歸因變量y與自變量x之間為線性關(guān)系被預(yù)測或被解釋的變量稱為因變量(dependentvariable)，用y表示用來預(yù)測或用來解釋因變量的一個或多個變量稱為自變量(independentvariable)，用x表示因變量與自變量之間的關(guān)系用一個線性方程來表示一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型一元線性回歸模型可表示為y=b0+b1x+ey是x的線性函數(shù)(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關(guān)系之外的隨機因素對y的影響是不能由x和y之間的線性關(guān)系所解釋的變異性0和1稱為模型的參數(shù)一元線性回歸模型(基本假定)

因變量x與自變量y之間具有線性關(guān)系在重復(fù)抽樣中，自變量x的取值是固定的，即假定x是非隨機的誤差項滿足正態(tài)性。是一個服從正態(tài)分布的隨機變量，且期望值為0，即

~N(0,2)。對于一個給定的x值，y的期望值為E(y)=0+1x方差齊性。對于所有的x值，的方差一個特定的值，的方差也都等于2都相同。同樣，一個特定的x值，y的方差也都等于2獨立性。獨立性意味著對于一個特定的x值，它所對應(yīng)的ε與其他x值所對應(yīng)的ε不相關(guān)；對于一個特定的x值，它所對應(yīng)的y值與其他x所對應(yīng)的y值也不相關(guān)估計的回歸方程

(estimatedregressionequation)一元線性回歸中估計的回歸方程為用樣本統(tǒng)計量

和代替回歸方程中的未知參數(shù)和，就得到了估計的回歸方程總體回歸參數(shù)和

是未知的，必需利用樣本數(shù)據(jù)去估計其中：是估計的回歸直線在y

軸上的截距，是直線的斜率，它表示對于一個給定的x

的值，是y

的估計值，也表示x

每變動一個單位時，y的平均變動值

1b0b9.2.2參數(shù)的最小二乘估計9.2一元線性回歸的估計和檢驗參數(shù)的最小二乘估計

(methodofleastsquares)德國科學家KarlGauss(1777—1855)提出用最小化圖中垂直方向的誤差平方和來估計參數(shù)

使因變量的觀察值與估計值之間的誤差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關(guān)系與實際數(shù)據(jù)的誤差比其他任何直線都小最小二乘估計(圖示)

xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)｝ei=yi-yi＾參數(shù)的最小二乘估計

(

和的計算公式)

根據(jù)最小二乘法，可得求解和的公式如下用SPSS進行回歸第1步：選擇【Analyze】下拉菜單，并選擇【Regression-linear】選項，進入主對話框第2步：在主對話框中將因變量(本例為銷售收入)選入【Dependent】，將自變量(本例為廣告費用)選入【Independent(s)】第3步：點擊【Save】，在【PredictedValues】下選中【Unstandardized】(輸出點預(yù)測值)在【Predictioninterval】下選中【Mean】和【Individual】(輸出置信區(qū)間和預(yù)測區(qū)間)在【ConfidenceInterval】中選擇所要求的置信水平(隱含值95%，一般不用改變)在【Residuals】下選中【Unstandardized】和【standardized】(輸出殘差和標準化殘差)

點擊【Continue】回到主對話框。點擊【OK】進行回歸SPSS參數(shù)的最小二乘估計(SPSS輸出結(jié)果)參數(shù)的最小二乘估計

(例題分析)9.2.3回歸直線的擬合優(yōu)度9.2一元線性回歸的估計和檢驗變差因變量

y的取值是不同的，y取值的這種波動稱為變差。變差來源于兩個方面由于自變量x的取值不同造成的除x以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差來表示誤差分解圖xyy離差平方和的分解

(三個平方和的關(guān)系)

SST=SSR+SSE總平方和(SST){回歸平方和(SSR)殘差平方和(SSE){{離差平方和的分解

(三個平方和的意義)總平方和(SST)反映因變量的n個觀察值與其均值的總離差回歸平方和(SSR)反映自變量x的變化對因變量y取值變化的影響，或者說，是由于x與y之間的線性關(guān)系引起的y的取值變化，也稱為可解釋的平方和殘差平方和(SSE)反映除x以外的其他因素對y取值的影響，也稱為不可解釋的平方和或剩余平方和判定系數(shù)R2

(coefficientofdetermination)回歸平方和占總離差平方和的比例反映回歸直線的擬合程度取值范圍在[0,1]

之間

R21，說明回歸方程擬合的越好；R20，說明回歸方程擬合的越差判定系數(shù)等于相關(guān)系數(shù)的平方，即R2＝(r)2估計標準誤差

(standarderrorofestimate)實際觀察值與回歸估計值誤差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況對誤差項的標準差的估計，是在排除了x對y的線性影響后，y隨機波動大小的一個估計量反映用估計的回歸方程預(yù)測y時預(yù)測誤差的大小

計算公式為SPSS輸出結(jié)果9.2.4顯著性檢驗9.2一元線性回歸的估計和檢驗顯著性檢驗線性關(guān)系檢驗回歸系數(shù)檢驗線性關(guān)系的檢驗檢驗自變量與因變量之間的線性關(guān)系是否顯著將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應(yīng)的自由度(自變量的個數(shù)p)殘差均方：殘差平方和SSE除以相應(yīng)的自由度(n-p-1)線性關(guān)系的檢驗(檢驗的步驟)

提出假設(shè)H0：1=0線性關(guān)系不顯著2.計算檢驗統(tǒng)計量F確定顯著性水平，并根據(jù)分子自由度1和分母自由度n-2找出臨界值F作出決策：若F>F,拒絕H0；若F<F,不拒絕H0SPSS求統(tǒng)計量的P值，若P<，拒絕H0。表明兩個變量之間的線性關(guān)系顯著線性關(guān)系的檢驗(方差分析表)

P=0.000<=0.05，拒絕原假設(shè)，廣告費用與銷售收入之間線性關(guān)系顯著.回歸系數(shù)的檢驗和推斷在一元線性回歸中，等價于線性關(guān)系的顯著性檢驗采用t檢驗檢驗x與y之間是否具有線性關(guān)系，或者說，檢驗自變量x對因變量y的影響是否顯著理論基礎(chǔ)是回歸系數(shù)

的抽樣分布回歸系數(shù)的檢驗和推斷

(檢驗步驟)

提出假設(shè)H0:b1=0(沒有線性關(guān)系)H1:b1

0(有線性關(guān)系)計算檢驗的統(tǒng)計量spss計算出統(tǒng)計量的P值，P<，拒絕H0，表明自變量是影響因變量的一個顯著因素確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不拒絕H0回歸系數(shù)的檢驗和推斷

(b1和b0的置信區(qū)間)

b1在1-置信水平下的置信區(qū)間為b0在1-置信水平下的置信區(qū)間為回歸系數(shù)的檢驗(例題分析)P=0.000<=0.05，拒絕原假設(shè)，表明廣告費用是銷售收入的一個重要影響因素。

9.3利用回歸方程進行預(yù)測

9.3.1平均值的置信區(qū)間

9.3.2個別值的預(yù)測區(qū)間第9章一元線性回歸區(qū)間估計對于自變量

x的一個給定值x0，根據(jù)回歸方程得到因變量y的一個估計區(qū)間區(qū)間估計有兩種類型置信區(qū)間估計(confidenceintervalestimate)預(yù)測區(qū)間估計(predictionintervalestimate)9.3.1平均值的置信區(qū)間9.3利用回歸方程進行預(yù)測平均值的置信區(qū)間利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的平均值的估計區(qū)間，這一估計區(qū)間稱為置信區(qū)間(confidenceinterval)

E(y0)

在1-置信水平下的置信區(qū)間為式中：se為估計標準誤差個別值的預(yù)測區(qū)間利用估計的回歸方程，對于自變量x的一個給定值x0

，求出因變量y

的一個個別值的估計區(qū)間，這一區(qū)間稱為預(yù)測區(qū)間(predictioninterval)

y0在1-置信水平下的預(yù)測區(qū)間為注意！置信