直線回歸課件

簡單線性回歸11.直線回歸概述多個變量之間關(guān)系研究：例：某人群年齡、BMI與收縮壓的關(guān)系；兒童身高、胸圍與肺活量的關(guān)系；在此，介紹兩個變量間線性的數(shù)量依存關(guān)系，即線性回歸。11.直線回歸

“回歸”的由來11.直線回歸Regression釋義11.直線回歸大多數(shù)高個子父代的子一代在成年之后的身高平均來說不是更高，而是稍矮于其父代水平；大多數(shù)矮個子父代的子一代的平均身高不是更矮，而是稍高于其父代水平。

Galton將這種趨向于人群平均水平的現(xiàn)象稱之為“回歸”。

Regression釋義11.直線回歸

Galton數(shù)據(jù)散點圖（英寸）11.直線回歸直線回歸的概念

回歸

——

F.Galton和KarlPearson發(fā)現(xiàn)兒子身高（Y，英寸）與父親身高（X，英寸）存在線性關(guān)系：

一.“回歸”(regression)一詞的由來11.直線回歸

人們借用“回歸”這個詞來描述通過自變量(independentvariable)的數(shù)值預(yù)測反應(yīng)變量（responsevariable)的平均水平。為了通過可測或易測變量對未知或難測或不可測量的狀態(tài)進(jìn)行估計，可以借助于回歸分析（regressionanalysis)。

例如：可以用身高體重活量估計心室輸出量，體循環(huán)總血量。尿雌三醇含量估計胎兒的體重。11.直線回歸LINE假定xy標(biāo)準(zhǔn)差相等

EQUALSTANDARDDEVIATION

對于任何X值，隨機變量Y的標(biāo)準(zhǔn)差

Y|X相等獨立INDEPENDENCE

每一觀察值之間彼此獨立

y|X=α+x直線回歸模型的四個假定線性LINEARITY

反應(yīng)變量均數(shù)與X間呈直線關(guān)系

Y|X=a+

X正態(tài)

NORMALITY

對于任何給定的X,Y服從正態(tài)分布，均數(shù)為

Y|X，標(biāo)準(zhǔn)差為

Y|X11.直線回歸直線回歸的一般表達(dá)直線回歸的概念

a：常數(shù)，截距(intercept)

當(dāng)X取值為0時相應(yīng)Y的均數(shù)估計；b：斜率(slope)，回歸系數(shù)(cofficientofregession)

當(dāng)X變化一個單位時Y的平均改變的估計值。11.直線回歸直線回歸方程的求法最小二乘法(leastsquaremethod)原理最小二乘法原則(leastsquaremethod)：使各實際散點（Y）到直線（）的縱向距離的平方和最小。即使最小。11.直線回歸最小二乘(Leastsquares)法圖解Yi（Y的估計值）

=a+bXi

Yi估計值i殘差i=Yi–估計值i尋找使S(殘差i)2最小的直線11.直線回歸直線回歸方程的求法根據(jù)數(shù)學(xué)上的最小二乘法(leastsquaremethod)原理，可導(dǎo)出a、b的算式如下:

因為直線一定經(jīng)過“均數(shù)”點11.直線回歸直線回歸中的統(tǒng)計推斷回歸系數(shù)的假設(shè)檢驗總體回歸系數(shù)的可信區(qū)間11.直線回歸回歸系數(shù)的假設(shè)檢驗直線回歸中的統(tǒng)計推斷b≠0原因：①總體回歸系數(shù)β=0，由于抽樣誤差引起

b≠0②總體回歸系數(shù)β≠0，存在回歸關(guān)系因此需作β是否為零的假設(shè)檢驗。方法：方差分析t檢驗11.直線回歸X方差分析方法基本思想——需要對應(yīng)變量Y的離均差平方和作分解。應(yīng)變量Y的平方和劃分示意圖：11.直線回歸Y的離均差平方和的分解11.直線回歸統(tǒng)計量F的計算公式為:

分別稱為回歸均方與剩余均方。統(tǒng)計量F服從自由度為的F分布。求F值后，查F界值表，得P值，按所取檢驗水準(zhǔn)作出推斷結(jié)論。直線回歸中的統(tǒng)計推斷11.直線回歸t檢驗方法

直線回歸中的統(tǒng)計推斷

Sy..x為y的剩余標(biāo)準(zhǔn)差-----扣除x對Y的線性影響后y對回歸線的離散程度。

11.直線回歸回歸方程的評價假設(shè)檢驗RootMSE（剩余標(biāo)準(zhǔn)差）R-Square（決定系數(shù)）AdjR-Sq（校正決定系數(shù)）11.直線回歸R-Square：回歸平方和在Y的總離均差平方和中所占比重R-Square=SS回歸/SS總=1-SS剩余/SS總0≤R-Square≤1當(dāng)回歸系數(shù)=0，則R-Square=0當(dāng)所有的觀測值正好落在擬和的回歸線上時，則R-Square=1

R-Square越接近1，說明回歸模型對資料的擬合優(yōu)度越佳，故R-Square作為衡量模型優(yōu)劣的測度。

11.直線回歸使用R-Square評價模型時需注意:

較大的R-Square并不一定意味著擬合模型是有用的，可能是因為：只取得自變量很少幾個水平的觀察值，此時，盡管R-Square很大，甚至趨于1，但它不能作為衡量模型優(yōu)劣的測度統(tǒng)計量；11.直線回歸AdjR-Sq:校正決定系數(shù)可見，校正決定系數(shù)是相對SS殘與SS總的自由度進(jìn)行的加權(quán)調(diào)整。11.直線回歸總體回歸系數(shù)β的可信區(qū)間β的1-α雙側(cè)可信區(qū)間為：

直線回歸中的統(tǒng)計推斷Sb為回歸系數(shù)的標(biāo)準(zhǔn)誤11.直線回歸描述預(yù)報

控制直線回歸的應(yīng)用11.直線回歸描述兩變量的依存關(guān)系通過回歸系數(shù)的假設(shè)檢驗，若認(rèn)為兩變量間存在著直線回歸關(guān)系，則可用直線回歸來描述兩變量的依存關(guān)系。直線回歸方程的應(yīng)用11.直線回歸利用回歸方程進(jìn)行預(yù)測(forecast)把預(yù)報因子(自變量X)代入回歸方程對預(yù)報量(應(yīng)變量Y)進(jìn)行估計。直線回歸方程的應(yīng)用11.直線回歸利用回歸方程進(jìn)行統(tǒng)計控制(statisticalcontrol)

利用回歸方程進(jìn)行逆估計，如要求應(yīng)變量Y在一定范圍內(nèi)波動，可以通過自變量X的取值來實現(xiàn)。直線回歸方程的應(yīng)用11.直線回歸總體均數(shù)的可信區(qū)間給定X=X0時，總體均數(shù)的可信區(qū)間

其中

直線回歸的應(yīng)用11.直線回歸直線回歸中的統(tǒng)計推斷個體Y值的預(yù)測區(qū)間

給定X=X0時，對應(yīng)的個體Y值也存在一個波動范圍。其標(biāo)準(zhǔn)差SY0按如下公式計算：

給定X=X0時個體Y值的1-α預(yù)測區(qū)間為：