第十一講簡單線性回歸

1、第十一章 簡單線性回歸Linear regressionn回歸是設(shè)法找出變量間在數(shù)量上的依存變化關(guān)系, 用函數(shù)表達(dá)式表達(dá)出來，這個(gè)表達(dá)式稱之為回歸方程。 兩變量間的關(guān)系n確定性關(guān)系：兩變量間的函數(shù)關(guān)系 圓的周長與半徑的關(guān)系： C2R 速度、時(shí)間與路程的關(guān)系：LST X與Y的函數(shù)關(guān)系： Ya+bX n非確定性關(guān)系：兩變量在宏觀上存在關(guān)系，但并未精確到可以用函數(shù)關(guān)系來表達(dá)。 青少年身高與年齡的關(guān)系； 身高與體重的關(guān)系:標(biāo)準(zhǔn)體重(kg)=身高(cm)-105 藥物濃度與反應(yīng)率的關(guān)系；一、線性回歸的概念一、線性回歸的概念n當(dāng)兩個(gè)變量存在當(dāng)兩個(gè)變量存在準(zhǔn)確、嚴(yán)格的準(zhǔn)確、嚴(yán)格的直線關(guān)系時(shí)，可以用直線關(guān)系時(shí)

2、，可以用Y=a+bX，表示兩者的函數(shù)關(guān)系。表示兩者的函數(shù)關(guān)系。n其中其中X 為為自變量（自變量（independent variable）；）；Y是因變量是因變量（ dependent variable ）。）。n但在實(shí)際生活當(dāng)中，由于其它因素的干擾，許多雙變量之但在實(shí)際生活當(dāng)中，由于其它因素的干擾，許多雙變量之間的關(guān)系并不是嚴(yán)格的函數(shù)關(guān)系，不能用函數(shù)方程來準(zhǔn)確間的關(guān)系并不是嚴(yán)格的函數(shù)關(guān)系，不能用函數(shù)方程來準(zhǔn)確反映，為了區(qū)別于兩變量間的函數(shù)方程，我們稱這種關(guān)系反映，為了區(qū)別于兩變量間的函數(shù)方程，我們稱這種關(guān)系為回歸關(guān)系，用直線方程來表示這種關(guān)系稱為回歸直線或?yàn)榛貧w關(guān)系，用直線方程來表示這種關(guān)系

3、稱為回歸直線或線性回歸。線性回歸。 Yabx小插曲：為什么叫”回歸“？ F. Galton K.Pearson二、回歸參數(shù)的估計(jì)二、回歸參數(shù)的估計(jì)n式中的式中的 是由自變量是由自變量X推算應(yīng)變量推算應(yīng)變量Y的估計(jì)值，的估計(jì)值，a是回歸直是回歸直線在線在Y 軸上的軸上的截距截距；b為樣本的為樣本的回歸系數(shù)回歸系數(shù)，即回歸直線的斜，即回歸直線的斜率，表示當(dāng)率，表示當(dāng)X變動(dòng)一個(gè)單位時(shí)，變動(dòng)一個(gè)單位時(shí)，Y平均變動(dòng)平均變動(dòng)b個(gè)單位。個(gè)單位。n計(jì)算原理：計(jì)算原理：最小二乘法最小二乘法，即保證各實(shí)測點(diǎn)到回歸直線的縱，即保證各實(shí)測點(diǎn)到回歸直線的縱向距離的平方和最小，并使計(jì)算出的回歸方程最能代表實(shí)向距離的平方和

4、最小，并使計(jì)算出的回歸方程最能代表實(shí)測數(shù)據(jù)所反映出的直線趨勢。測數(shù)據(jù)所反映出的直線趨勢。YabxY22YYYabXXbYaXXXYllXXYYXXb 2)()(例例11-1 某醫(yī)師為了研究正常成年男性的運(yùn)動(dòng)某醫(yī)師為了研究正常成年男性的運(yùn)動(dòng)后最大心率與年齡的關(guān)系，測得后最大心率與年齡的關(guān)系，測得20名正常成年男名正常成年男性的有關(guān)數(shù)據(jù)，散點(diǎn)圖如下。性的有關(guān)數(shù)據(jù)，散點(diǎn)圖如下。年齡504846444240383634心率200190180170160150140130年齡與運(yùn)動(dòng)后最大心率的回歸方程 41.8 166.8381.2 4477.2 1226.8XXYYXYX Ylll= -1226.8

5、3.218381.2XYXXlbl-= -301.31243.218YX=-166.8-(-3.218)41.8301.3124a =回歸系數(shù)和回歸方程的意義及性質(zhì)回歸系數(shù)和回歸方程的意義及性質(zhì)nb 的意義na 的意義n 的意義n 的意義n 的意義bXaY YY niiiYY12 Yb 的意義n斜率(slope) n 301.3124 -3.218 Xn 年齡每增加 1 歲，其運(yùn)動(dòng)后最大心率平均減少 3.218（次/分鐘)nb 的單位為 (Y的單位/X的單位)Y b0，y increase with the increase of X b0b F0.05（1，18） ，P0.05，拒絕拒絕H0

6、 H0：=0 H1：0 =0.05t檢驗(yàn)法22,0()/bbvnSy xblxxbXXSSvtss剩余剩余 Sb是樣本回歸系數(shù)的標(biāo)準(zhǔn)誤是樣本回歸系數(shù)的標(biāo)準(zhǔn)誤nH 0： 0，nH 1： 0，n =0.05。 ()2.529.0409529.0409, 5.42142025.42140.2777381.23.21811.588, 18, P0.0010.2777Y XbbYYsstv-=-=-= -=年齡與運(yùn)動(dòng)后最大心率間存在回歸關(guān)系。決定系數(shù)決定系數(shù)(coefficient of determination)n 取值在0到1之間，反映了回歸貢獻(xiàn)的相對程度。n決定系數(shù)除了作為回歸擬合效果的概括統(tǒng)計(jì)

7、量，還可利用它對回歸方程做假設(shè)檢驗(yàn)。2SSRSS回總2R22(1) (2)MSRkFRnMS回剩四、回歸問題的區(qū)間估計(jì)四、回歸問題的區(qū)間估計(jì)n回歸系數(shù)的可信區(qū)間估計(jì)n估計(jì)值 的可信區(qū)間估計(jì)n個(gè)體Y值的容許區(qū)間估計(jì) Y 總體回歸系數(shù) 的可信區(qū)間估計(jì)n根據(jù) t 分布原理估計(jì)：n-3.2182.1010.2777-3.8014-2.63462 0 nsbtbb ，bnstb2, 的可信區(qū)間估計(jì)總體回歸線的95%置信帶 Y 樣本 總體Y的總平均給定X時(shí)Y的平均 (Y的條件均數(shù)) YYY 22.2,2,)()(1XXXXnstYstYXYnYn n根據(jù) t 分布原理： 的容許區(qū)間估計(jì)個(gè)體Y值的容許區(qū)間

8、22.2,2,)()(11XXXXnstYstYXYnYn n給定 X 時(shí) Y 的估計(jì)值是 Y 的均數(shù) 的一個(gè)估計(jì)。n給定X 時(shí) Y 值的容許區(qū)間是 Y 值的可能范圍。n 的100(1- )%容許限:Y Y Y 的可信區(qū)間與Y的容許區(qū)間n可信區(qū)間是針對條件均數(shù)的，而容許區(qū)間是針對Y的取值范圍的。nX=46時(shí)， 的可信區(qū)間為：149.7501156.8187(次/分), 表示：年齡為46歲的男子，估計(jì)其運(yùn)動(dòng)后最大心率為153.2844，95可信區(qū)間為（149.7501，156.8187 )(次/分), n X=46時(shí)，Y的容許區(qū)間為：141.7543164.8145 (次/分), 表示：年齡為4

9、6歲的男子， 估計(jì)有95的人其運(yùn)動(dòng)后最大心率在141.7543164.8145 (次/分)之間。Y Y 可信區(qū)間與容許區(qū)間示意(confidence band & tolerance band)1112131415164.55.05.56.06.57.0五、殘差分析五、殘差分析線性回歸的應(yīng)用條件(LINE)：n(1)線性(linear)n(2)獨(dú)立(independent)n(3)給定X時(shí)，Y正態(tài)分布(normal)n(4)等方差(equal variance) 可通過散點(diǎn)圖、殘差圖等方法來判斷數(shù)據(jù)是否滿足可通過散點(diǎn)圖、殘差圖等方法來判斷數(shù)據(jù)是否滿足這些條件。這些條件。給定X時(shí)，Y是正

10、態(tài)分布、等方差示意圖給定X時(shí)，Y是正態(tài)分布、不等方差示意圖殘差及殘差分析n殘差是指觀察值Yi與預(yù)測值 之間的差值，其表達(dá)式為：n它反映了方程擬合數(shù)據(jù)優(yōu)劣的信息。n殘差分析（residual analysis）旨在通過殘差深入了解數(shù)據(jù)與方程之間的關(guān)系，評價(jià)實(shí)際資料是否符合回歸方程的假設(shè)，識(shí)別離群值等。iiieYYiY殘差圖n標(biāo)準(zhǔn)殘差：（殘差均值）/標(biāo)準(zhǔn)差n以自變量（或因變量）為橫坐標(biāo)，標(biāo)準(zhǔn)殘差為縱坐標(biāo)，構(gòu)成的散點(diǎn)圖稱之為殘差圖。n運(yùn)動(dòng)后最大心率Y和回歸殘差圖殘差圖示意圖殘差圖示意圖含義n以上給出幾種以自變量取值為橫坐標(biāo)、以標(biāo)準(zhǔn)化殘差為縱坐標(biāo)的殘差圖的常見類型。n在此殘差圖中：n 情況（a）、情況

11、（b）和情況（f）表示殘差不滿足等方差的條件；n 情況（c）顯示存在非線性關(guān)系；n 情況（d）顯示有點(diǎn)處于2倍標(biāo)準(zhǔn)差以外，可能是離群值；n 只有情況（e）顯示殘差呈隨機(jī)分布，滿足回歸條件。 六、線性回歸分析的注意事項(xiàng)六、線性回歸分析的注意事項(xiàng)1.進(jìn)行相回歸分析要有實(shí)際意義。進(jìn)行相回歸分析要有實(shí)際意義。2.充分利用散點(diǎn)圖。充分利用散點(diǎn)圖。3.在回歸分析中要求因變量在回歸分析中要求因變量Y是隨機(jī)變量，服從正態(tài)是隨機(jī)變量，服從正態(tài)分布，自變量分布，自變量X可以是隨機(jī)變量也可以是給定的可以是隨機(jī)變量也可以是給定的變量。變量。4.自變量的選擇：自變量的選擇： 因果中的因、容易測量的、變異小因果中的因、容

12、易測量的、變異小的。的。 4.注意線性回歸模型的應(yīng)用條件：注意線性回歸模型的應(yīng)用條件：LINE5.建立回歸方程后，須對回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。建立回歸方程后，須對回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。6.使用回歸方程估計(jì)時(shí)，在建立方程時(shí)的自變量使用回歸方程估計(jì)時(shí)，在建立方程時(shí)的自變量的取值范圍內(nèi)。的取值范圍內(nèi)。七、七、 線性相關(guān)和回歸的線性相關(guān)和回歸的 區(qū)別和聯(lián)系區(qū)別和聯(lián)系聯(lián)系聯(lián)系： 1.b和r符號(hào)一致 2.b和r的檢驗(yàn)是等價(jià)的 3.用回歸解釋相關(guān)2SSrSS回總brttF區(qū)別區(qū)別1.資料要求不同：回歸要求資料要求不同：回歸要求y服從正態(tài)分布，服從正態(tài)分布，x是可以是可以精確測量和嚴(yán)格控制的變量，一般稱為精確測

13、量和嚴(yán)格控制的變量，一般稱為型回歸；型回歸；相關(guān)要求兩個(gè)變量服從雙變量正態(tài)分布。這種資料相關(guān)要求兩個(gè)變量服從雙變量正態(tài)分布。這種資料若進(jìn)行回歸分析稱為若進(jìn)行回歸分析稱為回歸，可計(jì)算兩個(gè)方程?；貧w，可計(jì)算兩個(gè)方程。nI型回歸：X是精確控制的；nII型回歸：X是隨機(jī)的。n由X推算Y：n由Y推算X：2.2.研究目的不同：回歸用來說明兩變量數(shù)量上的依存研究目的不同：回歸用來說明兩變量數(shù)量上的依存變化關(guān)系，相關(guān)說明變量間的相關(guān)關(guān)系。變化關(guān)系，相關(guān)說明變量間的相關(guān)關(guān)系。YbaXXbaYYXYXXYXY. 小結(jié)小結(jié)n簡單線性回歸是研究兩個(gè)變量間線性關(guān)系的數(shù)量表簡單線性回歸是研究兩個(gè)變量間線性關(guān)系的數(shù)量表達(dá)式

14、。根據(jù)最小二乘法原則，計(jì)算回歸方程。達(dá)式。根據(jù)最小二乘法原則，計(jì)算回歸方程。n進(jìn)行簡單線性回歸分析需要滿足進(jìn)行簡單線性回歸分析需要滿足線性、獨(dú)立線性、獨(dú)立 、正態(tài)、正態(tài) 與等方差與等方差4個(gè)條件。個(gè)條件。n在簡單線性回歸分析中，對回歸方程的檢驗(yàn)等價(jià)于在簡單線性回歸分析中，對回歸方程的檢驗(yàn)等價(jià)于對回歸系數(shù)的假設(shè)檢驗(yàn)，可通過方差分析或?qū)貧w系數(shù)的假設(shè)檢驗(yàn)，可通過方差分析或t檢驗(yàn)檢驗(yàn)完成。完成。案例n原文題目高效毛細(xì)管電泳法測定血漿中布比卡因的濃度，采用毛細(xì)管電泳法，于0.5ml空白血漿中分別加入0.05，0.1，0.2，0.3，0.4，0.5g的布比卡因進(jìn)行測定，原作者以樣品峰的峰面積與內(nèi)標(biāo)峰的峰面積之比（Y）對樣品量（X）進(jìn)行相關(guān)分析，線性關(guān)系良好（ r0.99）習(xí)題 1.在簡單線性回歸分析中，得到回歸系數(shù)為-0.30，經(jīng)檢驗(yàn)有統(tǒng)計(jì)學(xué)意義，說明（ ）A.Y增加一個(gè)單位，X平均減少30%B. X增加一個(gè)單位，Y平均減少30% C. X增加一個(gè)單位，Y平均減少0.30個(gè)單位 D. Y增加一個(gè)單位，X平均減