第11講 簡(jiǎn)單線性回歸課件

簡(jiǎn)單線性回歸Linearregression第11講簡(jiǎn)單線性回歸回歸是設(shè)法找出變量間在數(shù)量上的依存變化關(guān)系,用函數(shù)表達(dá)式表達(dá)出來(lái)，這個(gè)表達(dá)式稱(chēng)之為回歸方程。第11講簡(jiǎn)單線性回歸兩變量間的關(guān)系確定性關(guān)系：兩變量間的函數(shù)關(guān)系

圓的周長(zhǎng)與半徑的關(guān)系：C＝2R

速度、時(shí)間與路程的關(guān)系：L＝STX與Y的函數(shù)關(guān)系：Y＝a+bX非確定性關(guān)系：兩變量在宏觀上存在關(guān)系，但并未精確到可以用函數(shù)關(guān)系來(lái)表達(dá)。青少年身高與年齡的關(guān)系；身高與體重的關(guān)系:標(biāo)準(zhǔn)體重(kg)=身高(cm)-105藥物濃度與反應(yīng)率的關(guān)系；第11講簡(jiǎn)單線性回歸一、線性回歸的概念當(dāng)兩個(gè)變量存在準(zhǔn)確、嚴(yán)格的直線關(guān)系時(shí)，可以用Y=a+bX，表示兩者的函數(shù)關(guān)系。其中X為自變量（independentvariable）；Y是因變量（dependentvariable）。但在實(shí)際生活當(dāng)中，由于其它因素的干擾，許多雙變量之間的關(guān)系并不是嚴(yán)格的函數(shù)關(guān)系，不能用函數(shù)方程來(lái)準(zhǔn)確反映，為了區(qū)別于兩變量間的函數(shù)方程，我們稱(chēng)這種關(guān)系為回歸關(guān)系，用直線方程來(lái)表示這種關(guān)系稱(chēng)為回歸直線或線性回歸。

第11講簡(jiǎn)單線性回歸小插曲：為什么叫”回歸“？

F.GaltonK.Pearson第11講簡(jiǎn)單線性回歸二、回歸參數(shù)的估計(jì)式中的是由自變量X推算應(yīng)變量Y的估計(jì)值，a是回歸直線在Y軸上的截距；b為樣本的回歸系數(shù)，即回歸直線的斜率，表示當(dāng)X變動(dòng)一個(gè)單位時(shí)，Y平均變動(dòng)b個(gè)單位。計(jì)算原理：最小二乘法，即保證各實(shí)測(cè)點(diǎn)到回歸直線的縱向距離的平方和最小，并使計(jì)算出的回歸方程最能代表實(shí)測(cè)數(shù)據(jù)所反映出的直線趨勢(shì)。第11講簡(jiǎn)單線性回歸第11講簡(jiǎn)單線性回歸例12-1某醫(yī)師為了研究正常成年男性的運(yùn)動(dòng)后最大心率與年齡的關(guān)系，測(cè)得20名正常成年男性的有關(guān)數(shù)據(jù)，散點(diǎn)圖如下。第11講簡(jiǎn)單線性回歸年齡與運(yùn)動(dòng)后最大心率的回歸方程第11講簡(jiǎn)單線性回歸回歸系數(shù)和回歸方程的意義及性質(zhì)b的意義a的意義的意義的意義的意義第11講簡(jiǎn)單線性回歸b

的意義斜率(slope)＝301.3124-3.218X年齡每增加1歲，其運(yùn)動(dòng)后最大心率平均減少3.218（次/分鐘)b

的單位為(Y的單位/X的單位)第11講簡(jiǎn)單線性回歸

b>0，yincreasewiththeincreaseofX

b<0，ydecreasewiththeincreaseofX

b=0，nolinearcorrelationbetweentwovariables.XYbistheregressioncoefficientandtheslopeoftheline。statisticalsignificanceofb

：whenXchangedaunit,theYchangedbunitsonaverage.b>0b<0b=0第11講簡(jiǎn)單線性回歸a的意義a截距(intercept,constant)X=0時(shí)，Y的估計(jì)值a的單位與Y值相同當(dāng)X可能取0時(shí)，a才有實(shí)際意義。第11講簡(jiǎn)單線性回歸估計(jì)值的意義X=46時(shí),=153.2844,即年齡為46歲的正常成年男性,其平均運(yùn)動(dòng)后最大心率估計(jì)值為153.2844（次/分鐘)；給定X時(shí)，Y的估計(jì)值。當(dāng)時(shí)，第11講簡(jiǎn)單線性回歸的意義

為殘差：實(shí)測(cè)點(diǎn)到回歸直線的縱向距離。1112131415165.05.56.06.5第11講簡(jiǎn)單線性回歸殘差平方和(residualsumofsquares).綜合表示點(diǎn)距直線的縱向距離。在所有的直線中，回歸直線的殘差平方和是最小的。(最小二乘)的意義第11講簡(jiǎn)單線性回歸三、總體回歸系數(shù)的假設(shè)檢驗(yàn)與直線相關(guān)一樣，直線回歸方程也是從樣本資料計(jì)算而得的，同樣也存在著抽樣誤差問(wèn)題。所以，需要對(duì)樣本的回歸系數(shù)b進(jìn)行假設(shè)檢驗(yàn)，以判斷b是否從回歸系數(shù)為零的總體中抽得。總體的回歸系數(shù)用β表示。

第11講簡(jiǎn)單線性回歸一般步驟H0：β=0回歸方程無(wú)意義H1：β≠0回歸方程有意義

α=0.05選擇合適的假設(shè)檢驗(yàn)方法（方差分析或t檢驗(yàn)），計(jì)算統(tǒng)計(jì)量計(jì)算概率值P做出推論：統(tǒng)計(jì)學(xué)結(jié)論和專(zhuān)業(yè)結(jié)論第11講簡(jiǎn)單線性回歸方差分析法第11講簡(jiǎn)單線性回歸因變量總變異的分解X

P

(X,Y)Y第11講簡(jiǎn)單線性回歸Y的總變異分解未引進(jìn)回歸時(shí)的總變異：(sumofsquaresaboutthemeanofY)引進(jìn)回歸以后的變異(剩余):(sumofsquaresaboutregression)回歸的貢獻(xiàn)，回歸平方和：(sumofsquaresduetoregression)第11講簡(jiǎn)單線性回歸Y的總變異分解

第11講簡(jiǎn)單線性回歸剩余標(biāo)準(zhǔn)差(1)扣除了X的影響后Y方面的變異;(2)引進(jìn)回歸方程后,Y方面的變異。

第11講簡(jiǎn)單線性回歸回歸系數(shù)檢驗(yàn)的基本思想如果X與Y無(wú)線性回歸關(guān)系，在SS回歸和SS剩余都是其他隨機(jī)因素對(duì)Y的影響，由此，MS回歸≈MS剩余，總體回歸系數(shù)β=0，反之，β≠0。所以用F檢驗(yàn)對(duì)X與Y之間有無(wú)回歸關(guān)系進(jìn)行檢驗(yàn)。第11講簡(jiǎn)單線性回歸公式第11講簡(jiǎn)單線性回歸查F界值表，F(xiàn)0.05（1，18）=4.41，F(xiàn)>F0.05（1，18），P<0.05，拒絕H0

H0：β=0H1：β≠0α=0.05第11講簡(jiǎn)單線性回歸t檢驗(yàn)法Sb是樣本回歸系數(shù)的標(biāo)準(zhǔn)誤第11講簡(jiǎn)單線性回歸H0：

＝0，H1：

≠0，

=0.05。年齡與運(yùn)動(dòng)后最大心率間存在回歸關(guān)系。第11講簡(jiǎn)單線性回歸決定系數(shù)

(coefficientofdetermination)取值在0到1之間，反映了回歸貢獻(xiàn)的相對(duì)程度。決定系數(shù)除了作為回歸擬合效果的概括統(tǒng)計(jì)量，還可利用它對(duì)回歸方程做假設(shè)檢驗(yàn)。第11講簡(jiǎn)單線性回歸四、回歸問(wèn)題的區(qū)間估計(jì)回歸系數(shù)的可信區(qū)間估計(jì)估計(jì)值的可信區(qū)間估計(jì)個(gè)體Y值的容許區(qū)間估計(jì)第11講簡(jiǎn)單線性回歸總體回歸系數(shù)

的可信區(qū)間估計(jì)根據(jù)

t分布原理估計(jì)：-3.218±2.101×0.2777＝-3.8014~-2.6346第11講簡(jiǎn)單線性回歸的可信區(qū)間估計(jì)

總體回歸線的95%置信帶

樣本總體Y的總平均給定X時(shí)Y的平均(Y的條件均數(shù))根據(jù)

t分布原理：第11講簡(jiǎn)單線性回歸的容許區(qū)間估計(jì)

個(gè)體Y值的容許區(qū)間給定X時(shí)Y的估計(jì)值是Y的均數(shù)的一個(gè)估計(jì)。給定X時(shí)Y值的容許區(qū)間是Y

值的可能范圍。的100(1-

)%容許限:第11講簡(jiǎn)單線性回歸的可信區(qū)間與Y的容許區(qū)間可信區(qū)間是針對(duì)條件均數(shù)的，而容許區(qū)間是針對(duì)Y的取值范圍的。X=46時(shí)，的可信區(qū)間為：149.7501~156.8187(次/分),

表示：年齡為46歲的男子，估計(jì)其運(yùn)動(dòng)后最大心率為153.2844，95％可信區(qū)間為（149.7501，156.8187)(次/分),

X=46時(shí)，Y的容許區(qū)間為：141.7543~164.8145(次/分),

表示：年齡為46歲的男子，估計(jì)有95％的人其運(yùn)動(dòng)后最大心率在141.7543~164.8145(次/分)之間。第11講簡(jiǎn)單線性回歸可信區(qū)間與容許區(qū)間示意

(confidenceband&toleranceband)1112131415164.55.05.56.06.57.0第11講簡(jiǎn)單線性回歸五、殘差分析第11講簡(jiǎn)單線性回歸線性回歸的應(yīng)用條件(LINE)：(1)線性(linear)(2)獨(dú)立(independent)(3)給定X時(shí)，Y正態(tài)分布(normal)(4)等方差(equalvariance)

可通過(guò)散點(diǎn)圖、殘差圖等方法來(lái)判斷數(shù)據(jù)是否滿(mǎn)足這些條件。第11講簡(jiǎn)單線性回歸給定X時(shí)，Y是正態(tài)分布、等方差示意圖第11講簡(jiǎn)單線性回歸給定X時(shí)，Y是正態(tài)分布、不等方差示意圖第11講簡(jiǎn)單線性回歸殘差及殘差分析殘差是指觀察值Yi與預(yù)測(cè)值之間的差值，其表達(dá)式為：它反映了方程擬合數(shù)據(jù)優(yōu)劣的信息。殘差分析（residualanalysis）旨在通過(guò)殘差深入了解數(shù)據(jù)與方程之間的關(guān)系，評(píng)價(jià)實(shí)際資料是否符合回歸方程的假設(shè)，識(shí)別離群值等。第11講簡(jiǎn)單線性回歸殘差圖標(biāo)準(zhǔn)殘差：（殘差－均值）/標(biāo)準(zhǔn)差以自變量（或因變量）為橫坐標(biāo)，標(biāo)準(zhǔn)殘差為縱坐標(biāo)，構(gòu)成的散點(diǎn)圖稱(chēng)之為殘差圖。運(yùn)動(dòng)后最大心率Y和回歸殘差圖第11講簡(jiǎn)單線性回歸殘差圖示意圖第11講簡(jiǎn)單線性回歸殘差圖示意圖含義以上給出幾種以自變量取值為橫坐標(biāo)、以標(biāo)準(zhǔn)化殘差為縱坐標(biāo)的殘差圖的常見(jiàn)類(lèi)型。在此殘差圖中：情況（a）、情況（b）和情況（f）表示殘差不滿(mǎn)足等方差的條件；情況（c）顯示存在非線性關(guān)系；情況（d）顯示有點(diǎn)處于

2倍標(biāo)準(zhǔn)差以外，可能是離群值；只有情況（e）顯示殘差呈隨機(jī)分布，滿(mǎn)足回歸條件。第11講簡(jiǎn)單線性回歸六、線性回歸分析的注意事項(xiàng)1.進(jìn)行相回歸分析要有實(shí)際意義。2.充分利用散點(diǎn)圖。3.在回歸分析中要求因變量Y是隨機(jī)變量，服從正態(tài)分布，自變量X可以是隨機(jī)變量也可以是給定的變量。4.自變量的選擇：因果中的因、容易測(cè)量的、變異小的。

第11講簡(jiǎn)單線性回歸4.注意線性回歸模型的應(yīng)用條件：LINE5.建立回歸方程后，須對(duì)回歸系數(shù)進(jìn)行假設(shè)檢驗(yàn)。6.使用回歸方程估計(jì)時(shí)，在建立方程時(shí)的自變量的取值范圍內(nèi)。第11講簡(jiǎn)單線性回歸七、線性相關(guān)和回歸的

區(qū)別和聯(lián)系第11講簡(jiǎn)單線性回歸聯(lián)系：1.b和r符號(hào)一致2.b和r的檢驗(yàn)是等價(jià)的3.用回歸解釋相關(guān)第11講簡(jiǎn)單線性回歸區(qū)別1.資料要求不同：回歸要求y服從正態(tài)分布，x是可以精確測(cè)量和嚴(yán)格控制的變量，一般稱(chēng)為Ⅰ型回歸；相關(guān)要求兩個(gè)變量服從雙變量正態(tài)分布。這種資料若進(jìn)行回歸分析稱(chēng)為Ⅱ回歸，可計(jì)算兩個(gè)方程。I型回歸：X是精確控制的；II型回歸：X是隨機(jī)的。由X推算Y：由Y推算X：2.研究目的不同：回歸用來(lái)說(shuō)明兩變量數(shù)量上的依存變化關(guān)系，相關(guān)說(shuō)明變量間的相關(guān)關(guān)系。第11講簡(jiǎn)單線性回歸小結(jié)簡(jiǎn)單線性回歸是研究?jī)蓚€(gè)變量間線性關(guān)系的數(shù)量表達(dá)式。根據(jù)最小二乘法原則，計(jì)算回歸方程。進(jìn)行簡(jiǎn)單線性回歸分析需要滿(mǎn)足線性、獨(dú)立、正態(tài)與等方差4個(gè)條件。在簡(jiǎn)單線性回歸分析中，對(duì)回歸方程的檢驗(yàn)等價(jià)于對(duì)回歸系數(shù)的假設(shè)檢驗(yàn)，可通過(guò)方差分析或t檢驗(yàn)完成。第11講簡(jiǎn)單線性回歸案例原文題目《高效毛細(xì)管電泳法測(cè)定血漿中布