1回歸分析的基本思想及其初步應(yīng)用

北京大學(xué)2021/5/91第一章統(tǒng)計(jì)案例

2021/5/92a.比《數(shù)學(xué)3》中“回歸”增加的內(nèi)容數(shù)學(xué)３——統(tǒng)計(jì)畫散點(diǎn)圖了解最小二乘法的思想求回歸直線方程y＝bx＋a用回歸直線方程解決應(yīng)用問題選修１-２——統(tǒng)計(jì)案例引入線性回歸模型y＝bx＋a＋e了解模型中隨機(jī)誤差項(xiàng)e產(chǎn)生的原因了解相關(guān)指數(shù)R2

和模型擬合的效果之間的關(guān)系了解殘差圖的作用利用線性回歸模型解決一類非線性回歸問題正確理解分析方法與結(jié)果2021/5/93必修3(第二章統(tǒng)計(jì))知識(shí)結(jié)構(gòu)收集數(shù)據(jù)(隨機(jī)抽樣)整理、分析數(shù)據(jù)估計(jì)、推斷簡(jiǎn)單隨機(jī)抽樣分層抽樣系統(tǒng)抽樣用樣本估計(jì)總體變量間的相關(guān)關(guān)系用樣本的頻率分布估計(jì)總體分布用樣本數(shù)字特征估計(jì)總體數(shù)字特征線性回歸分析2021/5/94問題1：正方形的面積y與正方形的邊長x之間的函數(shù)關(guān)系是y=x2確定性關(guān)系問題2：某水田水稻產(chǎn)量y與施肥量x之間是否-------有一個(gè)確定性的關(guān)系？例如：在7塊并排、形狀大小相同的試驗(yàn)田上進(jìn)行施肥量對(duì)水稻產(chǎn)量影響的試驗(yàn)，得到如下所示的一組數(shù)據(jù)：施化肥量x15202530354045水稻產(chǎn)量y330345365405445450455復(fù)習(xí):變量之間的兩種關(guān)系2021/5/95自變量取值一定時(shí)，因變量的取值帶有一定隨機(jī)性的兩個(gè)變量之間的關(guān)系叫做相關(guān)關(guān)系。1、定義：1）：相關(guān)關(guān)系是一種不確定性關(guān)系；注對(duì)具有相關(guān)關(guān)系的兩個(gè)變量進(jìn)行統(tǒng)計(jì)分析的方法叫回歸分析。2）：2021/5/961、兩個(gè)變量的關(guān)系不相關(guān)相關(guān)關(guān)系函數(shù)關(guān)系線性相關(guān)非線性相關(guān)問題1：現(xiàn)實(shí)生活中兩個(gè)變量間的關(guān)系有哪些呢？相關(guān)關(guān)系：對(duì)于兩個(gè)變量，當(dāng)自變量取值一定時(shí)，因變量的取值帶有一定隨機(jī)性的兩個(gè)變量之間的關(guān)系。2021/5/97思考：相關(guān)關(guān)系與函數(shù)關(guān)系有怎樣的不同？函數(shù)關(guān)系中的兩個(gè)變量間是一種確定性關(guān)系相關(guān)關(guān)系是一種非確定性關(guān)系函數(shù)關(guān)系是一種理想的關(guān)系模型相關(guān)關(guān)系在現(xiàn)實(shí)生活中大量存在，是更一般的情況2021/5/98問題2：對(duì)于線性相關(guān)的兩個(gè)變量用什么方法來刻劃之間的關(guān)系呢？2、最小二乘估計(jì)最小二乘估計(jì)下的線性回歸方程：2021/5/99我們回憶一下最小二乘法:樣本點(diǎn)的中心:回歸方程:2021/5/9103、回歸分析的基本步驟:畫散點(diǎn)圖求回歸方程用回歸直線方程預(yù)報(bào)、決策這種方法稱為回歸分析.回歸分析是對(duì)具有相關(guān)關(guān)系的兩個(gè)變量進(jìn)行統(tǒng)計(jì)分析的一種常用方法.2021/5/9112、現(xiàn)實(shí)生活中存在著大量的相關(guān)關(guān)系。

如：人的身高與年齡；產(chǎn)品的成本與生產(chǎn)數(shù)量；商品的銷售額與廣告費(fèi)；家庭的支出與收入。等等探索：水稻產(chǎn)量y與施肥量x之間大致有何規(guī)律？2021/5/912例1從某大學(xué)中隨機(jī)選取8名女大學(xué)生，其身高和體重?cái)?shù)據(jù)如表1-1所示。編號(hào)12345678身高/cm165165157170175165155170體重/kg4857505464614359求根據(jù)一名女大學(xué)生的身高預(yù)報(bào)她的體重的回歸方程，并預(yù)報(bào)一名身高為172cm的女大學(xué)生的體重。案例1：女大學(xué)生的身高與體重解：1、選取身高為自變量x，體重為因變量y，作散點(diǎn)圖：2、由散點(diǎn)圖知道身高和體重有比較好的線性相關(guān)關(guān)系，因此可以用線性回歸方程刻畫它們之間的關(guān)系。2021/5/913例1從某大學(xué)中隨機(jī)選取8名女大學(xué)生，其身高和體重?cái)?shù)據(jù)如表1-1所示。5943616454505748體重/kg170155165175170157165165身高/cm87654321編號(hào)求根據(jù)一名女大學(xué)生的身高預(yù)報(bào)她的體重的回歸方程，并預(yù)報(bào)一名身高為172cm的女大學(xué)生的體重。根據(jù)最小二乘法估計(jì)和就是未知參數(shù)a和b的最好估計(jì)，2021/5/914制表78合計(jì)654321i2021/5/915所以回歸方程是所以，對(duì)于身高為172cm的女大學(xué)生，由回歸方程可以預(yù)報(bào)其體重為探究P4：身高為172cm的女大學(xué)生的體重一定是60.316kg嗎？如果不是，你能解析一下原因嗎？例1從某大學(xué)中隨機(jī)選取8名女大學(xué)生，其身高和體重?cái)?shù)據(jù)如表1-1所示。5943616454505748體重/kg170155165175170157165165身高/cm87654321編號(hào)求根據(jù)一名女大學(xué)生的身高預(yù)報(bào)她的體重的回歸方程，并預(yù)報(bào)一名身高為172cm的女大學(xué)生的體重。2021/5/916探究P4：身高為172cm的女大學(xué)生的體重一定是60.316kg嗎？如果不是，你能解析一下原因嗎？答：身高為172cm的女大學(xué)生的體重不一定是60.316kg，但一般可以認(rèn)為她的體重在60.316kg左右。60.136kg不是每個(gè)身高為172cm的女大學(xué)生的體重的預(yù)測(cè)值，而是所有身高為172cm的女大學(xué)生平均體重的預(yù)測(cè)值。2021/5/9171.用相關(guān)系數(shù)r來衡量2.公式：求出線性相關(guān)方程后，說明身高x每增加一個(gè)單位,體重y就增加0.849個(gè)單位,這表明體重與身高具有正的線性相關(guān)關(guān)系.如何描述它們之間線性相關(guān)關(guān)系的強(qiáng)弱呢?2021/5/918①、當(dāng)時(shí)，x與y為完全線性相關(guān)，它們之間存在確定的函數(shù)關(guān)系。②、當(dāng)時(shí)，表示x與y存在著一定的線性相關(guān)，r的絕對(duì)值越大，越接近于1，表示x與y直線相關(guān)程度越高，反之越低。3.性質(zhì)：2021/5/9192021/5/920例1從某大學(xué)中隨機(jī)選取8名女大學(xué)生，其身高和體重?cái)?shù)據(jù)如表1-1所示。編號(hào)12345678身高/cm165165157170175165155170體重/kg4857505464614359求根據(jù)一名女大學(xué)生的身高預(yù)報(bào)她的體重的回歸方程，并預(yù)報(bào)一名身高為172cm的女大學(xué)生的體重。案例1：女大學(xué)生的身高與體重解：1、選取身高為自變量x，體重為因變量y，作散點(diǎn)圖：2、由散點(diǎn)圖知道身高和體重有比較好的線性相關(guān)關(guān)系，因此可以用線性回歸方程刻畫它們之間的關(guān)系。3、從散點(diǎn)圖還看到，樣本點(diǎn)散布在某一條直線的附近，而不是在一條直線上，所以不能用一次函數(shù)y=bx+a描述它們關(guān)系。

我們可以用下面的線性回歸模型來表示：y=bx+a+e，其中a和b為模型的未知參數(shù)，e稱為隨機(jī)誤差。思考P3產(chǎn)生隨機(jī)誤差項(xiàng)e的原因是什么？2021/5/921思考產(chǎn)生隨機(jī)誤差項(xiàng)e的原因是什么？隨機(jī)誤差e的來源(可以推廣到一般）：1、其它因素的影響：影響體重y的因素不只是身高x，可能還包括遺傳基因、飲食習(xí)慣、是否喜歡運(yùn)動(dòng)、生長環(huán)境、度量誤差等因素；2、用線性回歸模型近似真實(shí)模型所引起的誤差；3、身高x

的觀測(cè)誤差。2021/5/922我們回憶一下最小二乘法:樣本點(diǎn)的中心:

在回歸直線上回歸方程:2021/5/9233、回歸分析的基本步驟:畫散點(diǎn)圖求回歸方程用回歸直線方程預(yù)報(bào)、決策這種方法稱為回歸分析.回歸分析是對(duì)具有相關(guān)關(guān)系的兩個(gè)變量進(jìn)行統(tǒng)計(jì)分析的一種常用方法.2021/5/924函數(shù)模型與回歸模型之間的差別函數(shù)模型：回歸模型：

線性回歸模型y=bx+a+e增加了隨機(jī)誤差項(xiàng)e，因變量y的值由自變量x和隨機(jī)誤差項(xiàng)e共同確定，即自變量x只能解釋部分y的變化。

在統(tǒng)計(jì)中，我們也把自變量x稱為解釋變量，因變量y稱為預(yù)報(bào)變量。2021/5/925隨機(jī)誤差e的估計(jì)量樣本點(diǎn)：相應(yīng)的隨機(jī)誤差為：隨機(jī)誤差的估計(jì)值為：稱為相應(yīng)于點(diǎn)的殘差.2021/5/926殘差圖的制作和作用：制作：坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇.

橫軸為編號(hào)：可以考察殘差與編號(hào)次序之間的關(guān)系，常用于調(diào)查數(shù)據(jù)錯(cuò)誤.

橫軸為解釋變量：可以考察殘差與解釋變量的關(guān)系，常用于研究模型是否有改進(jìn)的余地.作用：判斷模型的適用性：若模型選擇的正確，殘差圖中的點(diǎn)應(yīng)該分布在以橫軸為中心的帶形區(qū)域.2021/5/927誤差與殘差，這兩個(gè)概念在某程度上具有很大的相似性，都是衡量不確定性的指標(biāo)，可是兩者又存在區(qū)別。誤差與測(cè)量有關(guān)，誤差大小可以衡量測(cè)量的準(zhǔn)確性，誤差越大則表示測(cè)量越不準(zhǔn)確。誤差分為兩類：系統(tǒng)誤差與隨機(jī)誤差。其中，系統(tǒng)誤差與測(cè)量方案有關(guān)，通過改進(jìn)測(cè)量方案可以避免系統(tǒng)誤差。隨機(jī)誤差與觀測(cè)者，測(cè)量工具，被觀測(cè)物體的性質(zhì)有關(guān)，只能盡量減小，卻不能避免。殘差――與預(yù)測(cè)有關(guān)，殘差大小可以衡量預(yù)測(cè)的準(zhǔn)確性。殘差越大表示預(yù)測(cè)越不準(zhǔn)確。殘差與數(shù)據(jù)本身的分布特性，回歸方程的選擇有關(guān)。2021/5/928編號(hào)12345678身高/cm165165157170175165155170體重/kg4857505464614359殘差-6.3732.6272.419-4.6181.1376.627-2.8830.382我們可以利用圖形來分析殘差特性，作圖時(shí)縱坐標(biāo)為殘差，橫坐標(biāo)可以選為樣本編號(hào)，或身高數(shù)據(jù)，或體重估計(jì)值等，這樣作出的圖形稱為殘差圖。表1-4列出了女大學(xué)生身高和體重的原始數(shù)據(jù)以及相應(yīng)的殘差數(shù)據(jù)。使用公式計(jì)算殘差2021/5/929殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點(diǎn)應(yīng)該分布在以橫軸為心的帶形區(qū)域；對(duì)于遠(yuǎn)離橫軸的點(diǎn)，要特別注意。身高與體重殘差圖異常點(diǎn)

錯(cuò)誤數(shù)據(jù)模型問題

幾點(diǎn)說明：

第1個(gè)樣本點(diǎn)和第6個(gè)樣本點(diǎn)的殘差比較大，需要確認(rèn)在采集過程中是否有人為的錯(cuò)誤。如果數(shù)據(jù)采集有錯(cuò)誤，就予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒有錯(cuò)誤，則需要尋找其他的原因。另外，殘差點(diǎn)比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型比較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預(yù)報(bào)精度越高。2021/5/930我們可以用相關(guān)指數(shù)R2來刻畫回歸的效果，其計(jì)算公式是

顯然，R2的值越大，說明殘差平方和越小，也就是說模型擬合效果越好。

在線性回歸模型中，R2表示解釋變量對(duì)預(yù)報(bào)變量變化的貢獻(xiàn)率。

R2越接近1，表示回歸的效果越好（因?yàn)镽2越接近1，表示解釋變量和預(yù)報(bào)變量的線性相關(guān)性越強(qiáng)）。2021/5/931

如果某組數(shù)據(jù)可能采取幾種不同回歸方程進(jìn)行回歸分析，則可以通過比較R2的值來做出選擇，即選取R2較大的模型作為這組數(shù)據(jù)的模型?？偟膩碚f：相關(guān)指數(shù)R2是度量模型擬合效果的一種指標(biāo)。在線性模型中，它代表自變量刻畫預(yù)報(bào)變量的能力。2021/5/932我們可以用相關(guān)指數(shù)R2來刻畫回歸的效果，其計(jì)算公式是例1的R2≈0.64

，解釋變量對(duì)總效應(yīng)約貢獻(xiàn)了64%，可以敘述為“身高解析了64%的體重變化”，而隨機(jī)誤差貢獻(xiàn)了剩余的36%。所以，身高對(duì)體重的效應(yīng)比隨機(jī)誤差的效應(yīng)大得多。2021/5/933

在研究兩個(gè)變量間的關(guān)系時(shí)，首先要根據(jù)散點(diǎn)圖來粗略判斷它們是否線性相關(guān)，是否可以用回歸模型來擬合數(shù)據(jù)。殘差分析與殘差圖的定義：

然后，我們可以通過殘差來判斷模型擬合的效果，判斷原始數(shù)據(jù)中是否存在可疑數(shù)據(jù)，這方面的分析工作稱為殘差分析。2021/5/9342021/5/935用身高預(yù)報(bào)體重時(shí)，需要注意下列問題：1、回歸方程只適用于我們所研究的樣本的總體；2、我們所建立的回歸方程一般都有時(shí)間性；3、樣本采集的范圍會(huì)影響回歸方程的適用范圍；4、不能期望回歸方程得到的預(yù)報(bào)值就是預(yù)報(bào)變量的精確值。事實(shí)上，它是預(yù)報(bào)變量的可能取值的平均值。——這些問題也使用于其他問題。2021/5/936一般地，建立回歸模型的基本步驟為：（1）確定研究對(duì)象，明確哪個(gè)變量是解析變量x，哪個(gè)變量是預(yù)報(bào)變量y。（2）畫出確定好的解析變量和預(yù)報(bào)變量的散點(diǎn)圖，觀察它們之間的關(guān)系（如是否存在線性關(guān)系等）。（3）由經(jīng)驗(yàn)確定回歸方程的類型（如我們觀察到數(shù)據(jù)呈線性關(guān)系，則選用線性回歸方程y=bx+a）.（4）按一定規(guī)則估計(jì)回歸方程中的參數(shù)（如最小二乘法）。（5）得出結(jié)果后分析殘差圖是否有異常（個(gè)別數(shù)據(jù)對(duì)應(yīng)殘差過大，或殘差呈現(xiàn)不隨機(jī)的規(guī)律性，等等），若存在異常，則檢查數(shù)據(jù)是否有誤，或模型是否合適等。2021/5/937我們回憶一下最小二乘法:樣本點(diǎn)的中心:

在回歸直線上回歸方程:2021/5/938以上公式的推導(dǎo)較復(fù)雜，故不作推導(dǎo)，但它的原理較為簡(jiǎn)單：即各點(diǎn)到該直線的距離的平方和最小，這一方法叫最小二乘法。2021/5/939我們可以用相關(guān)指數(shù)R2來刻畫回歸的效果，其計(jì)算公式是例1的R2≈0.64

，解釋變量對(duì)總效應(yīng)約貢獻(xiàn)了64%，可以敘述為“身高解析了64%的體重變化”，而隨機(jī)誤差貢獻(xiàn)了剩余的36%。所以，身高對(duì)體重的效應(yīng)比隨機(jī)誤差的效應(yīng)大得多。R2表示解釋變量對(duì)預(yù)報(bào)變量變化的貢獻(xiàn)率。2021/5/940使用公式計(jì)算殘差隨機(jī)誤差的估計(jì)值為：稱為相應(yīng)于點(diǎn)的殘差.2021/5/941例2

一只紅鈴蟲的產(chǎn)卵數(shù)y和溫度x有關(guān)?，F(xiàn)收集了7組觀測(cè)數(shù)據(jù)列于表中：溫度xoC21232527293235產(chǎn)卵數(shù)y/個(gè)711212466115325（1）試建立產(chǎn)卵數(shù)y與溫度x之間的回歸方程；并預(yù)測(cè)溫度為28oC時(shí)產(chǎn)卵數(shù)目。（2）你所建立的模型中溫度在多大程度上解釋了產(chǎn)卵數(shù)的變化？2021/5/942產(chǎn)卵數(shù)氣溫2021/5/943在散點(diǎn)圖中，樣本點(diǎn)沒有分布在某個(gè)帶狀區(qū)域內(nèi)，因此兩個(gè)變量不呈現(xiàn)線性相關(guān)關(guān)系，所以不能直接利用線性回歸方程來建立兩個(gè)變量之間的關(guān)系.利用線性回歸模型研究y和x之間的非線性回歸方程.當(dāng)回歸方程不是形如y=bx+a時(shí)，我們稱之為非線性回歸方程.根據(jù)已有的函數(shù)知識(shí)，可以發(fā)現(xiàn)樣本點(diǎn)分布在某一條指數(shù)函數(shù)曲線的周圍，其中c1和c2是待定參數(shù).則變換后樣本點(diǎn)應(yīng)該分布在直線z=bx+a的周圍.2021/5/944產(chǎn)卵數(shù)氣溫變換y=bx+a

非線性關(guān)系線性關(guān)系對(duì)數(shù)方法一：指數(shù)函數(shù)模型2021/5/945由計(jì)算器得：z關(guān)于x的線性回歸方程相關(guān)指數(shù)因此y關(guān)于x的非線性回歸方程為當(dāng)x=28

時(shí)，y≈44，指數(shù)回歸模型中溫度解釋了98%的產(chǎn)卵數(shù)的變化2021/5/946

y=c3

x2+c4

變換y=c3

t+c4

非線性關(guān)系線性關(guān)系問題１選用y=c3x2+c4

，還是y=c3x2+cx+c4

？問題3

產(chǎn)卵數(shù)氣溫問題2如何求c3、c4？

t=x2方法二，二元函數(shù)模型2021/5/947平方變換：令t=x2，產(chǎn)卵數(shù)y和溫度x之間二次函數(shù)模型y=bx2+a就轉(zhuǎn)化為產(chǎn)卵數(shù)y和溫度的平方t之間線性回歸模型y=bt+a溫度21232527293235溫度的平方t44152962572984110241225產(chǎn)卵數(shù)y/個(gè)711212466115325作散點(diǎn)圖，并由計(jì)算器得：y和t之間的線性回歸方程為y=0.367t-202.54，相關(guān)指數(shù)R2=r2≈0.8962=0.802將t=x2代入線性回歸方程得：

y=0.367x2-202.54當(dāng)x=28時(shí)，y=0.367×282-202.54≈85，且R2=0.802，所以，二次函數(shù)模型中溫度解釋了80.2%的產(chǎn)卵數(shù)變化。t2021/5/948選變量解：選取氣溫為解釋變量x，產(chǎn)卵數(shù)為預(yù)報(bào)變量y。畫散點(diǎn)圖假設(shè)線性回歸方程為：?=bx+a選模型分析和預(yù)測(cè)當(dāng)x=28時(shí)，y=19.87×28-463.73≈93估計(jì)參數(shù)由計(jì)算器得：線性回歸方程為y=19.87x-463.73

相關(guān)指數(shù)R2=r2≈0.8642=0.7464所以，一次函數(shù)模型中溫度解釋了74.64%的產(chǎn)卵數(shù)變化。050100150200250300350036912151821242730333639當(dāng)x=28時(shí)，y=19.87×28-463.73≈93方法三：一元函數(shù)模型2021/5/949函數(shù)模型相關(guān)指數(shù)R2線性回歸模型0.7464二次函數(shù)模型0.802指數(shù)函數(shù)模型0.98最好的模型是哪個(gè)?顯然，指數(shù)函數(shù)模型最好！2021/5/950利用殘差計(jì)算公式：77.968-58.265-40.104-41.000-5.83219.40047.69634.675-13.3819.230-8.9501.875-0.1010.557325115662421117Y35322927252321X由殘差平方和：故指數(shù)函數(shù)模型的擬合效果比二次函數(shù)的模擬效果好.或由條件R2分別為0.98和0.80，同樣可得它們的效果.2021/5/9512021/5/952課堂知識(shí)延伸我們知道，刑警如果能在案發(fā)現(xiàn)場(chǎng)提取到罪犯的腳印，即將獲得一條重要的破案線索，其原因之一是人類的腳掌長度和身高存在著相關(guān)關(guān)系，可以根據(jù)一個(gè)人的腳掌長度