回歸分析的基本思想.ppt

1、回歸分析的基本思想及其初步應用,2020/8/2,鄭平正 制作,3.1回歸分析的基本思想及其初步應用（一）,高二數(shù)學 選修2-3,兩個變量的關系,不相關,相關關系,函數(shù)關系,線性相關,非線性相關,現(xiàn)實生活中兩個變量間的關系:,相關關系：對于兩個變量，當自變量取值一定時，因變量的取值帶有一定隨機性的兩個變量之間的關系.,函數(shù)關系中的兩個變量間是一種確定性關系 相關關系是一種非確定性關系,函數(shù)關系是一種理想的關系模型 相關關系在現(xiàn)實生活中大量存在，是更一般的情況,表示有一組具體的數(shù)據(jù)估計得到的截距和斜率;,a,b,y表示真實值;,表示由真實值a,b所確定的值.,表示由估計值 所確定的值.,這種方法

2、稱為回歸分析.,兩個具有線性相關關系的變量的統(tǒng)計分析：,（1）畫散點圖；,（2）求回歸直線方程(最小二乘法)：,（3）利用回歸直線方程進行預報；,回歸分析是對具有相關關系的兩個變量進行統(tǒng)計分析的一種常用方法.,為樣本點的中心,樣本點：,2008年5月，中共中央國務院關于加強青少年體育、增強青少年體質的意見指出城市超重和肥胖青少年的比例明顯增加.“身高標準體重”該指標對于學生形成正確的身體形態(tài)觀具有非常直觀的教育作用. “身高標準體重”從何而來？我們怎樣去研究?,創(chuàng)設情境：,某大學中隨機選取8名女大學生，其身高和體重數(shù)據(jù)如下表所示.,求根據(jù)女大學生的身高預報體重的回歸方程，并預報一名身高為172

3、cm的女大學生的體重.,解：取身高為解釋變量x，體重為預報變量y，作散點圖：,樣本點呈條狀分布，身高和體重有較好的線性相關關系，因此可以用回歸方程來近似的刻畫它們之間的關系.,由,得：,故所求回歸方程為：,因此，對于身高172cm的女大學生，由回歸方程可以預報其體重為：,是斜率的估計值，說明身高x每增加1個單位時，體重y就增加0.849個單位，這表明體重與身高具有正的線性相關關系.,如何描述它們之間線性相關關系的強弱？,相關系數(shù),相關系數(shù)的性質 (1)|r|1 (2)|r|越接近于1，相關程度越強；|r|越接近于0，相關程度越弱 注:b 與 r 同號 問題：達到怎樣程度，x、y線性相關呢？它們

4、的相關程度怎樣呢？,r,相關系數(shù),正相關；負相關通常： r-1,-0.75-負相關很強; r0.75,1正相關很強; r-0.75,-0.3-負相關一般; r0.3, 0.75正相關一般; r-0.25, 0.25-相關性較弱;,對r進行顯著性檢驗,r,某大學中隨機選取8名女大學生，其身高和體重數(shù)據(jù)如下表所示.,求根據(jù)女大學生的身高預報體重的回歸方程，并預報一名身高為172cm的女大學生的體重.,故所求回歸方程為：,r=0.798,表明體重與身高有很強的線性相關性，從而說明我們建立的回歸模型是有意義的.,認為她的平均體重的估計值是60.316kg.,因為所有的樣本點不共線，所以線性函數(shù)模型只能

5、近似地刻畫身高和體重之間的關系，即：體重不僅受身高的影響，還受其他因素的影響，把這種影響的結果用e來表示，從而把線性函數(shù)模型修改為線性回歸模型：y=bx+a+e.其中，e包含體重不能由身高的線性函數(shù)解釋的所有部分.,線性回歸模型,其中a和b為模型的未知參數(shù)，e是y與 之間的誤差，通常e為隨機變量，稱為隨機誤差.,均值E(e)=0，方差D(e)=20,線性回歸模型的完整表達式為：,線性回歸模型適用范圍比一次函數(shù)的適用范圍大得多.當隨機誤差e恒等于0時，線性回歸模型就變成一次函數(shù)模型.即：一次函數(shù)模型是線性回歸模型的特殊形式，線性回歸模型是一次函數(shù)模型的一般形式.,隨機誤差是引起預報值 與真實值y

6、之間的誤差的原因之一，其大小取決于隨機誤差的方差.,和 為截距和斜率的估計值，它們與真實值a和b之間存在誤差是引起預報值 與真實值y之間的誤差的另一個原因.,隨機誤差e的主要來源：,（1）用線性回歸模型近似真實模型（真實模型是客觀存在的，但我們并不知道到底是什么）所引起的誤差.可能存在非線性的函數(shù)能更好的描述y與x之間的關系，但我們現(xiàn)在卻用線性函數(shù)來表述這種關系，結果就產(chǎn)生誤差，這種由于模型近似所引起的誤差包含在e中.,（2）忽略了某些因素的影響.影響變量y的因素不止變量x一個，可能還有其他因素，但通常它們每一個因素的影響可能都比較小，它們的影響都體現(xiàn)在e中.,（3）觀測誤差.由于測量工具等原

7、因，得到的y的觀測值一般是有誤差的，這樣的誤差也包含在e中.,以上三項誤差越小，則回歸模型的擬合效果越好.,在線性回歸模型中，e是用 預報真實值y的誤差，它是一個不可觀測的量，那么該怎樣研究隨機誤差，如何衡量預報的精度？,由于隨機誤差e的均值為0，故采用方差 來衡量隨機誤差的大小.,假設 1:身高和隨機誤差的不同不會對體重產(chǎn)生任何影響，,怎樣研究隨機誤差？,例如，編號為6的女大學生的體重并沒有落在水平直線上，她的體重為61kg。解釋變量（身高）和隨機誤差共同把這名學生的體重從54.5kg“推”到了61kg，相差6.5kg，所以6.5kg是解釋變量和隨機誤差的組合效應。,用這種方法可以對所有預報

8、變量計算組合效應。,假設2:隨機誤差對體重沒有影響，也就是說，體重僅受身高的影響，那么散點圖 中所有的點將完全落在回歸直線上。,怎樣研究隨機誤差？,例如，編號為6的女大學生，計算隨機誤差的效應（殘差）為：,隨機誤差,e的估計量,樣本點：,相應的隨機誤差為：,隨機誤差的估計值為：,稱為相應于點 的殘差.,稱為殘差平方和.,殘差分析,在研究兩個變量間的關系時，首先要根據(jù)散點圖來粗略判斷它們是否是線性相關，是否可以用線性回歸模型來擬合數(shù)據(jù).然后，可以通過殘差 來判斷模型擬合的效果，判斷原始數(shù)據(jù)中是否存在可疑數(shù)據(jù).這方面的分析工作稱為殘差分析.,以縱坐標為殘差，橫坐標為編號，作出圖形（殘差圖）來分析殘

9、差特性.,問題：如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤？,(1)我們可以通過分析發(fā)現(xiàn)原始數(shù)據(jù)中的可疑數(shù)據(jù)，判斷建立模型的擬合效果。,殘差圖的制作和作用： 制作：坐標縱軸為殘差變量，橫軸可以有不同的選擇. 橫軸為編號：可以考察殘差與編號次序之間的關系， 常用于調查數(shù)據(jù)錯誤. 橫軸為解釋變量：可以考察殘差與解釋變量的關系，常用于研究模型是否有改進的余地. 作用：判斷模型的適用性若模型選擇的正確，殘差圖中的點應該分布在以橫軸為中心的帶形區(qū)域.,問題：如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤？,殘差圖的制作及作用。 坐標縱軸為殘差變量，橫軸可以有不同的選擇； 若模型選擇的正確，殘差圖中的點應該分布在以橫軸為心的帶形區(qū)域； 對于遠離橫軸的點

10、，要特別注意。,身高與體重殘差圖,幾點說明： 第一個樣本點和第6個樣本點的殘差比較大，需要確認在采集過程中是否有人為的錯誤。如果數(shù)據(jù)采集有錯誤，就予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒有錯誤，則需要尋找其他的原因。 另外，殘差點比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預報精度越高。,如何衡量預報的精度？,顯然，R2的值越大，說明殘差平方和越小，也就是說模型擬合效果越好。,如果某組數(shù)據(jù)可能采取幾種不同回歸方程進行回歸分析，則可以通過比較R2的值來做出選擇，即選取R2較大的模型作為這組數(shù)據(jù)的模型。,從上

11、中可以看出，解析變量對總效應約貢獻了64%，即 R2 0.64，可以敘述為“身高解析了64%的體重變化”，而隨機誤 差貢獻了剩余的36%。 所以，身高對體重的效應比隨機誤差的效應大得多。,問題：如何衡量隨機模型的擬合效果？,下面我們用相關指數(shù)分析一下例1：,問題：結合例1思考：用回歸方程預報體重時應注意什么？,用身高預報體重時應注意的問題： 1.回歸方程只適用于我們所研究的樣本的總體。 2.我們建立的回歸方程一般都有時間性。 3.樣本取值的范圍會影響回歸方程的適用范圍。 4.不能期望回歸方程得到的預報值就是預報變量的精確值。,涉及到統(tǒng)計的一些思想： 模型適用的總體；模型的時間性； 樣本的取值范

12、圍對模型的影響；模型預報結果的正確理解。,一般地，建立回歸模型的基本步驟為：,（1）確定研究對象，明確哪個變量是解釋變量，哪個變量是預報變量。,（2）畫出確定好的解釋變量和預報變量的散點圖，觀察它們之間的關系 （如是否存在線性關系等）。,（3）由經(jīng)驗確定回歸方程的類型（如我們觀察到數(shù)據(jù)呈線性關系，則選用線性回歸方程y=bx+a）.,（4）按一定規(guī)則估計回歸方程中的參數(shù)（如最小二乘法）。,（5）得出結果后分析殘差圖是否有異常（個別數(shù)據(jù)對應殘差過大，或殘差呈現(xiàn)不隨機的規(guī)律性，等等），若存在異常，則檢查數(shù)據(jù)是否有誤，或模型是否合適等。,問題：歸納建立回歸模型的基本步驟。,問題六：若兩個變量呈現(xiàn)非線性

13、關系，如何解決？（分析例2）,例2 一只紅鈴蟲的產(chǎn)卵數(shù)y和溫度x有關?，F(xiàn)收集了7組觀測數(shù)據(jù)列于表中：,（1）試建立產(chǎn)卵數(shù)y與溫度x之間的回歸方程；并預測溫度為28oC時產(chǎn)卵數(shù)目。 （2）你所建立的模型中溫度在多大程度上解釋了產(chǎn)卵數(shù)的變化？,方法一：一元函數(shù)模型,問題六：若兩個變量呈現(xiàn)非線性關系，如何解決？（分析例2）,問題六：若兩個變量呈現(xiàn)非線性關系，如何解決？（分析例2）,問題六：若兩個變量呈現(xiàn)非線性關系，如何解決？（分析例2）,產(chǎn)卵數(shù),氣溫,變換 y=bx+a 非線性關系 線性關系,對數(shù),問題六：若兩個變量呈現(xiàn)非線性關系，如何解決？（分析例2）,方法三：指數(shù)函數(shù)模型,問題六：若兩個變量呈現(xiàn)非線性關系，如何解決？（分析例2）,最好的模型是哪個?,顯然，指數(shù)函數(shù)模型最好！,問題六：若兩個變量呈現(xiàn)非線性關系，如何解決？（分析例2）,課堂知識延伸,我們知道，刑警如果能在案發(fā)現(xiàn)場提取到罪犯的腳印，即將獲得一條重要的破 案線索，其原因之一是人類的腳掌長度和身高存在著相關關系，可以根據(jù)一個人的 腳掌長度來來預測他的身高 我們還知道，在統(tǒng)計史上，很早就有人收集過人們的身高、前臂長度等數(shù)據(jù)， 試圖尋找這些數(shù)據(jù)之間的規(guī)律 在上述兩個小故事的啟發(fā)下，全班同學請分成一些小組，每組4-6名同學，在老 師的指導下，開展一次數(shù)學建?；顒?，來親自體驗回