回歸分析的基本思想

回歸分析的基本思想第1頁，共39頁，2023年，2月20日，星期四3.1回歸分析的基本思想及其初步應(yīng)用（一）高二數(shù)學(xué)選修2-3

第2頁，共39頁，2023年，2月20日，星期四4/4/2023兩個變量的關(guān)系不相關(guān)相關(guān)關(guān)系函數(shù)關(guān)系線性相關(guān)非線性相關(guān)現(xiàn)實生活中兩個變量間的關(guān)系:相關(guān)關(guān)系：對于兩個變量，當(dāng)自變量取值一定時，因變量的取值帶有一定隨機(jī)性的兩個變量之間的關(guān)系.函數(shù)關(guān)系中的兩個變量間是一種確定性關(guān)系相關(guān)關(guān)系是一種非確定性關(guān)系函數(shù)關(guān)系是一種理想的關(guān)系模型相關(guān)關(guān)系在現(xiàn)實生活中大量存在，是更一般的情況第3頁，共39頁，2023年，2月20日，星期四表示有一組具體的數(shù)據(jù)估計得到的截距和斜率;a,b,y表示真實值;表示由真實值a,b所確定的值.表示由估計值所確定的值.第4頁，共39頁，2023年，2月20日，星期四這種方法稱為回歸分析.兩個具有線性相關(guān)關(guān)系的變量的統(tǒng)計分析：（1）畫散點圖；（2）求回歸直線方程(最小二乘法)：（3）利用回歸直線方程進(jìn)行預(yù)報；回歸分析是對具有相關(guān)關(guān)系的兩個變量進(jìn)行統(tǒng)計分析的一種常用方法.為樣本點的中心樣本點：第5頁，共39頁，2023年，2月20日，星期四

2008年5月，中共中央國務(wù)院關(guān)于加強(qiáng)青少年體育、增強(qiáng)青少年體質(zhì)的意見指出城市超重和肥胖青少年的比例明顯增加.“身高標(biāo)準(zhǔn)體重”該指標(biāo)對于學(xué)生形成正確的身體形態(tài)觀具有非常直觀的教育作用.“身高標(biāo)準(zhǔn)體重”從何而來？我們怎樣去研究?創(chuàng)設(shè)情境：第6頁，共39頁，2023年，2月20日，星期四某大學(xué)中隨機(jī)選取8名女大學(xué)生，其身高和體重數(shù)據(jù)如下表所示.編號12345678身高/cm165165157170175165155170體重/kg4857505464614359求根據(jù)女大學(xué)生的身高預(yù)報體重的回歸方程，并預(yù)報一名身高為172cm的女大學(xué)生的體重.第7頁，共39頁，2023年，2月20日，星期四解：取身高為解釋變量x，體重為預(yù)報變量y，作散點圖：樣本點呈條狀分布，身高和體重有較好的線性相關(guān)關(guān)系，因此可以用回歸方程來近似的刻畫它們之間的關(guān)系.第8頁，共39頁，2023年，2月20日，星期四由得：故所求回歸方程為：因此，對于身高172cm的女大學(xué)生，由回歸方程可以預(yù)報其體重為：是斜率的估計值，說明身高x每增加1個單位時，體重y就增加0.849個單位，這表明體重與身高具有正的線性相關(guān)關(guān)系.如何描述它們之間線性相關(guān)關(guān)系的強(qiáng)弱？第9頁，共39頁，2023年，2月20日，星期四相關(guān)系數(shù)相關(guān)系數(shù)的性質(zhì)(1)|r|≤1．(2)|r|越接近于1，相關(guān)程度越強(qiáng)；|r|越接近于0，相關(guān)程度越弱．注:b與r同號問題：達(dá)到怎樣程度，x、y線性相關(guān)呢？它們的相關(guān)程度怎樣呢？r第10頁，共39頁，2023年，2月20日，星期四相關(guān)系數(shù)ｒ＞０正相關(guān)；ｒ＜０負(fù)相關(guān)．通常：r∈[-1,-0.75]--負(fù)相關(guān)很強(qiáng);r∈[0.75,1]—正相關(guān)很強(qiáng);r∈[-0.75,-0.3]--負(fù)相關(guān)一般;r∈[0.3,0.75]—正相關(guān)一般;r∈[-0.25,0.25]--相關(guān)性較弱;對r進(jìn)行顯著性檢驗r第11頁，共39頁，2023年，2月20日，星期四某大學(xué)中隨機(jī)選取8名女大學(xué)生，其身高和體重數(shù)據(jù)如下表所示.編號12345678身高/cm165165157170175165155170體重/kg4857505464614359求根據(jù)女大學(xué)生的身高預(yù)報體重的回歸方程，并預(yù)報一名身高為172cm的女大學(xué)生的體重.故所求回歸方程為：r=0.798表明體重與身高有很強(qiáng)的線性相關(guān)性，從而說明我們建立的回歸模型是有意義的.認(rèn)為她的平均體重的估計值是60.316kg.第12頁，共39頁，2023年，2月20日，星期四因為所有的樣本點不共線，所以線性函數(shù)模型只能近似地刻畫身高和體重之間的關(guān)系，即：體重不僅受身高的影響，還受其他因素的影響，把這種影響的結(jié)果用e來表示，從而把線性函數(shù)模型修改為線性回歸模型：y=bx+a+e.其中，e包含體重不能由身高的線性函數(shù)解釋的所有部分.第13頁，共39頁，2023年，2月20日，星期四線性回歸模型其中a和b為模型的未知參數(shù)，e是y與之間的誤差，通常e為隨機(jī)變量，稱為隨機(jī)誤差.均值E(e)=0，方差D(e)=σ2>0線性回歸模型的完整表達(dá)式為：線性回歸模型適用范圍比一次函數(shù)的適用范圍大得多.當(dāng)隨機(jī)誤差e恒等于0時，線性回歸模型就變成一次函數(shù)模型.即：一次函數(shù)模型是線性回歸模型的特殊形式，線性回歸模型是一次函數(shù)模型的一般形式.第14頁，共39頁，2023年，2月20日，星期四隨機(jī)誤差是引起預(yù)報值與真實值y之間的誤差的原因之一，其大小取決于隨機(jī)誤差的方差.和為截距和斜率的估計值，它們與真實值a和b之間存在誤差是引起預(yù)報值與真實值y之間的誤差的另一個原因.第15頁，共39頁，2023年，2月20日，星期四隨機(jī)誤差e的主要來源：（1）用線性回歸模型近似真實模型（真實模型是客觀存在的，但我們并不知道到底是什么）所引起的誤差.可能存在非線性的函數(shù)能更好的描述y與x之間的關(guān)系，但我們現(xiàn)在卻用線性函數(shù)來表述這種關(guān)系，結(jié)果就產(chǎn)生誤差，這種由于模型近似所引起的誤差包含在e中.（2）忽略了某些因素的影響.影響變量y的因素不止變量x一個，可能還有其他因素，但通常它們每一個因素的影響可能都比較小，它們的影響都體現(xiàn)在e中.（3）觀測誤差.由于測量工具等原因，得到的y的觀測值一般是有誤差的，這樣的誤差也包含在e中.以上三項誤差越小，則回歸模型的擬合效果越好.第16頁，共39頁，2023年，2月20日，星期四在線性回歸模型中，e是用預(yù)報真實值y的誤差，它是一個不可觀測的量，那么該怎樣研究隨機(jī)誤差，如何衡量預(yù)報的精度？由于隨機(jī)誤差e的均值為0，故采用方差來衡量隨機(jī)誤差的大小.第17頁，共39頁，2023年，2月20日，星期四

假設(shè)1:身高和隨機(jī)誤差的不同不會對體重產(chǎn)生任何影響，54.554.554.554.554.554.554.554.5體重/kg170155165175170157165165身高/cm87654321編號54.5kg怎樣研究隨機(jī)誤差？第18頁，共39頁，2023年，2月20日，星期四5943616454505748體重/kg170155165175170157165165身高/cm87654321編號

例如，編號為6的女大學(xué)生的體重并沒有落在水平直線上，她的體重為61kg。解釋變量（身高）和隨機(jī)誤差共同把這名學(xué)生的體重從54.5kg“推”到了61kg，相差6.5kg，所以6.5kg是解釋變量和隨機(jī)誤差的組合效應(yīng)。用這種方法可以對所有預(yù)報變量計算組合效應(yīng)。數(shù)學(xué)上，把每個效應(yīng)（觀測值減去總的平均值）的平方加起來，即用表示總的效應(yīng)，稱為總偏差平方和。第19頁，共39頁，2023年，2月20日，星期四5943616454505748體重/kg170155165175170157165165身高/cm87654321編號

假設(shè)2:隨機(jī)誤差對體重沒有影響，也就是說，體重僅受身高的影響，那么散點圖中所有的點將完全落在回歸直線上。怎樣研究隨機(jī)誤差？第20頁，共39頁，2023年，2月20日，星期四

因此，數(shù)據(jù)點和它在回歸直線上相應(yīng)位置的差異是隨機(jī)誤差的效應(yīng)，稱為殘差。例如，編號為6的女大學(xué)生，計算隨機(jī)誤差的效應(yīng)（殘差）為：對每名女大學(xué)生計算這個差異，然后分別將所得的值平方后加起來，用數(shù)學(xué)符號稱為殘差平方和，它代表了隨機(jī)誤差的效應(yīng)。表示為：第21頁，共39頁，2023年，2月20日，星期四隨機(jī)誤差e的估計量樣本點：相應(yīng)的隨機(jī)誤差為：隨機(jī)誤差的估計值為：稱為相應(yīng)于點的殘差.的估計量為稱為殘差平方和.第22頁，共39頁，2023年，2月20日，星期四殘差分析在研究兩個變量間的關(guān)系時，首先要根據(jù)散點圖來粗略判斷它們是否是線性相關(guān)，是否可以用線性回歸模型來擬合數(shù)據(jù).然后，可以通過殘差來判斷模型擬合的效果，判斷原始數(shù)據(jù)中是否存在可疑數(shù)據(jù).這方面的分析工作稱為殘差分析.第23頁，共39頁，2023年，2月20日，星期四0.382-2.8836.6271.137-4.6182.4192.627-6.373殘差5943616454505748體重/kg170155165175170157165165身高/cm87654321編號下表為女大學(xué)生身高和體重的原始數(shù)據(jù)以及相應(yīng)的殘差數(shù)據(jù)：?e以縱坐標(biāo)為殘差，橫坐標(biāo)為編號，作出圖形（殘差圖）來分析殘差特性.第24頁，共39頁，2023年，2月20日，星期四

問題：如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤？(1)我們可以通過分析發(fā)現(xiàn)原始數(shù)據(jù)中的可疑數(shù)據(jù)，判斷建立模型的擬合效果。第25頁，共39頁，2023年，2月20日，星期四

殘差圖的制作和作用：制作：坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇.

橫軸為編號：可以考察殘差與編號次序之間的關(guān)系，常用于調(diào)查數(shù)據(jù)錯誤.

橫軸為解釋變量：可以考察殘差與解釋變量的關(guān)系，常用于研究模型是否有改進(jìn)的余地.作用：判斷模型的適用性若模型選擇的正確，殘差圖中的點應(yīng)該分布在以橫軸為中心的帶形區(qū)域.問題：如何發(fā)現(xiàn)數(shù)據(jù)中的錯誤？第26頁，共39頁，2023年，2月20日，星期四殘差圖的制作及作用。坐標(biāo)縱軸為殘差變量，橫軸可以有不同的選擇；若模型選擇的正確，殘差圖中的點應(yīng)該分布在以橫軸為心的帶形區(qū)域；對于遠(yuǎn)離橫軸的點，要特別注意。身高與體重殘差圖異常點錯誤數(shù)據(jù)模型問題

幾點說明：第一個樣本點和第6個樣本點的殘差比較大，需要確認(rèn)在采集過程中是否有人為的錯誤。如果數(shù)據(jù)采集有錯誤，就予以糾正，然后再重新利用線性回歸模型擬合數(shù)據(jù)；如果數(shù)據(jù)采集沒有錯誤，則需要尋找其他的原因。另外，殘差點比較均勻地落在水平的帶狀區(qū)域中，說明選用的模型計較合適，這樣的帶狀區(qū)域的寬度越窄，說明模型擬合精度越高，回歸方程的預(yù)報精度越高。第27頁，共39頁，2023年，2月20日，星期四我們可以用相關(guān)指數(shù)R2來刻畫回歸的效果，其計算公式是如何衡量預(yù)報的精度？顯然，R2的值越大，說明殘差平方和越小，也就是說模型擬合效果越好。

如果某組數(shù)據(jù)可能采取幾種不同回歸方程進(jìn)行回歸分析，則可以通過比較R2的值來做出選擇，即選取R2較大的模型作為這組數(shù)據(jù)的模型。第28頁，共39頁，2023年，2月20日，星期四

1354總計0.36128.361殘差變量0.64225.639隨機(jī)誤差比例平方和來源從上中可以看出，解析變量對總效應(yīng)約貢獻(xiàn)了64%，即R20.64，可以敘述為“身高解析了64%的體重變化”，而隨機(jī)誤差貢獻(xiàn)了剩余的36%。所以，身高對體重的效應(yīng)比隨機(jī)誤差的效應(yīng)大得多。問題：如何衡量隨機(jī)模型的擬合效果？下面我們用相關(guān)指數(shù)分析一下例1：第29頁，共39頁，2023年，2月20日，星期四

問題：結(jié)合例1思考：用回歸方程預(yù)報體重時應(yīng)注意什么？用身高預(yù)報體重時應(yīng)注意的問題：1.回歸方程只適用于我們所研究的樣本的總體。2.我們建立的回歸方程一般都有時間性。3.樣本取值的范圍會影響回歸方程的適用范圍。4.不能期望回歸方程得到的預(yù)報值就是預(yù)報變量的精確值。涉及到統(tǒng)計的一些思想：模型適用的總體；模型的時間性；樣本的取值范圍對模型的影響；模型預(yù)報結(jié)果的正確理解。第30頁，共39頁，2023年，2月20日，星期四

一般地，建立回歸模型的基本步驟為：（1）確定研究對象，明確哪個變量是解釋變量，哪個變量是預(yù)報變量。（2）畫出確定好的解釋變量和預(yù)報變量的散點圖，觀察它們之間的關(guān)系（如是否存在線性關(guān)系等）。（3）由經(jīng)驗確定回歸方程的類型（如我們觀察到數(shù)據(jù)呈線性關(guān)系，則選用線性回歸方程y=bx+a）.（4）按一定規(guī)則估計回歸方程中的參數(shù)（如最小二乘法）。（5）得出結(jié)果后分析殘差圖是否有異常（個別數(shù)據(jù)對應(yīng)殘差過大，或殘差呈現(xiàn)不隨機(jī)的規(guī)律性，等等），若存在異常，則檢查數(shù)據(jù)是否有誤，或模型是否合適等。問題：歸納建立回歸模型的基本步驟。第31頁，共39頁，2023年，2月20日，星期四

問題六：若兩個變量呈現(xiàn)非線性關(guān)系，如何解決？（分析例2）例2

一只紅鈴蟲的產(chǎn)卵數(shù)y和溫度x有關(guān)?，F(xiàn)收集了7組觀測數(shù)據(jù)列于表中：溫度xoC21232527293235產(chǎn)卵數(shù)y/個711212466115325（1）試建立產(chǎn)卵數(shù)y與溫度x之間的回歸方程；并預(yù)測溫度為28oC時產(chǎn)卵數(shù)目。（2）你所建立的模型中溫度在多大程度上解釋了產(chǎn)卵數(shù)的變化？第32頁，共39頁，2023年，2月20日，星期四

選變量解：選取氣溫為解釋變量x，產(chǎn)卵數(shù)為預(yù)報變量y。畫散點圖假設(shè)線性回歸方程為：?=bx+a選模型分析和預(yù)測當(dāng)x=28時，y=19.87×28-463.73≈93估計參數(shù)由計算器得：線性回歸方程為y=19.87x-463.73相關(guān)指數(shù)R2=r2≈0.8642=0.7464所以，一次函數(shù)模型中溫度解釋了74.64%的產(chǎn)卵數(shù)變化。050100150200250300350036912151821242730333639當(dāng)x=28時，y=19.87×28-463.73≈93方法一：一元函數(shù)模型問題六：若兩個變量呈現(xiàn)非線性關(guān)系，如何解決？（分析例2）第33頁，共39頁，2023年，2月20日，星期四

y=c1

x2+c2

變換y=c1

t+c2

非線性關(guān)系線性關(guān)系問題１選用y=c1x2+c2，還是y=c1x2+cx+c2？問題3

產(chǎn)卵數(shù)氣溫問題2如何求c1、c2？

t=x2方法二，二元函數(shù)模型問題六：若兩個變量呈現(xiàn)非線性關(guān)系，如何解決？（分析例2）第34頁，共39頁，2023年，2月20日，星期四

平方變換：令t=x2，產(chǎn)卵數(shù)y和溫度x之間二次函數(shù)模型y=bx2+a就轉(zhuǎn)化為產(chǎn)卵數(shù)y和溫度的平方t之間線性回歸模型y=bt+a溫度21232527293235溫度的平方t44152962572984110241225產(chǎn)卵數(shù)y/個711212466115325作散點圖，并由計算器得：y和t之間的線性回歸方程為y=0.367t-202.54，相關(guān)指數(shù)R2=r2≈0.8962=0.802將t=x2代入線性回歸方程得：y=0.367x2-202.54當(dāng)x=28時，y=0.367×282-202.54≈85，且R2=0.802，所以，二次函數(shù)模型中溫度解釋了80.2%的產(chǎn)卵數(shù)變化。t問題六：若兩個變量呈現(xiàn)非線性關(guān)系，如何解決？（分析例2）第35頁，共39頁，2023年，2月20日，星期四

產(chǎn)卵數(shù)氣溫變換y=bx+a非線性關(guān)系線性關(guān)系對數(shù)問題六：若兩個變量呈現(xiàn)非線性關(guān)系，如何解決？（分析例2）方法三：指數(shù)函數(shù)模型第36頁，共39頁，2023年，2月20日，星期四

溫度xoC21232527293235z=lgy0.851.041.321.381.822.062.51產(chǎn)卵數(shù)y/個7112124