語文版中職數(shù)學基礎模塊下冊10.9《一元線性回歸》ppt課件3復習過程

1、第九章一元線性回歸第九章一元線性回歸語文版中職數(shù)學基礎模塊下冊10.9一元線性回歸ppt課件3第九章一元線性回歸第九章一元線性回歸9.1 9.1 回歸分析的基本概念回歸分析的基本概念 9.1.1 9.1.1 因變量因變量(Y)(Y)與自變量與自變量(X)(X)之間的關(guān)系之間的關(guān)系根據(jù)因變量與自變量之間的關(guān)系不同，可以分為兩種類型：根據(jù)因變量與自變量之間的關(guān)系不同，可以分為兩種類型：函數(shù)關(guān)系函數(shù)關(guān)系 統(tǒng)計關(guān)系統(tǒng)計關(guān)系 第九章一元線性回歸第九章一元線性回歸9.1.1 9.1.1 因變量因變量(Y)(Y)與自變量與自變量(X)(X)之間的關(guān)系之間的關(guān)系1.1.函數(shù)關(guān)系函數(shù)關(guān)系 即對兩個變量即對兩個變

2、量X X，Y Y來說，當來說，當X X值值確定后，確定后，Y Y值按照一定的規(guī)律唯一確定，值按照一定的規(guī)律唯一確定，即形成一種精確的關(guān)系。即形成一種精確的關(guān)系。 例：某商品的銷售額y與銷售量x之間的關(guān)系可表示為y=px(p是單價)，圓的面積可表示為s=piR2第九章一元線性回歸第九章一元線性回歸9.1.1 9.1.1 因變量因變量(Y)(Y)與自變量與自變量(X)(X)之間的關(guān)系之間的關(guān)系2.2.統(tǒng)計關(guān)系統(tǒng)計關(guān)系 即當即當X X值確定后，值確定后，Y Y值不是唯一確定的，值不是唯一確定的，但大量統(tǒng)計資料表明，這些變量之間還但大量統(tǒng)計資料表明，這些變量之間還是存在著某種客觀的聯(lián)系。是存在著某種客

3、觀的聯(lián)系。 第九章一元線性回歸第九章一元線性回歸9.1.2 9.1.2 回歸分析回歸分析 在直角坐標平面上，標出了在直角坐標平面上，標出了1010個觀測點個觀測點的坐標位置，他們表示以家庭為單位，某的坐標位置，他們表示以家庭為單位，某種商品年需求量與該商品價格之間的種商品年需求量與該商品價格之間的1010對對調(diào)查數(shù)據(jù)調(diào)查數(shù)據(jù)第九章一元線性回歸第九章一元線性回歸9.1.2 9.1.2 回歸分析回歸分析回歸分析回歸分析(Regression Analysis) (Regression Analysis) 就是應用統(tǒng)計方法，對大量的觀測數(shù)據(jù)進行整就是應用統(tǒng)計方法，對大量的觀測數(shù)據(jù)進行整理、分析和研究

4、，從而得出反映事物內(nèi)部規(guī)律理、分析和研究，從而得出反映事物內(nèi)部規(guī)律性的一些結(jié)論。性的一些結(jié)論。 第九章一元線性回歸第九章一元線性回歸9.2 9.2 一元線性回歸模型一元線性回歸模型 9.2.1 9.2.1 統(tǒng)計關(guān)系的特征統(tǒng)計關(guān)系的特征統(tǒng)計關(guān)系統(tǒng)計關(guān)系特征特征 觀測點散布在統(tǒng)計關(guān)系直線周圍，觀測點散布在統(tǒng)計關(guān)系直線周圍，此種情況說明此種情況說明Y Y的變化除了受自變量的變化除了受自變量X X影響以外，還受其他因素的影響。影響以外，還受其他因素的影響。因此試圖建立這樣一個回歸模型，通過對此模型因此試圖建立這樣一個回歸模型，通過對此模型所作的一些假設，可以體現(xiàn)出上述統(tǒng)計關(guān)系所刻劃的特征。所作的一些假

5、設，可以體現(xiàn)出上述統(tǒng)計關(guān)系所刻劃的特征。 因變量因變量Y Y隨自變量隨自變量X X有規(guī)律的變化，有規(guī)律的變化，而統(tǒng)計關(guān)系直線描述了這一變化的而統(tǒng)計關(guān)系直線描述了這一變化的趨勢。趨勢。第九章一元線性回歸第九章一元線性回歸9.2.2 9.2.2 一元線性回歸模型假設一元線性回歸模型假設u根據(jù)統(tǒng)計關(guān)系特征，可以進行下述假設：根據(jù)統(tǒng)計關(guān)系特征，可以進行下述假設：假設假設(2)(2)這些這些Y Y的概率分布的均值，有規(guī)律的隨的概率分布的均值，有規(guī)律的隨X X變化而變化變化而變化(1)(1)對于自變量的每一水平對于自變量的每一水平X X，存在著，存在著Y Y的一個概率分布；的一個概率分布；第九章一元線性回

6、歸第九章一元線性回歸9.2.3 9.2.3 一元線性回歸模型一元線性回歸模型Y Y與與X X具有統(tǒng)計具有統(tǒng)計關(guān)系而且是線性關(guān)系而且是線性 建立建立回歸模型回歸模型Y Yi i=0 0+1 1X Xi i+i i (i=1,2, (i=1,2,n),n) 其中其中，(X (X i,i,Y Yj j) )表示表示(X,Y)(X,Y)的第的第i i個觀測值，個觀測值，0 0 , , 1 1為參數(shù)，為參數(shù)，0 0+1 1X Xi i為反映統(tǒng)計關(guān)系直線的分量，為反映統(tǒng)計關(guān)系直線的分量， i i為反映在統(tǒng)計關(guān)系直線周圍散布的隨機分量為反映在統(tǒng)計關(guān)系直線周圍散布的隨機分量 i iN (0,N (0,2 2)

7、 )。第九章一元線性回歸第九章一元線性回歸9.2.3 9.2.3 一元線性回歸模型一元線性回歸模型u對于任意對于任意X Xi i值有：值有： Y Yi i服從正態(tài)分布服從正態(tài)分布E(YE(Yi i)=)=0 0+ +1 1X Xi i； 各各Y Yi i間相互獨立間相互獨立 Y Yi iN(N(0 0+1 1X Xi i,2 2) ) 。22)(iY第九章一元線性回歸第九章一元線性回歸9.2.3 9.2.3 一元線性回歸模型一元線性回歸模型圖圖9-29-2第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程最小二乘法最小二乘法 Y Y與與X X之間之間為

8、線性關(guān)系為線性關(guān)系 選出一條最能反選出一條最能反映映Y Y與與X X之間關(guān)系之間關(guān)系規(guī)律的直線規(guī)律的直線 第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程Y Yi i= =0 0+ +1 1X Xi i+ +i i 0 0和和1 1均未知均未知 根據(jù)樣本數(shù)據(jù)根據(jù)樣本數(shù)據(jù)對對0 0和和1 1進行估計進行估計 0 0和和1 1的估計的估計值為值為b b0 0和和b b1 1 建立一元線性回歸方程建立一元線性回歸方程 XbbY10第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程一般而言，所求的一般而言，所求的b

9、b0 0和和b b1 1應能使每個樣本觀測點應能使每個樣本觀測點(X(X i i,Y,Y i i) )與回歸直線之間的偏差盡可能小，即使觀察值與擬與回歸直線之間的偏差盡可能小，即使觀察值與擬合值的誤差平方和合值的誤差平方和Q Q達到最小。達到最小。 圖圖9-4 9-4 回歸方程原理圖回歸方程原理圖第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程令令 2110)(niiiXbbYQQ Q達到最小值達到最小值b b0 0和和b b1 1稱為最小二乘估計量稱為最小二乘估計量 微積分中極值微積分中極值的必要條件的必要條件 niiiXbbYbQ1100)(2n

10、iiiiXXbbYbQ1101)(2 令偏導數(shù)為令偏導數(shù)為0 0niiniiYXbnb1110iniiniiniiYXXbXb112110解方程解方程第九章一元線性回歸第九章一元線性回歸9.2.4 9.2.4 一元線性回歸方程一元線性回歸方程nXXnYXYXXXYYXXbiniiniiiiiniiniii21211211)()()()(XbYb10(9-5)(9-5)(9-6)(9-6)第九章一元線性回歸第九章一元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性b b0 0,b,b1 1的特性的特性線性線性無偏性無偏性第九章一元線性回歸第九章一

11、元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性(1) (1) 線性特性線性特性 由（由（9-59-5）得）得niiniiiniiniiiXXYXXXXYYXXb1211211)()()()(niiiiXXXXC12)(令令niiiYCb11則則 表明表明b b1 1是是Y Yi i的線性組合的線性組合 第九章一元線性回歸第九章一元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性同理，可得同理，可得 niiiYkb10XCnkii1b b0 0是是Y Yi i線線性組合性組合第九章一元線性回歸

12、第九章一元線性回歸9.2.5 9.2.5 最小二乘估計量最小二乘估計量b b0 0,b,b1 1的特性的特性(2) (2) 無偏性無偏性可以證明可以證明b b0 0和和b b1 1分別是分別是0 0和和1 1的無偏估計的無偏估計 第九章一元線性回歸第九章一元線性回歸引例分析引例分析故回歸方程為：1221.1842iiiiiinx yxybnxx 01118.9476iiyxbyb xbnn18.94761.1842yx第九章一元線性回歸第九章一元線性回歸引例分析引例分析廠家投入(x)產(chǎn)出(y)預測值殘差1203042.6316-12.63162406066.3156-6.31563204042

13、.6316-2.63164306054.47365.52645103030.7896-0.78966104030.78969.21047204042.6316-2.63168205042.63167.36849203042.6316-12.631610307054.473615.52640.0000第九章一元線性回歸第九章一元線性回歸包含殘差的散點圖 真實值與預測值的差就是回歸直線在每個給定點上的誤差，我們稱之為殘差（residual）。從幾何上講，殘差是回歸直線到樣本數(shù)據(jù)點之間的垂直距離，確定斜率和截距的方程使回歸直線位于樣本點之間。這樣，從回歸直線到樣本點之間的垂直距離相互抵消，使總和為0

14、。 引例分析第九章一元線性回歸第九章一元線性回歸引例分析投入與產(chǎn)出例子中沿軸的殘差分布 殘差也用來確定異常點（outliers），異常點就是與其他點偏離，與總體趨勢不符的數(shù)據(jù)點。異常點往往使殘差幅度加大，在散點圖中很容易識別?；貧w直線方程會受到計算中每個點的影響，因此，異常點的存在可能會使回歸直線向異常點偏離。 第九章一元線性回歸第九章一元線性回歸回歸方程的顯著性檢驗（總體顯著性檢驗）回歸方程的顯著性檢驗（總體顯著性檢驗）9.3.1 9.3.1 總平方和分解總平方和分解YYYYYYiiiiniininiiiiYYYYYY121122)()()(niiiiYYYY10)(第九章一元線性回歸第九章

15、一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解圖圖9-5 9-5 總平總平和分解圖和分解圖 第九章一元線性回歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解總離差平方和總離差平方和 21()niiSSTYY它表示沒有它表示沒有X X的影響，的影響，單純考察數(shù)據(jù)中單純考察數(shù)據(jù)中Y Y的變動情況。的變動情況。第九章一元線性回歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解回歸平方和回歸平方和niiYYSSR12)(表示各表示各 的變動程度，該變動是由于回歸直線的變動程度，該變動是由于回歸直線中各中各 X Xi i 的變動所引起的，并且通過的變動

16、所引起的，并且通過X X對對Y Y的線性影響表現(xiàn)出來。的線性影響表現(xiàn)出來。 iY第九章一元線性回歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解誤差平方和誤差平方和niiiYYSSE12)(表示各表示各Y Yi i圍繞所擬合的回歸直線的變動程度圍繞所擬合的回歸直線的變動程度 SSTSST= =SSRSSR+ +SSESSE第九章一元線性回歸第九章一元線性回歸9.3.1 9.3.1 總平方和分解總平方和分解SSE=SST-SSRSSE=SST-SSR2211()niniiiYSSTYn)(121221niniiinXXbSSR第九章一元線性回歸第九章一元線性回歸9.3.2 9

17、.3.2 自由度的分解自由度的分解SSTSSTniiYY10)(自由度自由度 T T為為n-1 n-1 SSESSE0 0和和1 1用了用了兩個正規(guī)方程兩個正規(guī)方程 自由度自由度 E E為為n-2 n-2 SSRSSRniiYY10)(自由度自由度 R R為為1 1 第九章一元線性回歸第九章一元線性回歸9.3.2 9.3.2 自由度的分解自由度的分解自由度的分解可以表示為自由度的分解可以表示為n-1=1+n-1=1+（n-2n-2）T T= =R R+ +E E第九章一元線性回歸第九章一元線性回歸9.3.3 9.3.3 回歸均方與誤差均方回歸均方與誤差均方1SSRMSR 2nSSEMSE(9-

18、10) (9-10) (9-11)(9-11)回歸均方回歸均方誤差均方誤差均方第九章一元線性回歸第九章一元線性回歸9.4 9.4 樣本確定系數(shù)與樣本相關(guān)系數(shù)樣本確定系數(shù)與樣本相關(guān)系數(shù)9.4.1 9.4.1 樣本確定系數(shù)樣本確定系數(shù)21SSRSSTSSESSErSSTSSTSST (9-12) (9-12) 注注:Y:Y的總變差中能被的總變差中能被X X解釋的那部分所占的比率解釋的那部分所占的比率第九章一元線性回歸第九章一元線性回歸9.4.1 9.4.1 樣本確定系數(shù)樣本確定系數(shù)r r2 2的取值范圍的取值范圍102 r樣本的全部觀察值都落在樣本的全部觀察值都落在所擬和的回歸直線上所擬和的回歸直

19、線上 SSE=0SSE=0， r r2 2=1 =1 當當X X與與Y Y無關(guān)，無關(guān)，Y Y的變差完的變差完全由于隨機因素引起，全由于隨機因素引起，此時，此時，SSR=0SSR=0 r r2 2=0 =0 第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)2rrniiniiniiiYYXXYYXXr12121)()()(注注:r:r與與b b1 1的分母均為正，分子相同的分母均為正，分子相同, ,故故r r與與b b1 1有相同的符號。有相同的符號。 第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)r

20、 r的取值情況的取值情況 情況一情況一圖圖9-69-6第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)情況二情況二圖圖9-79-7第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)情況三情況三圖圖9-89-8第九章一元線性回歸第九章一元線性回歸9.4.2 9.4.2 樣本相關(guān)系數(shù)樣本相關(guān)系數(shù)情況四情況四圖圖9-99-9第九章一元線性回歸第九章一元線性回歸-3-2-1012-2-1012(a)xy-2-1012-2-1012(b)xy-2-1012-2-1012(c)xy-3-2-1012302468(d)xy不相關(guān)正相關(guān)負相

21、關(guān)相 關(guān) 但無 線 性關(guān)系第九章一元線性回歸第九章一元線性回歸引例分析引例分析廠家投入(x) 產(chǎn)出(y)x2y2xy120304009006002406016003600240032040400160080043060900360018005103010090030061040100160040072040400160080082050400250010009203040090060010307090049002100第九章一元線性回歸第九章一元線性回歸引例分析引例分析 平均投入220/10=22,平均產(chǎn)出450/10=45 r22()()=0.759()()xxyyxxyy第九章一元線性回歸

22、第九章一元線性回歸9.5 9.5 一元線性回歸顯著性檢驗一元線性回歸顯著性檢驗在回歸函數(shù)在回歸函數(shù)E(Y)=E(Y)=0 0+1 1X X中，如果中，如果1 1=0=0，則對于，則對于X X的一切水的一切水平平E(Y)=E(Y)=0 0，說明，說明Y Y的變化與的變化與X X的變化無關(guān)，因而，我們不能的變化無關(guān)，因而，我們不能通過通過X X去預測去預測Y Y。所以，對模型。所以，對模型Y Yi i=0 0+1 1X Xi i+i i 檢驗檢驗1 1=0=0是是否成立，等價于檢驗否成立，等價于檢驗Y Y與與X X之間是否存在線性關(guān)系。之間是否存在線性關(guān)系。 第九章一元線性回歸第九章一元線性回歸9

23、.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布為了檢驗為了檢驗1 1=0=0是否成立，需要構(gòu)造一是否成立，需要構(gòu)造一個合適的統(tǒng)計量，因此，首先討論個合適的統(tǒng)計量，因此，首先討論b b1 1的抽樣分布。的抽樣分布。第九章一元線性回歸第九章一元線性回歸9.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布b b1 1是觀測值是觀測值Y Yi i的線的線性組合性組合 Y Yi i服從正態(tài)分布且服從正態(tài)分布且相互獨立相互獨立 b b1 1也服從正態(tài)分布也服從正態(tài)分布 第九章一元線性回歸第九章一元線性回歸9.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布以下可以證明以下可以證明niiXXb12

24、212)()(b b1 1的方差的方差第九章一元線性回歸第九章一元線性回歸9.5.1 b9.5.1 b1 1的抽樣分布的抽樣分布證明：證明：因為因為 niiiYCb11且且Y Yi i相互獨立，其中相互獨立，其中 niiiiXXXXC12)(niiniiiniiiXXYCYCb1221221212)()()()(所以，所以，b b1 1服從服從 )(,(1221niiXXN第九章一元線性回歸第九章一元線性回歸9.5.2 F 9.5.2 F 檢驗檢驗在一元線性回歸中，為了檢驗在一元線性回歸中，為了檢驗Y Y對于對于X X線性線性關(guān)系的統(tǒng)計顯著性，對關(guān)系的統(tǒng)計顯著性，對1 1進行進行F F檢驗檢驗

25、1 1）提出假設：）提出假設：H H0 0：1 1=0=0，H H1 1：1 100。 2 2） 構(gòu)造并計算統(tǒng)計量構(gòu)造并計算統(tǒng)計量：ERfSSEfSSRF 3 3）查）查F F分布臨界值表，得臨界值分布臨界值表，得臨界值)2, 1 (nF4 4）比較：）比較： 接受接受H H0 0，認為，認為Y Y與與X X不存在一元線性關(guān)系。不存在一元線性關(guān)系。) 2, 1 (nFF第九章一元線性回歸第九章一元線性回歸9.5.2 F 9.5.2 F 檢驗檢驗若若F F )2, 1(nF拒絕拒絕H H0 0，認為，認為Y Y與與X X存在一元線性關(guān)系。存在一元線性關(guān)系。 表表9-1 9-1 方差分析表方差分析

26、表第九章一元線性回歸第九章一元線性回歸dfSSMSFSignificance F回歸分析11065.7891065.78910.872480.01090193殘差8784.210598.02632總計91850第九章一元線性回歸第九章一元線性回歸9.5.39.5.3 t t 檢驗檢驗 1 1）提出假設）提出假設 H H0 0: : H H1 1: : 01012 2）構(gòu)造并計算統(tǒng)計量）構(gòu)造并計算統(tǒng)計量 步步 驟：驟：)(11bsbt 21)()(XXMSEbsi3 3）查）查t t分布臨界值表分布臨界值表 得臨界值得臨界值 )2(2/nt第九章一元線性回歸第九章一元線性回歸9.5.39.5.3

27、 t t 檢驗檢驗4 4）比較）比較若若 ，接受，接受H H0 0 t)2(2/nt若若 ，拒絕，拒絕H H0 0 t)2(2/nt第九章一元線性回歸第九章一元線性回歸查表得 ，落在了拒絕域，即自變量x與因變量y之間相關(guān)關(guān)系明顯，投入量對產(chǎn)出量的影響顯著。12( )0.35914()iMSEs bXX11.1842b 113.297( )bts b第九章一元線性回歸第九章一元線性回歸9.5.4 9.5.4 利用樣本相關(guān)系數(shù)進行統(tǒng)計檢驗利用樣本相關(guān)系數(shù)進行統(tǒng)計檢驗 步步 驟：驟：1 1）提出假設）提出假設 H H0 0: : =0 =0H H1 1: : 02 2）計算簡單相關(guān)系數(shù)）計算簡單相關(guān)系數(shù)r r 3 3）查）查相關(guān)系數(shù)相關(guān)系數(shù)臨界值表臨界值表 得臨界值得臨界值 )2( nr是總體是總體Y Y與與X X的線性的線性相關(guān)系數(shù)相關(guān)系數(shù)第九章一元線性回歸第九章一元線性回歸9.5.4 9.5.4 利用樣本相關(guān)系數(shù)進行統(tǒng)計檢驗利用樣本相關(guān)系數(shù)進行統(tǒng)計檢驗4 4）比較）比較若若 ，接受，接受H H0 0 rr若若 ，拒絕，拒絕H H0 0 rr第九章一元線性回歸第九章一元線性回歸第九章一元線性回歸第九章一元線性回歸9.6 9.6 模型適合性分析模型適合性分析 在對一元線性回歸模型的適合性進行分析時在對一元線性回歸模型的適合性進行