第07章 回歸分析

第07章回歸分析回歸分析與相關(guān)分析的區(qū)別回歸分析中，變量Y稱(chēng)為因變量，處于被解釋的地位。而在相關(guān)分析中，X與Y處于平等地位；相關(guān)分析中，X和Y全是隨機(jī)變量，而在回歸分析中，因變量Y是隨機(jī)變量，自變量X可以是隨機(jī)變量，也可以是非隨機(jī)的。通常回歸模型中假定X是非隨機(jī)的精確變量；相關(guān)分析的研究是為了刻畫(huà)兩變量間線性相關(guān)的密切程度。而回歸分析不僅可以揭示X對(duì)Y的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制。2Outline第一節(jié)回歸分析的基本原理第二節(jié)一元線性回歸分析第三節(jié)多元線性回歸分析第四節(jié)路徑分析31.相關(guān)和回歸

1.1散點(diǎn)圖scatterdiagram451.2平方和、積矩和、協(xié)方差

sumofsquaressumofproductscovariance6第一節(jié)回歸分析的基本原理一、回歸分析的意義二、回歸分析的基本原理三、回歸分析的主要內(nèi)容一、回歸分析的意義

regressionanalysis回歸分析：確定變量之間數(shù)量關(guān)系的可能形式，并用一個(gè)數(shù)學(xué)模型來(lái)表示這種關(guān)系形式它可以從一個(gè)變量的變化來(lái)預(yù)測(cè)或估計(jì)另一個(gè)變量的變化只有一個(gè)自變量的線性回歸叫一元線性回歸或簡(jiǎn)單線性回歸尋找一條最佳擬合直線best-fittingline，使得預(yù)測(cè)值predictedvalue和觀測(cè)值observedvalue之間的誤差最小8二、回歸分析的基本思想（一）回歸分析的數(shù)學(xué)模型（二）最佳擬合

回歸線theregressionline10最佳擬合直線

best-fittingline11第二節(jié)一元線性回歸分析一、一元線性回歸的模型及性質(zhì)二、一元線性回歸方程的建立三、一元線性回歸方程的有效性檢驗(yàn)四、回歸方程有效性的指標(biāo)五、一元線性回歸分析的估計(jì)與預(yù)測(cè)二、一元線性回歸的數(shù)學(xué)模型從X預(yù)測(cè)Y

Y=0+1X+ Y=a+bX+eY與X的關(guān)系分為兩部分0+1X是由于X的變化引起線性變化的部分;是全體一切隨機(jī)因素造成的部分

~N(0,s2)13一元線性回歸的基本假設(shè)X與Y在總體上具有線性關(guān)系變量X沒(méi)有測(cè)量誤差（看成精確變量）(Xi,Yi)和(Xj,Yj)彼此獨(dú)立；與某一個(gè)Xi值對(duì)應(yīng)的Y值構(gòu)成變量Y上一個(gè)子總體，這樣的子總體服從正態(tài)分布，且它們的方差相等?i

是Xi對(duì)應(yīng)Y的子總體的平均數(shù)的無(wú)偏估計(jì)14小結(jié)15尋找一條最佳擬合直線用方差分析檢驗(yàn)回歸方程有效性有效性高低指標(biāo)：決定系數(shù)r2回歸估計(jì)的標(biāo)準(zhǔn)誤SY·X回歸線的求解16正規(guī)方程組normalequationsQ17對(duì)回歸系數(shù)的解釋182.4從給定的X來(lái)估計(jì)對(duì)應(yīng)的Y無(wú)窮大的樣本取給定X對(duì)應(yīng)的所有Y的均值作為估計(jì)值對(duì)應(yīng)于某個(gè)X的所有Y稱(chēng)為Y的條件分布conditionaldistribution有限樣本

19五、一元線性回歸的估計(jì)與預(yù)測(cè)（一）估計(jì)因變量主值和主值區(qū)間（二）單個(gè)因變量實(shí)測(cè)值的預(yù)測(cè)五、預(yù)測(cè)的準(zhǔn)確性如果需要你去猜測(cè)某個(gè)班的每個(gè)學(xué)生的某次考試的成績(jī)，而只告訴你該班的平均分，怎樣猜才能誤差最??？標(biāo)準(zhǔn)差作為誤差的度量21估計(jì)的標(biāo)準(zhǔn)誤

standarderrorofestimate22三、回歸有效性的檢驗(yàn)（一）誤差平方和（二）因變量變異的分解誤差平方和相關(guān)越高，誤差越小相關(guān)越高，從X預(yù)測(cè)Y就越準(zhǔn)確，誤差就越小24因變量變異的分解25對(duì)r的顯著性的檢驗(yàn)26對(duì)回歸的有效性檢驗(yàn)27對(duì)r的顯著性檢驗(yàn)28四、回歸有效性的指標(biāo)-

-決定系數(shù)（測(cè)定系數(shù)）r2coefficientofdetermination衡量回歸方程有效性高低的指標(biāo)回歸平方和在總離差平方和中所占的比例因變量的變異中可以從自變量的變異來(lái)解釋的比例29五、一元線性回歸的估計(jì)與預(yù)測(cè)（一）估計(jì)因變量主值和主值區(qū)間（二）單個(gè)因變量實(shí)測(cè)值的預(yù)測(cè)五、預(yù)測(cè)的準(zhǔn)確性如果需要你去猜測(cè)某個(gè)班的每個(gè)學(xué)生的某次考試的成績(jī)，而只告訴你該班的平均分，怎樣猜才能誤差最??？標(biāo)準(zhǔn)差作為誤差的度量31估計(jì)的標(biāo)準(zhǔn)誤

standarderrorofestimate32六、可化為線性回歸的一元曲線回歸第三節(jié)多元線性回歸分析一、多元線性回歸分析的意義二、多元線性回歸方程的建立三、多元線性回歸方程解題步驟四、多元線性回歸方程的有效性檢驗(yàn)五、自變量顯著性檢驗(yàn)六、逐步回歸法多元線性回歸的數(shù)學(xué)模型從X1,X2,

…,Xk（憑經(jīng)驗(yàn)選?。╊A(yù)測(cè)Y

Y=0+1X1+2X2+…+kXk+

~N(0,s2)根據(jù)樣本數(shù)據(jù)建立的回歸方程

?=b0+b1X1+b2X2+…+bkXkbi稱(chēng)為（偏）回歸系數(shù)偏回歸系數(shù)表示其它自變量假設(shè)不變時(shí)，某一個(gè)自變量變化而引起因變量變化的比率35標(biāo)準(zhǔn)回歸方程、標(biāo)準(zhǔn)偏回歸系數(shù)把所有原始數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)分?jǐn)?shù)，以標(biāo)準(zhǔn)分?jǐn)?shù)建立的回歸方程為標(biāo)準(zhǔn)回歸方程

?Y=1Z1+2Z2+…+kZk

標(biāo)準(zhǔn)回歸方程的回歸系數(shù)稱(chēng)為標(biāo)準(zhǔn)(偏)回歸系數(shù)，其大小可直接反映對(duì)應(yīng)的變量在預(yù)測(cè)時(shí)做的貢獻(xiàn)bi=i·SY/SXi36偏回歸系數(shù)的計(jì)算基本原理最小二乘法：預(yù)測(cè)值和觀測(cè)值的誤差平方和最小一般借助于計(jì)算機(jī)ExcelSPSSSASMinitab37多元測(cè)(決)定系數(shù)r2其中r稱(chēng)為復(fù)相關(guān)系數(shù)multiplecorrelationcoefficientr

實(shí)際上就是預(yù)測(cè)值?和觀測(cè)值Y之間的相關(guān)系數(shù)38多元線性回歸方程的檢驗(yàn)方差分析39偏回歸系數(shù)的顯著性檢驗(yàn)回歸方程顯著并不意味著所有的回歸系數(shù)都顯著某個(gè)偏回歸系數(shù)不顯著意味著對(duì)應(yīng)的自變量在回歸方程中沒(méi)什么貢獻(xiàn)可以去掉該變量，重新建立回歸方程檢驗(yàn)方法40選擇有效自變量的方法逐步回歸stepwiseregression對(duì)不顯著變量，只剔除對(duì)回歸貢獻(xiàn)最小的那個(gè)變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍?xún)H剔除對(duì)回歸貢獻(xiàn)最小的那個(gè)變量，重新建立新的回歸方程，直至所有變量都顯著前進(jìn)法forwardregression逐步加入自變量，檢驗(yàn)顯著就保留后退法backwardregression將所有自變量引入回歸方程，逐漸剔除那些對(duì)回歸方程作用不大的自變量41工具-數(shù)據(jù)分析-回歸42Excel的多元回歸結(jié)果43應(yīng)用多元回歸的注意事項(xiàng)多重共線性Multi-collinearityX1,X2,…,Xk之間存在密切的線性關(guān)系，稱(chēng)它們之間存在著多重共線性。此時(shí)對(duì)回歸系數(shù)的估計(jì)不穩(wěn)定因果關(guān)系回歸分析能表現(xiàn)出變量彼此關(guān)聯(lián)或有聯(lián)系，但不能證明其因果關(guān)系回歸系數(shù)的大小計(jì)量單位相同或數(shù)據(jù)標(biāo)準(zhǔn)化時(shí)才能直接比較樣本容量r2受n對(duì)于自變量個(gè)數(shù)k的影響。一般觀測(cè)數(shù)n至少等于自變量個(gè)數(shù)k的10－15倍。44第四節(jié)路徑分析一、基本原理二、案例分析2.7樣本回歸線和總體回歸線根據(jù)樣本數(shù)據(jù)的回歸分析結(jié)果為樣本回歸線?=a+bX不同的樣本對(duì)應(yīng)于不同的樣本回歸線所有樣本回歸線都是總體回歸線

?=a+bX的一個(gè)估計(jì)所有樣本回歸線會(huì)在總體回歸線附近波動(dòng)對(duì)給定X，對(duì)應(yīng)的總體回歸線的?也稱(chēng)為主值，而某條樣本回歸線對(duì)應(yīng)的?i只是?的一個(gè)點(diǎn)估計(jì)所有?i的平均值將為?4647??iX2.8回歸分析的應(yīng)用預(yù)測(cè)已知X0，預(yù)測(cè)總體回歸線對(duì)應(yīng)的?0（主值）已知X0，預(yù)測(cè)新的觀測(cè)值Y0控制已知Y的范圍，控制X的范圍483.3偏回歸系數(shù)的計(jì)算基本原理最小二乘法：預(yù)測(cè)值和觀測(cè)值的誤差平方和最小一般借助于計(jì)算機(jī)ExcelSPSSSASMinitab493.4多元測(cè)(決)定系數(shù)r2其中r稱(chēng)為復(fù)相關(guān)系數(shù)multiplecorrelationcoefficientr

實(shí)際上就是預(yù)測(cè)值?和觀測(cè)值Y之間的相關(guān)系數(shù)503.5多元線性回歸方程的檢驗(yàn)方差分析513.6偏回歸系數(shù)的顯著性檢驗(yàn)回歸方程顯著并不意味著所有的回歸系數(shù)都顯著某個(gè)偏回歸系數(shù)不顯著意味著對(duì)應(yīng)的自變量在回歸方程中沒(méi)什么貢獻(xiàn)可以去掉該變量，重新建立回歸方程檢驗(yàn)方法523.7選擇有效自變量的方法逐步回歸stepwiseregression對(duì)不顯著變量，只剔除對(duì)回歸貢獻(xiàn)最小的那個(gè)變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍?xún)H剔除對(duì)回歸貢獻(xiàn)最小的那個(gè)變量，重新建立新的回歸方程，直至所有變量都顯著前進(jìn)法forwardregression逐步加入自變量，檢驗(yàn)顯著就保留后退法backwardregression將所有自變量引入回歸方程，逐漸剔除那些對(duì)回歸方程作用不大的自變量533.8Excel：工具-數(shù)據(jù)分析-回歸54Excel的多元回歸結(jié)果553.9應(yīng)用多元回歸的注意事項(xiàng)多重共線性Multi-collinearityX1,X2,…,Xk之