第07章 回歸分析

第07章回歸分析回歸分析與相關(guān)分析的區(qū)別回歸分析中，變量Y稱(chēng)為因變量，處于被解釋的地位。而在相關(guān)分析中，X與Y處于平等地位；相關(guān)分析中，X和Y全是隨機(jī)變量，而在回歸分析中，因變量Y是隨機(jī)變量，自變量X可以是隨機(jī)變量，也可以是非隨機(jī)的。通常回歸模型中假定X是非隨機(jī)的精確變量；相關(guān)分析的研究是為了刻畫(huà)兩變量間線性相關(guān)的密切程度。而回歸分析不僅可以揭示X對(duì)Y的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制。2Outline第一節(jié)回歸分析的基本原理第二節(jié)一元線性回歸分析第三節(jié)多元線性回歸分析第四節(jié)路徑分析31.相關(guān)和回歸

1.1散點(diǎn)圖scatterdiagram451.2平方和、積矩和、協(xié)方差

sumofsquaressumofproductscovariance6第一節(jié)回歸分析的基本原理一、回歸分析的意義二、回歸分析的基本原理三、回歸分析的主要內(nèi)容一、回歸分析的意義

regressionanalysis回歸分析：確定變量之間數(shù)量關(guān)系的可能形式，并用一個(gè)數(shù)學(xué)模型來(lái)表示這種關(guān)系形式它可以從一個(gè)變量的變化來(lái)預(yù)測(cè)或估計(jì)另一個(gè)變量的變化只有一個(gè)自變量的線性回歸叫一元線性回歸或簡(jiǎn)單線性回歸尋找一條最佳擬合直線best-fittingline，使得預(yù)測(cè)值predictedvalue和觀測(cè)值observedvalue之間的誤差最小8二、回歸分析的基本思想（一）回歸分析的數(shù)學(xué)模型（二）最佳擬合

回歸線theregressionline10最佳擬合直線

best-fittingline11第二節(jié)一元線性回歸分析一、一元線性回歸的模型及性質(zhì)二、一元線性回歸方程的建立三、一元線性回歸方程的有效性檢驗(yàn)四、回歸方程有效性的指標(biāo)五、一元線性回歸分析的估計(jì)與預(yù)測(cè)二、一元線性回歸的數(shù)學(xué)模型從X預(yù)測(cè)Y

Y=

0+1X+ Y=a+bX+eY與X的關(guān)系分為兩部分

0+1X是由于X的變化引起線性變化的部分;

是全體一切隨機(jī)因素造成的部分

~N(0,s2)13一元線性回歸的基本假設(shè)X與Y在總體上具有線性關(guān)系變量X沒(méi)有測(cè)量誤差（看成精確變量）(Xi,Yi)和(Xj,Yj)彼此獨(dú)立；與某一個(gè)Xi值對(duì)應(yīng)的Y值構(gòu)成變量Y上一個(gè)子總體，這樣的子總體服從正態(tài)分布，且它們的方差相等?i

是Xi對(duì)應(yīng)Y的子總體的平均數(shù)的無(wú)偏估計(jì)14小結(jié)15尋找一條最佳擬合直線用方差分析檢驗(yàn)回歸方程有效性有效性高低指標(biāo)：決定系數(shù)r2回歸估計(jì)的標(biāo)準(zhǔn)誤SY·X回歸線的求解16正規(guī)方程組normalequationsQ17對(duì)回歸系數(shù)的解釋182.4從給定的X來(lái)估計(jì)對(duì)應(yīng)的Y無(wú)窮大的樣本取給定X對(duì)應(yīng)的所有Y的均值作為估計(jì)值對(duì)應(yīng)于某個(gè)X的所有Y稱(chēng)為Y的條件分布conditionaldistribution有限樣本

19五、一元線性回歸的估計(jì)與預(yù)測(cè)（一）估計(jì)因變量主值和主值區(qū)間（二）單個(gè)因變量實(shí)測(cè)值的預(yù)測(cè)五、預(yù)測(cè)的準(zhǔn)確性如果需要你去猜測(cè)某個(gè)班的每個(gè)學(xué)生的某次考試的成績(jī)，而只告訴你該班的平均分，怎樣猜才能誤差最??？標(biāo)準(zhǔn)差作為誤差的度量21估計(jì)的標(biāo)準(zhǔn)誤

standarderrorofestimate22三、回歸有效性的檢驗(yàn)（一）誤差平方和（二）因變量變異的分解誤差平方和相關(guān)越高，誤差越小相關(guān)越高，從X預(yù)測(cè)Y就越準(zhǔn)確，誤差就越小24因變量變異的分解25對(duì)r的顯著性的檢驗(yàn)26對(duì)回歸的有效性檢驗(yàn)27對(duì)r的顯著性檢驗(yàn)28四、回歸有效性的指標(biāo)-

-決定系數(shù)（測(cè)定系數(shù)）r2coefficientofdetermination衡量回歸方程有效性高低的指標(biāo)回歸平方和在總離差平方和中所占的比例因變量的變異中可以從自變量的變異來(lái)解釋的比例29五、一元線性回歸的估計(jì)與預(yù)測(cè)（一）估計(jì)因變量主值和主值區(qū)間（二）單個(gè)因變量實(shí)測(cè)值的預(yù)測(cè)五、預(yù)測(cè)的準(zhǔn)確性如果需要你去猜測(cè)某個(gè)班的每個(gè)學(xué)生的某次考試的成績(jī)，而只告訴你該班的平均分，怎樣猜才能誤差最?。繕?biāo)準(zhǔn)差作為誤差的度量31估計(jì)的標(biāo)準(zhǔn)誤

standarderrorofestimate32六、可化為線性回歸的一元曲線回歸第三節(jié)多元線性回歸分析一、多元線性回歸分析的意義二、多元線性回歸方程的建立三、多元線性回歸方程解題步驟四、多元線性回歸方程的有效性檢驗(yàn)五、自變量顯著性檢驗(yàn)六、逐步回歸法多元線性回歸的數(shù)學(xué)模型從X1,X2,

…,Xk（憑經(jīng)驗(yàn)選?。╊A(yù)測(cè)Y

Y=

0+1X1+2X2+…+

kXk+

~N(0,s2)根據(jù)樣本數(shù)據(jù)建立的回歸方程

?=b0+b1X1+b2X2+…+bkXkbi稱(chēng)為（偏）回歸系數(shù)偏回歸系數(shù)表示其它自變量假設(shè)不變時(shí)，某一個(gè)自變量變化而引起因變量變化的比率35標(biāo)準(zhǔn)回歸方程、標(biāo)準(zhǔn)偏回歸系數(shù)把所有原始數(shù)據(jù)轉(zhuǎn)換成標(biāo)準(zhǔn)分?jǐn)?shù)，以標(biāo)準(zhǔn)分?jǐn)?shù)建立的回歸方程為標(biāo)準(zhǔn)回歸方程

?Y=1Z1+2Z2+…+

kZk

標(biāo)準(zhǔn)回歸方程的回歸系數(shù)稱(chēng)為標(biāo)準(zhǔn)(偏)回歸系數(shù)，其大小可直接反映對(duì)應(yīng)的變量在預(yù)測(cè)時(shí)做的貢獻(xiàn)bi=i·SY/SXi36偏回歸系數(shù)的計(jì)算基本原理最小二乘法：預(yù)測(cè)值和觀測(cè)值的誤差平方和最小一般借助于計(jì)算機(jī)ExcelSPSSSAS