心理與教育統(tǒng)計(jì)學(xué)第12章線性回歸剖析課件

第十二章線性回歸第一節(jié)線性回歸模型的建立方法第二節(jié)回歸模型的檢驗(yàn)與評估第三節(jié)回歸方程的應(yīng)用類別：1.自變量數(shù)目：一元回歸（一個(gè)自變量）多元回歸（多個(gè)自變量）2.變量間關(guān)系：線性回歸（直線關(guān)系）非線性回歸注意：回歸分析中只能有一個(gè)因變量

第一節(jié)線性回歸模型的建立方法1、用一定模型來表述變量相關(guān)關(guān)系的方法稱為回歸分析。2、從廣義上說，相關(guān)分析包括回歸分析。但二者有區(qū)別：回歸分析是以數(shù)學(xué)方式表示變量間的關(guān)系，而相關(guān)分析則是檢驗(yàn)或度量這些關(guān)系的密切程度，兩者相輔相成。一、回歸分析與相關(guān)分析的關(guān)系相關(guān)與回歸是從不同角度對變量間關(guān)系的分析：相關(guān)關(guān)系是兩個(gè)變量之間的雙向關(guān)系，沒有主從之分；回歸關(guān)系是兩個(gè)變量之間的單向關(guān)系，是自變量對因變量的影響關(guān)系。相關(guān)關(guān)系用相關(guān)系數(shù)來表示，而回歸關(guān)系用數(shù)學(xué)模型來表示，這種數(shù)學(xué)模型稱為回歸方程。二、回歸分析的內(nèi)容1、建立回歸方程2、檢驗(yàn)方程的有效性3、利用方程進(jìn)行預(yù)測三、回歸模型與回歸系數(shù)1.用來表達(dá)變量之間規(guī)律的數(shù)學(xué)模型稱為回歸模型。2.回歸模型的分類（1）線性回歸模型、非線性回歸模型（2）簡單回歸模型、多重回歸模型（3）一元線性回歸是指只有一個(gè)自變量的線性回歸（linearregression），對具有線性關(guān)系的兩個(gè)變量，回歸的目的首先是找出因變量（一般記為Y）關(guān)于自變量（一般記為X）的定量關(guān)系。3、一元線性回歸方程

回歸方程有兩個(gè)：以X為自變量預(yù)測因變量時(shí)，方程為：以Y為自變量預(yù)測因變量時(shí)，方程為：該直線在Y軸的截距該直線的斜率對應(yīng)于X的Y變量的估計(jì)值四、一元線性回歸模型建立方法

例12-1：下表中10對數(shù)據(jù)是為確定某心理量與物理量之間的關(guān)系而做的實(shí)驗(yàn)結(jié)果（表中物理量是取對數(shù)后的值）。假設(shè)兩者呈線性關(guān)系，試以這10對數(shù)據(jù)結(jié)果建立該心理量與物理量的回歸方程。被試ABCDEFGHIJ心理量（X）1133456789物理量（Y）0215426257解：將N對數(shù)據(jù)按奇偶順序分為兩組，然后分別代入設(shè)定的回歸方程求和，計(jì)算b和a第一組（奇數(shù)組）

1=a+0·b3=a+1·b4=a+4·b6=a+6·b8=a+5·b22=5a+16·b…⑴（一）平均數(shù)方法第二組（偶數(shù)組）

1=a+2·b3=a+5·b5=a+2·b7=a+2·b9=a+7·b25=5a+18·b…⑵⑴與⑵聯(lián)立，成二元一次方程組：22=5a+16·b…⑴25=5a+18·b…⑵解得a=-0.4,b=1.5,代入設(shè)定的方程答：該心理量與物理量的回歸方程為（二）最小二乘法1、定義：所謂最小二乘法，就是如果散點(diǎn)圖中每一點(diǎn)沿Y軸方向到直線的距離的平方和最小，就是使誤差的平方和最小，則在所有直線中這條直線的代表性是最好的，它的表達(dá)式就是所要求的回歸方程。2.最小二乘法的原理

設(shè)方程每一點(diǎn)到直線沿Y軸方向的距離平方和為：

求回歸方程就是求當(dāng)該公式達(dá)到最小時(shí)a和b的值，而要是公式為最小，只需分別對a和b求偏導(dǎo)數(shù)，并令其等于零。即

經(jīng)整理，并省略X與Y字母下面的下標(biāo)，上面兩式分別寫成：兩邊同除以N，得例12-2：根據(jù)例12-1中的數(shù)據(jù)，使用最小二乘法求回歸方程。代入公式

得b=0.81

再代入公式得a=1.95

則，回歸方程為：五、回歸系數(shù)與相關(guān)系數(shù)的關(guān)系∵同理∴1.線性關(guān)系假設(shè)2.正態(tài)性假設(shè)3.獨(dú)立性假設(shè)X1,Y1與X2,Y2獨(dú)立，依次類推

誤差項(xiàng)獨(dú)立4.誤差等分散性假設(shè)

誤差項(xiàng)總和等于0六、線性回歸的基本假設(shè)1、線性關(guān)系假設(shè)2、正態(tài)性假設(shè)3、獨(dú)立性假設(shè)4、誤差等分散性假設(shè)第二節(jié)回歸模型的檢驗(yàn)與估計(jì)一、回歸模型的有效性檢驗(yàn)1、回歸模型的有效性檢驗(yàn)，就是對求得的回歸方程進(jìn)行顯著性檢驗(yàn)，看是否真實(shí)地反映了變量間的線性關(guān)系。2、方法線性回歸模型的有效性檢驗(yàn)通常使用方差分析的思想和方法進(jìn)行。根據(jù)方差分析的原理，在回歸的方差分析中總變異被分解為自變量的變異和誤差的變異。其分析過程也是從總平方和的分解到自由度的分解，再到均方，最后是進(jìn)行自變量對誤差影響程度進(jìn)行比較。

即：總平方和=誤差平方和+回歸平方和回歸平方和的公式推導(dǎo)如下：

——所有Y值的總平方和；

——由回歸直線表示的線性關(guān)系解釋的那部分離差平方和；

——回歸直線無法解釋的那個(gè)離差平方和。

回歸方程效果的好壞取決于回歸平方和在總平方和中所占的比例，即以例12-1的回歸方程為例，檢驗(yàn)其方程效果。1)建立假設(shè)H0：方程效果不顯著，即自變量X與因變量Y之間沒有顯著的線性關(guān)系。H1：方程效果顯著，即自變量X與因變量Y之間存在著顯著的線性關(guān)系。2）方差分析①求平方和

②求均方③求F值3）比較與決策

當(dāng)分子自由度為1，分母自由度為8時(shí)，。因?yàn)?，F(xiàn)>5.32，p<0.05，效果顯著。所以接受研究假設(shè)，拒絕虛無假設(shè)，說明自變量X與因變量Y之間存在顯著的線性關(guān)系。4）列方差分析表*表示在0.05水平上差異具有統(tǒng)計(jì)學(xué)意義二、回歸系數(shù)的顯著性檢驗(yàn)（一）回歸系數(shù)檢驗(yàn)的基本思想對于樣本的回歸系數(shù)來說，是否抽自一個(gè)回歸系數(shù)的總體。若與之間無顯著差異，其差異主要是抽樣誤差，說明是來自總體，因此，X與Y之間不存在線性關(guān)系。反之，則X與Y之間存在線性關(guān)系。

回歸系數(shù)的檢驗(yàn)采用t檢驗(yàn)法，其公式為：(二)回歸系數(shù)的標(biāo)準(zhǔn)誤在方程中，當(dāng)回歸線上與所有自變量（X）相對應(yīng)的各個(gè)因變量的殘值（即）都呈正態(tài)分布，且殘值的方差齊性時(shí)，可以直接用值（）的估計(jì)誤差及自變量X的離差平方和表示回歸系數(shù)的標(biāo)準(zhǔn)誤，即有∵∴又∵∴對例11-1的方程采用回歸系數(shù)進(jìn)行顯著性檢驗(yàn)。1)建立假設(shè)

H0:H1:2）計(jì)算統(tǒng)計(jì)量①求樣本回歸系數(shù)的標(biāo)準(zhǔn)誤，：②計(jì)算t值4）比較與決策時(shí)，時(shí)，t=2.57>2.31，p<0.05，關(guān)系顯著。拒絕虛無假設(shè)，接受研究假設(shè)，表明兩個(gè)變量之間存在顯著的線性關(guān)系。三、決定系數(shù)在回歸方程的方差分析中曾指出，回歸平方和對總平方和的貢獻(xiàn)越大，說明回歸方程越顯著，因而回歸平方和在總平方和中所占的比例是評價(jià)回歸效果的一個(gè)指標(biāo)。這個(gè)比例越大回歸效果越好，若這個(gè)比例達(dá)到1，則表明此時(shí)Y的變異完全由X的變異來解釋，沒有誤差。若為0，則說明Y的變異與X無關(guān)，回歸方程無效。相關(guān)系數(shù)的平方等于回歸平方和在總平方和中所占的比例。r2叫做決定系數(shù)。第三節(jié)回歸方程的應(yīng)用一、用樣本回歸方程進(jìn)行預(yù)測或估計(jì)例12-5：下表是20名工作人員的智商和某一次技術(shù)考試成績，根據(jù)這個(gè)結(jié)果求出考試成績對智商的回歸方程。如果另有一名工作人員智商為120，試估計(jì)一下若讓他也參加技術(shù)考試，將會得多少分？被試12345678910智商（X）899712687119101130115108105考試（Y）55748760715490736770被試11121314151617181920智商（X）84121971019211012811199120考試（Y）53825860678085737190

1）計(jì)算X、Y變量的平均數(shù)

2）代入公式計(jì)算b，a回歸方程為：當(dāng)x=120時(shí)，代入回歸方程計(jì)算，得：二、真值的預(yù)測區(qū)間預(yù)測是將已知變量值作為自變量代入相應(yīng)的回歸方程而推算出另一個(gè)變量的估計(jì)值及置信區(qū)間統(tǒng)計(jì)方法。預(yù)測的標(biāo)準(zhǔn)誤：預(yù)測區(qū)間：例12-6：當(dāng)X=97時(shí)Y的真值進(jìn)行估計(jì)。

計(jì)算預(yù)測置信區(qū)間

查t表，有 ，則置信區(qū)間為：

1）計(jì)算預(yù)測標(biāo)準(zhǔn)誤＝6.5三、回歸分析與相關(guān)分析的綜合運(yùn)用1、具體步驟第一步：將成對資料繪制散點(diǎn)圖，從散點(diǎn)圖中點(diǎn)子的分布形狀判斷X和Y是否有線性關(guān)系。

第二步：建立回歸模型。

第三步：回歸方程顯著性檢驗(yàn)。

第四步：計(jì)算回歸估計(jì)標(biāo)準(zhǔn)誤差。

第五步：根據(jù)建立的回歸模型進(jìn)行預(yù)測，估計(jì)真值預(yù)測區(qū)間。

2、注意事項(xiàng)①一種模型只要在當(dāng)初抽取樣本的同一范圍內(nèi)應(yīng)用才有效。②進(jìn)行回歸與相關(guān)分析時(shí)，不要認(rèn)為某一變量發(fā)生的變化一定是由另一變量（或另幾個(gè)變量）的變化所引起的，回歸分析并不能準(zhǔn)確地確定因果關(guān)系。③若變量之間不存在相關(guān)關(guān)系，不要刻意去尋求兩變量間的某種關(guān)系，并且用回歸與相關(guān)來分析，這樣做毫無意義。

多重線性回歸第一節(jié)多重線性回歸的概念

多重線性回歸是研究一個(gè)應(yīng)變量與多個(gè)自變量之間線性依存關(guān)系的統(tǒng)計(jì)方法，是一元直線回歸分析的推廣。式中b0是常數(shù)項(xiàng)，bi（i＝1，2，…，m）稱為偏回歸系數(shù)。（1）b0是常數(shù)項(xiàng)，是各自變量都等于0時(shí)，應(yīng)變量的估計(jì)值。有時(shí)，人們稱它為本底值。（2）b1，b2，…，bp是偏回歸系數(shù)，其統(tǒng)計(jì)學(xué)意義是在其它所有自變量不變的情況下，某一自變量每變化一個(gè)單位，應(yīng)變量平均變化的單位數(shù)。與直線回歸一樣，建立多重回歸方程常用最小二乘法(leastsquaremethod)原理求bi（i＝1，2，…，m），再求b0，即求出使估計(jì)值與觀測值y之間差異的平方和達(dá)到最小的一組解作為bi的估計(jì)值。多重線性回歸模型的前提條件1.線性（linear）2.獨(dú)立（independent）3.正態(tài)（normal）4.等方差性（equalvariance）例1

同樣身高的20名健康男子的收縮壓（kPa）、年齡（歲）和體重之間的多元線性回歸方程。編號收縮壓年齡體重

yx1x2115.605076.0218.802091.5316.532085.5416.803082.5515.603079.0616.675080.5716.406079.0816.675079.0917.604085.01016.405076.5表120名健康男子的收縮壓、年齡和體重測定值n＝20,X1=44.05,X2=82.80,Y=17.82∑Y=356.35,∑X1=881,∑X2=1656.0,∑X12=41467,∑X22=137953.5,∑Y2=6408.2049,∑X1Y=15788.50，∑X2Y=29653.27，∑X1X2=72669.5

由樣本計(jì)算得到得偏回歸系數(shù)bi是總體偏回歸系數(shù)βi的估計(jì)值，即使總體偏回歸系數(shù)等于0，但由于抽樣誤差，仍可使樣本偏回歸系數(shù)bi不等于0，因此仍要作假設(shè)檢驗(yàn)，以判斷其是否有統(tǒng)計(jì)學(xué)意義。假設(shè)檢驗(yàn)

假設(shè)檢驗(yàn)包括方程的假設(shè)檢驗(yàn)和每個(gè)偏回歸系數(shù)的假設(shè)檢驗(yàn)。（一）多元回歸方程的假設(shè)檢驗(yàn)1.建立假設(shè)和確定檢驗(yàn)水準(zhǔn)：

H0：β1=β2=β3…=βm＝0H1：β1、β2、β3、…、βm不全為0α=0.05ν總=n-1ν回歸=mν剩余=n-m-1SS誤差=SS總-SS回歸ν總=20-1＝19ν回歸=2ν剩余=20-2-1＝17SS誤差=SS總-SS回歸＝25.2829n＝20,X1=44.05,X2=82.80,Y=17.82∑Y=356.35,∑X1=881,∑X2=1656.0,∑X12=41467,∑X22=137953.5,∑Y2=6408.2049,∑X1Y=15788.50，∑X2Y=29653.27，∑X1X2=72669.5查F界值表得：F0.05（2，17）＝3.59，F(xiàn)＞F0.05（2，17），P＜0.05，因此在α=0.05水平上，拒絕H0，可以認(rèn)為收縮壓與年齡和體重之間有回歸關(guān)系，所建立的回歸方程有意義。（二）回歸系數(shù)的假設(shè)檢驗(yàn)1.建立假設(shè)和確定檢驗(yàn)水準(zhǔn)：

H0：βi=0H1：βi≠0α=0.052.計(jì)算統(tǒng)計(jì)量t查t界值表得：t0.05（17）＝2.110，t1＞t0.05（17），P＜0.05，因此在α=0.05水平上，拒絕H0，可以認(rèn)為收縮壓與年齡之間有線性回歸關(guān)系。查t