多元回歸分析的原理與應(yīng)用

1、1,多元回歸分析的原理與應(yīng)用,2,提 綱,多元回歸分析的統(tǒng)計(jì)原理 多元回歸分析在心理學(xué)研究中的應(yīng)用,3,1 多元回歸分析(regression)的統(tǒng)計(jì)原理,回歸分析的含義 回歸分析的分類 一元線性回歸 多元線性回歸 在SPSS中如何做多元回歸分析,4,1.1 回歸分析的含義,客觀世界中事物之間的關(guān)系是各種各樣的。從定量的角度看，主要有兩種：一是確定性關(guān)系，如重力加速度，即自由落體的距離與時(shí)間：S=0.5gt2；另一類是不確定性關(guān)系，即相關(guān)關(guān)系。 由于事物的變化常常受多種因素的影響，導(dǎo)致了事物變化的不確定性。人們常用相關(guān)系數(shù)來描述事物之間的這種不確定性程度。 但對于如何通過一個(gè)事物的值去估計(jì)和預(yù)

2、測另一個(gè)事物的發(fā)展變化，相關(guān)系數(shù)卻無能為力。但是，通過大量的實(shí)際調(diào)查，可以總結(jié)出它們之間的關(guān)系，回歸分析即是對這種關(guān)系的描述。,5,1.1 回歸分析的含義,“回歸”一詞最早由英國統(tǒng)計(jì)學(xué)家高爾頓（Francis Galton）在19世紀(jì)末期研究孩子的身高和他們父母身高關(guān)系時(shí)提出。 研究發(fā)現(xiàn)，孩子的身高總是趨于他們父母身高的平均值。孩子的身高，比身材矮的父母要高，比身材高的父母要矮，這種趨于中間值的趨勢稱作“回歸效應(yīng)”，而他提出的這種研究兩個(gè)數(shù)值變量關(guān)系的方法稱作回歸分析。,6,1.1 回歸分析的含義,含義：是借助數(shù)學(xué)模型對客觀世界所存在的事物間的不確定關(guān)系的一種數(shù)量化描寫，即通過一個(gè)或幾個(gè)變量的

3、變化去解釋另一變量的變化。 目的：在于對相關(guān)隨機(jī)變量進(jìn)行估計(jì)、預(yù)測和控制，確定變這些量之間數(shù)量關(guān)系的可能形式，并用一個(gè)數(shù)學(xué)模型來表示。,7,X,Y,自變量(independent variable)：解釋變量，給定的或可以控制的、用來解釋、預(yù)測因變量的變量。 因變量(dependent variable)：響應(yīng)變量，由自變量來解釋其變化的變量。,在回歸分析中：,8,1.1 回歸分析的含義,數(shù)學(xué)模型： y=f(x1,x2,x3,xi)+ 模型的基本含義： 因變量y受到兩部分自變量的影響，即：已知的K個(gè)自變量x1,x2,x3,xi的影響；一些未知因素或隨機(jī)因素的影響。對于K個(gè)已知自變量的影響，設(shè)想

4、可以通過函數(shù)f(x1,x2,x3,xi)來表示，而剩下的將由那些未知因素或隨機(jī)因素的影響確定，將這些影響的結(jié)果記為，稱為隨機(jī)誤差。對于每一組實(shí)際觀察獲得的值yi，x1,x2,x3,xi就可以表示成: yi= f(x1,x2,x3,xi)+,9,1.1 回歸分析的含義,對于自變量x1,x2,x3,xi的每一組確定的值，f(x1,x2,x3,xi)的值也是確定的；但由于是不確定的，所以，y也是不確定的，但在每一組確定的自變量之下，所有的服從均數(shù)為零的正態(tài)分布，因此，對于自變量的每一組確定的值，因變量也服從正態(tài)分布，其平均數(shù)就是f(x1,x2,x3,xi)，該公式即為回歸方程，記為：,10,回歸分析

5、,按自變量個(gè)數(shù)分類,一元回歸簡單回歸,多元回歸復(fù)回歸,按方程式特征分類,線性回歸,非線性回歸,1.2 回歸分析的分類,11,1.3 一元線性回歸,只有一個(gè)自變量的線性回歸叫一元線性回歸，也叫簡單回歸。 與方差分析不同，在回歸分析中，“元”是指自變量，而不是指因變量。,12,總體的一元線性回歸模型：,殘差,假定： E()=0,總體的一元線性回歸方程：,13,一元線性回歸方程的幾何意義,一元線性回歸線的可能形態(tài),14,樣本的一元線性回歸方程：(估計(jì)的回歸方程),總體未知參數(shù),以樣本統(tǒng)計(jì)量估計(jì)總體參數(shù),回歸系數(shù),15,16,最小二乘法,因?yàn)橐唤M數(shù)據(jù)可以有多條回歸直線，但是哪條最理想呢？ 想得到比較精

6、確的回歸方程，必須使用最小二乘法。 最小二乘法就是使誤差的平方和最小。 誤差e就是殘差， e=y-y，其平方和為： (yy)2=(y-a-bx)2 要使誤差最小，只要分別對a、b求偏導(dǎo)數(shù)，使其0即可。,17,判定系數(shù)(Coefficient of determination):估計(jì)的回歸方程擬合優(yōu)度的度量，表明Y 的變異性能被估計(jì)的回歸方程解釋的部分所占比例的大小。是判定回歸方程有效性高低的指標(biāo),r2,當(dāng)殘差平方和為 0時(shí)，判定系數(shù)為 1 ，為完全的擬合。,當(dāng)殘差平方和最大時(shí)，判定系數(shù)為 0，為最差的擬合。,判定系數(shù),18,判定系數(shù)與相關(guān)系數(shù),19,判定系數(shù)與相關(guān)系數(shù),從二者的計(jì)算公式可知，積

7、差相關(guān)系數(shù)r的平方等于判定系數(shù)r2，即Y 的變異性能被估計(jì)的回歸方程解釋的部分所占比例的大小。 如果r2=0.64,表明變量Y的變異中有64是由變量X的變異引起的。所以，r2叫判定系數(shù)。,20,1.4 多元線性回歸(Multiple Regression),多元線性回歸，就是有多個(gè)自變量的線性回歸，也叫復(fù)回歸。 其數(shù)學(xué)模型為：,截距：常數(shù)項(xiàng)(constant),偏回歸系數(shù)：,誤差：殘差,21,1.4 多元線性回歸,多元回歸分析的基本假設(shè) 多元回歸方程及其顯著性檢驗(yàn) 篩選自變量的方法 多元回歸方程有效性的判定,22,1.4.1 多元回歸分析的基本假設(shè),相關(guān)存在性：就自變量X1，X2，X3，XK的

8、特殊組合而言，Y變量（單變量）是一個(gè)隨機(jī)變量，具有某種概率分配，有一定的平均數(shù)及變異數(shù)，各個(gè)變量之間都存在顯著相關(guān)關(guān)系。 獨(dú)立性：每一個(gè)觀察值Y彼此間是統(tǒng)計(jì)獨(dú)立的，觀察值間沒有關(guān)聯(lián)，即非共線性。 直線性：Y 變量的平均數(shù)是變量X1，X2，X3，XK間的線性函數(shù)，此線性函數(shù)關(guān)系即回歸方程。 方差齊性：就X1，X2，X3，XK任何一個(gè)組合而言，因變量Y的變異數(shù)均相同。 正態(tài)性：就任何X1，X2，X3，XK的線性組合而言，因變量Y的分配是正態(tài)的。,23,1.4.2 多元回歸方程及其顯著性檢驗(yàn),多元回歸的樣本與總體的回歸方程：,24,1.4.2 多元回歸方程及其顯著性檢驗(yàn),回歸方程的顯著性檢驗(yàn),就是檢

9、驗(yàn)樣本回歸方程的變量的線性關(guān)系是否顯著，即能否根據(jù)樣本來推斷總體回歸方程中的多個(gè)回歸系數(shù)中至少有一個(gè)不等于0，主要是為了說明樣本回歸方程的r2的顯著性。 檢驗(yàn)的方法：用方差分析，又叫回歸的方差分析。這時(shí)因變量Y的總變異被分解為回歸平方和與誤差平方和。F值等于回歸均方除以誤差均方。,25,1.4.2 多元回歸方程及其顯著性檢驗(yàn),多元回歸方程的求法依然與一元線性回歸一樣，只是在求多元線性回歸方程時(shí)，需要對自變量進(jìn)行檢驗(yàn)和篩選，剔除那些對因變量沒有影響或影響甚小，經(jīng)檢驗(yàn)未達(dá)到顯著水平，不足以入選的自變量，以達(dá)到簡化變量間關(guān)系結(jié)構(gòu)、簡化所求回歸方程的目的。,26,1.4.3 篩選自變量的方法,在建立回

10、歸方程之前，任何自變量都可以作為進(jìn)入方程的目標(biāo)。但對于因變量而言，只有那些對因變量具有預(yù)測作用的自變量才能被選中。 選擇的依據(jù)是對回歸系數(shù)做顯著性檢驗(yàn)，只有能夠顯著地預(yù)測因變量的自變量才會被選擇進(jìn)來。 好的回歸方程不但方程顯著，而且每個(gè)自變量的偏回歸系數(shù)也顯著。選擇的方法主要兩大類，四種。,27,1.4.3 篩選自變量的方法,探索性回歸： 向前選擇法（forward） 向后剔除法（backward） 逐步回歸法（stepwise） 驗(yàn)證性回歸（層次回歸）： 人為地逐步增加變量（enter），根據(jù)理論假設(shè)決定。,28,向前選擇(Forward),基本過程：首先將與因變量有最大正相關(guān)或最大負(fù)相關(guān)的

11、變量進(jìn)入方程，然后按假設(shè)H0：“進(jìn)入方程的變量系數(shù)為零”進(jìn)行F檢驗(yàn)，檢驗(yàn)的標(biāo)準(zhǔn)有兩個(gè)： (1)只有當(dāng)F檢驗(yàn)顯著時(shí)（概率小于或等于概率），變量才能進(jìn)入回歸方程F-to-enter-FIN 。 (2)必須達(dá)到F統(tǒng)計(jì)量的最小值（一般意義上的顯著性檢驗(yàn)） ， Probability of F-to-enter-PIN 。,29,向前選擇(Forward),注意：隨著變量加入到方程中，殘差平方和變化的自由度在增加，使得第一種標(biāo)準(zhǔn)的顯著性水平依賴于方程中當(dāng)前變量數(shù)。這意味著原來顯著的變量可能會隨著進(jìn)入方程的變量數(shù)的增加而變得不顯著。,30,向后選擇(Backward),基本過程：首先將所有變量納入到方程中

12、，然后根據(jù)指定剔除的標(biāo)準(zhǔn)剔除不顯著的變量，標(biāo)準(zhǔn)有兩個(gè)： (1)F移出法(F-to-remove-FOUR) (2)F最大概率移出(Maximum probability of F-to-remove-POUT),31,逐步選擇(Stepwise),基本過程：首先采用向前選擇的方式選擇第一個(gè)變量，若不滿足標(biāo)準(zhǔn)則終止選擇，按偏相關(guān)系數(shù)選擇下一個(gè)。同時(shí)，根據(jù)向后剔除的標(biāo)準(zhǔn)，考察已經(jīng)進(jìn)入方程的變量是否應(yīng)該剔除，直到?jīng)]有一個(gè)變量滿足移出標(biāo)準(zhǔn)，為防止變量重復(fù)進(jìn)入和移出，F(xiàn)-進(jìn)入判據(jù)必須大于F-剔除判據(jù)。,32,1.4.4 多元回歸方程有效性的判定,檢驗(yàn)殘差 方差齊性檢驗(yàn) 偏回歸系數(shù)與常數(shù)項(xiàng)的檢驗(yàn) 共線性問

13、題的判別,33,檢驗(yàn)殘差,回歸分析中誤差項(xiàng)（殘差）的基本假設(shè)： （1）誤差項(xiàng)的均值為零； （2）誤差項(xiàng)有固定的方差； （3）各次觀察的誤差相互獨(dú)立； （4）誤差服從正態(tài)分布。,34,檢驗(yàn)殘差,看殘差圖：是以某種殘差為縱坐標(biāo)，以其他指定的變量為橫坐標(biāo)，滿足模型假設(shè)的殘差圖應(yīng)當(dāng)是呈水平帶狀； 檢驗(yàn)相鄰誤差項(xiàng)是否有序列相關(guān)：使用Durbin-Watson檢驗(yàn)，DW介于1.22.8之間時(shí)可認(rèn)為是獨(dú)立的。 查找異常點(diǎn)(casewise)Outlier，通常以超出3個(gè)殘差標(biāo)準(zhǔn)差的樣品為異常點(diǎn)。 檢驗(yàn)誤差正態(tài)的假設(shè)，一是看標(biāo)準(zhǔn)化殘差直方圖與正態(tài)曲線比較是否接近；二是看標(biāo)準(zhǔn)化殘差正態(tài)概率圖，與對角直線相比，若

14、接近為正態(tài)。,35,方差齊性檢驗(yàn),方差齊性(variance of homogeneity)：指殘差的分布是常數(shù)，與預(yù)測變量或因變量無關(guān)。即殘差應(yīng)隨機(jī)地分布在一條穿過0點(diǎn)的水平直線兩側(cè)。在實(shí)際應(yīng)用中，一般是繪制因變量預(yù)測值（如ZPRED-X）與學(xué)生殘差（如SRESID-Y）的散點(diǎn)圖。,36,偏回歸系數(shù)與常數(shù)項(xiàng)的檢驗(yàn),檢驗(yàn)的假設(shè)是：各自變量的偏回歸系數(shù)為0，常數(shù)項(xiàng)為0。 使用的統(tǒng)計(jì)量為t值：t=偏回歸系數(shù)/偏回歸系數(shù)的標(biāo)準(zhǔn)誤。,37,共線性問題的判別(collinearity diagnostic),共線性是指由于自變量間的相關(guān)太高，造成回歸分析之情境困擾。如果變量間有共線性問題，表示一個(gè)預(yù)測變

15、量是其自變量的線性組合，如若X1與X2完全共線性，代表X1是X2的直線函數(shù)，點(diǎn)（X1，X2）會在同一條直線上，即共線性，若存在嚴(yán)重的共線性，模型的參數(shù)就不能完全被估計(jì)出來。,38,共線性問題圖示,39,共線性問題的判別(collinearity diagnostic),共線性問題的判別標(biāo)準(zhǔn)： 容忍度：(tolerance)=1-r2，介于0-1之間，太小表示有共線性； 變異數(shù)膨脹：(variance inflation factor,VIF) 是容忍度的倒數(shù)，越大，共線性越嚴(yán)重； 條件指針： (condition index,CI)值越大，共線性越嚴(yán)重,15為有問題，超過30有嚴(yán)重問題。,40

16、,1.5 在SPSS中如何做回歸分析,AnalyzeregressionlinearDependent(Y)Independents(x1, x2, x3, xi)Method：stepwisestatisticsRegression Coefficients：Estimates，Confidence intervals（求回歸參數(shù)的置信區(qū)間）Residuals：Durbin-Watson（檢驗(yàn)序列相關(guān)）Casewise diagnostics（查找異常點(diǎn)）R squared change，Descriptives，Collinearity diagnosticContinuePlotsY：D

17、ependent，X：*ZPRED（正態(tài)性檢驗(yàn)）Standardized Residuals Plots：Histogram， Normal probability plotContinuesavePredicted Values: Unstandardized，Standardized, S.E.of predictionsResiduals： Unstandardized，Standardized(在數(shù)據(jù)清單中產(chǎn)生標(biāo)準(zhǔn)化殘差)ContinueOptions：Use probability of Finclude constant in equationContinueOK,41,2 回歸分析在心理學(xué)研究中的應(yīng)用,心理科學(xué)研究的目的：描述、解釋、預(yù)測、控制各種心理與行為的變化。 回歸分析的預(yù)測作用：能從一個(gè)或幾個(gè)變量的取值對另一變量的取值做出預(yù)測，即能根據(jù)一個(gè)或幾