多元回歸分析的原理與應(yīng)用

關(guān)于多元回歸分析的原理與應(yīng)用2提綱多元回歸分析的統(tǒng)計原理多元回歸分析在心理學(xué)研究中的應(yīng)用第2頁,共42頁，2024年2月25日，星期天31多元回歸分析(regression)的統(tǒng)計原理回歸分析的含義回歸分析的分類一元線性回歸多元線性回歸在SPSS中如何做多元回歸分析第3頁,共42頁，2024年2月25日，星期天41.1回歸分析的含義客觀世界中事物之間的關(guān)系是各種各樣的。從定量的角度看，主要有兩種：一是確定性關(guān)系，如重力加速度，即自由落體的距離與時間：S=0.5gt2；另一類是不確定性關(guān)系，即相關(guān)關(guān)系。由于事物的變化常常受多種因素的影響，導(dǎo)致了事物變化的不確定性。人們常用相關(guān)系數(shù)來描述事物之間的這種不確定性程度。但對于如何通過一個事物的值去估計和預(yù)測另一個事物的發(fā)展變化，相關(guān)系數(shù)卻無能為力。但是，通過大量的實際調(diào)查，可以總結(jié)出它們之間的關(guān)系，回歸分析即是對這種關(guān)系的描述。第4頁,共42頁，2024年2月25日，星期天51.1回歸分析的含義“回歸”一詞最早由英國統(tǒng)計學(xué)家高爾頓（FrancisGalton）在19世紀末期研究孩子的身高和他們父母身高關(guān)系時提出。研究發(fā)現(xiàn)，孩子的身高總是趨于他們父母身高的平均值。孩子的身高，比身材矮的父母要高，比身材高的父母要矮，這種趨于中間值的趨勢稱作“回歸效應(yīng)”，而他提出的這種研究兩個數(shù)值變量關(guān)系的方法稱作回歸分析。第5頁,共42頁，2024年2月25日，星期天61.1回歸分析的含義含義：是借助數(shù)學(xué)模型對客觀世界所存在的事物間的不確定關(guān)系的一種數(shù)量化描寫，即通過一個或幾個變量的變化去解釋另一變量的變化。目的：在于對相關(guān)隨機變量進行估計、預(yù)測和控制，確定變這些量之間數(shù)量關(guān)系的可能形式，并用一個數(shù)學(xué)模型來表示。第6頁,共42頁，2024年2月25日，星期天7XYXY????????

自變量(independentvariable)：解釋變量，給定的或可以控制的、用來解釋、預(yù)測因變量的變量。

因變量(dependentvariable)：響應(yīng)變量，由自變量來解釋其變化的變量。在回歸分析中：第7頁,共42頁，2024年2月25日，星期天81.1回歸分析的含義數(shù)學(xué)模型：y=f(x1,x2,x3,…,xi)+

模型的基本含義：因變量y受到兩部分自變量的影響，即：已知的K個自變量x1,x2,x3,…,xi的影響；一些未知因素或隨機因素的影響。對于K個已知自變量的影響，設(shè)想可以通過函數(shù)f(x1,x2,x3,…,xi)來表示，而剩下的將由那些未知因素或隨機因素的影響確定，將這些影響的結(jié)果記為

，稱為隨機誤差。對于每一組實際觀察獲得的值yi，x1,x2,x3,…,xi就可以表示成:yi=f(x1,x2,x3,…,xi)+

第8頁,共42頁，2024年2月25日，星期天91.1回歸分析的含義對于自變量x1,x2,x3,…,xi的每一組確定的值，f(x1,x2,x3,…,xi)的值也是確定的；但由于

是不確定的，所以，y也是不確定的，但在每一組確定的自變量之下，所有的

服從均數(shù)為零的正態(tài)分布，因此，對于自變量的每一組確定的值，因變量也服從正態(tài)分布，其平均數(shù)就是f(x1,x2,x3,…,xi)，該公式即為回歸方程，記為：第9頁,共42頁，2024年2月25日，星期天10回歸分析按自變量個數(shù)分類一元回歸簡單回歸多元回歸復(fù)回歸按方程式特征分類線性回歸非線性回歸1.2回歸分析的分類第10頁,共42頁，2024年2月25日，星期天111.3一元線性回歸只有一個自變量的線性回歸叫一元線性回歸，也叫簡單回歸。與方差分析不同，在回歸分析中，“元”是指自變量，而不是指因變量。第11頁,共42頁，2024年2月25日，星期天12總體的一元線性回歸模型：模型參數(shù)殘差假定：E(

)=0總體的一元線性回歸方程：第12頁,共42頁，2024年2月25日，星期天13一元線性回歸方程的幾何意義一元線性回歸線的可能形態(tài)截距斜率：回歸系數(shù)

1＞0

1＜0

1=0第13頁,共42頁，2024年2月25日，星期天14樣本的一元線性回歸方程：(估計的回歸方程)總體未知參數(shù)以樣本統(tǒng)計量估計總體參數(shù)回歸系數(shù)第14頁,共42頁，2024年2月25日，星期天15最小二乘法(Leastsquaresmethod):以極小化為目標(biāo)，求估計方程的過程。殘差(Residual):e第15頁,共42頁，2024年2月25日，星期天16最小二乘法因為一組數(shù)據(jù)可以有多條回歸直線，但是哪條最理想呢？想得到比較精確的回歸方程，必須使用最小二乘法。最小二乘法就是使誤差的平方和最小。誤差e就是殘差ε，e=y-y，其平方和為：

∑(y－y)2=∑(y-a-bx)2

要使誤差最小，只要分別對a、b求偏導(dǎo)數(shù)，使其＝0即可。第16頁,共42頁，2024年2月25日，星期天17判定系數(shù)(Coefficientofdetermination):估計的回歸方程擬合優(yōu)度的度量，表明Y

的變異性能被估計的回歸方程解釋的部分所占比例的大小。是判定回歸方程有效性高低的指標(biāo)r2當(dāng)殘差平方和為0時，判定系數(shù)為1，為完全的擬合。當(dāng)殘差平方和最大時，判定系數(shù)為0，為最差的擬合。判定系數(shù)第17頁,共42頁，2024年2月25日，星期天18判定系數(shù)與相關(guān)系數(shù)第18頁,共42頁，2024年2月25日，星期天19判定系數(shù)與相關(guān)系數(shù)從二者的計算公式可知，積差相關(guān)系數(shù)r的平方等于判定系數(shù)r2，即Y

的變異性能被估計的回歸方程解釋的部分所占比例的大小。如果r2=0.64,表明變量Y的變異中有64％是由變量X的變異引起的。所以，r2叫判定系數(shù)。第19頁,共42頁，2024年2月25日，星期天201.4多元線性回歸(MultipleRegression)多元線性回歸，就是有多個自變量的線性回歸，也叫復(fù)回歸。其數(shù)學(xué)模型為：截距：常數(shù)項(constant)偏回歸系數(shù)：β誤差：殘差第20頁,共42頁，2024年2月25日，星期天211.4多元線性回歸多元回歸分析的基本假設(shè)多元回歸方程及其顯著性檢驗篩選自變量的方法多元回歸方程有效性的判定第21頁,共42頁，2024年2月25日，星期天221.4.1多元回歸分析的基本假設(shè)相關(guān)存在性：就自變量X1，X2，X3，……XK的特殊組合而言，Y變量（單變量）是一個隨機變量，具有某種概率分配，有一定的平均數(shù)及變異數(shù)，各個變量之間都存在顯著相關(guān)關(guān)系。獨立性：每一個觀察值Y彼此間是統(tǒng)計獨立的，觀察值間沒有關(guān)聯(lián)，即非共線性。直線性：Y變量的平均數(shù)是變量X1，X2，X3，……XK間的線性函數(shù)，此線性函數(shù)關(guān)系即回歸方程。方差齊性：就X1，X2，X3，……XK任何一個組合而言，因變量Y的變異數(shù)均相同。正態(tài)性：就任何X1，X2，X3，……XK的線性組合而言，因變量Y的分配是正態(tài)的。第22頁,共42頁，2024年2月25日，星期天231.4.2多元回歸方程及其顯著性檢驗多元回歸的樣本與總體的回歸方程：第23頁,共42頁，2024年2月25日，星期天241.4.2多元回歸方程及其顯著性檢驗回歸方程的顯著性檢驗,就是檢驗樣本回歸方程的變量的線性關(guān)系是否顯著，即能否根據(jù)樣本來推斷總體回歸方程中的多個回歸系數(shù)中至少有一個不等于0，主要是為了說明樣本回歸方程的r2的顯著性。檢驗的方法：用方差分析，又叫回歸的方差分析。這時因變量Y的總變異被分解為回歸平方和與誤差平方和。F值等于回歸均方除以誤差均方。第24頁,共42頁，2024年2月25日，星期天251.4.2多元回歸方程及其顯著性檢驗多元回歸方程的求法依然與一元線性回歸一樣，只是在求多元線性回歸方程時，需要對自變量進行檢驗和篩選，剔除那些對因變量沒有影響或影響甚小，經(jīng)檢驗未達到顯著水平，不足以入選的自變量，以達到簡化變量間關(guān)系結(jié)構(gòu)、簡化所求回歸方程的目的。第25頁,共42頁，2024年2月25日，星期天261.4.3篩選自變量的方法在建立回歸方程之前，任何自變量都可以作為進入方程的目標(biāo)。但對于因變量而言，只有那些對因變量具有預(yù)測作用的自變量才能被選中。選擇的依據(jù)是對回歸系數(shù)做顯著性檢驗，只有能夠顯著地預(yù)測因變量的自變量才會被選擇進來。好的回歸方程不但方程顯著，而且每個自變量的偏回歸系數(shù)也顯著。選擇的方法主要兩大類，四種。第26頁,共42頁，2024年2月25日，星期天271.4.3篩選自變量的方法

探索性回歸：向前選擇法（forward）向后剔除法（backward）逐步回歸法（stepwise）

驗證性回歸（層次回歸）：人為地逐步增加變量（enter），根據(jù)理論假設(shè)決定。第27頁,共42頁，2024年2月25日，星期天28向前選擇(Forward)基本過程：首先將與因變量有最大正相關(guān)或最大負相關(guān)的變量進入方程，然后按假設(shè)H0：“進入方程的變量系數(shù)為零”進行F檢驗，檢驗的標(biāo)準有兩個：

(1)只有當(dāng)F檢驗顯著時（概率小于或等于概率），變量才能進入回歸方程F-to-enter-FIN。

(2)必須達到F統(tǒng)計量的最小值（一般意義上的顯著性檢驗），ProbabilityofF-to-enter-PIN。第28頁,共42頁，2024年2月25日，星期天29向前選擇(Forward)注意：隨著變量加入到方程中，殘差平方和變化的自由度在增加，使得第一種標(biāo)準的顯著性水平依賴于方程中當(dāng)前變量數(shù)。這意味著原來顯著的變量可能會隨著進入方程的變量數(shù)的增加而變得不顯著。第29頁,共42頁，2024年2月25日，星期天30向后選擇(Backward)基本過程：首先將所有變量納入到方程中，然后根據(jù)指定剔除的標(biāo)準剔除不顯著的變量，標(biāo)準有兩個：

(1)F移出法(F-to-remove-FOUR)(2)F最大概率移出(MaximumprobabilityofF-to-remove-POUT)第30頁,共42頁，2024年2月25日，星期天31逐步選擇(Stepwise)基本過程：首先采用向前選擇的方式選擇第一個變量，若不滿足標(biāo)準則終止選擇，按偏相關(guān)系數(shù)選擇下一個。同時，根據(jù)向后剔除的標(biāo)準，考察已經(jīng)進入方程的變量是否應(yīng)該剔除，直到?jīng)]有一個變量滿足移出標(biāo)準，為防止變量重復(fù)進入和移出，F(xiàn)-進入判據(jù)必須大于F-剔除判據(jù)。第31頁,共42頁，2024年2月25日，星期天321.4.4多元回歸方程有效性的判定檢驗殘差方差齊性檢驗偏回歸系數(shù)與常數(shù)項的檢驗共線性問題的判別第32頁,共42頁，2024年2月25日，星期天33檢驗殘差回歸分析中誤差項（殘差）的基本假設(shè)：（1）誤差項的均值為零；（2）誤差項有固定的方差；（3）各次觀察的誤差相互獨立；（4）誤差服從正態(tài)分布。第33頁,共42頁，2024年2月25日，星期天34檢驗殘差看殘差圖：是以某種殘差為縱坐標(biāo)，以其他指定的變量為橫坐標(biāo)，滿足模型假設(shè)的殘差圖應(yīng)當(dāng)是呈水平帶狀；檢驗相鄰誤差項是否有序列相關(guān)：使用Durbin-Watson檢驗，DW介于1.2～2.8之間時可認為是獨立的。查找異常點(casewise)—Outlier，通常以超出3個殘差標(biāo)準差的樣品為異常點。檢驗誤差正態(tài)的假設(shè)，一是看標(biāo)準化殘差直方圖與正態(tài)曲線比較是否接近；二是看標(biāo)準化殘差正態(tài)概率圖，與對角直線相比，若接近為正態(tài)。第34頁,共42頁，2024年2月25日，星期天35方差齊性檢驗方差齊性(varianceofhomogeneity)：指殘差的分布是常數(shù)，與預(yù)測變量或因變量無關(guān)。即殘差應(yīng)隨機地分布在一條穿過0點的水平直線兩側(cè)。在實際應(yīng)用中，一般是繪制因變量預(yù)測值（如ZPRED--X）與學(xué)生殘差（如SRESID--Y）的散點圖。第35頁,共42頁，2024年2月25日，星期天36偏回歸系數(shù)與常數(shù)項的檢驗檢驗的假設(shè)是：各自變量的偏回歸系數(shù)為0，常數(shù)項為0。使用的統(tǒng)計量為t值：t=偏回歸系數(shù)/偏回歸系數(shù)的標(biāo)準誤。第36頁,共42頁，2024年2月25日，星期天37共線性問題的判別

(collinearitydiagnostic)共線性是指由于自變量間的相關(guān)太高，造成回歸分析之情境困擾。如果變量間有共線性問題，表示一個預(yù)測變量是其自變量的線性組合，如若X1與X2完全共線性，代表X1是X2的直線函數(shù)，點（X1，X2）會在同一條直線上，即共線性，若存在嚴重的共線性，模型的參數(shù)就不能完全被估計出來。第37頁,共42頁，2024年2月25日，星期天38X1與X2共線X1與X3共線X2與X3共線X1、X2、X3共線X3X2X1共線性問題圖示第38頁,共42頁，2024年2月25日，星期天39共線性問題的判別

(collinearitydiagnostic)共線性問題的判別標(biāo)準：容忍度：(tolerance)=1-r2，介于0-1之間，太小表示有共線性；變異數(shù)膨脹：(varianceinflationfactor,VIF)是容忍度的倒數(shù)，越大，共線性越嚴重；條件指針：(conditionindex,CI)值越大，共線性越嚴重,15為有問題，超過30有嚴重問題。第39頁,共42頁，2024年2月25日，星期天401.5在SPSS中如何做回歸分析Analyze—regression—linear—Dependent(Y)—Independents(x1,x2,x3,…xi)—Method：stepwise—statistics—RegressionCoefficients：Estimates，Confidenceintervals（求回歸參數(shù)的置信區(qū)間）—Re