第八章回歸分析

第八章SPSS相關(guān)分析與回歸分析本章內(nèi)容8.1相關(guān)分析和回歸分析概述8.2相關(guān)分析8.3偏相關(guān)分析8.4線性回歸分析8.5曲線估計(jì)8.6二項(xiàng)Logistic回歸分析8.4線性回歸分析8.4.1線性回歸分析概述線性回歸分析的內(nèi)容能否找到一個(gè)線性組合來說明一組自變量和因變量的關(guān)系如果能的話，這種關(guān)系的強(qiáng)度有多大，也就是利用自變量的線性組合來預(yù)測(cè)因變量的能力有多強(qiáng)整體解釋能力是否具有統(tǒng)計(jì)上的顯著性意義在整體解釋能力顯著的情況下，哪些自變量有顯著意義回歸分析的一般步驟確定回歸方程中的解釋變量（自變量）和被解釋變量（因變量）確定回歸方程對(duì)回歸方程進(jìn)行各種檢驗(yàn)利用回歸方程進(jìn)行預(yù)測(cè)趨向中間高度的回歸回歸這個(gè)術(shù)語(yǔ)是由英國(guó)著名統(tǒng)計(jì)學(xué)家FrancisGalton在19世紀(jì)末期研究孩子及其父母的身高時(shí)提出來的。Galton發(fā)現(xiàn)身材高的父母，他們的孩子身材也高。但這些孩子平均起來并不像他們的父母那樣高。對(duì)于比較矮的父母情形也類似：他們的孩子比較矮，但這些孩子的平均身高要比他們的父母的平均身高高。Galton把這種孩子的身高向平均值靠近的趨勢(shì)稱為一種回歸效應(yīng)，而他發(fā)展的研究?jī)蓚€(gè)數(shù)值變量的方法稱為回歸分析回歸分析與相關(guān)分析的區(qū)別相關(guān)分析中，變量x

變量y處于平等的地位；回歸分析中，變量y稱為因變量，處在被解釋的地位，x稱為自變量，用于預(yù)測(cè)因變量的變化相關(guān)分析中所涉及的變量x和y都是隨機(jī)變量；回歸分析中，因變量y是隨機(jī)變量，自變量x

是非隨機(jī)的確定變量相關(guān)分析主要是描述兩個(gè)變量之間線性關(guān)系的密切程度；回歸分析不僅可以揭示變量x對(duì)變量y的影響大小，還可以由回歸方程進(jìn)行預(yù)測(cè)和控制回歸模型的類型8.4.2線性回歸模型一元線性回歸模型的數(shù)學(xué)模型：

其中x為自變量；y為因變量；為截距，即常量；為回歸系數(shù)，表明自變量對(duì)因變量的影響程度。誤差項(xiàng)是隨機(jī)變量，反映了除x和y之間的線性關(guān)系之外的隨機(jī)因素對(duì)y的影響，是不能由x和y之間的線性關(guān)系所解釋的變異性一元線性回歸模型(基本假定)x=x3時(shí)的E(y)x=x2時(shí)y的分布x=x1時(shí)y的分布x=x2時(shí)的E(y)x3x2x1x=x1時(shí)的E(y)0xyx=x3時(shí)y的分布0+1x回歸方程(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程。一元線性回歸方程的形式如下

E(y)=0+1x方程的圖示是一條直線，也稱為直線回歸方程0是回歸直線在y軸上的截距，是當(dāng)x=0時(shí)y的期望值1是直線的斜率，稱為回歸系數(shù)，表示當(dāng)x每變動(dòng)一個(gè)單位時(shí)，y的平均變動(dòng)值

用最小二乘法求解方程中的兩個(gè)參數(shù)，得到：多元線性回歸模型多元線性回歸方程：E（y）=β0+β1x1+β2x2+...+βkxkβ1、β2、βk為偏回歸系數(shù)。β1表示在其他自變量保持不變的情況下，自變量x1變動(dòng)一個(gè)單位所引起的因變量y的平均變動(dòng)。

8.4.3線性回歸方程的統(tǒng)計(jì)檢驗(yàn)8.4.3.1回歸方程的擬合優(yōu)度回歸直線與各觀測(cè)點(diǎn)的接近程度稱為回歸方程的擬合優(yōu)度，也就是樣本觀測(cè)值聚集在回歸線周圍的緊密程度。1、離差平方和的分解：建立直線回歸方程可知：y的觀測(cè)值的總變動(dòng)可由來反映，稱為總變差。引起總變差的原因有兩個(gè)：由于x的取值不同，使得與x有線性關(guān)系的y值不同；隨機(jī)因素的影響。誤差的分解

(圖示)xyy總離差平方和可分解為即：總離差平方和（SST)=剩余離差平方和(SST)+回歸離差平方和（SSR)其中；SSR是由x和y的直線回歸關(guān)系引起的，可以由回歸直線做出解釋；SSE是除了x對(duì)y的線性影響之外的隨機(jī)因素所引起的Y的變動(dòng)，是回歸直線所不能解釋的。2、可決系數(shù)（判定系數(shù)、決定系數(shù)）

回歸平方和在總離差平方和中所占的比例可以作為一個(gè)統(tǒng)計(jì)指標(biāo)，用來衡量X與Y的關(guān)系密切程度以及回歸直線的代表性好壞，稱為可決系數(shù)。對(duì)于一元線性回歸方程：對(duì)于多元線性回歸方程：

在多元線性回歸分析中，引起判定系數(shù)增加的原因有兩個(gè)：一個(gè)是方程中的解釋變量個(gè)數(shù)增多，另一個(gè)是方程中引入了對(duì)被解釋變量有重要影響的解釋變量。如果某個(gè)自變量引入方程后對(duì)因變量的線性解釋有重要貢獻(xiàn)，那么必然會(huì)使誤差平方和顯著減小，并使平均的誤差平方和也顯著減小，從而使調(diào)整的判定系數(shù)提高。所以在多元線性回歸分析中，調(diào)整的判定系數(shù)比判定系數(shù)更能準(zhǔn)確的反映回歸方程的擬合優(yōu)度。8.4.3.2回歸方程的顯著性檢驗(yàn)（方差分析F檢驗(yàn)）回歸方程的顯著性檢驗(yàn)是要檢驗(yàn)被解釋變量與所有的解釋變量之間的線性關(guān)系是否顯著。對(duì)于一元線性回歸方程，檢驗(yàn)統(tǒng)計(jì)量為：對(duì)于多元線性回歸方程，檢驗(yàn)統(tǒng)計(jì)量為：8.4.3.3回歸系數(shù)的顯著性檢驗(yàn)（t檢驗(yàn)）回歸系數(shù)的顯著性檢驗(yàn)是要檢驗(yàn)回歸方程中被解釋變量與每一個(gè)解釋變量之間的線性關(guān)系是否顯著。對(duì)于一元線性回歸方程，檢驗(yàn)統(tǒng)計(jì)量為：

對(duì)于多元線性回歸方程，檢驗(yàn)統(tǒng)計(jì)量為：8.4.3.4殘差分析

殘差是指由回歸方程計(jì)算得到的預(yù)測(cè)值與實(shí)際樣本值之間的差距，定義為：

對(duì)于線性回歸分析來講，如果方程能夠較好的反映被解釋變量的特征和規(guī)律性，那么殘差序列中應(yīng)不包含明顯的規(guī)律性。殘差分析包括以下內(nèi)容：殘差服從正態(tài)分布，其平均值等于0；殘差取值與X的取值無關(guān)；殘差不存在自相關(guān)；殘差方差相等。

1、對(duì)于殘差均值和方差齊性檢驗(yàn)可以利用殘差圖進(jìn)行分析。如果殘差均值為零，殘差圖的點(diǎn)應(yīng)該在縱坐標(biāo)為0的中心的帶狀區(qū)域中隨機(jī)散落。如果殘差的方差隨著解釋變量值（或被解釋變量值）的增加呈有規(guī)律的變化趨勢(shì)，則出現(xiàn)了異方差現(xiàn)象。2、DW檢驗(yàn)。DW檢驗(yàn)用來檢驗(yàn)殘差的自相關(guān)。檢驗(yàn)統(tǒng)計(jì)量為：

DW=2表示無自相關(guān)，在0-2之間說明存在正自相關(guān)，在2-4之間說明存在負(fù)的自相關(guān)。一般情況下，DW值在1.5-2.5之間即可說明無自相關(guān)現(xiàn)象。8.4.3.5多重共線性分析

多重共線性是指解釋變量之間存在線性相關(guān)關(guān)系的現(xiàn)象。測(cè)度多重共線性一般有以下方式：1、容忍度：其中，是第i個(gè)解釋變量與方程中其他解釋變量間的復(fù)相關(guān)系數(shù)的平方，表示解釋變量之間的線性相關(guān)程度。容忍度的取值范圍在0-1之間，越接近0表示多重共線性越強(qiáng)，越接近1表示多重共線性越弱。2、方差膨脹因子VIF。方差膨脹因子是容忍度的倒數(shù)。VIF越大多重共線性越強(qiáng)，當(dāng)VIF大于等于10時(shí)，說明存在嚴(yán)重的多重共線性。

8.4.3線性回歸分析的基本操作（1）選擇菜單Analyze－Regression－Linear，出現(xiàn)窗口：（2）選擇被解釋變量進(jìn)入Dependent框。（3）選擇一個(gè)或多個(gè)解釋變量進(jìn)入Independent(s)框。（4）在Method框中選擇回歸分析中解釋變量的篩選策略。其中Enter表示所選變量強(qiáng)行進(jìn)入回歸方程，是SPSS默認(rèn)的策略，通常用在一元線性回歸分析中；Remove表示從回歸方程中剔除所選變量；Stepwise表示逐步篩選策略；Backward表示向后篩選策略；Forward表示向前篩選策略。注：多元回歸分析中，變量的篩選一般有向前篩選、向后篩選、逐步篩選三種基本策略。向前篩選（Forward

）策略：解釋變量不斷進(jìn)入回歸方程的過程。首先，選擇與被解釋變量具有最高線性相關(guān)系數(shù)的變量進(jìn)入方程，并進(jìn)行回歸方程的各種檢驗(yàn)；然后，在剩余的變量中尋找與被解釋變量偏相關(guān)系數(shù)最高且通過檢驗(yàn)的變量進(jìn)入回歸方程，并對(duì)新建立的回歸方程進(jìn)行各種檢驗(yàn)；這個(gè)過程一直重復(fù)，直到再也沒有可進(jìn)入方程的變量為止。向后篩選（Backward

）策略：變量不斷剔除出回歸方程的過程。首先，所有變量全部引入回歸方程，并對(duì)回歸方程進(jìn)行各種檢驗(yàn)；然后，在回歸系數(shù)顯著性檢驗(yàn)不顯著的一個(gè)或多個(gè)變量中，剔除t檢驗(yàn)值最小的變量，并重新建立回歸方程和進(jìn)行各種檢驗(yàn)；如果新建回歸方程中所有變量的回歸系數(shù)檢驗(yàn)都顯著，則回歸方程建立結(jié)束。否則按上述方法再一次剔除最不顯著的變量，直到再也沒有可剔除的變量為止。逐步篩選（Stepwise

）策略：在向前篩選策略的基礎(chǔ)上結(jié)合向后篩選策略，在每個(gè)變量進(jìn)入方程后再次判斷是否存在應(yīng)該剔除出方程的變量。因此，逐步篩選策略在引入變量的每一個(gè)階段都提供了再剔除不顯著變量的機(jī)會(huì)。（5）第三和第四步中確定的解釋變量及變量篩選策略可放置在不同的塊（Block）中。通常在回歸分析中不止一組待進(jìn)入方程的解釋變量和相應(yīng)的篩選策略，可以單擊Next和Previous按鈕設(shè)置多組解釋變量和變量篩選策略并放置在不同的塊中。（6）選擇一個(gè)變量作為條件變量放到Selection

Variable框中，并單擊Rule按鈕給定一個(gè)判斷條件。只有變量值滿足判定條件的樣本才參與線性回歸分析。（7）在CaseLabels框中指定哪個(gè)變量作為樣本數(shù)據(jù)點(diǎn)的標(biāo)志變量，該變量的值將標(biāo)在回歸分析的輸出圖形中。8.4.4線性回歸分析的其他操作1、Statistics按鈕，出現(xiàn)的窗口可供用戶選擇更多的輸出統(tǒng)計(jì)量。（1）Estimates：SPSS默認(rèn)輸出項(xiàng)，輸出與回歸系數(shù)相關(guān)的統(tǒng)計(jì)量。包括回歸系數(shù)（偏回歸系數(shù)）、回歸系數(shù)標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)化回歸系數(shù)、回歸系數(shù)顯著性檢驗(yàn)的t統(tǒng)計(jì)量和概率p值，各解釋變量的容忍度。（2）ConfidenceIntervals：輸出每個(gè)非標(biāo)準(zhǔn)化回歸系數(shù)95％的置信區(qū)間。（3）Descriptive：輸出各解釋變量和被解釋變量的均值、標(biāo)準(zhǔn)差、相關(guān)系數(shù)矩陣及單側(cè)檢驗(yàn)概率p值。（4）Modelfit：SPSS默認(rèn)輸出項(xiàng)，輸出判定系數(shù)、調(diào)整的判定系數(shù)、回歸方程的標(biāo)準(zhǔn)誤差、回歸方程顯著F檢驗(yàn)的方程分析表。（5）Rsquaredchange：輸出每個(gè)解釋變量進(jìn)入方程后引起的判定系數(shù)的變化量和F值的變化量。（6）Partandpartialcorrelation：輸出方程中各解釋變量與被解釋變量之間的簡(jiǎn)單相關(guān)、偏相關(guān)系數(shù)。（7）Covariancematrix：輸出方程中各解釋變量間的相關(guān)系數(shù)、協(xié)方差以及各回歸系數(shù)的方差。（8）CollinearityDiagnostics：多重共線性分析，輸出各個(gè)解釋變量的容忍度、方差膨脹因子、特征值、條件指標(biāo)、方差比例等。（9）在Residual框中：Durbin-waston表示輸出DW檢驗(yàn)值；CasewiseDiagnostic表示輸出標(biāo)準(zhǔn)化殘差絕對(duì)值大于等于3（SPSS默認(rèn)值）的樣本數(shù)據(jù)的相關(guān)信息，包括預(yù)測(cè)值、殘差、杠桿值等。2、Options選項(xiàng)，出現(xiàn)的窗口可供用戶設(shè)置多元線性回歸分析中解釋變量篩選的標(biāo)準(zhǔn)以及缺失值的處理方式。3、Plot選項(xiàng)，出現(xiàn)的窗口用于對(duì)殘差序列的分析。（1）窗口左邊框中各變量名的含義是：DEPENDNT表示被解釋變量，*ZPRED表示標(biāo)準(zhǔn)化預(yù)測(cè)值，*ZRESID表示標(biāo)準(zhǔn)化殘差，*DRESID表示剔除殘差，*ADJPRED表示調(diào)整的預(yù)測(cè)值，*SRESID表示學(xué)生化殘差，*SDRESID表示剔除學(xué)生化殘差。（2）繪制多對(duì)變量的散點(diǎn)圖，可根據(jù)需要在scatter框中定義散點(diǎn)圖的縱坐標(biāo)和橫坐標(biāo)變量。（3）在StandardizedResidualPlots框中選擇Histogram選項(xiàng)繪制標(biāo)準(zhǔn)化殘差序列的直方圖；選擇Normalprobabilityplot繪制標(biāo)準(zhǔn)化殘差序列的正態(tài)分布累計(jì)概率圖。選擇Produceallpartial

plots選項(xiàng)表示依次繪制被解釋變量和各個(gè)解釋變量的散點(diǎn)圖。4、Save選項(xiàng)，該窗口將回歸分析的某些結(jié)果以SPSS變量的形式保存到數(shù)據(jù)編輯窗口中，并可同時(shí)生成XML格式的文件，便于分析結(jié)果的網(wǎng)絡(luò)發(fā)布。（1）PredictedValues框中：保存非標(biāo)準(zhǔn)化預(yù)測(cè)值、標(biāo)準(zhǔn)化預(yù)測(cè)值、調(diào)整的預(yù)測(cè)值和預(yù)測(cè)值的均值標(biāo)準(zhǔn)誤差。（2）Distance框中：保存均值或個(gè)體預(yù)測(cè)值95％（默認(rèn)）置信區(qū)間的下限值和上限值。（3）Residual框中：保存非標(biāo)準(zhǔn)化殘差、標(biāo)準(zhǔn)化殘差等。（4）InfluenceStatistics框中：保存剔除第i個(gè)樣本后統(tǒng)計(jì)量的變化量。5、WSL選項(xiàng)，采用加權(quán)最小二乘法替代普通最小二乘法估計(jì)回歸參數(shù)，并指定一個(gè)變量作為權(quán)重變量。以高?？蒲醒芯繑?shù)據(jù)為例，建立回歸方程研究

1、課題總數(shù)受論文數(shù)的影響2、以課題總數(shù)為被解釋變量，解釋變量為投入人年數(shù)（X2）、受投入高級(jí)職稱的人年數(shù)（X3）、投入科研事業(yè)費(fèi)（X4）、專著數(shù)（X6）、論文數(shù)（X7）、獲獎(jiǎng)數(shù)（X8）。（1）解釋變量采用強(qiáng)制進(jìn)入策略（Enter），并做多重共線性檢測(cè)。（2）解釋變量采用向后篩選策略讓SPSS自動(dòng)完成解釋變量的選擇。（3）解釋變量采用逐步篩選策略讓SPSS自動(dòng)完成解釋變量的選擇。

8.4.5應(yīng)用舉例1、為研究收入和支出的關(guān)系，收集1978-2002年我國(guó)的年人均可支配收入和年人均消費(fèi)性支出數(shù)據(jù)，研究收入與支出之間是否具有較強(qiáng)的線性關(guān)系。2、以年人均支出和教育數(shù)據(jù)為例，建立回歸方程研究年人均消費(fèi)支出、恩格爾系數(shù)、在外就餐、教育支出、住房人均使用面積受年人均可支配收入的影響。練習(xí)8.5曲線估計(jì)8.5.1曲線估計(jì)概述變量間的相關(guān)關(guān)系中，并不總是表現(xiàn)出線性關(guān)系，非線性關(guān)系也是極為常見的。變量之間的非線性關(guān)系可以劃分為本質(zhì)線性關(guān)系和本質(zhì)非線性關(guān)系。本質(zhì)線性關(guān)系是指變量關(guān)系形式上雖然呈非線性關(guān)系，但可通過變量變換為線性關(guān)系，并最終可通過線性回歸分析建立線性模型。本質(zhì)非線性關(guān)系是指變量關(guān)系不僅形式上呈非線性關(guān)系，而且也無法變換為線性關(guān)系。本節(jié)的曲線估計(jì)是解決本質(zhì)線性關(guān)系問題的。常見的本質(zhì)線性模型有：1、二次曲線（Quadratic），方程為，變量變換后的方程為2、復(fù)合曲線（Compound），方程為，變量變換后的方程為3、增長(zhǎng)曲線（Growth），方程為，變量變換后的方程為4、對(duì)數(shù)曲線（Logarithmic），方程為，變量變換后的線性方程為5、三次曲線（Cubic），方程為，變量變換后的方程為6、S曲線（S），方程為，變量變換后的方程為7、指數(shù)曲線（Exponential），方程為，變量變換后的線性方程為8、逆函數(shù)（Inverse），方程為變量變換后的方程為9、冪函數(shù)（Power），方程為變量變換后的方程為10、邏輯函數(shù)（Logistic），方程為變量變換后的線性方程為

SPSS曲線估計(jì)中，首先，在不能明確究竟哪種模型更接近樣本數(shù)據(jù)時(shí)，可在多種可選擇的模型中選擇幾種模型；然后SPSS自動(dòng)完成模型的參數(shù)估計(jì)，并輸出回歸方程顯著性檢驗(yàn)的F值和概率p值、判定系數(shù)R2等統(tǒng)計(jì)量；最后，以判定系數(shù)為主要依據(jù)選擇其中的最優(yōu)模型，并進(jìn)行預(yù)測(cè)分析等。另外，SPSS曲線估計(jì)還可以以時(shí)間為解釋變量實(shí)現(xiàn)時(shí)間序列的簡(jiǎn)單回歸分析和趨勢(shì)外推分析。8.5.2曲線估計(jì)的基本操作可通過繪制并觀察樣本數(shù)據(jù)的散點(diǎn)圖粗略確定被解釋變量和解釋變量之間的相關(guān)關(guān)系，為曲線擬合中的模型選擇提供依據(jù)。SPSS曲線估計(jì)的基本操作步驟是：（1）選擇菜單Analyze－Regression－CurveEstimation，出現(xiàn)窗口如下頁(yè)所示。（2）把被解釋變量選到Dependent框中。（3）曲線估計(jì)中的解釋變量可以是相關(guān)因素變量也可是時(shí)間變量。如果解釋變量為相關(guān)因素變量，則選擇Variable選項(xiàng)，并把一個(gè)解釋變量指定到Independent框；如果選擇Time參數(shù)則表示解釋變量為時(shí)間變量。（4）在Models中選擇幾種模型。（5）選擇PlotModels選項(xiàng)繪制回歸線；選擇DisplayANOVAtable輸出各個(gè)模型的方差分析表和各回歸系數(shù)顯著性檢驗(yàn)結(jié)果。