回歸分析SPSS操作

1、回歸分析回歸分析 回歸分析基本概念回歸分析基本概念1 一元線性回歸分析一元線性回歸分析2多元線性回歸分析多元線性回歸分析3回歸分析基本概念回歸分析基本概念1 回歸分析主要解決以下幾方面的問(wèn)題：回歸分析主要解決以下幾方面的問(wèn)題：q 通過(guò)分析大量的樣本數(shù)據(jù)，確定變量之間的數(shù)學(xué)關(guān)系式。通過(guò)分析大量的樣本數(shù)據(jù)，確定變量之間的數(shù)學(xué)關(guān)系式。q 對(duì)所確定的數(shù)學(xué)關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并對(duì)所確定的數(shù)學(xué)關(guān)系式的可信程度進(jìn)行各種統(tǒng)計(jì)檢驗(yàn)，并區(qū)分出對(duì)某一特定變量影響較為顯著的變量和影響不顯著的區(qū)分出對(duì)某一特定變量影響較為顯著的變量和影響不顯著的變量。變量。q 利用所確定的數(shù)學(xué)關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的值

2、來(lái)預(yù)利用所確定的數(shù)學(xué)關(guān)系式，根據(jù)一個(gè)或幾個(gè)變量的值來(lái)預(yù)測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的測(cè)或控制另一個(gè)特定變量的取值，并給出這種預(yù)測(cè)或控制的精確度。精確度。 2.1 統(tǒng)計(jì)學(xué)上的定義和計(jì)算公式統(tǒng)計(jì)學(xué)上的定義和計(jì)算公式 定義：一元線性回歸分析是分析某一個(gè)因素定義：一元線性回歸分析是分析某一個(gè)因素（自變量）是如何影響另一事物（因變量）的過(guò)程，（自變量）是如何影響另一事物（因變量）的過(guò)程，所進(jìn)行的分析是比較理想化的。其實(shí)，在現(xiàn)實(shí)生活所進(jìn)行的分析是比較理想化的。其實(shí)，在現(xiàn)實(shí)生活中，任何一個(gè)事物（因變量）總是受到其他多種事中，任何一個(gè)事物（因變量）總是受到其他多種事物（多個(gè)自變量）的影響

3、。物（多個(gè)自變量）的影響。一元線性回歸分析一元線性回歸分析2 研究問(wèn)題研究問(wèn)題 合成纖維的強(qiáng)度與其拉伸倍數(shù)有關(guān)，測(cè)得試驗(yàn)合成纖維的強(qiáng)度與其拉伸倍數(shù)有關(guān)，測(cè)得試驗(yàn)數(shù)據(jù)如表數(shù)據(jù)如表9-19-1所示。求合成纖維的強(qiáng)度與拉伸倍數(shù)之所示。求合成纖維的強(qiáng)度與拉伸倍數(shù)之間是否存在顯著的線性相關(guān)關(guān)系。間是否存在顯著的線性相關(guān)關(guān)系。2.2 SPSS中實(shí)現(xiàn)過(guò)程中實(shí)現(xiàn)過(guò)程序序 號(hào)號(hào)拉拉 伸伸 倍倍 數(shù)數(shù)強(qiáng)度（強(qiáng)度（kg/mm2）12.01.622.52.432.72.543.52.754.03.564.54.275.25.086.36.497.16.5108.07.3119.08.01210.08.1 實(shí)現(xiàn)步驟實(shí)現(xiàn)

4、步驟q對(duì)應(yīng)對(duì)應(yīng)x值的殘差圖值的殘差圖yyx0良好模式y(tǒng)yx0方差不齊yyx0不滿足線性回歸假設(shè)均數(shù)的置信區(qū)間均數(shù)的置信區(qū)間個(gè)體的容許區(qū)間個(gè)體的容許區(qū)間222, 2)(1xnxxxnstYievi222, 2)(11xnxxxnstYievi （1 1）輸出的結(jié)果文件中的第一部分：）輸出的結(jié)果文件中的第一部分：X與與Y的簡(jiǎn)單相關(guān)系數(shù)的簡(jiǎn)單相關(guān)系數(shù)2.3 結(jié)果和討論結(jié)果和討論2)(222nyyneSiiie估計(jì)標(biāo)準(zhǔn)誤q1）決定系數(shù)）決定系數(shù)R2 它表示在因變量它表示在因變量y的總變異中可由回歸方程所解釋部分的的總變異中可由回歸方程所解釋部分的比例。比例。 0R21, 越接近于越接近于1, 說(shuō)明回歸

5、方程效果越好。說(shuō)明回歸方程效果越好。SSTSSESSTSSRR12q2）校正的決定系數(shù)）校正的決定系數(shù)Adj R2 0AdjR21, 越接近于越接近于1, 說(shuō)明回歸方程效果越好。說(shuō)明回歸方程效果越好。q即使自變量對(duì)即使自變量對(duì)Y無(wú)顯著意義，無(wú)顯著意義，R2也隨方程中的變也隨方程中的變量個(gè)數(shù)增加而增加。量個(gè)數(shù)增加而增加。Adj R2可以懲罰復(fù)雜模型?？梢詰土P復(fù)雜模型。MSTMSERAdj12F=t2截距截距回歸系數(shù)回歸系數(shù)標(biāo)準(zhǔn)化回歸系數(shù)結(jié)果顯示：回歸方程顯著，即合成纖維的強(qiáng)度受拉伸倍數(shù)的顯著影響結(jié)果顯示：回歸方程顯著，即合成纖維的強(qiáng)度受拉伸倍數(shù)的顯著影響XYssrb 1xYrzzxYzz（2 2

6、）第二部分）第二部分 異常值分析異常值分析iistandardizedyyresidswhere sstd devof residualsq 如果標(biāo)準(zhǔn)化殘差超過(guò)如果標(biāo)準(zhǔn)化殘差超過(guò)2/-2，稱為異常值，稱為異常值outliers。q 當(dāng)樣本量比較小，異常值又會(huì)影響回歸系數(shù)的估計(jì)時(shí)，應(yīng)當(dāng)樣本量比較小，異常值又會(huì)影響回歸系數(shù)的估計(jì)時(shí)，應(yīng)該關(guān)注異常值的影響。該關(guān)注異常值的影響。212nyysniiiq 異常值 a 不影響 異常值 b 影響q第i個(gè)觀察值的學(xué)生化殘差)()(1(122xxxxnsyySyyresidiiiiyyiidstudentizeii212nyysniiiq 考慮了用來(lái)計(jì)算殘差的考

7、慮了用來(lái)計(jì)算殘差的 值有不同的方差。這種值有不同的方差。這種調(diào)整能夠使殘差分析更加敏感地發(fā)現(xiàn)方差不齊。調(diào)整能夠使殘差分析更加敏感地發(fā)現(xiàn)方差不齊。q學(xué)生化殘差學(xué)生化殘差超過(guò)超過(guò)2 2和和-2-2的點(diǎn)可認(rèn)為是異常值的點(diǎn)可認(rèn)為是異常值iiyySiy （3）第三部分）第三部分 數(shù)據(jù)窗口的存儲(chǔ)數(shù)據(jù)窗口的存儲(chǔ) 未標(biāo)準(zhǔn)化殘差 標(biāo)準(zhǔn)化殘差 學(xué)生化殘差均數(shù)的置信區(qū)間均數(shù)的置信區(qū)間個(gè)體的容許區(qū)間個(gè)體的容許區(qū)間1.7 利用回歸方程進(jìn)行估計(jì)和預(yù)測(cè)q均數(shù)的置信區(qū)間：均數(shù)的置信區(qū)間： 均數(shù)均數(shù) 界值界值標(biāo)準(zhǔn)誤標(biāo)準(zhǔn)誤 q個(gè)體的容許區(qū)間個(gè)體的容許區(qū)間( (參考值范圍參考值范圍): ): 均數(shù)均數(shù) 界值界值標(biāo)準(zhǔn)差標(biāo)準(zhǔn)差 22,

8、 2)(+1）-（-xxxxnstYievi22, 2)(+1+1）-（-xxxxnstYievi可信區(qū)間與預(yù)測(cè)區(qū)間示意圖3.1 統(tǒng)計(jì)學(xué)上的定義統(tǒng)計(jì)學(xué)上的定義 定義：在上一節(jié)中討論的回歸問(wèn)題只涉及了一定義：在上一節(jié)中討論的回歸問(wèn)題只涉及了一個(gè)自變量，但在實(shí)際問(wèn)題中，影響因變量的因素往個(gè)自變量，但在實(shí)際問(wèn)題中，影響因變量的因素往往有多個(gè)。例如，商品的需求除了受自身價(jià)格的影往有多個(gè)。例如，商品的需求除了受自身價(jià)格的影響外，還要受到消費(fèi)者收入、其他商品的價(jià)格、消響外，還要受到消費(fèi)者收入、其他商品的價(jià)格、消費(fèi)者偏好等因素的影響；影響水果產(chǎn)量的外界因素費(fèi)者偏好等因素的影響；影響水果產(chǎn)量的外界因素有平均氣

9、溫、平均日照時(shí)數(shù)、平均濕度等。有平均氣溫、平均日照時(shí)數(shù)、平均濕度等。多元線性回歸分析多元線性回歸分析3q研究者往往是根據(jù)自己的經(jīng)驗(yàn)或借鑒他人的研究研究者往往是根據(jù)自己的經(jīng)驗(yàn)或借鑒他人的研究結(jié)果選定若干個(gè)自變量，這些自變量對(duì)因變量的結(jié)果選定若干個(gè)自變量，這些自變量對(duì)因變量的影響作用是否都有統(tǒng)計(jì)學(xué)意義還有待于考察。影響作用是否都有統(tǒng)計(jì)學(xué)意義還有待于考察。q在建立回歸方程的過(guò)程中有必要考慮對(duì)自變量進(jìn)在建立回歸方程的過(guò)程中有必要考慮對(duì)自變量進(jìn)行篩選，挑選出若干個(gè)與因變量作用較大的變量行篩選，挑選出若干個(gè)與因變量作用較大的變量建立回歸方程。剔除那些對(duì)因變量沒(méi)有影響的變建立回歸方程。剔除那些對(duì)因變量沒(méi)有影

10、響的變量，從而建立一個(gè)較理想和穩(wěn)定的回歸方程。量，從而建立一個(gè)較理想和穩(wěn)定的回歸方程。3.2 逐步回歸逐步回歸逐步回歸的思想：q1. 開(kāi)始方程中沒(méi)有自變量，然后按自變量對(duì)開(kāi)始方程中沒(méi)有自變量，然后按自變量對(duì)y的貢的貢獻(xiàn)大小由大到小依次挑選進(jìn)入方程，每選入一個(gè)獻(xiàn)大小由大到小依次挑選進(jìn)入方程，每選入一個(gè)變量，都要對(duì)進(jìn)行檢驗(yàn)，決定變量，都要對(duì)進(jìn)行檢驗(yàn)，決定變量的取或舍變量的取或舍。q 2. 每一步都作一次如下的檢驗(yàn)：每一步都作一次如下的檢驗(yàn)： H0 : p個(gè)自變量為好個(gè)自變量為好 H1 : p+1個(gè)自變量為好個(gè)自變量為好采用F作為統(tǒng)計(jì)量。 SSE (H0 )-SSE (H1 ) F SSE(H1 )

11、/ (n-p-2) 其中SSE (H0 )表示用p個(gè)變量回歸的殘差平方和 SSE (H1 )表示用p+1個(gè)變量回歸的殘差平方和。 若FF（界值），則拒絕H0 ，可決定增多相應(yīng)的自變量; 否則，不拒絕H0 ，可決定不增加相應(yīng)的自變量。 研究問(wèn)題研究問(wèn)題 用多元回歸分析來(lái)分析用多元回歸分析來(lái)分析36個(gè)員工多個(gè)心理變量個(gè)員工多個(gè)心理變量值（值（z1z5）對(duì)員工滿意度）對(duì)員工滿意度my的預(yù)測(cè)效果，測(cè)得試的預(yù)測(cè)效果，測(cè)得試驗(yàn)數(shù)據(jù)如表驗(yàn)數(shù)據(jù)如表9-2所示。所示。3.2 SPSS中實(shí)現(xiàn)過(guò)程中實(shí)現(xiàn)過(guò)程z1z2z3z4Z5滿滿 意意 度度66.0064.0058.001.081.0025.0055.0050.0

12、053.001.001.1122.0050.0047.0046.001.311.2020.0055.0059.0052.001.001.0020.0055.0059.0047.001.001.0024.0062.0054.0046.001.081.0023.0060.0060.0052.001.081.0021.0052.0052.0057.001.001.0023.0056.0055.0044.001.691.0015.0050.0050.0045.001.081.1425.0058.0054.0052.001.001.0025.0053.0052.0065.001.081.0022.005

13、2.0056.0063.001.461.4320.0056.0065.0062.001.001.0022.0050.0063.0055.001.001.0020.0063.0057.0051.001.001.0026.0056.0046.0045.002.231.2921.0047.0050.0050.002.081.1420.0053.0066.0055.001.001.0025.00z1z2z3z4z5滿滿 意意 度度61.0055.0058.001.151.1423.0059.0064.0054.001.081.0026.0055.0060.0055.001.081.0026.0056.

14、0052.0051.001.851.7130.0059.0051.0052.001.001.0025.0060.0053.0047.001.311.1427.0052.0051.0055.001.231.1420.0056.0057.0059.001.001.1426.0068.0058.0053.001.001.0030.0060.0053.0056.001.001.0027.0064.0056.0059.001.851.1418.0067.0053.0053.001.001.0024.0056.0056.0056.001.001.0024.0053.0046.0050.001.311.14

15、19.0053.0057.0067.001.771.4317.0060.0040.0056.001.081.0024.0054.0045.0042.001.001.0023.00 實(shí)現(xiàn)步驟實(shí)現(xiàn)步驟Enter：所有自變量強(qiáng)制進(jìn)入回歸方程：所有自變量強(qiáng)制進(jìn)入回歸方程q當(dāng)自變量之間存在高度相關(guān)性，將引起回歸方程估計(jì)結(jié)果當(dāng)自變量之間存在高度相關(guān)性，將引起回歸方程估計(jì)結(jié)果不穩(wěn)定，參數(shù)（回歸系數(shù)）估計(jì)的標(biāo)準(zhǔn)誤大大增加，稱為不穩(wěn)定，參數(shù)（回歸系數(shù)）估計(jì)的標(biāo)準(zhǔn)誤大大增加，稱為共線性。共線性。q共線性診斷：共線性診斷： 1）條件數(shù)）條件數(shù)(Condition Index): k10（輕度）（輕度） 10k30(

16、嚴(yán)重）嚴(yán)重） 2）方差擴(kuò)大因子）方差擴(kuò)大因子(VIF): 5或或10，嚴(yán)重，嚴(yán)重 3） Tolence（容忍度）（容忍度）: .1 嚴(yán)重嚴(yán)重 （1 1）輸出結(jié)果文件中的第一部分：）輸出結(jié)果文件中的第一部分：3.3 結(jié)果和討論結(jié)果和討論復(fù)相關(guān)=R2YR2y.12YX1X2總誤差總回歸SSSSSSSSR 12 （1 1）輸出結(jié)果文件中的第一部分：）輸出結(jié)果文件中的第一部分：3.3 結(jié)果和討論結(jié)果和討論R2的改變都是顯著的，說(shuō)明增加自變量可以顯著的改變都是顯著的，說(shuō)明增加自變量可以顯著地改善對(duì)因變量的預(yù)測(cè)地改善對(duì)因變量的預(yù)測(cè)第三個(gè)回歸方程的解釋率最高 2 2）輸出的結(jié)果文件中第二部分：）輸出的結(jié)果文

17、件中第二部分：F檢驗(yàn)的結(jié)果顯示，三個(gè)回歸方程都顯著檢驗(yàn)的結(jié)果顯示，三個(gè)回歸方程都顯著1 H0 : B1=02 H0 : B1= B2=03 H0 : B1= B2= B3=0非標(biāo)準(zhǔn)化回歸方程：非標(biāo)準(zhǔn)化回歸方程：Y=7.337+.276Z1+eY=14.129+.227Z1-3.301Z4+e1Y=4.335+.268Z1-6.286Z4+10.188Z5+e標(biāo)準(zhǔn)化回歸方程：標(biāo)準(zhǔn)化回歸方程：Y=.413Z1+eY=.340Z1- .336Z4+ e1Y=.401Z1- 6.639Z4 + .477Z5+e多重回歸的矩陣表達(dá)1. 一般公式一般公式 2. 矩陣表示矩陣表示 3. 最小二乘估計(jì)最小二乘估計(jì)y = X+e-1=(XX) Xy01 12 2ip piyxxxe0:20BH1y2rYX1X2Zero-Order 零階相關(guān)零階相關(guān)/ /簡(jiǎn)單相關(guān)簡(jiǎn)單相關(guān)y(1.2)2rPart Correlation部分相關(guān)部分相關(guān)YX1X2Part correlation Correlation between Y and X1 when variable due to X2 has been partialed out of X1