13-多重線性回歸、Logistic回歸

實(shí)驗(yàn)11多重線性回歸、Logistic回歸spss過(guò)程第一節(jié)多重線性回歸分析3一、方法簡(jiǎn)介

1.1分析目的與方法選擇研究一個(gè)因變量與一個(gè)自變量間的線性關(guān)系時(shí)，簡(jiǎn)單線性回歸分析研究一個(gè)因變量與多個(gè)自變量間的線性關(guān)系時(shí)，多重線性回歸分析研究多個(gè)因變量與多個(gè)自變量間的線性關(guān)系時(shí)，多元多重線性回歸分析4一、方法簡(jiǎn)介1.2概念用回歸方程定量地刻畫一個(gè)因變量與多個(gè)自變量之間的線性依存關(guān)系，稱為多重線性回歸分析（multiplelinearregressionanalysis）。自變量是相互獨(dú)立的連續(xù)型變量或分類變量。

一、方法簡(jiǎn)介1.3數(shù)據(jù)結(jié)構(gòu)表1進(jìn)行多重線性回歸分析資料的數(shù)據(jù)結(jié)構(gòu)5編號(hào)X1X2…XkY1X11X12…X1kY12X21X22…X2kY2：：：：：nXn1Xn2…XnkYn6二、基本原理

2.1原理簡(jiǎn)介多重線性回歸模型：

Y=b0+b1X1+b2X2+…+bkXk+e=bX+e

其中，bj(j=0,1,2…

,k)為未知參數(shù)，e為隨機(jī)誤差項(xiàng)。7二、基本原理2.1原理簡(jiǎn)介多重線性回歸模型中包含多個(gè)自變量，它們同時(shí)對(duì)因變量Y發(fā)生作用。

若要考察一個(gè)自變量對(duì)Y

的影響，就必須假設(shè)其他自變量保持不變。8二、基本原理

2.1原理簡(jiǎn)介因此，多重線性回歸模型中的回歸系數(shù)為偏回歸系數(shù)。

它反映的是當(dāng)模型中的其他自變量不變時(shí)，其中一個(gè)自變量對(duì)因變量Y的均值的影響。9二、基本原理

2.2前提條件

多重線性回歸分析要求資料滿足線性(Linear)、獨(dú)立性(Independence)、正態(tài)性(Normality)和方差齊性(Equalvariance)，即LINE條件。

除此之外，還要求多個(gè)自變量之間相關(guān)性不要太強(qiáng)。

10二、基本原理

2.2前提條件線性——指自變量與因變量之間的關(guān)系是線性的獨(dú)立性——指各觀測(cè)值之間是相互獨(dú)立的正態(tài)性——指自變量取不同值時(shí)，因變量服從正

態(tài)分布方差齊性——指自變量取不同值時(shí)，因變量的方

差相等11三、分析步驟1.基本任務(wù)

求出模型中參數(shù)的估計(jì)值，對(duì)模型和參數(shù)進(jìn)行假設(shè)檢驗(yàn)；對(duì)自變量進(jìn)行共線性診斷，對(duì)觀測(cè)值進(jìn)行異常值診斷；結(jié)合統(tǒng)計(jì)學(xué)知識(shí)和專業(yè)知識(shí)，對(duì)回歸方程進(jìn)行合理的解釋，并加以應(yīng)用。

四、多重線性回歸分析的

注意事項(xiàng)

1.

多重回歸分析的條件線性（linear）、獨(dú)立（independent）、正態(tài)（normal）和等方差（equalvariance）?！癓INE”。2.

作多重回歸分析時(shí)，應(yīng)注意樣本含量一般應(yīng)使記錄數(shù)（case）達(dá)到自變量數(shù)的10~20倍。3.

作多重回歸分析時(shí)，決定系數(shù)R2很重要一般R2很小的方程實(shí)際意義不大。

4.

多重回歸分析時(shí)，應(yīng)避免選擇Enter法，最好選擇stepwise法。5.

不能直接使用回歸系數(shù)bi相互比較回歸作用大小，而應(yīng)該使用標(biāo)準(zhǔn)化系數(shù)bi＇（standardizedcoefficient）。6.

作多重逐步回歸分析時(shí)，應(yīng)事先確定自變量入選和剔除的α值的界限一般采取“嚴(yán)進(jìn)寬出”的原則。即入選時(shí)，α=0.05，剔除時(shí)，α=0.10。

7.

多重回歸分析時(shí)，必須結(jié)合資料的專業(yè)實(shí)際意義來(lái)選擇不同的自變量入選和剔除的α值的大小。8.

多重回歸分析時(shí)，應(yīng)注意統(tǒng)計(jì)上的“最優(yōu)”與專業(yè)上的“最優(yōu)”的區(qū)別

不同準(zhǔn)則、方法得出的“最優(yōu)”方程不同；不同的引入、剔除標(biāo)準(zhǔn)獲得的“最優(yōu)”方程不同；方程還受數(shù)據(jù)的準(zhǔn)確性、共線性等影響。這么多條條框框！

9.

多重回歸分析時(shí)，應(yīng)注意自變量的數(shù)量化問(wèn)題。

Ⅰ.

自變量為連續(xù)型變量(常直接用即可，必要時(shí)作變換)Ⅱ.

自變量為有序變量(依次賦值，如療效好中差，可分別賦值

3、2、1)Ⅲ.

自變量為二分類(可令男＝1，女＝0）Ⅳ.

自變量為名義分類[需要采用啞變量（dummyvariables）

進(jìn)行編碼]

名義分類變量的啞變量化

假如職業(yè)分類為工、農(nóng)、商、學(xué)、兵5類，則可定義比分類數(shù)少1個(gè)，即4個(gè)啞變量。編碼方法如下：舉例姓名性別sex年齡職業(yè)(J)J1J2J3J4張三男119學(xué)生0001李四女025商人0010王五男130軍人0000趙六女040農(nóng)民0100錢七女036工人1000孫八男130商人0010劉九男126軍人0000

10.作多重回歸分析時(shí)，應(yīng)注意多重共線性（Multi-collinearity）問(wèn)題自變量間存在著相關(guān)關(guān)系，使一個(gè)或幾個(gè)自變量可以由另外的自變量線性表示時(shí)，稱為該變量與另外的自變量間存在有共線性。識(shí)別回歸系數(shù)的符號(hào)與專業(yè)知識(shí)不符；變量的重要性與專業(yè)不符；R2高，但各自變量對(duì)應(yīng)的回歸系數(shù)均不顯著；方差膨脹因子(VarianceInflationFactors,VIF)>10。對(duì)策篩選自變量用主成分回歸嶺回歸

11.

多重回歸分析時(shí)，殘差分析(Residualanalysis)也是模型診斷不可缺少的過(guò)程。12.

多重回歸分析時(shí)，應(yīng)特別注意異常點(diǎn)對(duì)模型的影響

對(duì)于少于3個(gè)自變量的多重回歸分析,可以通過(guò)直觀的二維或三維散點(diǎn)圖(ScatterPlot)

在分析前檢查。什么時(shí)候完?。±?/p>

為了研究有關(guān)糖尿病患者體內(nèi)脂聯(lián)素水平的影響因素，某醫(yī)師測(cè)定30名患者的體重指數(shù)BMI(kg/m2)、病程、瘦素LEP（ng/ml）、空腹血糖FPG(mmol/l)及脂聯(lián)素水平。五、實(shí)例1、定義變量，輸入數(shù)據(jù)考察線性1、散點(diǎn)圖矩陣graphs→scatter/Dot…→matrixscatter2、自變量與殘差的散點(diǎn)圖graphs→scatter/Dot…→simplescatter選擇enter，（選入全部變量）描述兩兩相關(guān)（簡(jiǎn)單相關(guān)）模型的基本情況四個(gè)自變量全部選入的復(fù)相關(guān)系數(shù)、決定系數(shù)、調(diào)整決定系數(shù)、標(biāo)準(zhǔn)誤方差分析結(jié)果，模型有意義系數(shù)（回歸系數(shù)b、b的標(biāo)準(zhǔn)誤、標(biāo)準(zhǔn)回歸系數(shù)、t值、p值）2、分析Analyze----regression---linear

因變量：脂聯(lián)素

自變量：其他四個(gè)變量全部選入

method:選擇逐步stepwise模型基本情況（每一步引入模型的變量，納入、剔除自變量的水準(zhǔn)0.05、0.10）模型概況

第一行,引入一個(gè)變量

第二行，引入兩個(gè)變量方差分析

1，引入一個(gè)變量

2，引入兩個(gè)變量選擇菜單Analyze－Regression－Linear，出現(xiàn)窗口：（2）選擇被解釋變量進(jìn)入Dependent框。（3）選擇一個(gè)或多個(gè)解釋變量進(jìn)入Independent(s)框。（4）在Method框中選擇回歸分析中解釋變量的篩選策略。①Enter表示所選變量強(qiáng)行進(jìn)入回歸方程，是SPSS默認(rèn)的策略，通常用在一元線性回歸分析中；②Remove表示從回歸方程中剔除所選變量；③Stepwise表示逐步篩選策略；④Backward表示向后篩選策略；⑤Forward表示向前篩選策略。（5）第三和第四步中確定的解釋變量及變量篩選策略可放置在不同的塊（Block）中。通常在回歸分析中不止一組待進(jìn)入方程的解釋變量和相應(yīng)的篩選策略，可以單擊Next和Previous按鈕設(shè)置多組解釋變量和變量篩選策略并放置在不同的塊中。（6）選擇一個(gè)變量作為條件變量放到Selection

Variable框中，并單擊Rule按鈕給定一個(gè)判斷條件。只有變量值滿足判定條件的樣本才參與線性回歸分析。（7）在CaseLabels框中指定哪個(gè)變量作為樣本數(shù)據(jù)點(diǎn)的標(biāo)志變量，該變量的值將標(biāo)在回歸分析的輸出圖形中。9.5.2線性回歸分析的其他操作1.Statistics按鈕可供用戶選擇更多的輸出統(tǒng)計(jì)量。（1）Estimates：SPSS默認(rèn)輸出項(xiàng)，輸出與回歸系數(shù)相關(guān)的統(tǒng)計(jì)量：回歸系數(shù)（偏回歸系數(shù)）、回歸系數(shù)標(biāo)準(zhǔn)誤差、標(biāo)準(zhǔn)化回歸系數(shù)、回歸系數(shù)顯著性檢驗(yàn)的t統(tǒng)計(jì)量和概率p值，各解釋變量的容忍度。（2）ConfidenceIntervals：輸出每個(gè)非標(biāo)準(zhǔn)化回歸系數(shù)95％的置信區(qū)間。（3）Descriptive：輸出各解釋變量和被解釋變量的均值、標(biāo)準(zhǔn)差、相關(guān)系數(shù)矩陣及單側(cè)檢驗(yàn)概率p值。（4）Modelfit：SPSS默認(rèn)輸出項(xiàng)。輸出以下結(jié)果：判定系數(shù)、調(diào)整的判定系數(shù)、回歸方程的標(biāo)準(zhǔn)誤差、回歸方程顯著F檢驗(yàn)的方程分析表。（5）Rsquaredchange：輸出每個(gè)解釋變量進(jìn)入方程后引起的判定系數(shù)的變化量和F值的變化量。（6）Partandpartialcorrelation：輸出方程中各解釋變量與被解釋變量之間的簡(jiǎn)單相關(guān)、偏相關(guān)系數(shù)。（7）Covariancematrix：輸出方程中各解釋變量間的相關(guān)系數(shù)、協(xié)方差以及各回歸系數(shù)的方差。（8）CollinearityDiagnostics：多重共線性分析。輸出各個(gè)解釋變量的容忍度、方差膨脹因子、特征值、條件指標(biāo)、方差比例等。（9）Residual框

①Durbin-waston表示輸出DW檢驗(yàn)值；

②CasewiseDiagnostic表示輸出標(biāo)準(zhǔn)化殘差絕對(duì)值大于等于3（SPSS默認(rèn)值）的樣本數(shù)據(jù)的相關(guān)信息，包括預(yù)測(cè)值、殘差、杠桿值等?？晒┯脩粼O(shè)置多元線性回歸分析中解釋變量篩選的標(biāo)準(zhǔn)以及缺失值的處理方式。2.Options選項(xiàng)（1）[UseprobabilityofF]:以偏F統(tǒng)計(jì)量的概率值為標(biāo)準(zhǔn)判斷解釋變量能否進(jìn)入或剔除回歸方程。（2）[useFvalue]:以偏F統(tǒng)計(jì)量的臨界值為標(biāo)準(zhǔn)判斷解釋變量能否進(jìn)入或剔除回歸方程。（3）[includeconstantinequation]:是否進(jìn)行中心化處理，即方程中是否包含常數(shù)項(xiàng)。3.Plot選項(xiàng)該選項(xiàng)用于對(duì)殘差序列的分析（1）窗口左邊框中各變量名的含義：

①DEPENDNT表示被解釋變量，②*ZPRED表示標(biāo)準(zhǔn)化預(yù)測(cè)值，③*ZRESID表示標(biāo)準(zhǔn)化殘差，④*DRESID表示剔除殘差，⑤*ADJPRED表示調(diào)整的預(yù)測(cè)值，⑥*SRESID表示學(xué)生化殘差，⑦*SDRESID表示剔除學(xué)生化殘差。（2）繪制多對(duì)變量的散點(diǎn)圖，可根據(jù)需要在scatter框中定義散點(diǎn)圖的縱坐標(biāo)和橫坐標(biāo)變量。（3）StandardizedResidualPlots框①Histogram：繪制標(biāo)準(zhǔn)化殘差序列的直方圖；②Normalprobabilityplot：繪制標(biāo)準(zhǔn)化殘差序列的正態(tài)分布累計(jì)概率圖。③Produceallpartial

plots：依次繪制被解釋變量和各個(gè)解釋變量的散點(diǎn)圖。（1）該窗口的功能是將回歸分析的某些結(jié)果以SPSS變量的形式保存到數(shù)據(jù)編輯窗口中，并可同時(shí)生成XML格式的文件，便于分析結(jié)果的網(wǎng)絡(luò)發(fā)布。（2）PredictedValues框：保存非標(biāo)準(zhǔn)化預(yù)測(cè)值、標(biāo)準(zhǔn)化預(yù)測(cè)值、調(diào)整的預(yù)測(cè)值和預(yù)測(cè)值的均值標(biāo)準(zhǔn)誤差。（3）predictionintervals框：保存均值或個(gè)體預(yù)測(cè)值95％（默認(rèn)）置信區(qū)間的下限值和上限值。（4）Residual框：保存非標(biāo)準(zhǔn)化殘差、標(biāo)準(zhǔn)化殘差等。（5）InfluenceStatistics框：保存剔除第i個(gè)樣本后統(tǒng)計(jì)量的變化量。5.WSL選項(xiàng)采用加權(quán)最小二乘法替代普通最小二乘法估計(jì)回歸參數(shù)，并指定一個(gè)變量作為權(quán)重變量。4.Save選項(xiàng)以高?？蒲醒芯繑?shù)據(jù)為例，建立回歸方程研究

1.課題總數(shù)受論文數(shù)的影響2.被解釋變量—課題總數(shù)，解釋變量—投入人年數(shù)（X2）投入高級(jí)職稱的人年數(shù)（X3）投入科研事業(yè)費(fèi)（X4）專著數(shù)（X6）論文數(shù)（X7）獲獎(jiǎng)數(shù)（X8）（1）解釋變量采用強(qiáng)制進(jìn)入策略（Enter），并做多重共線性檢測(cè)。（2）解釋變量采用向后篩選策略讓SPSS自動(dòng)完成解釋變量的選擇。

9.6應(yīng)用舉例第二節(jié)Logistic回歸第10章非參數(shù)檢驗(yàn)內(nèi)容基本概念基本步驟基本操作基本結(jié)果解釋數(shù)據(jù)分析的背景計(jì)量資料單因素統(tǒng)計(jì)分析對(duì)于兩組計(jì)量資料的比較，一般采用t檢驗(yàn)或秩和檢驗(yàn)。對(duì)于兩個(gè)變量的相關(guān)分析采用Pearson相關(guān)分析或Spearman相關(guān)分析考慮多因素的影響，對(duì)于應(yīng)變量(反應(yīng)變量)為計(jì)量資料，一般可以考慮應(yīng)用多重線性回歸模型進(jìn)行多因素分析。數(shù)據(jù)分析的背景單因素的分類資料統(tǒng)計(jì)分析，一般采用Pearson

2進(jìn)行統(tǒng)計(jì)檢驗(yàn)，用OddsRatio及其95%可信區(qū)間評(píng)價(jià)關(guān)聯(lián)程度?？紤]多因素的影響，對(duì)于反應(yīng)變量為分類變量時(shí)，用線性回歸模型P=a+bx就不合適了，應(yīng)選用Logistic回歸模型進(jìn)行統(tǒng)計(jì)分析。Logistic回歸模型按研究設(shè)計(jì)分類非配對(duì)設(shè)計(jì)：非條件Logistic回歸模型配對(duì)病例對(duì)照：條件Logistic回歸模型按反應(yīng)變量分類二分類Logistic回歸模型(常用)多分類無(wú)序Logistic回歸模型多分類有序Logistic回歸模型基礎(chǔ)知識(shí)通過(guò)下例引入和復(fù)習(xí)相關(guān)概念例如：研究患某疾病與飲酒的關(guān)聯(lián)性患病率P1=a/m1P2=b/m2基礎(chǔ)知識(shí)Odds（優(yōu)勢(shì)）P越大,則Odds越大；P越小,則Odds越小并且0<Odds<+

基礎(chǔ)知識(shí)P與Odds一一對(duì)應(yīng)對(duì)于兩個(gè)Odds的比較，一般用它們的Ratio，并稱為OddsRatio(OR)，其定義如下：其樣本估計(jì)統(tǒng)計(jì)量為基礎(chǔ)知識(shí)

故比較兩個(gè)率<==>比較OR=1?OR>1?OR<1?(二分類)Logistic回歸模型因?yàn)?<Odds<+

所以-

<ln(Odds)<+

對(duì)ln(Odds)引入類似多重線性回歸的表達(dá)式Logistic回歸模型記：故可以寫為也可以寫為回歸系數(shù)的意義以x1的回歸系數(shù)

1為例固定其它自變量，比較x1與x1+1的ln(Odds)變化。對(duì)于x1，對(duì)于x1+1，反對(duì)數(shù)變換得到多因素Logistic回歸分析時(shí)，對(duì)回歸系數(shù)的解釋都是指在其它所有自變量固定的情況下的優(yōu)勢(shì)比。存在因素間交互作用時(shí)，Logistic回歸系數(shù)的解釋變得更為復(fù)雜，應(yīng)特別小心?；貧w系數(shù)的意義適用條件反應(yīng)變量為二分類變量或某事件的發(fā)生率；自變量與logit（P）之間為線性關(guān)系；殘差合計(jì)為0，且服從二項(xiàng)分布；各觀測(cè)間相互獨(dú)立。logistic回歸模型應(yīng)該使用最大似然法來(lái)解決方程的估計(jì)和檢驗(yàn)問(wèn)題，不應(yīng)當(dāng)使用以前的最小二乘法進(jìn)行參數(shù)估計(jì)。研究急性心肌梗塞(AMI)患病與飲酒的關(guān)系，采用橫斷面調(diào)查。例1SPSS基本操作SPSS基本操作SPSS基本操作SPSS基本操作SPSS基本操作啞變量設(shè)置啞變量設(shè)置為了便于解釋，對(duì)二項(xiàng)分類變量一般按0、1編碼，一般以0表示陰性或較輕情況，而1表示陽(yáng)性或較嚴(yán)重情況。如果對(duì)二項(xiàng)分類變量按+1與-1編碼，那么結(jié)果容易造成錯(cuò)誤的解釋。分類變量必須轉(zhuǎn)化。如地區(qū)對(duì)血壓的影響。等級(jí)資料，當(dāng)?shù)燃?jí)之間量度不一時(shí)必須轉(zhuǎn)化，如正常，超重和肥胖連續(xù)資料不宜直接進(jìn)入方程時(shí)，轉(zhuǎn)化為等級(jí)資料或分類資料SPSS啞變量設(shè)置IndicatorSimpleDifferenceRepeated參照分類為0，其余為1，即各分類與參照分類比較除第一類分類外，各分類與其之前平均分類效應(yīng)比較SPSS啞變量設(shè)置Helmert與Difference相反，各水平與其之后水平的平均效應(yīng)比較Deviation：除參照分類外，各水平與分類的總效應(yīng)比較Polynomial正交多項(xiàng)式設(shè)置自動(dòng)設(shè)置啞變量是有缺點(diǎn)的等級(jí)變量不合適啞變量設(shè)置應(yīng)注意的問(wèn)題參照水平最好要有實(shí)際意義，不推薦使用其他作為參照；參照水平組要有一定的頻數(shù)作保證，應(yīng)不少于30或50例；對(duì)有序自變量的分析：從專業(yè)出發(fā)確定；分別以啞變量和連續(xù)性變量的方式引入模型進(jìn)行比較后確定。SPSS基本操作SPSS基本操作模型擬合優(yōu)度指標(biāo)，P值越大越好迭代過(guò)程參數(shù)估計(jì)的相關(guān)矩陣，均<0.80，提示各協(xié)變量間相互獨(dú)立校正混雜作用實(shí)例2：上例沒(méi)有考慮吸煙情況，故將吸煙作為分層加入，資料如下：SPSS基本操作同例1逐步回歸分析在多因素統(tǒng)計(jì)分析中，多個(gè)自變量之間存在相關(guān)性，往往相互影響，研究者希望尋找主要影響應(yīng)變量Y的因素。理論上，只要把各種因素組合都試一遍，尋找變量個(gè)數(shù)最多，每個(gè)變量均有統(tǒng)計(jì)學(xué)意義，并且模型擬合程度最好的模型，這種模型稱為最佳預(yù)測(cè)模型，這種方法稱為尋找最優(yōu)子集，當(dāng)變量較多時(shí)很難實(shí)現(xiàn)。逐步回歸為了比較方便地找到最佳預(yù)測(cè)回歸模型，一般采用逐步回歸的分析策略建立擬最佳預(yù)測(cè)回歸模型。逐步回歸采用逐個(gè)增加最佳變量的方式或逐個(gè)減少最差的變量方式找到最佳或擬最佳回歸模型。逐步Logistic回歸無(wú)論是條件還是非條件Logistic回歸，在多變量分析時(shí)均可以采用逐步回歸方法，實(shí)現(xiàn)的方法是：所有變量一次全部進(jìn)入方程。向前法后退法逐步回歸前進(jìn)法:

最開(kāi)始時(shí)，模型中無(wú)任何自變量，然后逐個(gè)引入變量進(jìn)入模型，每次在未進(jìn)入模型的所有變量中挑選一個(gè)變量，其P是最小且P值<

，每引入一個(gè)變量，重新擬合一次模型，逐步引入變量直至沒(méi)有滿足上述條件的變量可以引入模型為止。逐步回歸后退法：最開(kāi)始時(shí)，把所有的變量引入模型，然后逐次把P值最大并且P<

的變量剔除出模型，每次只剔除一個(gè)變量，每次剔除一個(gè)變量后重新擬合模型，按照上述剔除標(biāo)準(zhǔn)繼續(xù)剔除變量，直至模型中的所有變量的P<

為止。逐步Logistic回歸Forward：Conditional（較可靠）Forward：LRForward：Wald（應(yīng)當(dāng)慎用）Backward：Conditional（較可靠）Backward：LRBackward：Wald（應(yīng)當(dāng)慎用）例3例3探討冠心病發(fā)生的有關(guān)危險(xiǎn)因素。x1:年齡,x2:高血壓史,x3:家庭史,x4:吸煙,x5:高血脂史,x6:脂肪攝入,x7:BMI,x8:A型性格,y:發(fā)生與否x1x2x3x4x5x6x7x8x9y131010011022011001003210100100…………………………逐步選擇法三種向前逐步法，協(xié)變量引入檢驗(yàn)均基于score統(tǒng)計(jì)量刪除變量基于條件估計(jì)的似然比刪除變量基于最大偏似然估計(jì)似然比刪除變量基于Wald統(tǒng)計(jì)量條件logistic回歸匹配設(shè)計(jì)（matcheddesign）是在設(shè)計(jì)階段控制混雜因素的一種方法。當(dāng)?shù)玫揭幻芯坎±?/p>