統(tǒng)計學教案習題11多元線性回歸與logistic回歸

〔一〕把握內容

第十一章多元線性回歸與logistic一、教學大綱要求多元線性回歸分析的概念：多元線性回歸、偏回歸系數(shù)、殘差。多元線性回歸的分析步驟：多元線性回歸中偏回歸系數(shù)及常數(shù)項的求法、多元線性回歸的應用。P值下結論。logistic回歸模型構造：模型構造、發(fā)病概率比數(shù)、比數(shù)比。5．logistic回歸參數(shù)估量方法。6．logistic回歸篩選自變量：似然比檢驗統(tǒng)計量的計算公式；篩選自變量的方法?！捕成鑳热莩Ｓ媒y(tǒng)計軟件〔SPSS及SAS〕多元線性回歸分析方法：數(shù)據(jù)預備、操作步驟與結果輸出。〔三〕了解內容標準化偏回歸系數(shù)的解釋意義。二、教學內容精要(一)多元線性回歸分析的概念將直線回歸分析方法加以推廣，用回歸方程定量地刻畫一個應變Y與多個自變量X間的線形依存關系，稱為多元線形回歸multiplelinearregressio，簡稱多元回歸multiple regressio〕bX0 1 1 2 2 k k式中Y?為各自變量取某定值條件下應變量均數(shù)的估量值，X，X ，…，X 為自變量，k為自變量個數(shù)，b為回歸方1 2 k 0程常數(shù)項，也稱為截距，其意義同直線回歸，bb1 2

，…,bk

稱為偏回歸系數(shù)partialregressioncoefficien，b 表示j

以外的自變量固定條件下，Xj

每轉變一個單位后Y的平均轉變量。j(二)多元線性回歸的分析步驟Y?是與一組自變量X，X ，…，X 相對應的變量Y的平均估量值。1 2 k多元回歸方程中的回歸系數(shù)bb1 2

，…,bk

可用最小二乘法求得，也就是求出能使估量值Y?和實際觀看值Y的殘差平方和e2i

(YY?2為最小值的一組回歸系數(shù)bb1 2

，…,bk

值。依據(jù)以上要求，用數(shù)學方法可以得出求回歸系數(shù)bb1

，…,bk

的以下正規(guī)方程組normalequatio：bl

bl

bl l111

212

k1k 1ybl121

bl222

bl lk2k 2ybl1k1

bl

bl lkkk ky式中l(wèi)

(X

X)(X X)XX

(X)(X)i jij

i i j

i j nl (Xiy

X)(YY)XY(i i

X)( Y)in常數(shù)項b0

可用下式求出：

b YbX0 1

bX2

bXk k〔三〕多元線性回歸分析中的假設檢驗在算得各回歸系數(shù)并建立回歸方程后，還應對此多元回歸方程作假設檢驗，推斷自變XX1 2

，…，Xk

是否與Y真有線性依存關系，也就是檢驗無效假設H0。檢驗時常用統(tǒng)計量F

〔0 1

3

0〕,備選假設H1

為各

0j式中nk為自變量的個數(shù)。

MSF 回歸MS誤差

l (nk1)l k回歸誤差l k回歸式中 l回歸

bl1y

bl

blkkyl l誤差

l回歸l 總

2lyy(四)logistic回歸模型構造設X,X, ,X 為一組自變量，Y為應變量。當Y是陽性反響時，記為Y=1；當Y是陰性反響時，記為Y=0。1 2 kP表示發(fā)生陽性反響的概率；用Q表示發(fā)生陰性反響的概率，明顯PQ=1。Logistic回歸模型為：1P e0X12X2kXk1同時可以寫成：

1e0X12X11Q11

kXk11e01

XX1 2

kXk式中

(jk)是與爭論因素X

有關的參數(shù)，稱為偏回歸系數(shù)。0 j

大事發(fā)生的概率P與x之間呈曲線關系，當x在

之間變化時，P或Q在〔0，1〕之間變化。假設有n例觀看對象第i名觀看對象在自變量X ,Xi1

, ,Xi2

作用下的應變量為Yi

Yi

=Yi

相應地用P表示其發(fā)生陽性反響的概率；用Q表示其發(fā)生陰性反響的概率，仍舊有PQ

=1P和Q

的計算如下：i i1 e01

Xi12

Xi2

kXik

i i i i0Pi 1e0Q

X 1 i1 1

Xi2

kXik1i 1e01

Xi12

Xi2

kXik這樣，第i個觀看對象的發(fā)病概率比數(shù)〔odds〕為PQi i

，第l個觀看對象的發(fā)病概率比數(shù)為PQl l

，而這兩個觀ORoddsrati。比照數(shù)比取自然對數(shù)得到關系式：ln

(X

X )(X

X )(X

X )PQi iPQPQi iPQ

2 i2

k ik lkl l 等式左邊是比數(shù)比的自然對數(shù)，等式右邊的X Xij lj

j

Xi

的不同暴露水平Xij

與X 之差。lj 的流行病學意義是在其它自變量固定不變的狀況下Xj

的暴露水平每轉變一個測量單位時所引起的比數(shù)比的j自然對數(shù)轉變量?；蛘哒f，在其他自變量固定不變的狀況下，當自變量X

的水平每增加一個測量單位時所引起的比數(shù)j比為增加前的ej倍。同多元線性回歸一樣，在比較暴露因素對反響變量相對奉獻的大小時，由于各自變量的取值單位不同，也不能用偏回歸系數(shù)的大小作比較，而須用標準化偏回歸系數(shù)來做比較。標準化偏回歸系數(shù)值的大小，直接反映了其相應的暴露因素對應變量的相對奉獻的大小。標準化偏回歸系數(shù)的計算，可利用有關統(tǒng)計軟件在計算機上解決?！参濉砽ogistic回歸參數(shù)估量由于logistic回歸是一種概率模型，通常用最大似然估量法〔maximumlikelihoodestimate〕求解模型中參數(shù) 的j估量值bj

(jk)。YXX1

, ,X2

作用下的陽性大事〔或疾病〕發(fā)生的指示變量。其賦值為：1，第iY i 0，第i第i個觀看對象對似然函數(shù)的奉獻量為：li

PYiii

Q1Yii當各大事是獨立發(fā)生時，則n個觀看對象所構成的似然函數(shù)L是每個觀看對象的似然函數(shù)奉獻量的乘積，即Lnl

PYQ1Y式中∏為i1到n的連乘積。

i ii i ii1 i1依最大似然估量法的原理，使得L到達最大時的參數(shù)值即為所求的參數(shù)估量值，計算時通常是將該似然函數(shù)取自然對數(shù)〔稱為對數(shù)似然函數(shù)〕后，用Newton—Raphson迭代算法求解參數(shù)估量值b〔六〕logistic回歸篩選自變量

(j2，，k)。j在logistic回歸中篩選自變量的方法有似然比檢〔likelihoodratiotes計分檢(score testWald檢test)三種。其中似然比檢驗較為常用， 用Λ 2lnL”L2(lnL”lnL)式中l(wèi)nL為方程中包含m(mk)L”為在方程中包含原m個自變量的基礎上再參加1X

后的似然函數(shù)值Hj

Λ聽從自由度為12

2(1)時，則在水平上拒絕無效假設，即認為X應參加。逆向進展即可剔除自變量?！惨弧硢雾椷x擇題

Xj三、典型試題分析

j多元線性回歸分析中，反映回歸平方和在應變Y的總離均差平方和中所占比重的統(tǒng)計量是〔 。復相關系數(shù)偏相關系數(shù)偏回歸系數(shù)確定系數(shù)答案：D[評析] 此題考點：多元線性回歸中的幾個概念的理解。多元線性回歸中的偏回歸系數(shù)〔multiplelinearregression〕表示在其它自變量固定不變的狀況下自變量X 每轉變j一個單位時，單獨引起應變量Y的平均轉變量。確定系數(shù)〔coefficientofdetermination〕表示回歸平方和SS

占總離均差平方和SS

R2。即R2總

SS SS回歸

回歸R〔multiplecorrelationcoefficient〕,p0R≤1。Logistic回歸分析適用于應變量為〔 。A．分類值的資料 B．連續(xù)型的計量資料C．正態(tài)分布資料 D．一般資料答案：A[評析]此題考點：logistic回歸的概念。logistic料，特別適用于應變量為二項分類的情形。模型中的自變量可以是定性離散值，也可以是計量觀測值?！捕秤嬎泐}依據(jù)表11-2數(shù)據(jù)，分別用SPSS統(tǒng)計軟件、SAS統(tǒng)計軟件寫出多元線性回歸的統(tǒng)計分析步驟及其簡要結果。表11-1 某學校20名一年級女大學生肺活量及有關變量測量結果編號 體重X/kg 胸圍X /cm 肩寬X/cm 肺活量Y/L1 2 3150.873.236.32.96249.084.134.53.13342.878.331.01.91455.077.131.02.63545.381.730.02.86645.374.832.01.91751.473.736.52.98853.879.437.03.28949.072.630.12.521053.979.537.13.271148.883.833.93.101252.688.438.03.281342.778.230.91.921452.588.338.13.271555.177.231.12.641645.281.630.22.851751.478.336.53.161848.772.530.02.511951.378.236.43.152045.875.032.51.94答案：SPSEXAP1sa4列20StatisticRegressionLinear...Dependent：YIndependent(s)：X，X，X1 2 3Method：Enter結果：ModelVariablesEntered ModelVariablesEntered VariablesRemovedMethod1XXX.Enter3〔肩寬〕,2〔胸圍〕,1〔體重〕Allrequestedvariablesentered.DependentVariable:Y〔肺活量〕ModelRRModelRRSquareAdjustedRSquare.662Std.ErroroftheEstimate1.846.715.2893a Predictors:(Constant),X3,X2,X1ANOVAModelSumofSquaresdfMeanSquareFSig.1 Regression3.36731.12213.413.000Residual1.339168.368E-02Total4.70619a Predictors:(Constant),b DependentVariable:Y

X ,X ,X3 2 1ModelUnstandardizedModelUnstandardizedCoefficientsStandardizedCoefficientstSig.BStd.ErrorBeta1(Constant)XXX321-4.6761.321-3.541.0036.036E-02.021.4742.899.0103.508E-02.015.3332.272.0375.010E-02.029.3071.735.102a DependentVariable:YSAS：

數(shù)據(jù)步 過程步DATA EXAP11—2；INPUTx1x2x3y@@； PROCREG；CARDS； MODELy=x1x2x3；50.873.236.32.96?45.875.032.51.94； RUN；結果：

AnalysisofVarianceSourceDFSumofSquaresMeanSquareFValuePr>FModel33.367321.1224413.410.0001Error161.338930.08368CorrectedTotal194.70626ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept1-4.675531.32051-3.540.0027X110.060360.020822.900.0105X210.035080.015442.270.0372X310.050100.028881.730.1020[評析] 此題考點：統(tǒng)計軟件關于多元線性回歸的分析方法及主要輸出結果。依據(jù)SPSS或SAS的輸出結果，可進展以下分析：檢驗H： 0的方差分析表。F=13.413，P=0.0001，拒絕H，肺活量至少與一個自變量存在線0 1 2 3 0性關系。估量偏回歸系數(shù)b，b，bY

4.680.06X0.04X 0.05X，R2=0.715，R2=0.662。1 2 3

1 2 3 a偏回歸系數(shù)檢驗，見表11-2。表11-2 偏回歸系數(shù)估量值及其檢驗偏回歸系數(shù)估量值偏回歸系數(shù)估量值SEtPb-4.6751.321-3.540.00b0.0600.0212.900.01b0.0350.0152.270.04b0.0500.0291.730.10123〔一〕單項選擇題

四、習題可用來進展多元線性回歸方程的協(xié)作適度檢驗是：2檢驗 B．F檢驗 C．U檢驗 D．Ridit檢驗在多元回歸中，假設對某個自變量的值都增加一個常數(shù)，則相應的偏回歸系數(shù)：不變 B．增加一樣的常數(shù) C．削減一樣的常數(shù) D．增加但數(shù)值不定在多元回歸中，假設對某個自變量的值都乘以一個一樣的常數(shù)k，則：該偏回歸系數(shù)不變該偏回歸系數(shù)變?yōu)樵瓉淼?/k倍全部偏回歸系數(shù)均發(fā)生轉變該偏回歸系數(shù)轉變，但數(shù)值不定作多元回歸分析時，假設降低進入的F界值，則進入方程的變量一般會：增多 B．削減 C．不變 D．可增多也可削減〔二〕名詞解釋1.多元線性回歸 2.偏回歸系數(shù) 3.復相關系數(shù) 4.確定系數(shù)5.比數(shù) 6.比數(shù)比〔三〕logistic回歸模型中，偏回歸系數(shù)的解釋意義是什么？i〔四〕某學者爭論在某種養(yǎng)分缺乏狀態(tài)下兒童的體重〔Y，k〕與身高〔X，c、年齡〔X ，歲〕的關系獲得了1 212名觀看對象的觀測資料，計算得到如下根本數(shù)據(jù)：XYX 1611，X2219631，X ，X2976，Y341，Y29883，XXY1XY46439，

1 2 2 1 23079。1 2請寫出求解Y

b bX bX二元線性回歸方程的正規(guī)方程組。0 1 1 2 2設方程組的解為b0

2.114，b1

0.135，b2

0.923，請寫出回歸方程。完成以下方差分析表。 表11-3 12名兒童體重與身高、年齡回歸分析方差分析表變異來源 v SS MS F回歸殘差總和〔一〕 單項選擇題

五、習題答案要點1．B 2．A 3．B 4．A〔二〕名詞解釋用回歸方程定量地刻畫一個應變量Y與多個自變量X間的線性依存關系，稱為多元線性回歸〔multiplelinearregressio，簡稱多元回歸multiple regressio。多元線性回歸的根本形式為：bbXbX bX b，b0 1 1 2 2 k k 1 2

，…,bk

稱為偏回歸系數(shù)〔partialregressioncoefficien，bj

X

以外的自變量固定條件下，Xj

每轉變一個單位后Y的平均轉變量。j復相關系