二元Logistic回歸

1、1Logistic回歸2一、概述多元線性回歸中，因變量y要求是常規(guī)數(shù)據(jù)（定距尺度），而非定性數(shù)據(jù)。當因變量y為定性數(shù)據(jù)，并且只有兩種狀態(tài)時，多元線性回歸模型不再適用。此時采用（二元）Logistic回歸模型3概括：Logistic模型用于因變量y只取0和1兩個值情況下的回歸模型。4xppLn)1( 變形后得：p1)(11xepLogit模型：p表示Y=1的概率5一般地，總體回歸線形式：nnxxxppLn2211)1(6Logistic回歸中的回歸系數(shù)（回歸中的回歸系數(shù)（ i ）表示，）表示，某一因素改變一個單位時，事件發(fā)生與某一因素改變一個單位時，事件發(fā)生與不發(fā)生的概率之比的對數(shù)變化值。不發(fā)生

2、的概率之比的對數(shù)變化值。如果如果p表示表示Y=1的概率，則稱：的概率，則稱： Lnp/(1-p)為為Logit p參數(shù)意義7回歸系數(shù)的意義回歸系數(shù)的意義單純從數(shù)學上講，與多元線性單純從數(shù)學上講，與多元線性回歸分析中回歸系數(shù)的解釋并無回歸分析中回歸系數(shù)的解釋并無不同，亦即不同，亦即i表示表示xi改變一個單改變一個單位時，位時， logit p的平均變化量。的平均變化量。8Logistic 回歸模型的兩種應用1.用于檢驗“因果關系假設”n與多元回歸類似，只是因變量為二值。2.用于預測n兩分類預測9例1：企業(yè)商業(yè)信譽影響因素根據(jù)有關理論，我們提出如下假設：假設1：企業(yè)商業(yè)信譽與其盈利能力正相關假設2

3、：企業(yè)商業(yè)信譽與其負債率負相關變量選?。阂蜃兞縴，1為信譽好，0為信譽壞自變量X1至x6定義如下X1盈利能力（凈資產收益率）X2資產負債率X3流動比率X4應收賬款周轉率X5總資產周轉率X6總資產對數(shù)（其中X3至X6為控制變量）10數(shù)據(jù)文件：Logistic回歸該文件中有300個企業(yè)信譽狀況數(shù)據(jù)111213輸出結果查看注意：輸出結果中有兩部分：Block 0 和Block 1主要看Block 1部分。14模型整體顯著性檢驗O Om mn ni ib bu us s T Te es st ts s o of f M Mo od de el l C Co oe ef ff fi ic ci ie e

4、n nt ts s50.8566.00050.8566.00050.8566.000StepBlockModelStep 1Chi-squaredfSig.模型整體檢驗是顯著的。模型整體檢驗是顯著的。15M Mo od de el l S Su um mm ma ar ry y292.375a.156.229Step1-2 LoglikelihoodCox & SnellR SquareNagelkerkeR SquareEstimation terminated at iteration number 6 becauseparameter estimates changed by less

5、than .001.a. 兩類兩類R2與線性回歸中與線性回歸中的的R2的作用大致相同。的作用大致相同。16)(66554433221111xxxxxxep將回歸系數(shù)輸出結果帶入下述公式17根據(jù)下表，可寫出經驗回歸方程：（此處保留一位小數(shù)）其中p表示“企業(yè)信譽好的概率”)5 . 0005. 0004. 06 . 16 . 27 .144 .10(65432111xxxxxxepV Va ar ri ia ab bl le es s i in n t th he e E Eq qu ua at ti io on n14.6743.58816.7231.0002358906-2.6131.3683.

6、6511.056.073.158.218.5281.4681.172.004.0041.2121.2711.004-.005.379.0001.988.995.538.2405.0151.0251.712-10.3974.9264.4551.035.000 x1x2x3x4x5x6ConstantStep1aBS.E.WalddfSig.Exp(B)Variable(s) entered on step 1: x1, x2, x3, x4, x5, x6.a. 18V Va ar ri ia ab bl le es s i in n t th he e E Eq qu ua at ti io

7、on n14.6743.58816.7231.0002358906-2.6131.3683.6511.056.073.158.218.5281.4681.172.004.0041.2121.2711.004-.005.379.0001.988.995.538.2405.0151.0251.712-10.3974.9264.4551.035.000 x1x2x3x4x5x6ConstantStep1aBS.E.WalddfSig.Exp(B)Variable(s) entered on step 1: x1, x2, x3, x4, x5, x6.a. 各自變量回歸系數(shù)顯各自變量回歸系數(shù)顯著性檢

8、驗。著性檢驗。用于各自變量回歸系用于各自變量回歸系數(shù)的解釋。數(shù)的解釋。例如，例如，x3每增加每增加1，則則“p/(1-p)”將是原將是原來的來的1.172倍。倍。19V Va ar ri ia ab bl le es s i in n t th he e E Eq qu ua at ti io on n14.6743.58816.7231.0002358906-2.6131.3683.6511.056.073.158.218.5281.4681.172.004.0041.2121.2711.004-.005.379.0001.988.995.538.2405.0151.0251.712-10.

9、3974.9264.4551.035.000 x1x2x3x4x5x6ConstantStep1aBS.E.WalddfSig.Exp(B)Variable(s) entered on step 1: x1, x2, x3, x4, x5, x6.a. 假設檢驗： H0: x1的系數(shù)等于零 H1: x1的系數(shù)不等于零該檢驗的p-值低于1%，因而應接受H1。又因為x1的系數(shù)估計值為14.67,大于零，因此企業(yè)屬于信譽好的概率與盈利能力（凈資產收益率）正相關。于是驗證了假設1。20V Va ar ri ia ab bl le es s i in n t th he e E Eq qu ua at

10、ti io on n14.6743.58816.7231.0002358906-2.6131.3683.6511.056.073.158.218.5281.4681.172.004.0041.2121.2711.004-.005.379.0001.988.995.538.2405.0151.0251.712-10.3974.9264.4551.035.000 x1x2x3x4x5x6ConstantStep1aBS.E.WalddfSig.Exp(B)Variable(s) entered on step 1: x1, x2, x3, x4, x5, x6.a. 假設檢驗： H0: x2的系數(shù)

11、等于零 H1: x2的系數(shù)不等于零該檢驗的p-值低于10%，因而應接受H1。又因為x2的系數(shù)估計值為-2.613,小于零，因此企業(yè)屬于信譽好的概率與負債率負相關。于是驗證了假設2。21例2：企業(yè)商業(yè)信譽預測模型構建問題背景：企業(yè)要作出是否對客戶提供商業(yè)信用（即允許延期付款）的決策，需要對客戶的信譽進行評判。我們使用以下變量建立預測模型：X1凈資產收益率X2資產負債率X3流動比率X4應收賬款周轉率X5總資產周轉率X6總資產對數(shù)22與多元線性回歸類似，Logistic回歸也有變量自動篩選功能。作用：將預測能力強的變量納入模型中，將預測能力差或重復的變量剔除，從而可使用較少的變量進行預測，并保證較好

12、的預測效果。23使用上例數(shù)據(jù)。具體操作方法如下：24點擊此處點擊此處本例選擇該項本例選擇該項（也可選其它（也可選其它任何一項）任何一項）25輸出結果：只看Block1部分。主要關心最終模型結果。最終模型預測總正確率為77.6%C Cl la as ss si if fi ic ca at ti io on n T Ta ab bl le ea a87010.3221999.175.9106812.8421798.275.9176121.8621597.377.6Observed信譽壞信譽好企業(yè)信譽Overall Percentage信譽壞信譽好企業(yè)信譽Overall Percentage信譽壞

13、信譽好企業(yè)信譽Overall PercentageStep 1Step 2Step 3信譽壞信譽好企業(yè)信譽PercentageCorrectPredictedThe cut value is .500a. 26最終模型中包含變量X1、x2和x6 新公式：Variables in the EquationVariables in the Equation15.5213.44320.3191.0005504336.167.235.5051.4771.18216.0543.51020.9151.0009376455-2.343.9456.1521.013.0961.112.4536.0321.014

14、3.04215.3183.52118.9251.0004492442-3.1821.0439.3011.002.042.551.2385.3621.0211.735-10.1194.8634.3311.037.000 x1ConstantStep1ax1x2ConstantStep2bx1x2x6ConstantStep3cBS.E.WalddfSig.Exp(B)Variable(s) entered on step 1: x1.a. Variable(s) entered on step 2: x2.b. )55. 02 . 33 .151 .10(62111xxxep27該公式給出了企業(yè)

15、信譽的具體預測方法：對于一個新客戶（信譽狀況未知），將其x1 x2和x6指標值帶入上述計算公式，可計算出該客戶信譽好的概率。如果該概率大于0.5，可預測該客戶屬于“信譽好”客戶。如果該概率值越接近1，其屬于“信譽好”的客戶的可能性就越大。)55. 02 . 33 .151 .10(62111xxxep28類似地，如果該概率小于0.5，可預測該客戶屬于“信譽壞”客戶。如果該概率值越接近0，其屬于“信譽壞”的客戶的可能性就越大。注：上述分割點0.5也可根據(jù)需要調整，例如改為0.7。293031Classification TableClassification Tablea a492962.84118081.476.64