[轉(zhuǎn)載]logistic回歸模型總結(jié)

1、轉(zhuǎn)載logisti回歸模型總結(jié)回歸模型是最成熟也是應(yīng)用最廣泛的分類模型，通過(guò)學(xué)習(xí)和實(shí)踐擬通過(guò)從入門、進(jìn)階到高級(jí)的過(guò)程對(duì)其進(jìn)行總結(jié)，以便加深自己的理解也為對(duì)此有興趣者提供學(xué)習(xí)的便利。、有關(guān)logisti的基本概念logisti回歸主要用來(lái)預(yù)測(cè)離散因變量與一組解釋變量之間的關(guān)系最常用的是二值型logistic即因變量的取值只包含兩個(gè)類別例如：好、壞；發(fā)生、不發(fā)生；常用或表示表示解釋變量則()表示在的條件下的概率，logisti回歸的數(shù)學(xué)表達(dá)式為：log(1A=L其中稱為優(yōu)勢(shì)比(ODDS)即發(fā)生與不發(fā)生的概率之比可以根據(jù)上式反求出()=1(1+e)根據(jù)樣本資料可以通過(guò)最大似然估計(jì)計(jì)算出模型的參數(shù)然后

2、根據(jù)求出的模型進(jìn)行預(yù)測(cè)下面介紹logisti回歸在SAS中的實(shí)現(xiàn)以及輸出結(jié)果的解釋二、logisti回歸模型初步SAS中丨ogistic回歸輸出結(jié)果主要包括預(yù)測(cè)模型的評(píng)價(jià)以及模型的參數(shù)預(yù)測(cè)模型的評(píng)價(jià)與多元線性回歸模型的評(píng)價(jià)類似主要從以下幾個(gè)層次進(jìn)行(1)模型的整體擬合優(yōu)度主要評(píng)價(jià)預(yù)測(cè)值與觀測(cè)值之間的總體一致性?？梢酝ㄟ^(guò)以下兩個(gè)指標(biāo)來(lái)進(jìn)行檢驗(yàn)1、Hos指sho統(tǒng)計(jì)量的原假設(shè)(是預(yù)測(cè)值和觀測(cè)值之間無(wú)顯著差異，因此指標(biāo)的的值越大，越不能拒絕原假設(shè)，即說(shuō)明模型很好的擬合了數(shù)據(jù)。在SAS中這個(gè)指標(biāo)可以用AC選項(xiàng)進(jìn)行調(diào)用2、AIC和SC指標(biāo)即池雷準(zhǔn)則和施瓦茨準(zhǔn)則與線性回歸類似AIC和SC越小說(shuō)明模型擬合的

3、越好(2從整體上看解釋變量對(duì)因變量有無(wú)解釋作用相當(dāng)于多元回歸中的檢驗(yàn)在logisti回歸中可以通過(guò)似然比(lilioo)進(jìn)行檢驗(yàn)t(3解釋變量解釋在多大程度上解釋了因變量與線性回歸中的R作用類似在logisti回歸中可以通過(guò)Rs和C統(tǒng)計(jì)量進(jìn)行度量在SAS中通過(guò)RSQ來(lái)調(diào)用Rs,C統(tǒng)計(jì)量自動(dòng)輸出模型評(píng)價(jià)指標(biāo)匯總統(tǒng)計(jì)量趨勢(shì)擬合作用SAS調(diào)用命令備注AIC、SC越小越好類似與多元回歸中的殘差平方和模型自動(dòng)輸出似然比卡方越大越好類似與多元回歸中的回歸平方和自動(dòng)輸出值越小越好RSQUARE越大越好類似與多元回歸中的R用RSQ選項(xiàng)調(diào)用C統(tǒng)計(jì)量越大越好度量觀測(cè)值和條件預(yù)自動(dòng)輸出C統(tǒng)計(jì)量越大越好HL統(tǒng)計(jì)量越小

4、越好度量觀測(cè)值和條件預(yù)測(cè)的相對(duì)一致性度量觀測(cè)值和預(yù)測(cè)值總體的一致性自動(dòng)輸出用LC選項(xiàng)調(diào)用值越大越好說(shuō)明：在實(shí)踐中，對(duì)以上統(tǒng)計(jì)量最為關(guān)注的是C統(tǒng)計(jì)量，其次是似然比卡方，最后才是HL統(tǒng)計(jì)量。和極少關(guān)注，這一點(diǎn)和多元線性回歸有很大的區(qū)別。根本原因就是多元線性回歸模型是一個(gè)預(yù)測(cè)模型，目標(biāo)變量的值具有實(shí)際意義；而是一個(gè)分類模型，目標(biāo)變量只是一個(gè)分類標(biāo)識(shí)，因此更關(guān)注預(yù)測(cè)值和預(yù)測(cè)值之間的相對(duì)一致性而不是絕對(duì)一致性。（注：引自姚志勇的編程與數(shù)據(jù)挖掘商業(yè)案例）（5）以幫助中例子為例對(duì)輸出結(jié)果進(jìn)行解釋說(shuō)明輸出結(jié)果如下：紅色字體是對(duì)輸出結(jié)果的注釋（一）系統(tǒng)Step1ffectFC1ente變量FC進(jìn)入模型）S系統(tǒng)T

5、heLOISTICProcedureModelInformationDataSetRTST（注：指明模型所用的數(shù)據(jù)集）ResponseVariableTRDTRD（注：指明模型的因變量）CompleteRemissionNumberofResponse22（注：指明模型因變量取兩類值）LevelsModelbinarylogit（注：指明模型是二分類logistic回歸模型）OptimizationFishersscoring主：指明釆用的是fishe優(yōu)Technique化方法）NumberofObservationsRead1NumberofObservationsUsed1Response

6、ProfileOrderedValueremissTotalFrequency1122（注：指明因變量的取值類型及取每一類變量的頻數(shù)）Probabilitymodeledisremiss（注：這個(gè)要關(guān)注指明了模型求的是在自變量作用下因變量remiss的概率）（二）StepiseSelectionProcedure注:逐步回歸的選擇過(guò)程，說(shuō)明了模型是怎么一步步根據(jù)一定的原則來(lái)選擇最終進(jìn)入模型的變量的）StepInterceptentere注：第一步只包含截距項(xiàng)而無(wú)變量時(shí)時(shí)的結(jié)果）ModelConvergenceStatusConvergencecriterionCONV1-satisfied（注

7、：用來(lái)判斷模型的收斂狀態(tài)的，也就是說(shuō)經(jīng)過(guò)迭代模型是否求得了參數(shù)satisfied兌明收斂了，unsatisfied明沒(méi)收斂）-2LogL22ResidualChi-SquareTestChi-SquareDFPrChiSq21111ModelConvergenceStatusConvergencecriterionGCON=E-satisiedModelFitStatistics.亠亠Intercept小.Intercept,廠Criterion小1andOnlyCovariatesAIC20SC2-2LogL22（注：AIC、SC和-2Log都變小了說(shuō)明加入變量FAC后模型擬合的更好了）R-

8、Square0Max-rescaledR-Square0TestingGlobalNullHypothesis:BETA=0TestChi-SquareDFPrChiSqLikelihoodRatio222000Score000Wald000（注：原假設(shè)是所有變量的參數(shù)為0,根據(jù)檢驗(yàn)結(jié)果可以看出P00拒絕原假設(shè)，即變量的參數(shù)不全為0）ResidualChi-SquareTestChi-SquareDFPrChiSq22000接下來(lái)的跟上面的一樣都是些變量的選擇過(guò)程，進(jìn)進(jìn)出出的（三）最終的結(jié)果如下Note:NoeectsortheodelinSteparereovedStep2EffectFAC

9、3_1enteredSummaryofStepwiseSelectionStepEffectNumberInScoreChiSquareWaldChiSquarePrChiSqVariableLabelEnteredRemovedDF1FAC4_1115450001FAC4_12FAC3_112900002FAC3_1AnalysisofMaximumLikelihoodEstimatesParameterDFStandardWaldPrChiSqEstimateErrorChi-SquareIntercept1-2404050922900001FAC3_11-1140443592500144

10、FAC411-4230924355310001OddsRatioEstimatesEffect“.，匚，95%WaldPointEstimate小.ConfidenceLimitsFAC3_1030011090FAC41000900020042AssociationofPredictedProbabilitiesandObservedResponsesPercentConcordant951SomersD0902PercentDiscordant49Gamma0903PercentTied00Tau-a0454Pairs0c095-PartitionfortheHosmerandLemeshowTestGrouptrad=1TotalObservedExpectedtrad=0ObservedExpected11000111992100291113GroupPOftitionfortheHoSmelandLeWeshowTeSSt83170trad2i9317tradM0717ObservedExpectedObservedEXpeCted6178110695947171614491251817