SAS EM實現(xiàn)邏輯回歸課件

SAS?Logistic回歸模型實現(xiàn)By周穎SAS?Logistic回歸模型實現(xiàn)CONTENTS

Logistic回歸模型介紹1.SASEM實現(xiàn)二分類Logistic回歸2.SASEM實現(xiàn)多分類Logistic回歸3.CONTENTS Logistic回歸模型介紹1.SASEoverview 常常需要進行預(yù)測

用父母身高預(yù)測孩子身高？用各影響因素預(yù)測空氣的PM2.5值？用客戶行為預(yù)測是否會流失？通常將預(yù)測問題分為連續(xù)變量的預(yù)測問題和離散變量的分類問題。overview 常常需要進行預(yù)測用父母身高預(yù)測孩子身高？用overview 通常怎么解決？

回歸分析決策樹得出的結(jié)果都較易于

展示和理解；自變量可為連續(xù)型或

離散型；目標(biāo)變量可為連續(xù)型或離散型；輸入必須為完整的數(shù)據(jù)；對極值敏感；得到數(shù)學(xué)模型；對于目標(biāo)變量為連續(xù)型目標(biāo)較難處理；輸入數(shù)據(jù)可存在缺失；對極值有很好的抗干擾性；得到規(guī)則；神經(jīng)網(wǎng)絡(luò)、支持向量機……overview 通常怎么解決？回歸分析決策樹得出的結(jié)果都較overview 一般的回歸分析？

一般線性回歸

廣義線性模型：

Logistic回歸probit回歸、cloglog回歸等鏈結(jié)函數(shù)overview 一般的回歸分析？一般線性回歸

廣義線性模型overview什么情況下用Logistic回歸？是否通過考試學(xué)習(xí)時間overview什么情況下用Logistic回歸？是否通過考Logistic回歸模型介紹二分類Logistic回歸數(shù)學(xué)模型

Logistic回歸模型介紹二分類Logistic回歸數(shù)學(xué)模Logistic回歸模型介紹可以怎么分類？

Logistic回歸模型介紹Logistic回歸模型介紹多分類Logistic回歸數(shù)學(xué)模型

例如，當(dāng)y取值1,2,3時，Logistic回歸模型是：

有序多分類Logistic模型無序多分類Logistic模型療效：無效—>有效—>治愈花朵：玫瑰—菊花—百合Logistic回歸模型介紹多分類Logistic回歸數(shù)學(xué)模Logistic回歸模型介紹Logistic回歸分析方法步驟

解釋模型實際意義檢驗參數(shù)顯著性檢驗?zāi)Ｐ惋@著性

模型參數(shù)意義；模型統(tǒng)計量；Wald檢驗；似然比檢驗；Score檢驗；擬合優(yōu)度檢驗；似然比檢驗；極大似然估計法；Logistic回歸模型介紹Logistic回歸分析方法步驟overview小結(jié)

Logistic模型通過分析目標(biāo)變量取某個值的概率與各效應(yīng)之間的關(guān)系解決分類問題，包括二分類及多分類問題；Logistic模型建立包括參數(shù)估計、模型檢驗、參數(shù)檢驗等步驟；overview小結(jié)CONTENTS

SASEM實現(xiàn)二分類Logistic回歸2.Logistic回歸模型介紹1.SASEM實現(xiàn)多分類Logistic回歸3.CONTENTS SASEM實現(xiàn)二分類Logistic回歸SASEM實現(xiàn)二分類Logistic回歸提供了哪些模型實現(xiàn)？。回歸支持多分類邏輯回歸LARS（最小角回歸）優(yōu)化的變量選擇方法偏最小二乘法共線性、自變量多的回歸中有卓越表現(xiàn)；支持多個因變量回歸；Dmine回歸建模前篩選變量；進行變量分組；SASEM實現(xiàn)二分類Logistic回歸提供了哪些模型實現(xiàn)SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)——源數(shù)據(jù)說明

college.dat中有4個變量和1000個觀測：NAMEROLELEVELDESCavggrINPUTINTERVAL高中各門課平均績點genderINPUTBINARY性別：1-男，0-女keyschINPUTBINARY是否重點高中：1-是，0-否collegeTARGETBINARY是否進入重點大學(xué)：1-進入，0-不進入SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)——源數(shù)據(jù)SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)-建模過程

S數(shù)據(jù)導(dǎo)入E數(shù)據(jù)探索M建模A模型評估SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)-建模過程SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—回歸

可選擇logit/probit/cloglog函數(shù)可選擇向前/向后/逐步回歸可選擇Logistic回歸/線性回歸回歸SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—回歸可選SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—Dmine回歸進入模型的變量所滿足的R方下限生成分組變量Dmine回歸SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—DminSASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—最小角回歸&偏最小二乘法

支持LAR/LASSO等支持PLS/PCR/SIMPLSSASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—最小角回SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析P(y=1)=；各效應(yīng)增加時，目標(biāo)變量為1的優(yōu)勢比增加；

參數(shù)估計ParameterDFEstimateStandardErrorWaldChi-SquarePr>ChiSqStandardizedEstimateExp(Est)95%ConfidenceLimitsIntercept1-33.173.8275.44<.0001

0.00-40.66-25.69avggr10.390.0573.31<.00010.931.470.300.48gender01-0.360.156.170.013

0.70-0.65-0.08keysch01-0.440.204.700.03

0.65-0.83-0.04優(yōu)勢比OddsRatioEstimatesEffectPointEstimateavggr1.473Gender0vs10.486Keysch0vs10.416SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析

LikelihoodRatioTestforGlobalNullHypothesis:BETA=0-2LogLikelihoodLikelihoodRatioChi-SquareDFPr>ChiSqInterceptOnlyIntercept&Covariates507.938349.66158.27883<.0001

Type3AnalysisofEffectsEffectDFWaldChi-SquarePr>ChiSqavggr173.3143<.0001gender16.16960.013keysch14.70370.0301模型具有高度顯著性；模型參數(shù)均通過檢驗；模型似然比檢驗結(jié)果參數(shù)wald檢驗結(jié)果SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析SASEM實現(xiàn)二分類Logistic回歸案例結(jié)果分析

擬合統(tǒng)計量統(tǒng)計量標(biāo)簽訓(xùn)練驗證測試_AIC_Akaike'sInformationCriterion357.66.._SBC_Schwarz'sBayesianCriterion373.615.._MISC_MisclassificationRate19.50%17.60%20.30%響應(yīng)百分比=預(yù)測為1且實際為1的樣本數(shù)/預(yù)測為1的樣本數(shù)；提升度=響應(yīng)百分比/（實際為1的樣本數(shù)/所有樣本數(shù)）；模型概率值前5%的樣本中，響應(yīng)率約為95%；模型概率值前5%的樣本中，模型提升度達到2.7；測試樣本正確分類率達到約80%；累積提升度累積響應(yīng)百分比模型統(tǒng)計量SASEM實現(xiàn)二分類Logistic回歸案例結(jié)果分析擬合統(tǒng)CONTENTS

3.SASEM實現(xiàn)二分類Logistic回歸2.Logistic回歸模型介紹1.

SASEM實現(xiàn)多分類Logistic回歸CONTENTS 3.SASEM實現(xiàn)二分類LogisticSASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)—源數(shù)據(jù)說明Iris數(shù)據(jù)集中有5個變量和150個觀測：NAMEROLELEVELDESCCalyx_lengthINPUTINTERVAL花萼長度Calyx_wideINPUTINTERVAL花萼寬度Petal_lengthINPUTINTERVAL花瓣長度Petal_wideINPUTINTERVAL花瓣寬度classTARGETNOMINAL鳶尾花種類SASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)—源數(shù)據(jù)說SASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)-建模過程

S-E數(shù)數(shù)據(jù)據(jù)導(dǎo)探入索M建立模型A模型評估SASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)-建模過程SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析Class:1-Iris-setosa,2-Iris-versic,3-Iris-virgin。

模型參數(shù)估計結(jié)果ParameterclassDFEstimateStandardErrorWaldChi-SquarePr>ChiSqStandardizedEstimateExp(Est)InterceptIris-virgin1-17.30489.300.9718

0InterceptIris-versic111.9648900.9805

999Calyx_lengthIris-virgin122.27....999Calyx_lengthIris-versic115.294.028914.40.000114.963999Calyx_wideIris-virgin120.52615.300.97348.8194999Calyx_wideIris-versic18.97615.200.98843.8543999Petal_lengthIris-virgin1-14.76....0Petal_lengthIris-versic1-10.883.427210.080.0015-4.69190SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析

當(dāng)花萼長度或花萼寬度增加時，鳶尾花為其他品種的概率比為Iris-setosa優(yōu)勢變大；當(dāng)花瓣長度增加時，鳶尾花為其他品種的概率比為Iris-setosa優(yōu)勢變?。籓ddsRatioEstimatesEffectclassPointEstimateCalyx_lengthIris-virgin999Calyx_lengthIris-versic999Calyx_wideIris-virgin999Calyx_wideIris-versic999Petal_lengthIris-virgin<0.001Petal_lengthIris-versic<0.001優(yōu)勢比SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析

模型具有高度顯著性；花萼寬度這一效應(yīng)未通過檢驗；LikelihoodRatioTestforGlobalNullHypothesis:BETA=0-2LogLikelihoodLikelihoodRatioChi-SquareDFPr>ChiSqInterceptOnlyIntercept&Covariates129.6026.5123.10226<.0001Type3AnalysisofEffectsEffectDFWaldChi-SquarePr>ChiSqCalyx_length114.39840.0001Calyx_wide22.30390.316Petal_length110.07960.0015模型檢驗結(jié)果參數(shù)檢驗結(jié)果SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析SASEM實現(xiàn)二分類Logistic回歸案例結(jié)果分析

擬合統(tǒng)計量統(tǒng)計量標(biāo)簽訓(xùn)練驗證測試_AIC_Akaike'sInformationCriterion22.5.._SBC_Schwarz'sBayesianCriterion44.665.._MISC_MisclassificationRate3.40%2.30%2.10%響應(yīng)百分比=預(yù)測為1且實際為1的樣本數(shù)/預(yù)測為1的樣本數(shù)；提升度=響應(yīng)百分比/（實際為1的樣本數(shù)/所有樣本數(shù)）；模型概率值前20%的樣本中，響應(yīng)率為100%；模型概率值前20%的樣本中，模型提升度達到3；測試樣本正確分類率達到約98%；累積提升度累積響應(yīng)百分比模型統(tǒng)計量SASEM實現(xiàn)二分類Logistic回歸案例結(jié)果分析擬合統(tǒng)overview小結(jié)

SASEM中回歸、Dmine回歸、LARS、偏最小二乘法等模型可以建立Logistic模型；SASEM中回歸模型可以用來解決無序多分類問題；

Tips:可通過sascode中procgenmod或proclogistic等語句實現(xiàn)有序多分類建模。overview小結(jié)SAS?Logistic回歸模型實現(xiàn)Thankyou!SAS?Logistic回歸模型實現(xiàn)Thankyou!SAS?Logistic回歸模型實現(xiàn)By周穎SAS?Logistic回歸模型實現(xiàn)CONTENTS

Logistic回歸模型介紹1.SASEM實現(xiàn)二分類Logistic回歸2.SASEM實現(xiàn)多分類Logistic回歸3.CONTENTS Logistic回歸模型介紹1.SASEoverview 常常需要進行預(yù)測

用父母身高預(yù)測孩子身高？用各影響因素預(yù)測空氣的PM2.5值？用客戶行為預(yù)測是否會流失？通常將預(yù)測問題分為連續(xù)變量的預(yù)測問題和離散變量的分類問題。overview 常常需要進行預(yù)測用父母身高預(yù)測孩子身高？用overview 通常怎么解決？

回歸分析決策樹得出的結(jié)果都較易于

展示和理解；自變量可為連續(xù)型或

離散型；目標(biāo)變量可為連續(xù)型或離散型；輸入必須為完整的數(shù)據(jù)；對極值敏感；得到數(shù)學(xué)模型；對于目標(biāo)變量為連續(xù)型目標(biāo)較難處理；輸入數(shù)據(jù)可存在缺失；對極值有很好的抗干擾性；得到規(guī)則；神經(jīng)網(wǎng)絡(luò)、支持向量機……overview 通常怎么解決？回歸分析決策樹得出的結(jié)果都較overview 一般的回歸分析？

一般線性回歸

廣義線性模型：

Logistic回歸probit回歸、cloglog回歸等鏈結(jié)函數(shù)overview 一般的回歸分析？一般線性回歸

廣義線性模型overview什么情況下用Logistic回歸？是否通過考試學(xué)習(xí)時間overview什么情況下用Logistic回歸？是否通過考Logistic回歸模型介紹二分類Logistic回歸數(shù)學(xué)模型

Logistic回歸模型介紹二分類Logistic回歸數(shù)學(xué)模Logistic回歸模型介紹可以怎么分類？

Logistic回歸模型介紹Logistic回歸模型介紹多分類Logistic回歸數(shù)學(xué)模型

例如，當(dāng)y取值1,2,3時，Logistic回歸模型是：

有序多分類Logistic模型無序多分類Logistic模型療效：無效—>有效—>治愈花朵：玫瑰—菊花—百合Logistic回歸模型介紹多分類Logistic回歸數(shù)學(xué)模Logistic回歸模型介紹Logistic回歸分析方法步驟

解釋模型實際意義檢驗參數(shù)顯著性檢驗?zāi)Ｐ惋@著性

模型參數(shù)意義；模型統(tǒng)計量；Wald檢驗；似然比檢驗；Score檢驗；擬合優(yōu)度檢驗；似然比檢驗；極大似然估計法；Logistic回歸模型介紹Logistic回歸分析方法步驟overview小結(jié)

Logistic模型通過分析目標(biāo)變量取某個值的概率與各效應(yīng)之間的關(guān)系解決分類問題，包括二分類及多分類問題；Logistic模型建立包括參數(shù)估計、模型檢驗、參數(shù)檢驗等步驟；overview小結(jié)CONTENTS

SASEM實現(xiàn)二分類Logistic回歸2.Logistic回歸模型介紹1.SASEM實現(xiàn)多分類Logistic回歸3.CONTENTS SASEM實現(xiàn)二分類Logistic回歸SASEM實現(xiàn)二分類Logistic回歸提供了哪些模型實現(xiàn)？?；貧w支持多分類邏輯回歸LARS（最小角回歸）優(yōu)化的變量選擇方法偏最小二乘法共線性、自變量多的回歸中有卓越表現(xiàn)；支持多個因變量回歸；Dmine回歸建模前篩選變量；進行變量分組；SASEM實現(xiàn)二分類Logistic回歸提供了哪些模型實現(xiàn)SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)——源數(shù)據(jù)說明

college.dat中有4個變量和1000個觀測：NAMEROLELEVELDESCavggrINPUTINTERVAL高中各門課平均績點genderINPUTBINARY性別：1-男，0-女keyschINPUTBINARY是否重點高中：1-是，0-否collegeTARGETBINARY是否進入重點大學(xué)：1-進入，0-不進入SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)——源數(shù)據(jù)SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)-建模過程

S數(shù)據(jù)導(dǎo)入E數(shù)據(jù)探索M建模A模型評估SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)-建模過程SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—回歸

可選擇logit/probit/cloglog函數(shù)可選擇向前/向后/逐步回歸可選擇Logistic回歸/線性回歸回歸SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—回歸可選SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—Dmine回歸進入模型的變量所滿足的R方下限生成分組變量Dmine回歸SASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—DminSASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—最小角回歸&偏最小二乘法

支持LAR/LASSO等支持PLS/PCR/SIMPLSSASEM實現(xiàn)二分類Logistic回歸參數(shù)設(shè)置—最小角回SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析P(y=1)=；各效應(yīng)增加時，目標(biāo)變量為1的優(yōu)勢比增加；

參數(shù)估計ParameterDFEstimateStandardErrorWaldChi-SquarePr>ChiSqStandardizedEstimateExp(Est)95%ConfidenceLimitsIntercept1-33.173.8275.44<.0001

0.00-40.66-25.69avggr10.390.0573.31<.00010.931.470.300.48gender01-0.360.156.170.013

0.70-0.65-0.08keysch01-0.440.204.700.03

0.65-0.83-0.04優(yōu)勢比OddsRatioEstimatesEffectPointEstimateavggr1.473Gender0vs10.486Keysch0vs10.416SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析

LikelihoodRatioTestforGlobalNullHypothesis:BETA=0-2LogLikelihoodLikelihoodRatioChi-SquareDFPr>ChiSqInterceptOnlyIntercept&Covariates507.938349.66158.27883<.0001

Type3AnalysisofEffectsEffectDFWaldChi-SquarePr>ChiSqavggr173.3143<.0001gender16.16960.013keysch14.70370.0301模型具有高度顯著性；模型參數(shù)均通過檢驗；模型似然比檢驗結(jié)果參數(shù)wald檢驗結(jié)果SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析SASEM實現(xiàn)二分類Logistic回歸案例結(jié)果分析

擬合統(tǒng)計量統(tǒng)計量標(biāo)簽訓(xùn)練驗證測試_AIC_Akaike'sInformationCriterion357.66.._SBC_Schwarz'sBayesianCriterion373.615.._MISC_MisclassificationRate19.50%17.60%20.30%響應(yīng)百分比=預(yù)測為1且實際為1的樣本數(shù)/預(yù)測為1的樣本數(shù)；提升度=響應(yīng)百分比/（實際為1的樣本數(shù)/所有樣本數(shù)）；模型概率值前5%的樣本中，響應(yīng)率約為95%；模型概率值前5%的樣本中，模型提升度達到2.7；測試樣本正確分類率達到約80%；累積提升度累積響應(yīng)百分比模型統(tǒng)計量SASEM實現(xiàn)二分類Logistic回歸案例結(jié)果分析擬合統(tǒng)CONTENTS

3.SASEM實現(xiàn)二分類Logistic回歸2.Logistic回歸模型介紹1.

SASEM實現(xiàn)多分類Logistic回歸CONTENTS 3.SASEM實現(xiàn)二分類LogisticSASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)—源數(shù)據(jù)說明Iris數(shù)據(jù)集中有5個變量和150個觀測：NAMEROLELEVELDESCCalyx_lengthINPUTINTERVAL花萼長度Calyx_wideINPUTINTERVAL花萼寬度Petal_lengthINPUTINTERVAL花瓣長度Petal_wideINPUTINTERVAL花瓣寬度classTARGETNOMINAL鳶尾花種類SASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)—源數(shù)據(jù)說SASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)-建模過程

S-E數(shù)數(shù)據(jù)據(jù)導(dǎo)探入索M建立模型A模型評估SASEM實現(xiàn)多分類Logistic回歸案例實現(xiàn)-建模過程SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果分析Class:1-Iris-setosa,2-Iris-versic,3-Iris-virgin。

模型參數(shù)估計結(jié)果ParameterclassDFEstimateStandardErrorWaldChi-SquarePr>ChiSqStandardizedEstimateExp(Est)InterceptIris-virgin1-17.30489.300.9718

0InterceptIris-versic111.9648900.9805

999Calyx_lengthIris-virgin122.27....999Calyx_lengthIris-versic115.294.028914.40.000114.963999Calyx_wideIris-virgin120.52615.300.97348.8194999Calyx_wideIris-versic18.97615.200.98843.8543999Petal_lengthIris-virgin1-14.76....0Petal_lengthIris-versic1-10.883.427210.080.0015-4.69190SASEM實現(xiàn)二分類Logistic回歸案例實現(xiàn)—結(jié)果