機(jī)器學(xué)習(xí)原理與應(yīng)用課件 第4章 Logistic回歸

第4章

Logistic回歸學(xué)習(xí)目標(biāo)理解Logistic回歸的基本原理掌握利用Scikit-learn庫進(jìn)行Logistic回歸的基本方法掌握Scikit-learn庫Logistic回歸模塊常用參數(shù)、屬性與方法的使用123目錄頁4.1基本原理4.2應(yīng)用實(shí)例Logistic回歸4.1基本原理線性回歸主要研究因變量（與待求解問題相關(guān)取值）和自變量（與待求解問題相關(guān)的特征）之間是否存在線性關(guān)系的問題。事實(shí)上，因變量與自變量之間的線性關(guān)系僅是為簡化問題復(fù)雜度所做的假設(shè)或?yàn)榍蠼鈴?fù)雜模型的初始探測，因而，線性回歸在實(shí)際中不但不易獲得較好的效果，而且不易直接應(yīng)用于分類問題的求解或應(yīng)用于分類問題求解時(shí)易導(dǎo)致不可靠的結(jié)果。4.1.1基本概念針對線性回歸存在的問題，一個(gè)直接的解決方法是對因變量進(jìn)行非線性映射以使其取值具有特定的含義；Logistic回歸即是在線性回歸的基礎(chǔ)上通過Sigmoid函數(shù)變換而構(gòu)成的分類方法。Sigmoid函數(shù)4.1.1基本概念

4.1.2數(shù)學(xué)模型與求解

4.1.2數(shù)學(xué)模型與求解

4.1.2數(shù)學(xué)模型與求解

4.1.2數(shù)學(xué)模型與求解

4.2應(yīng)用實(shí)例Scikit-learn庫包含Logistic回歸模塊及相關(guān)數(shù)據(jù)集線性回歸模塊的引入方式：fromsklearn.linear_modelimportLogisticRegression函數(shù)原型：LogisticRegression(penalty='l2',dual=False,tol=0.0001,C=1.0,fit_intercept=True,intercept_scaling=1,class_weight=None,random_state=None,solver='liblinear',max_iter=100,multi_class='ovr',verbose=0,warm_start=False,n_jobs=1)4.2.1分類可視化Logistic回歸分析算法主要用于解決兩類樣本分類問題，當(dāng)相關(guān)樣本包含兩個(gè)特征時(shí)，兩類樣本之間的分類邊界實(shí)為二維坐標(biāo)系下的一條直線；對樣本與分類邊界進(jìn)行可視化有利于理解Logistic回歸分析原理與性能。（1）問題描述首先構(gòu)造特征數(shù)量及類別數(shù)據(jù)均為2的仿真數(shù)據(jù)，然后利用Logistic回歸模型實(shí)現(xiàn)樣本的預(yù)測與兩類樣本分類界線的可視化（2）編程實(shí)現(xiàn)見4.2.1分類可視化.py4.2.1分類可視化（3）結(jié)果分析以上代碼運(yùn)行結(jié)果如下。預(yù)測精度:0.944.2.2鳶尾花識別根據(jù)植物的特征對其所屬類別進(jìn)行識別有助于提高人們對植物的認(rèn)識或輔助研究者對植物特征及其類別之間的相關(guān)性進(jìn)行分析。（1）問題描述Scikit-learn庫中的鳶尾花數(shù)據(jù)集包含三種類別，選擇前兩類并利用Logistic回歸算法完成以下實(shí)驗(yàn)：①對鳶尾花樣本進(jìn)行分類并求取相應(yīng)模型的精度。②對比L1正則化與L2正則化在C值為0.02時(shí)模型參數(shù)變化及預(yù)測精度。（2）編程實(shí)現(xiàn)見4.2.2鳶尾花識別.py4.2.2鳶尾花識別（3）運(yùn)行結(jié)果數(shù)據(jù)基本信息:(100,4);Class_1:50;Class_2:50特征名稱:['sepallength(cm)','sepalwidth(cm)','petallength(cm)','petalwidth(cm)']前10個(gè)樣本的預(yù)測概率:[[0.959253480.04074652][0.004738790.99526121][0.980644550.01935545][0.009669360.99033064][0.009378430.99062157][0.124893580.87510642][0.983289260.01671074][0.006001180.99399882]

[0.004916330.99508367][0.023464010.97653599]]前10個(gè)樣本的預(yù)測概率:[0101110111]前10個(gè)樣本的預(yù)測精度:1.0L1正則化系數(shù):[[0.0.0.078426570.]]非零L1正則化系數(shù):[1]L2正則化系數(shù):[[-0.08598023-0.360591510.565874290.2397033]]非零L2正則化系數(shù):[4]4.2.2鳶尾花識別（3）運(yùn)行結(jié)果Logistic回歸算法既可用于兩類分類問題的求解，也可用于預(yù)測事件發(fā)生的概率；在此例中，其預(yù)測了樣本所屬兩類別的概率并從中選擇最大者作為最終預(yù)測的類別，精度較高。L1與L2正則化相應(yīng)的精度對比4.2.3乳腺癌預(yù)測（1）問題描述利用Scikit-learn庫乳腺癌數(shù)據(jù)集（包含細(xì)胞厚度、細(xì)胞大小、形狀等30個(gè)特征）完成以下實(shí)驗(yàn)：①對特征數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理。②利用L2正則化進(jìn)行特征提取并對比特征提取前后的相應(yīng)模型的預(yù)測精度。③確定最優(yōu)C值并構(gòu)建乳腺癌預(yù)測模型并評估其預(yù)測精度。（2）編程實(shí)現(xiàn)見4.2.3乳腺癌預(yù)測.py4.2.3乳腺癌預(yù)測（3）結(jié)果分析數(shù)據(jù)基本信息:(569,30);Cancer_No:357;Cancer_Yes:212特征名稱:['meanradius''meantexture''meanperimeter''meanarea''meansmoothness''meancompactness''meanconcavity''meanconcavepoints''meansymmetry''meanfractaldimension''radiuserror''textureerror''perimetererror''areaerror''smoothnesserror''compactnesserror''concavityerror''concavepointserror''symmetryerror''fractaldimensionerror''worstradius''worsttexture''worstperimeter''worstarea''worstsmoothness''worstcompactness''worstconcavity''worstconcavepoints''worstsymmetry''worstfractaldimension']預(yù)測精度:0.9440559440559441特征提取前模型精度最高值及對應(yīng)的C值:0.99058693244739760.51特征提取后模型精度最高值及對應(yīng)的C值:0.9905315614617945.01訓(xùn)練數(shù)據(jù)相應(yīng)的精度:0.9859357696566999測試數(shù)據(jù)相應(yīng)的精度:0.95857142857142854.2.3乳腺癌預(yù)測（3）結(jié)果分析

本章小結(jié)Logistic回歸將線性回歸的輸出通過非線性映射的方式變