《機器學習-Python實戰(zhàn)（微課版）》課件 第六章 Logistic回歸

第六章Logistic回歸本章主要講述Logistic回歸算法的基礎知識、模型優(yōu)化、多項式邏輯回歸以及具體實現(xiàn)。學習目標通過本章學習可以：Logistic回歸概述Logistic回歸原理Logistic回歸模型的訓練和優(yōu)化多項式Logistic回歸Logistic回歸概述分類問題Logistic回歸原理Logistic回歸模型Logistic訓練和優(yōu)化多項式Logistic回歸Logistic回歸概述LogisticRegression雖然被稱為回歸，但其實際上是分類模型，并常用于二分類。LogisticRegression因其簡單、可并行化、可解釋強深受工業(yè)界喜愛。Logistic回歸的本質是：假設數(shù)據(jù)服從這個分布，然后使用極大似然估計做參數(shù)的估計。Logistic回歸是機器學習從統(tǒng)計學領域借鑒過來的另一種技術。它是二分類問題的首選方法。像線性回歸一樣，Logistic回歸的目的也是找到每個輸入變量的權重系數(shù)值。但不同的是，Logistic回歸的輸出預測結果是通過一個叫作「logistic函數(shù)」的非線性函數(shù)變換而來的。分類問題監(jiān)督學習的最主要類型——分類(Classification)定義：所謂分類，就是根據(jù)數(shù)據(jù)的特征或屬性，劃分到已有的類別中。從功能上看，分類問題就是預測數(shù)據(jù)所屬的類別分類的輸入變量可以是離散的也可以是連續(xù)的，標簽是離散的。已知某個人存款金額是10000元，這個人沒有結婚，并且有一輛車，沒有固定住房，估計判斷這個人是否會涉嫌信用欺詐問題。根據(jù)腫瘤的體積、患者的年齡來判斷良性或惡性。分類問題二分類用藍色圓形數(shù)據(jù)定義為類別1，其余三角形數(shù)據(jù)為類型2；只需要分類一次就可以步驟：①->②分類問題多分類先定義其中一類為類型1(正類)，其余數(shù)據(jù)為負類(rest)；接下來去掉類型1數(shù)據(jù)，剩余部分再次進行二分類，分成類型2和負類；如果有n類，則需要分類n-1次步驟：①->②->③->…..Logistic回歸概述分類問題Logistic回歸原理Logistic回歸模型Logistic訓練和優(yōu)化多項式Logistic回歸Logistic回歸原理Logistic回歸的本質是：假設數(shù)據(jù)服從這個分布，然后使用極大似然估計做參數(shù)的估計。Logistic分布是一種連續(xù)型的概率分布，其分布函數(shù)和密度函數(shù)分別為：邏輯分布深度學習中的常用到的Sigmoid函數(shù)就是Logistic的分布函數(shù)在的特殊形式Sigmoid函數(shù)

Logistic回歸學習策略模型中的參數(shù)常常使用極大似然估計法來求解，即找到一組參數(shù)，使得在這組參數(shù)下，使得數(shù)據(jù)的似然度（概率）最大。設：似然函數(shù)：

等式兩邊取對數(shù)：

平均對數(shù)似然損失：Logistic回歸概述分類問題Logistic回歸原理Logistic回歸模型Logistic訓練和優(yōu)化多項式Logistic回歸Logistic回歸優(yōu)化算法

Logistic回歸優(yōu)化算法正則化目的是為了防止過擬合。沒有正則化，過擬合正則化過度，欠擬合適當?shù)恼齽t化Logistic回歸優(yōu)化算法L1正則化LASSO回歸，相當于為模型添加先驗知識：w服從零均值拉普拉斯分布。拉普拉斯分布：引入正則項后，似然函數(shù)改寫為：Logistic回歸優(yōu)化算法L1正則化對似然函數(shù)取log再取負，得到目標函數(shù)：等價于原始損失函數(shù)后面加上L1正則化。本質上L1正則本質其實是為模型增加了模型參數(shù)服從零均值拉普拉斯分布的先驗知識。Logistic回歸優(yōu)化算法L2正則化Ridge回歸，相當于為模型添加先驗知識：w服從零均值正態(tài)分布。正態(tài)分布：引入正則項后，似然函數(shù)改寫為：Logistic回歸優(yōu)化算法L2正則化對似然函數(shù)取ln再取負，得到目標函數(shù)：等價于原始損失函數(shù)后面加上L2正則化。本質上L2正則本質其實是為模型增加了模型參數(shù)服從零均值正態(tài)分布的先驗知識。右圖為L1和L2正則化對比目標函數(shù)-平方誤差項的等值線和L1、L2范數(shù)等值線（左邊是L1），我們正則化后的代價函數(shù)需要求解的目標就是在經(jīng)驗風險和模型復雜度之間的平衡取舍，在圖中形象地表示就是黑色線與彩色線的交叉點。Logistic回歸優(yōu)化算法Logistic回歸概述分類問題Logistic回歸原理Logistic回歸模型Logistic訓練和優(yōu)化多項式Logistic回歸多項式Logistic回歸當Y只有兩個選項時，可使用二分類Logistic，當Y有三項或更多時，則應該使用多分類Logistic回歸。二元邏輯回歸和多分類邏輯回歸的對比多項式Logistic回歸解決多分類問題，可把Sigmoid函數(shù)換成Softmax函數(shù)。Softmax回歸是直接對邏輯回歸在多分類的推廣。Softmax函數(shù)為：整體目標函數(shù)1.（單選）Logistic回歸適用于因變量為（

）？A.二分類變量

B.多分類有序變量

C.