Logistic回歸梯度下降法

1、Logistic回歸學(xué)習(xí)材料廣義線性模型（generalizedlinearmodel）這一家族中的模型形式基本上都差不多，不同的就是因變量不同。如果是連續(xù)的，就是多元線性回歸；如果是二項(xiàng)分布，就是Logistic回歸；如果是Poisson分布，就是Poisson回歸；如果是負(fù)二項(xiàng)分布，就是負(fù)二項(xiàng)回歸。Logistic回歸的因變量可以是二分類的，也可以是多分類的，但實(shí)際中最常用的就是二分類的Logistic回歸。自變量既可以是連續(xù)的，也可以是分類的。常規(guī)步驟Regression問(wèn)題的常規(guī)步驟為：尋找h函數(shù)（即hypothesis）；構(gòu)造J函數(shù)（損失函數(shù)）；使J函數(shù)最小并求得回歸參數(shù)（0）構(gòu)造預(yù)

2、測(cè)函數(shù)hLogistic回歸實(shí)際上是一種分類方法，主要用于兩分類問(wèn)題（即輸出只有兩種，分別代表兩個(gè)類別），所以利用了Logistic函數(shù)（或稱為Sigmoid函數(shù)），函數(shù)形式為：能）-出F面左圖是一個(gè)線性的決策邊界，右圖是非線性的決策邊界。2對(duì)于線性邊界的情況，邊界形式如下（n：特征個(gè)數(shù)；m：樣本數(shù)）：構(gòu)造預(yù)測(cè)函數(shù)為:函數(shù)九的值有特殊的含義，它表示結(jié)果取1的概率，因此對(duì)于輸入x分類結(jié)果為類別1和類別0的概率分別為:P（y=lx;O）=ho（x）門尸0=0|益0）二1-站構(gòu)造損失函數(shù)JJ函數(shù)如下，它是基于最大似然估計(jì)推導(dǎo)得到的。J0=-#斗片3畝A）+（】-刀）bg（lp（再）下面詳細(xì)說(shuō)明推導(dǎo)的

3、過(guò)程：（1）式綜合起來(lái)可以寫成：P（yI兀;0）=仇（兀）尸（1屁（兀）尸取似然函數(shù)為:肘用込=np（xI兀;呂）=他）尸（1-爲(wèi)嚴(yán)匸匸1對(duì)數(shù)似然函數(shù)為:f（B）=噸“臼）=工（”噸如（兀）+（1-片）陀（1-仍（坷）J=l所以取丿()最小值時(shí)的e為要求的最佳參數(shù)。最大似然估計(jì)就是求使因?yàn)槌肆艘粋€(gè)負(fù)的系數(shù)1/m,梯度下降法求的最小值e更新過(guò)程：e更新過(guò)程可以寫成:取最大值時(shí)的e，將刃“)取為下式，即:更新過(guò)程向量化(Vectorization)訓(xùn)練數(shù)據(jù)的矩陣形式如下，x的每一行為一條訓(xùn)練樣本，而每一列為不同特征的取值:x-410A:兔工0+q斗+*”+兔禮吒g+qs+%兀咖E=h)-yg-Hg(4J一兒=g()-ye更新過(guò)程可以改為：TOC o 1-5 h z1腳1川16=巧-口一(4(嗎)一刀記二弓#=8嚴(yán)一艾丁E HYPERLINK l bookm