logistic回歸與線性回歸得比較

1logisticlogistic回歸與線性回歸得比較本報(bào)告是在學(xué)習(xí)斯坦福大學(xué)機(jī)器學(xué)習(xí)課程前四節(jié)加上配套的講義后的總結(jié)與認(rèn)識。前四節(jié)主要講述了回歸問題，回歸屬于有監(jiān)督學(xué)習(xí)中的一種方法。該方法的核心思想是從連續(xù)型統(tǒng)計(jì)數(shù)據(jù)中得到數(shù)學(xué)模型，然后將該數(shù)學(xué)模型用于講義最初介紹了一個(gè)基本問題，然后引出了線性回歸的解決方法，然后針對ogistic2問題引入假設(shè)有一個(gè)房屋銷售的數(shù)據(jù)如下：…銷售價(jià)錢(萬元)…2我們可以用一條曲線去盡量準(zhǔn)的擬合這些數(shù)據(jù)，然后如果有新的輸入過來，我們可以在將曲線上這個(gè)點(diǎn)對應(yīng)的值返回。如果用一條直線去擬合，可能是下面的樣子：練集(trainingset)或者訓(xùn)練數(shù)據(jù)(trainingdata),是我擬合的函數(shù)(或者稱為假設(shè)或者模型)：一般寫做y=h(x)訓(xùn)練數(shù)據(jù)的條目數(shù)(#trainingset),：一條訓(xùn)練數(shù)據(jù)是由一對輸入數(shù)據(jù)和輸3這個(gè)例子的特征是兩維的，結(jié)果是一維的。然而回歸方法能夠解決特征多維，下面是一個(gè)典型的機(jī)器學(xué)習(xí)的過程，首先給出一個(gè)輸入數(shù)據(jù)，我們的算法會通過一系列的過程得到一個(gè)估計(jì)的函數(shù)，這個(gè)函數(shù)有能力對沒有見過的新數(shù)據(jù)4線性回歸線性回歸假設(shè)特征和結(jié)果滿足線性關(guān)系。其實(shí)線性關(guān)系的表達(dá)能力非常強(qiáng)大，每個(gè)特征對結(jié)果的影響強(qiáng)弱可以由前面的參數(shù)體現(xiàn)，而且每個(gè)特征變量可以首先映射到一個(gè)函數(shù)，然后再參與線性計(jì)算。這樣就可以表達(dá)特征與結(jié)果之間的4可以用向量的方式來表示了：我們程序也需要一個(gè)機(jī)制去評估我們θ是否比較好，所以說需要對我們做出的h函數(shù)進(jìn)行評估，一般這個(gè)函數(shù)稱為損失函數(shù)(lossfunction)或者錯(cuò)誤函數(shù)在這兒我們可以認(rèn)為錯(cuò)誤函數(shù)如下：至于為何選擇平方和作為錯(cuò)誤估計(jì)函數(shù)，講義后面從概率分布的角度講解了5在選定線性回歸模型后，只需要確定參數(shù)θ，就可以將模型用來預(yù)測。然而θ需要在J(θ)最小的情況下才能確定。因此問題歸結(jié)為求極小值問題，使用梯度下降法。梯度下降法最大的問題是求得有可能是全局極小值，這與初始點(diǎn)的選梯度下降法是按下面的流程進(jìn)行的：1)首先對θ賦值，這個(gè)值可以是隨機(jī)的，也可以讓θ是一個(gè)全零的向量。2)改變θ的值，使得J(θ)按梯度下降的方向進(jìn)行減少。梯度方向由J(θ)對θ的偏導(dǎo)數(shù)確定，由于求的是極小值，因此梯度方向是偏導(dǎo)數(shù)的反方向。結(jié)果為迭代更新的方式有兩種，一種是批梯度下降，也就是對全部的訓(xùn)練數(shù)據(jù)求得誤差后再對θ進(jìn)行更新，另外一種是增量梯度下降，每掃描一步都要對θ進(jìn)行更最小二乘法67選用誤差函數(shù)為平方和的概率解釋實(shí)際結(jié)果有誤差，那么預(yù)測結(jié)果和真實(shí)結(jié)果滿足下式：一般來講，誤差滿足平均值為0的高斯分布，也就是正態(tài)分布。那么x和y這樣就估計(jì)了一條樣本的結(jié)果概率，然而我們期待的是模型能夠在全部樣本上預(yù)測最準(zhǔn)，也就是概率積最大。注意這里的概率積是概率密度函數(shù)積，連續(xù)函數(shù)的概率密度函數(shù)與離散值的概率函數(shù)不同。這個(gè)概率積成為最大似然估計(jì)。我們希望在最大似然估計(jì)得到最大值時(shí)確定θ。那么需要對最大似然估計(jì)公式求導(dǎo)，求導(dǎo)結(jié)果既是也做了一些假定，但這個(gè)假定符合客觀規(guī)律。7其中假設(shè)符合公式其中假設(shè)符合公式的影響越小。這個(gè)公式與高斯分布類似，但不一樣，因?yàn)椴皇请S機(jī)變量。設(shè)是此方法成為非參數(shù)學(xué)習(xí)算法，因?yàn)檎`差函數(shù)隨著預(yù)測值的不同而不同，這樣9分類和logistic回歸一般來說，回歸不用在分類問題上，因?yàn)榛貧w是連續(xù)型模型，而且受噪聲影8logistic分類是它滿足泊松分布、指數(shù)分布等等也可以，只是比較復(fù)雜，后面會提導(dǎo)，得到迭代公式結(jié)果為最大似然估計(jì)時(shí)，如果f可導(dǎo)，那么可以通過迭代公式9求解最大似然估計(jì)的最大值時(shí)，變成求解最大似然估計(jì)概率導(dǎo)數(shù)迭代公式寫作可以使用下面式子表示X0靠近極小值X時(shí)，牛頓法的收斂速度是最快的。但是當(dāng)X0遠(yuǎn)離極小值時(shí)，牛頓法可能不收斂，甚至連下降都保證不了。原因是迭代點(diǎn)11一般線性模型表示成。(在logistic回歸中期望值是，因此h)。伯努利分布，高斯分布，泊松分布，貝塔分布，狄特里特分布都屬于指數(shù)分logistic以表示成是以求得的表達(dá)式。112Softmax回歸其實(shí)很好理解，就是當(dāng)y是一個(gè)值m(m從1到k)的時(shí)候，p(y)=，得那么就建立了假設(shè)函數(shù)，最后就獲得了最大似然估計(jì)該講義組織結(jié)構(gòu)清晰，思路獨(dú)特，講原因，也講推導(dǎo)?？少F的是講出了問題的基本解決思