邏輯回歸統(tǒng)計(jì)量計(jì)算

1、邏輯回歸模型作者：zgw21cn來(lái)源：博客園發(fā)布時(shí)間：2008-08-2917:21閱讀：8993次原文鏈接收藏1 .邏輯回歸模型1.1 邏輯回歸模型考慮具有p個(gè)獨(dú)立變量的向量”=（工心,）,設(shè)條件概率?（y=11©=r為根據(jù)觀測(cè)量相對(duì)于某事件發(fā)生的概率。邏輯回歸模型可表示為nF="用"孤刀）二國(guó)(1.1)上式右側(cè)形式的函數(shù)稱為邏輯函數(shù)。下圖給出其函數(shù)圖象形式。其中以幻=4+瓶十月1/月。如果含有名義變量，則將其變?yōu)閐ummy變量。一個(gè)具有k個(gè)取值的名義變量，將變?yōu)閗-1個(gè)dummy變量。這樣，有6田二用4月。*4二邊&¥*修，-（1.2）定義不

2、發(fā)生事件的條件概率為(1.3)那么，事件發(fā)生與事件不發(fā)生的概率之比為(1.4)這個(gè)比值稱為事件的發(fā)生比（theoddsofexperiencinganevent）,0Vp<1,故odds>0。對(duì)odds取對(duì)數(shù)，即得到線性函數(shù)，簡(jiǎn)稱為odds。因?yàn)橐揽?j；一息一伊七+2j亳Q-d:1r二(1.5)1.2極大似然函數(shù)假設(shè)有n個(gè)觀測(cè)樣本，觀測(cè)值分別為丹6,必，設(shè)%=為給定條件下得到%=1的概率。在同樣條件下得到期二0的條件概率為F3=0l)=Pio是，得到一個(gè)觀測(cè)值的概率為(1.6)因?yàn)楦黜?xiàng)觀測(cè)獨(dú)立，所以它們的聯(lián)合分布可以表示為各邊際分布的乘積。(二立孤鏟口-現(xiàn)哂53-1(1.7)上式

3、稱為n個(gè)觀測(cè)的似然函數(shù)。我們的目標(biāo)是能夠求出使這一似然函數(shù)的值最大的參數(shù)估計(jì)。于是，最大似然估計(jì)的關(guān)鍵就是求出參數(shù)，使上式取得最大值。對(duì)上述函數(shù)求對(duì)數(shù)H=用，苴=£卜*：諱1nF問(wèn)：一au-c、M(1.8)的值。(Newton-Raphson)方法上式稱為對(duì)數(shù)似然函數(shù)。為了估計(jì)能使H.圖取得最大的參數(shù)對(duì)此函數(shù)求導(dǎo)，得到p+1個(gè)似然方程。1%肉即川WMMf£從一一.再-&小一口.IH&r(1.9)4I，為g一夕，j=1,2,.,p.上式稱為似然方程。為了解上述非線性方程，應(yīng)用牛頓-拉斐森進(jìn)行迭代求解。1.3牛頓拉斐森迭代法對(duì)l(用求二階偏導(dǎo)數(shù)，即Hessian

4、矩陣為(1.10)如果寫(xiě)成矩陣形式，以H表示Hessian矩陣，X表示1或口'''*1芋1羯三產(chǎn)U=.8«則H=¥?比。再令I(lǐng)?9】“似然方程的矩陣形式。得牛頓迭代法的形式為M-瑪-4勺(注：前一個(gè)矩陣需轉(zhuǎn)置)，即(1.13)注意到上式中矩陣H為對(duì)稱正定的，求解在7,即為求解線性方程HX=U中的矩陣X。對(duì)H進(jìn)行cholesky分解。最大似然估計(jì)的漸近方差(asymptoticvariance)和協(xié)方差(covariance)可以由信息矩陣(informationmatrix)的逆矩陣估計(jì)出來(lái)。而信息矩陣實(shí)際上是*(均二階導(dǎo)數(shù)的負(fù)L=1值，表示為嗎見(jiàn)。

5、估計(jì)值的方差和協(xié)方差表示為女士廣，也就是說(shuō)，估計(jì)值4的方差為矩陣I的逆矩陣的對(duì)角線上的值，而估計(jì)值目和區(qū)的協(xié)方差為除了對(duì)角線以外的值。然而在多數(shù)情況，我們將使用估計(jì)值科的標(biāo)準(zhǔn)方差，表示為的)，碗.=0,1,2,口Ji2.顯著性檢驗(yàn)卜面討論在邏輯回歸模型中自變量4'是否與反應(yīng)變量顯著相關(guān)的顯著性檢驗(yàn)。零假設(shè)方。：思=0(表示自變量工工對(duì)事件發(fā)生可能性無(wú)影響作用)。如果零假設(shè)被拒絕，說(shuō)明事件發(fā)生可能性依賴于工工的變化。1 Waldtest對(duì)回歸系數(shù)進(jìn)行顯著性卞驗(yàn)時(shí)，通常使用Wald檢驗(yàn)，其公式為*他./甌通開(kāi)（2.1）其中，S以即為鳥(niǎo)的標(biāo)準(zhǔn)誤差。這個(gè)單變量Wald統(tǒng)計(jì)量服從自由度等于1的比

6、1分布。如果需要檢驗(yàn)假設(shè)%用=瑪=凡=0,計(jì)算統(tǒng)計(jì)量其中，"為去掉耳所在的行和列的估計(jì)值，相應(yīng)地，田頤產(chǎn)）為去掉鳥(niǎo)所在的行和列的標(biāo)準(zhǔn)誤差。這里，Wald統(tǒng)計(jì)量服從自由度等于p的泥分布。如果將上式寫(xiě)成矩陣形式，有用二（。的。9欣（2.3）0162=矩陣q是第一列為零的一常數(shù)矩陣。例如，如果檢驗(yàn)自二向二°,則L0°L。然而當(dāng)回歸系數(shù)的絕對(duì)值很大時(shí)，這一系數(shù)的估計(jì)標(biāo)準(zhǔn)誤就會(huì)膨脹，于是會(huì)導(dǎo)致Wald統(tǒng)計(jì)值變得很小，以致第二類錯(cuò)誤的概率增加。也就是說(shuō)，在實(shí)際上會(huì)導(dǎo)致應(yīng)該拒絕零假設(shè)時(shí)卻未能拒絕。所以當(dāng)發(fā)現(xiàn)回歸系數(shù)的絕對(duì)值很大時(shí)，就不再用Wald統(tǒng)計(jì)值來(lái)檢驗(yàn)零假設(shè)，而應(yīng)該使用似

7、然比檢驗(yàn)來(lái)代替。似然比（Likelihoodratiotest）檢驗(yàn)在一個(gè)模型里面，含有變量不與不含變量三的對(duì)數(shù)似然值乘以-2的結(jié)果之差，服從,分布。這一檢驗(yàn)統(tǒng)計(jì)量稱為似然比（likelihoodratio）,用式子表示為不含再似然含有4似然(2.4)計(jì)算似然值采用公式（1.8）。倘若需要檢驗(yàn)假設(shè)“口：A=A=-=.=0,計(jì)算統(tǒng)計(jì)量(2.5)321#國(guó)K皿I-KT-r*Jii.itjf4啕上式中，叱表示3=0的觀測(cè)值的個(gè)數(shù)，而為表示再=1的觀測(cè)值的個(gè)數(shù)，那么n就表示所有觀測(cè)值的個(gè)數(shù)了。實(shí)際上，上式的右端的右半部分+性底與）-題呵叨表示只含有鳥(niǎo)的似然值。統(tǒng)計(jì)量G服從自由度為p的片分布Score檢

8、驗(yàn)在零假設(shè)%:耳=0下，設(shè)參數(shù)的估計(jì)值為為1,即對(duì)應(yīng)的尾=0。計(jì)算Score統(tǒng)計(jì)量的公式為(2.6)上式中，"(玲)表示在e=0下的對(duì)數(shù)似然函數(shù)(1.9)的一價(jià)偏導(dǎo)數(shù)值，而葭%，)表示在耳=0下的對(duì)數(shù)似然函數(shù)(1.9)的二價(jià)偏導(dǎo)數(shù)值。Score統(tǒng)計(jì)量服從自由度等于1的下分布。模型擬合信息模型建立后，考慮和比較模型的擬合程度。有三個(gè)度量值可作為擬合的判斷根據(jù)。(1)-2LogLikelihood】II-=一?乙|月-(1-Z'(2.7)Akaike信息準(zhǔn)則(AkaikeInformationCriterion,簡(jiǎn)寫(xiě)為AIC)-二L(28)其中K為模型中自變量的數(shù)目，S為反應(yīng)變量

9、類別總數(shù)減1,對(duì)于邏輯回歸有S=2-1=1。-2LogL的值域?yàn)?至其值越小說(shuō)明擬合越好。當(dāng)模型中的參數(shù)數(shù)量越大時(shí)，似然值也就越大，-2LogL就變小。因此，將2(K+S)加到AIC公式中以抵銷參數(shù)數(shù)量產(chǎn)生的影響。在其它條件不變的情況下，較小的AIC值表示擬合模型較好。(3)Schwarz準(zhǔn)則這一指標(biāo)根據(jù)自變量數(shù)目和觀測(cè)數(shù)量對(duì)-2LogL值進(jìn)行另外一種調(diào)整。SC指標(biāo)的定義為；('-，'：*(29)其中l(wèi)n(n)是觀測(cè)數(shù)量的自然對(duì)數(shù)。這一指標(biāo)只能用于比較對(duì)同一數(shù)據(jù)所設(shè)的不同模型。在其它條件相同時(shí)，一個(gè)模型的AIC或SC值越小說(shuō)明模型擬合越好。.回歸系數(shù)解釋發(fā)生比.%+與+”,*戶

10、*¥加odds=p/(1-p)一厲，即事件發(fā)生的概率與不發(fā)生的概率之比。而發(fā)生addSiOR=-oddsj比率(oddsration),即(1)連續(xù)自變量。對(duì)于自變量,每增加一個(gè)單位，oddsration為OR=_出(3.1)(2)二分類自變量的發(fā)生比率。變量的取值只能為0或1,稱為dummyvariable。當(dāng)工工取值為1,對(duì)于取值為0的發(fā)生比率為，*#*!*，班.，卜0P=1產(chǎn)廠戶產(chǎn)產(chǎn)%",洪/Ep(3.2)亦即對(duì)應(yīng)系數(shù)的哥。(3)分類自變量的發(fā)生比率。如果一個(gè)分類變量包括m個(gè)類別，需要建立的dummyvariable的個(gè)數(shù)為m-1,所省略的那個(gè)類別稱作參照類(refe

11、rencecategory)。設(shè)dummyvariable為丁工，其系數(shù)為息，對(duì)于參照類，其發(fā)生比率為由離。邏輯回歸系數(shù)的置信區(qū)間對(duì)于置彳t度1-值，參數(shù)片的100%(1-民)的置信區(qū)間為露土2小%,3(3.3)上式中，*為與正態(tài)曲線下的臨界Z值(criticalvalue),缸為系數(shù)估計(jì)取的港一7ctkS4r瓦+工a乂'富品標(biāo)準(zhǔn)誤差，5和1'兩值便分別是置信區(qū)間的下限和上限。當(dāng)樣本較大時(shí)，值=0.05水平的系數(shù)四的95%置信區(qū)間為入±1.96乂5出辦(3.4).變量選擇前向選擇(forwardselection):在截距模型的基礎(chǔ)上，將符合所定顯著水平的自變量一次一

12、個(gè)地加入模型。具體選擇程序如下(1)常數(shù)(即截距)進(jìn)入模型。(2)根據(jù)公式(2.6)計(jì)算待進(jìn)入模型變量的Score檢驗(yàn)值，并得到相應(yīng)的P值。(3)找出最小的p值，如果此p值小于顯著T水平,則此變量進(jìn)入模型。如果此變量是某個(gè)名義變量的單面化(dummy)變量，則此名義變量的其它單面化變理同時(shí)也進(jìn)入模型。不然，表明沒(méi)有變量可被選入模型。選擇過(guò)程終止。(4)回到(2)繼續(xù)下一次選擇。后向選擇(backwardselection):在模型包括所有候選變量的基礎(chǔ)上，將不符合保留要求顯著水平的自變量一次一個(gè)地刪除。具體選擇程序如下(1)所有變量進(jìn)入模型。(2)根據(jù)公式(2.1)計(jì)算所有變量的Wald檢驗(yàn)值

13、，并得到相應(yīng)的p值。(3)找出其中最大的p值，如果此P值大于顯著性水平%或，則此變量被剔除。對(duì)于某個(gè)名義變量的單面化變量，其最小p值大于顯著性水平R旭，則此名義變量的其它單面化變量也被刪除。不然，表明沒(méi)有變量可被剔除，選擇過(guò)程終止。(4)回到(2)進(jìn)行下一輪剔除。逐步回歸(stepwiseselection)(1)基本思想：逐個(gè)引入自變量。每次引入對(duì)Y影響最顯著的自變量，并對(duì)方程中的老變量逐個(gè)進(jìn)行檢驗(yàn)，把變?yōu)椴伙@著的變量逐個(gè)從方程中剔除掉，最終得到的方程中既不漏掉對(duì)Y影響顯著的變量，又不包含對(duì)Y影響不顯著的變量。(2)篩選的步驟：首先給出引入變量的顯著性水平%和剔除變量的顯著性水平必，然后按下

14、圖篩選變量。(3)逐步篩選法的基本步驟逐步篩選變量的過(guò)程主要包括兩個(gè)基本步驟：一是從不在方程中的變量考慮引入新變量的步驟；二是從回歸方程中考慮剔除不顯著變量的步驟。假設(shè)有p個(gè)需要考慮引入回歸方程的自變量.設(shè)僅有截距項(xiàng)的最大似然估計(jì)值為心口。對(duì)p個(gè)自變量每個(gè)分別計(jì)算Score檢驗(yàn)值,設(shè)有最小p值的變量為乙1,且有,對(duì)于單面化（dummy）變量，也如此。若Pm<%,則此變量進(jìn)入模型，不然停止。如果此變量是名義變量單面化（dummy）的變量，則此名義變量的其它單面化變量也進(jìn)入模型。其中值加為引入變量的顯著性水平。為了確定當(dāng)變量工”在模型中時(shí)其它p-1個(gè)變量也是否重要，將=,=色分別與x打進(jìn)行擬合。對(duì)p-1個(gè)變量分別計(jì)算Score檢驗(yàn)值，其p值設(shè)為"1。設(shè)有最小p值的變量為工口,且有心二訓(xùn)）.若上<4,則進(jìn)入下一步，不然停止。對(duì)于單面化變量，其方式如同上步。此步開(kāi)始于模型中已含有變量%與飛。注意到有可能在變量%被引入后，變量%不再重要。本步包括向后刪除。根據(jù)（2.1）計(jì)算變量x