邏輯回歸模型分析見解

1、精選優(yōu)質文檔-傾情為你奉上1.邏輯回歸模型1.1邏輯回歸模型考慮具有p個獨立變量的向量,設條件概率為根據觀測量相對于某事件發(fā)生的概率。邏輯回歸模型可表示為（1.1）上式右側形式的函數稱為稱為邏輯函數。下圖給出其函數圖象形式。其中。如果含有名義變量，則將其變?yōu)閐ummy變量。一個具有k個取值的名義變量，將變?yōu)閗-1個dummy變量。這樣，有 （1.2）定義不發(fā)生事件的條件概率為 （1.3）那么，事件發(fā)生與事件不發(fā)生的概率之比為 （1.4）這個比值稱為事件的發(fā)生比(the odds of experiencing an event),簡稱為odds。因為0<p<1,故odds>0

2、。對odds取對數，即得到線性函數，（1.5）1.2極大似然函數假設有n個觀測樣本，觀測值分別為設為給定條件下得到的概率。在同樣條件下得到的條件概率為。于是，得到一個觀測值的概率為（1.6）因為各項觀測獨立，所以它們的聯(lián)合分布可以表示為各邊際分布的乘積。 （1.7）上式稱為n個觀測的似然函數。我們的目標是能夠求出使這一似然函數的值最大的參數估計。于是，最大似然估計的關鍵就是求出參數，使上式取得最大值。對上述函數求對數 （1.8）上式稱為對數似然函數。為了估計能使取得最大的參數的值。對此函數求導，得到p+1個似然方程。 （1.9），j=1,2,.,p.上式稱為似然方程。為了解上述非線性方程，應用

3、牛頓拉斐森(Newton-Raphson)方法進行迭代求解。1.3牛頓拉斐森迭代法對求二階偏導數，即Hessian矩陣為 （1.10）如果寫成矩陣形式，以表示Hessian矩陣，表示 （1.11）令 （1.12）則。再令(注：前一個矩陣需轉置)，即似然方程的矩陣形式。得牛頓迭代法的形式為 （1.13）注意到上式中矩陣為對稱正定的，求解即為求解線性方程中的矩陣。對進行cholesky分解。最大似然估計的漸近方差（asymptotic variance）和協(xié)方差(covariance)可以由信息矩陣（information matrix）的逆矩陣估計出來。而信息矩陣實際上是二階導數的負值，表示為。

4、估計值的方差和協(xié)方差表示為，也就是說，估計值的方差為矩陣的逆矩陣的對角線上的值，而估計值和的協(xié)方差為除了對角線以外的值。然而在多數情況，我們將使用估計值的標準方差，表示為，for j=0,1,2,p （1.14）.顯著性檢驗下面討論在邏輯回歸模型中自變量是否與反應變量顯著相關的顯著性檢驗。零假設：0（表示自變量對事件發(fā)生可能性無影響作用）。如果零假設被拒絕，說明事件發(fā)生可能性依賴于的變化。2.1 Wald test對回歸系數進行顯著性檢驗時，通常使用Wald檢驗，其公式為 （2.1）其中, 為的標準誤差。這個單變量Wald統(tǒng)計量服從自由度等于的分布。如果需要檢驗假設：0,計算統(tǒng)計量 （2.2）

5、其中，為去掉所在的行和列的估計值，相應地，為去掉所在的行和列的標準誤差。這里，Wald統(tǒng)計量服從自由度等于p的分布。如果將上式寫成矩陣形式，有 （2.3）矩陣是第一列為零的一常數矩陣。例如，如果檢驗，則。然而當回歸系數的絕對值很大時，這一系數的估計標準誤就會膨脹，于是會導致Wald統(tǒng)計值變得很小，以致第二類錯誤的概率增加。也就是說，在實際上會導致應該拒絕零假設時卻未能拒絕。所以當發(fā)現回歸系數的絕對值很大時，就不再用Wald統(tǒng)計值來檢驗零假設，而應該使用似然比檢驗來代替。2.2似然比（Likelihood ratio test）檢驗在一個模型里面，含有變量與不含變量的對數似然值乘以-2的結果之差

6、，服從分布。這一檢驗統(tǒng)計量稱為似然比(likelihood ratio)，用式子表示為 （2.4）計算似然值采用公式（1.8）。倘若需要檢驗假設：0,計算統(tǒng)計量（2.5）上式中，表示0的觀測值的個數，而表示的觀測值的個數，那么n就表示所有觀測值的個數了。實際上，上式的右端的右半部分表示只含有的似然值。統(tǒng)計量G服從自由度為p的分布2.3 Score檢驗在零假設：0下，設參數的估計值為，即對應的0。計算Score統(tǒng)計量的公式為（2.6）上式中，表示在0下的對數似然函數（1.9）的一價偏導數值，而表示在0下的對數似然函數（1.9）的二價偏導數值。Score統(tǒng)計量服從自由度等于的分布。2.4模型擬合信

7、息模型建立后，考慮和比較模型的擬合程度。有三個度量值可作為擬合的判斷根據。(1)-2LogLikelihood (2.7)(2) Akaike信息準則（Akaike Information Criterion,簡寫為AIC） (2.8)其中為模型中自變量的數目，為反應變量類別總數減，對于邏輯回歸有S=2-1=1。-2LogL的值域為0至，其值越小說明擬合越好。當模型中的參數數量越大時，似然值也就越大，-2LogL就變小。因此，將(K+S)加到AIC公式中以抵銷參數數量產生的影響。在其它條件不變的情況下，較小的AIC值表示擬合模型較好。(3)Schwarz準則這一指標根據自變量數目和觀測數量對-

8、2LogL值進行另外一種調整。SC指標的定義為 (2.9)其中l(wèi)n(n)是觀測數量的自然對數。這一指標只能用于比較對同一數據所設的不同模型。在其它條件相同時，一個模型的AIC或SC值越小說明模型擬合越好。3.回歸系數解釋3.1發(fā)生比odds=p/(1-p)，即事件發(fā)生的概率與不發(fā)生的概率之比。而發(fā)生比率(odds ration),即(1)連續(xù)自變量。對于自變量，每增加一個單位，odds ration為 (3.1)(2)二分類自變量的發(fā)生比率。變量的取值只能為0或1，稱為dummy variable。當取值為1，對于取值為0的發(fā)生比率為 (3.2)亦即對應系數的冪。(3)分類自變量的發(fā)生比率。如

9、果一個分類變量包括m個類別，需要建立的dummy variable的個數為m-1,所省略的那個類別稱作參照類(reference category)。設dummy variable為，其系數為，對于參照類，其發(fā)生比率為。3.2 邏輯回歸系數的置信區(qū)間對于置信度-，參數的100%（-）的置信區(qū)間為 （3.3）上式中，為與正態(tài)曲線下的臨界值（critical value）, 為系數估計的標準誤差，和兩值便分別是置信區(qū)間的下限和上限。當樣本較大時，0.05水平的系數的95%置信區(qū)間為 （3.4）4.變量選擇4.1前向選擇（forward selection）：在截距模型的基礎上，將符合所定顯著水平的

10、自變量一次一個地加入模型。具體選擇程序如下（1） 常數（即截距）進入模型。（2） 根據公式（2.6）計算待進入模型變量的Score檢驗值，并得到相應的P值。（3） 找出最小的p值，如果此p值小于顯著性水平,則此變量進入模型。如果此變量是某個名義變量的單面化(dummy)變量，則此名義變量的其它單面化變理同時也進入模型。不然，表明沒有變量可被選入模型。選擇過程終止。（4） 回到(2)繼續(xù)下一次選擇。4.2 后向選擇（backward selection）：在模型包括所有候選變量的基礎上，將不符合保留要求顯著水平的自變量一次一個地刪除。具體選擇程序如下(1) 所有變量進入模型。(2) 根據公式（2

11、.1）計算所有變量的Wald檢驗值，并得到相應的p值。(3) 找出其中最大的p值，如果此P值大于顯著性水平，則此變量被剔除。對于某個名義變量的單面化變量，其最小p值大于顯著性水平，則此名義變量的其它單面化變量也被刪除。不然，表明沒有變量可被剔除，選擇過程終止。(4) 回到(2)進行下一輪剔除。4.3逐步回歸(stepwise selection)(1)基本思想：逐個引入自變量。每次引入對影響最顯著的自變量，并對方程中的老變量逐個進行檢驗，把變?yōu)椴伙@著的變量逐個從方程中剔除掉，最終得到的方程中既不漏掉對影響顯著的變量，又不包含對影響不顯著的變量。(2)篩選的步驟：首先給出引入變量的顯著性水平和剔

12、除變量的顯著性水平，然后按下圖篩選變量。(3)逐步篩選法的基本步驟逐步篩選變量的過程主要包括兩個基本步驟：一是從不在方程中的變量考慮引入新變量的步驟；二是從回歸方程中考慮剔除不顯著變量的步驟。假設有p個需要考慮引入回歸方程的自變量. 設僅有截距項的最大似然估計值為。對p個自變量每個分別計算Score檢驗值，設有最小p值的變量為，且有，對于單面化(dummy)變量，也如此。若，則此變量進入模型，不然停止。如果此變量是名義變量單面化(dummy)的變量，則此名義變量的其它單面化變量也進入模型。其中為引入變量的顯著性水平。 為了確定當變量在模型中時其它p-1個變量也是否重要，將分別與進行擬合。對p-1個變量分別計算Score檢驗值，其p值設為。設有最小p值的變量為，且有.若，則進入下一步，不然停止。對于單面化變量，其方式如同上步。 此步開始于模型中已含有變量與。注意到有可能在變量被引入后，變量不再重要。本步包括向后刪除。根據(2.1)計算變量與的Wald檢驗值，和相應的p值。設為具有最大