第十二章Logistic回歸分析

1、第十二章Logistic回歸分析一、Logistic回歸概述：Logistic回歸主要用于篩選疾病的危險(xiǎn)因素、預(yù)后因素或評(píng)價(jià)治療措施；通常以疾病的死亡、痊愈等結(jié)果發(fā)生的概率為因變量，以影響疾病發(fā)生和預(yù)后的因素為自變量建立模型。二、Logistic回歸的分類及資料類型：第一節(jié)非條件Logistic回歸分析一、Logistic回歸模型：Logistic回歸模型：exp(-0-iX1，Xp)p二:1-exp(:。丁Xi，-，PpXp)1檢驗(yàn)方法常用WaldX2檢驗(yàn)，無(wú)效假設(shè)H0：0=0。當(dāng)X2大于臨界值時(shí)，拒絕無(wú)效假設(shè)，自變量能進(jìn)入方程。3.Logistic回歸模型的擬合優(yōu)度檢驗(yàn)：Logistic回

2、歸模型的擬合優(yōu)度檢驗(yàn)是通過(guò)比較模型預(yù)測(cè)的與實(shí)際觀測(cè)的事件發(fā)生與不發(fā)生的頻數(shù)有無(wú)差別來(lái)進(jìn)行檢驗(yàn)。如果預(yù)測(cè)的值與實(shí)際觀測(cè)的值越接近，說(shuō)明模型的擬合效果越好。模型的擬合優(yōu)度檢驗(yàn)方法有偏差檢驗(yàn)（Deviance）、皮爾遜（pearson）檢驗(yàn)、統(tǒng)計(jì)量（Homser-Lemeshow）,分別計(jì)算統(tǒng)計(jì)量X2*X2p、X2hl值。統(tǒng)計(jì)量值越小，對(duì)應(yīng)的概率越大。無(wú)效假設(shè)H0：模型的擬合效果好。模型擬合優(yōu)度信息指標(biāo)有：-2lnL、AIC、SG這3個(gè)指標(biāo)越小表示模型擬合的越好。四、Logistic回歸模型的預(yù)測(cè)準(zhǔn)確度：常用的有以下2種：1 .廣義決定系數(shù)R:2.預(yù)測(cè)準(zhǔn)確率:五、回歸系數(shù)的意義：利用參數(shù)和優(yōu)勢(shì)比探討

3、影響因素。當(dāng)Bi=0,優(yōu)勢(shì)比OR=1時(shí)，表示自變量X對(duì)是否出現(xiàn)陽(yáng)性結(jié)果不存在影響；當(dāng)Bi金0,優(yōu)勢(shì)比。守1時(shí)，表示自變量X對(duì)是否出現(xiàn)陽(yáng)性結(jié)果有影響。0i>0,OR增加是危險(xiǎn)因素，0i<0,OR減小是保護(hù)因素。六、Logistic回歸分析方法：從所用的方法看，有強(qiáng)迫法、前進(jìn)法、后退法和逐步法。在這些方法中，篩選變量的過(guò)程與線性回歸過(guò)程的完全一樣。七、Logistic回歸的應(yīng)用：1 .醫(yī)學(xué)中Logistic回歸主要用于篩選疾病的危險(xiǎn)因素或預(yù)后因素，進(jìn)行病因?qū)W分析2 .控制和校正混雜因素。第二節(jié)條件Logistic回歸分析（略）第十三章主成分分析與因子分析第一節(jié)主成分分析1 .概念：主成

4、分分析是從多個(gè)數(shù)值變量(指標(biāo))之間的相互關(guān)系入手，利用降維的思想，將多個(gè)變量(指標(biāo))化為少數(shù)幾個(gè)互不相關(guān)的綜合變量(指標(biāo))的統(tǒng)計(jì)方法。2 .主成分線性模型:Zi=aiiXi+a12X2+,+a1nxmZ2=a2iXi+a22X2+,+a2nxmn=amiXi+amX2+,+annXn主成分分析的基本思想：主成分分析就是設(shè)法將原來(lái)眾多具有一定相關(guān)性的指標(biāo)，重新組合成一組新的相互無(wú)關(guān)的綜合指標(biāo)，來(lái)代替原來(lái)指標(biāo)。通常數(shù)學(xué)上的處理就是將原來(lái)k個(gè)指標(biāo)做線性組合，作為新的綜合指標(biāo)，(即幾個(gè)Zi、Z2,Zm)。如果將第一個(gè)線性組合即第一個(gè)綜合指標(biāo)記為Zi,則希望Zi盡可能多地反映原來(lái)指標(biāo)的信息，這里的方法就

5、是用方差來(lái)表達(dá)，即(Zi)S2Zi方差越大，表示Zi包含的信息越多。因此，在所有的線性組合中所選取的Zi應(yīng)該是方差最大的，故稱Zi為第一主成分。第一主成分不足以代表原來(lái)K個(gè)指標(biāo)的信息時(shí)，再考慮選取乙，Zi已有的信息不需要再出現(xiàn)在乙中。以此類推可以構(gòu)造出第三，四個(gè)主成分，。這些主成分不僅不相關(guān)，而且他們的方差依次遞減。因此在實(shí)際工作中，就挑選前幾個(gè)最大主成分。3 .主成分分析步驟：(i)對(duì)原始指標(biāo)進(jìn)行標(biāo)準(zhǔn)化；(2)求協(xié)方差或相關(guān)矩陣；(3)求出協(xié)方差矩陣的特征根和特征向量；(4)確定主成分，并結(jié)合專業(yè)知識(shí)給各個(gè)主成分的信息給予解釋。4.主成分的性質(zhì)：(i)各主成分互不相關(guān)，兩個(gè)主成分間相關(guān)系數(shù)等

6、于零；(2)各主成分的方差依次遞減；S2Zi>S2Z2>S2Z3,>S2Zn>0(3)總方差保持不變。即各個(gè)原指標(biāo)的方差之和與各主成分的方差之和相4 4)aii2+a22+,+am2=15 .主成分模型中的統(tǒng)計(jì)量：(1)特征根(值)入：表示主成分Z的方差。它是主成分影響力度的指標(biāo),代表某主成分可以解釋平均多少原始變量信息。(2)貢獻(xiàn)率：表示某主成分的方差在全部方差中的比重。貢獻(xiàn)率越大，表示該主成分綜合原變量的能力越強(qiáng)。貢獻(xiàn)率=入/2入(3)累計(jì)貢獻(xiàn)率：表示前幾個(gè)主成分累計(jì)提取原變量多少信息。前幾個(gè)主成分累計(jì)貢獻(xiàn)率越大，表示包含原變量的信息越多。累計(jì)貢獻(xiàn)率=2(入/2入)

7、(4)特征向量(因子載荷、因子負(fù)載)a：實(shí)質(zhì)是公因子F與變量X的相關(guān)系數(shù)，表示變量X依賴因子F的程度，反映變量X對(duì)公因子F的重要性。在主成分分析中，可理解為反映主成分Z與變量X之間的相關(guān)系數(shù)，反映兩者間相關(guān)密切程度。a=r6 .主成分個(gè)數(shù)：(1)以累計(jì)貢獻(xiàn)率確定：大于7080%(2)以特征值確定：大于1則保留。第二節(jié)因子分析1.概念：因子分析是從分析多個(gè)原始指標(biāo)的相關(guān)關(guān)系入手，找出支配這種相關(guān)關(guān)系的有限個(gè)不可觀測(cè)的潛在變量，并用這些潛在變量來(lái)解釋原始指標(biāo)之間相關(guān)性或協(xié)方差關(guān)系。(1)因子線性模型：X=a11F1+a12F2+,+anF#£1X?=a21F1+a22F2+,+a2mFm

8、+£2Xm=am1F1+am2F2+,+amrFm+£m其中：X為變量指標(biāo)。a一為因子載荷。F一為公因子。e一為特殊因子，代表公因子以外的影響因素。(2)因子線性模型特點(diǎn)： 因子線性模型不受量綱的影響； 因子載荷不是唯一的，通過(guò)因子軸旋轉(zhuǎn)，可得到新的因子載荷陣。(3)模型要求： 各X、各公因子F的均數(shù)均為0,方差均為1; 各特殊因子e的均數(shù)為0； 各公因子之間的相關(guān)系數(shù)、各特殊因子之間的相關(guān)系數(shù)、各公因子與各特殊因子之間的相關(guān)系數(shù)均為002 .因子模型中的統(tǒng)計(jì)量：(1)公共度(公因子方差)：h2=2a2,反映全體公因子對(duì)原始指標(biāo)X的影響，或反映原始指標(biāo)X對(duì)全體公因子的依賴程

9、度，表示各變量中原始信息被公因子表示的程度。公共度取值范圍在0和1之間，當(dāng)公共度接近0時(shí)，表示原始指標(biāo)X受公因子的影響不大。(2)KMO僉驗(yàn)：用于檢驗(yàn)變量間的偏相關(guān)性，取值范圍在0和1之間，當(dāng)統(tǒng)計(jì)量越接近1時(shí)，變量的間偏相關(guān)性越強(qiáng)，因子分析效果越好。(3)因子旋轉(zhuǎn)：因子旋轉(zhuǎn)的目的是使某些變量在某個(gè)因子上的負(fù)載較高，而在其它因子上的負(fù)載則顯著的低，這事實(shí)上是依據(jù)因子對(duì)變量進(jìn)行更好的“聚類”。為使因子載荷矩陣中系數(shù)更加明顯，對(duì)初始因子載荷矩陣進(jìn)行旋轉(zhuǎn)，使得因子和原始變量間的關(guān)系重新分配，相關(guān)系數(shù)向0-1分化，使得各因子的意義更加明顯。正交旋轉(zhuǎn)(orthogonalrotation)和斜交旋轉(zhuǎn)(ob

10、liquerotation)是因子旋轉(zhuǎn)的兩類方法。3 .計(jì)算并檢驗(yàn)協(xié)方差(相關(guān))矩陣因子分析基于變量間的協(xié)方差矩陣。換言之，包含在因子分析中的變量必須具有一定的相關(guān)性，如果變量間不存在相關(guān)，或者相關(guān)性很小，那么因子分析將不是一種合適的分析方法。檢驗(yàn)方法：巴特利特球體檢驗(yàn)和KMOffl度。巴特利特球體檢驗(yàn)(Bartlett'stestofsphericity)可以用來(lái)檢驗(yàn)變量問(wèn)是否存在相關(guān)。它是一種建立在協(xié)方差陣是單位陣(即變量間不相關(guān))的假設(shè)基礎(chǔ)之上的檢驗(yàn)。一個(gè)大的檢驗(yàn)值通常意味著檢驗(yàn)結(jié)果的顯著性，因此可以拒絕原假設(shè)，可以進(jìn)行因子分析，否則應(yīng)該慎重考慮。KMOW度(Kaiser-Mey

11、er-Olkinmeasureofsamplingadequacy)，它比較了觀測(cè)到的變量間的相關(guān)系數(shù)和偏相關(guān)系數(shù)的大小。一個(gè)大的KMOW度值同樣支持我們進(jìn)行因子分析。一般而言，KMO»度0.5意味著因子分析可以進(jìn)行，而在0.7以上則是令人滿意的值。4 .選擇因子分析的方法(methodoffactoranalysis)主成分分析法(principalcomponentanalysis)和公因子分析法(commonfactoranalysis)是兩種主要的尋找公因子的方法。5 .各公因子的表達(dá)式:Fi=aiiXi+a12X2+,+a1rxmF2=a2iXi+a22X2+,+a2nxm

12、Fm=amX+am%+,+ammXm步計(jì)算因子得分：如果后續(xù)分析需要，如進(jìn)行回歸分析等等，通常需要進(jìn)各公因子的因子得分。即給出各因子在每一個(gè)案例(case)上的值。6 .模型的適合度：因子分析的最后，應(yīng)該對(duì)構(gòu)建的模型是否適合問(wèn)題本身有一個(gè)認(rèn)識(shí)，這就涉及到模型的適合度的判斷。這種判斷常?；跉埐罹仃嚩M(jìn)行。因子模型建立，有了因子負(fù)載后，我們就可以計(jì)算的觀測(cè)變量的方差-協(xié)方差陣，這種由公因子再生的方差-協(xié)方差陣(reproducecorrelationmatrix)與實(shí)際觀測(cè)到的方差-協(xié)方差陣(observedcorrelationmatrix)之間的偏差，即殘差矩陣(residualsmatri

13、x)是我們判斷模型適合度的重要依據(jù)。如果殘差矩陣中的值都比較大，那么我們有理由認(rèn)為模型并不是很適合；反之如果殘差矩陣接近于零矩陣，那么顯然公因子可以很好的解釋變量的方差-協(xié)方差關(guān)系，模型是合適的。1-exp-(-0-iXi-,pXp)171-；7；+玉；大；71-elogit(P)=ln(p)=B0+B1X1+,+Pnxn1-p二、回歸系數(shù)的估計(jì)(參數(shù)估計(jì))：回歸模型的參數(shù)估計(jì)：Logistic回歸模型的參數(shù)估計(jì)通常利用最大似然估計(jì)法。三、假設(shè)檢驗(yàn)：1.Logistic回歸方程的檢驗(yàn)：檢驗(yàn)?zāi)Ｐ椭兴凶宰兞空w來(lái)看是否與所研究事件的對(duì)數(shù)優(yōu)勢(shì)比存在線性關(guān)系，也即方程是否成立。檢驗(yàn)的方法有似然比檢驗(yàn)、比分檢驗(yàn)(scoretest)和Wald檢驗(yàn)(waldtest)。上述三種方法中，似然比檢驗(yàn)最可靠。似然比檢驗(yàn)(likehoodratiotest):通過(guò)比較包含與不包含某一個(gè)或幾個(gè)待檢驗(yàn)