對(duì)數(shù)線性模型課件

對(duì)數(shù)線性回歸多元社會(huì)統(tǒng)計(jì)分析6/30/20231一、對(duì)數(shù)線性模型簡(jiǎn)介1、對(duì)數(shù)線性模型基本思想

對(duì)數(shù)線性模型分析是把列聯(lián)表資料的網(wǎng)格頻數(shù)的對(duì)數(shù)表示為各變量及其交互效應(yīng)的線性模型，然后運(yùn)用類似方差分析的基本思想，以及邏輯變換來檢驗(yàn)各變量及其交互效應(yīng)的作用大小

6/30/20232區(qū)別

方法列聯(lián)表邏輯回歸對(duì)數(shù)線性模型作用分析定類變量和定類變量之間有無關(guān)系分析尺度變量（也可引入類別變量）與二分類別變量之間的因果關(guān)系綜合運(yùn)用方差分析和邏輯回歸中的建模方法，應(yīng)用于純粹定類變量之間，系統(tǒng)評(píng)價(jià)各變量間關(guān)系和交互作用大小的多元統(tǒng)計(jì)方法優(yōu)缺點(diǎn)

不需要確定因變量和自變量。但是，卡方檢驗(yàn)對(duì)三維和三維以上列聯(lián)表資料的分析有一定困難，即對(duì)混雜變量的控制較難

解決了對(duì)混雜變量的控制的問題，而且，它能將因變量與自變量的關(guān)系用模型表示出來，清晰易理解。

但是，當(dāng)模型中自變量較多，特別是名義變量較多，或名義變量的類別較多時(shí)，分析自變量之間的交互效應(yīng)就很繁雜，可能需要建立很多啞變量

可以直接分析各種類型的分類變量，對(duì)于名義變量，也不需要事先建立啞變量，可以直接分析變量的主效應(yīng)和交互效應(yīng)。對(duì)數(shù)線性模型不僅可以解決卡方分析中常遇到的高維列聯(lián)表的“壓縮”問題，又可以解決logistic回歸分析中多個(gè)自變量的交互效應(yīng)問題

6/30/202332、列聯(lián)表的四種類型雙向無序列聯(lián)表；單向有序列聯(lián)表；雙向有序且屬性不同的列聯(lián)表；雙向有序且屬性相同的列聯(lián)表6/30/202343、列聯(lián)表的優(yōu)勢(shì)約束條件少清晰可以快速準(zhǔn)確進(jìn)行判斷6/30/202354、列聯(lián)表的劣勢(shì)：對(duì)于多關(guān)系變量（兩個(gè)以上）研究：不能被清晰解讀失去了對(duì)多變量之間的交互聯(lián)系的分析進(jìn)行兩變量間關(guān)聯(lián)分析時(shí)缺乏統(tǒng)計(jì)控制不能準(zhǔn)確定量描述一個(gè)變量對(duì)另一個(gè)變量的作用幅度6/30/202365、對(duì)數(shù)線性模型：多維度列聯(lián)表解決之道，以及模型自身特點(diǎn)

通過數(shù)學(xué)方法（方差分析+邏輯變換）來描述多元頻數(shù)分布。

綜合性：同時(shí)囊括多個(gè)變量于一個(gè)模型之中。

控制性：可以在控制其他變量的條件下研究?jī)蓚€(gè)分類變量之間的關(guān)聯(lián)。

飽和性：將多元頻數(shù)分布分解成具體的各項(xiàng)主效應(yīng)和各項(xiàng)交互效應(yīng)，以及高階效應(yīng)，不會(huì)漏項(xiàng)。（飽和模型與不飽和模型）定量性：以發(fā)生比的形式來表示自變量的類型不同反映在因變量頻數(shù)分布上的差異。

可檢驗(yàn)性：不僅可以對(duì)所有參數(shù)估計(jì)進(jìn)行檢驗(yàn)，使抽樣數(shù)據(jù)可以推論總體，且能夠通過不同模型的統(tǒng)計(jì)檢驗(yàn)結(jié)果，對(duì)備選模型進(jìn)行篩選和評(píng)價(jià)，進(jìn)而確定具有最大解釋能力且最簡(jiǎn)單的模型。消除抽樣波動(dòng)所帶來的明顯的不規(guī)則性6/30/202376、對(duì)數(shù)線性模型的缺點(diǎn)

對(duì)數(shù)線性模型更強(qiáng)調(diào)的是變量之間的交互效應(yīng)，它不能直接將因變量用自變量的函數(shù)表示出來。對(duì)數(shù)線性模型抽象復(fù)雜，特別是高維模型，不如線性回歸模型易理解6/30/20238二、對(duì)數(shù)線性模型的基本原理1、與方差分析相關(guān)的

在多元方差分析中，以二元方差為例：每一個(gè)觀測(cè)值yij=μ+Ai的效果+Bj的效果+(AB)ij交互作用+?ij

6/30/202392、比數(shù)比

比數(shù)比是對(duì)數(shù)線性模型的基礎(chǔ)，而比數(shù)比又是由比數(shù)計(jì)算而來。那么什么叫做比數(shù)呢？比數(shù)是一個(gè)事件發(fā)生的概率與其不發(fā)生概率之比,測(cè)量了一個(gè)事件發(fā)生的可能性。這個(gè)數(shù)值越高說明結(jié)果2相對(duì)于結(jié)果1發(fā)生的可能性就越高。

6/30/202310Fij代表某模型fij的期望值，令πij代表與單元格（i,j）有關(guān)的期望概率上表可轉(zhuǎn)化為6/30/2023116/30/202312?1=π12/π11?2=π22/π21同理我們可以測(cè)量?jī)蓚€(gè)兩個(gè)類別間的比值，稱作比數(shù)比。?=?1/?2=π22π21/π12π21=F11F22/F12F21

一個(gè)大于1的比數(shù)比意味著行變量和列變量的第二個(gè)（或者第一個(gè)）存在正相關(guān)；等于1無關(guān)；小于1負(fù)相關(guān)。

6/30/202313比數(shù)比的不變性，不隨1）總樣本量2）行邊緣分布3）列邊緣分布的變化而變化。所以，只要關(guān)心比數(shù)比的估值，那么適用于簡(jiǎn)單隨機(jī)樣本的最大似然估計(jì)就可以被直接應(yīng)用到分層樣本中了。6/30/2023143、與邏輯變換有關(guān)的：對(duì)數(shù)線性模型的出現(xiàn)令R表示行，C表示列，fij表示第i行第j列的觀測(cè)頻次。那么期望頻次Fij被設(shè)定為一個(gè)乘積的函數(shù)Fij=??Ri?Cj?RCij?代表概率里面的總概率值1，?R和?C分別代表R和C的邊緣效應(yīng)，?RC代表R與C的二維交互效應(yīng)，而交互效應(yīng)實(shí)質(zhì)上測(cè)量的就是R與C之間的比數(shù)比，當(dāng)?RCij=1的時(shí)候就是我們熟悉的獨(dú)立模型。相乘形式的不好計(jì)算，我們將其取對(duì)數(shù)6/30/202315上兩式的數(shù)學(xué)變換使各種效應(yīng)項(xiàng)相乘的關(guān)系被轉(zhuǎn)換成相加的關(guān)系，使各項(xiàng)效應(yīng)獨(dú)立化了。

常數(shù)效應(yīng)；

A因素效應(yīng)；B因素效應(yīng)；（主效應(yīng)）A、B兩因素的交互效應(yīng)；6/30/202316主效應(yīng)和多元交互列表涉及因素?cái)?shù)量相等；交互效應(yīng)的總數(shù)則為所有因素各階組合數(shù)之和。對(duì)數(shù)線性模型有一個(gè)限制條件：模型中每一項(xiàng)效應(yīng)的各類參數(shù)之和等于0；如果每項(xiàng)效應(yīng)中只有一類的參數(shù)未知，那么可以由已知參數(shù)推算出來。6/30/202317通過上組式子，我們可以計(jì)算出線性模型等式右側(cè)的所有參數(shù)值。A因素效應(yīng)是行平均值與總平均值之差B因素效應(yīng)是列平均值與總平均值之差交互效應(yīng)計(jì)算結(jié)果表示在除去所有其他分布效應(yīng)之后兩個(gè)因素之間的凈關(guān)聯(lián)。

6/30/202318常數(shù)項(xiàng)只受樣本規(guī)模和交互單元數(shù)的影響；主效應(yīng)項(xiàng)反映的是各因素內(nèi)部類別頻數(shù)分布的特征，是在總平均頻數(shù)基礎(chǔ)上的“補(bǔ)差”；如果模型中所有交互效應(yīng)都等于0，我們將會(huì)看到雖然每行（列）頻數(shù)不同，但行（列）頻數(shù)分布比例卻是相同的，都等于原來分類變量的類別分布比例。6/30/202319泊松分布多項(xiàng)分布乘積-多項(xiàng)分布所以我們不能直接應(yīng)用最小二乘法對(duì)模型、總體、參數(shù)進(jìn)行估計(jì)，但幸運(yùn)的是，三個(gè)抽樣模型下的極大似然估計(jì)是等同的。但是可以通過迭代再加權(quán)最小二乘法，可是運(yùn)算起來比較繁瑣。

4、分布6/30/2023205、估計(jì)參數(shù)估計(jì)通俗的來講：根據(jù)抽樣結(jié)果來合理地、科學(xué)的猜測(cè)一下總體的參數(shù)大概是什么？或者是在什么范圍？點(diǎn)估計(jì)就是用樣本計(jì)算出來的一個(gè)參數(shù)來估計(jì)未知參數(shù)；區(qū)間估計(jì)就是通過樣本計(jì)算出來一個(gè)范圍來對(duì)位置參數(shù)進(jìn)行估計(jì)。6/30/202321極大似然法與最小二乘法的區(qū)別于聯(lián)系最小二乘法所要解決的問題是：為了選出似的模型輸出與系統(tǒng)輸出盡可能接近的參數(shù)估計(jì)，用誤差平方和即離差平方和的大小來表示接近程度。使離差平方和最小的參數(shù)值即為估計(jì)值。簡(jiǎn)單來說，已知點(diǎn)，自己擬合模型也即分布函數(shù)（概率密度函數(shù)的積分），進(jìn)行預(yù)測(cè)。

極大似然估計(jì)所要解決的問題是：選擇參數(shù)?，使已知數(shù)據(jù)在某種意義下最可能出現(xiàn)。某種意義指的是似然函數(shù)最大，此處似然函數(shù)就是概率密度函數(shù)。也就是經(jīng)常提到的“模型已知，參數(shù)未定”。

6/30/202322二者的區(qū)別就是，后者需要知道概率密度函數(shù)。最小二乘法要的是求出最優(yōu)的那個(gè)參數(shù)，而極大似然要求出概率最大（最可能出現(xiàn)的）參數(shù)。舉個(gè)例子，生活中我們一個(gè)著眼最合理是哪一個(gè)，一個(gè)著眼于最可能的是哪一個(gè)（極大似然法）當(dāng)總體服從正態(tài)分布時(shí)，二者是一樣的。對(duì)于最小二乘法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得模型能最好地?cái)M合樣本數(shù)據(jù)；而對(duì)于最大似然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該是使得從模型中抽取該n組樣本觀測(cè)值的概率最大。6/30/202323密度函數(shù)和似然函數(shù)（帶著參數(shù)的密度函數(shù)）是相同的，但前者視參數(shù)是固定的且數(shù)據(jù)時(shí)變化的，后者視參數(shù)變化的且數(shù)據(jù)時(shí)固定的。（1）

寫出似然函數(shù)；

（2）

對(duì)似然函數(shù)取對(duì)數(shù)，并整理；

（3）

求導(dǎo)數(shù)

；

（4）

解似然方程6/30/202324三、對(duì)數(shù)線性模型的假設(shè)檢驗(yàn)1、假設(shè)檢驗(yàn)的作用統(tǒng)計(jì)推論中包括參數(shù)估計(jì)與假設(shè)檢驗(yàn)兩部分，上面我們已經(jīng)介紹了參數(shù)估計(jì)，那估計(jì)的可信度有多少，還要經(jīng)過假設(shè)檢驗(yàn)。不經(jīng)過統(tǒng)計(jì)檢驗(yàn)，研究者便不能肯定得到的參數(shù)估計(jì)是不是僅僅源于抽樣誤差，因而不能肯定在總體中是否存在相同情況。所有結(jié)論只能限于這個(gè)樣本之內(nèi)，不能肯定再抽一個(gè)樣本能否得到類似結(jié)果。6/30/2023252、統(tǒng)計(jì)量似然卡方比，根據(jù)相關(guān)計(jì)算，看原假設(shè)是否成立。貝葉斯信息標(biāo)準(zhǔn)，不同模型而言越小的BIC越好。

6/30/2023263、對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)四種主要檢驗(yàn)：1、對(duì)于假設(shè)模型的整體檢驗(yàn)；2、分層效應(yīng)的檢驗(yàn)；3、單項(xiàng)效應(yīng)的檢驗(yàn)；4、單個(gè)參數(shù)估計(jì)的檢驗(yàn)。6/30/202327對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)1、對(duì)于假設(shè)模型的整體檢驗(yàn)采用似然比卡方檢驗(yàn)（likelihood-ratiochi-squaretest，標(biāo)為L(zhǎng)2）在樣本量較大時(shí)，L2與皮爾遜卡方統(tǒng)計(jì)量的值十分接近。L2優(yōu)越性： 1、期望頻數(shù)采用似然估計(jì)方法，因而更加穩(wěn)??； 2、可以被分解成若干部分，即各項(xiàng)效應(yīng)都有對(duì)應(yīng)的似然卡方值，并且它們的似然卡方值之和等于整個(gè)模型的似然卡方比值。6/30/202328對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)公式：

其中為估計(jì)交互頻數(shù)。原假設(shè)：檢驗(yàn)?zāi)Ｐ偷念l數(shù)估計(jì)與觀測(cè)頻數(shù)無差異，也可以理解為檢驗(yàn)?zāi)Ｐ秃惋柡湍Ｐ蜔o差異。（無關(guān)假設(shè)）6/30/202329對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)飽和對(duì)數(shù)線性模型可以完美無缺的再現(xiàn)觀測(cè)頻數(shù)，因此不需要對(duì)飽和模型進(jìn)行整體性檢驗(yàn)。DF等于0，意味著所檢驗(yàn)的模型與飽和模型之間的效應(yīng)項(xiàng)目沒有差別。

6/30/202330對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)真正有意義的是檢驗(yàn)非飽和模型（簡(jiǎn)略模型，reducedmodel）如果簡(jiǎn)略模型仍然可以比較準(zhǔn)確的擬合觀測(cè)數(shù)據(jù)（其擬合程度與飽和模型無顯著差異），說明剔除的效應(yīng)對(duì)于擬合意義不大。（科學(xué)的簡(jiǎn)約性原則）研究目的：不是為了再現(xiàn)觀測(cè)頻數(shù)，而是通過在模型中加入和減少交互效應(yīng)項(xiàng)的試驗(yàn)，以尋求真正重要的因素。從飽和模型開始逐步剔除不重要的交互效應(yīng)項(xiàng)，在保證擬合程度不受較大影響的前提下，直到形成效應(yīng)項(xiàng)最少的模型。（找到最關(guān)鍵因素）6/30/202331對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)舉例說明：由圖可知，自由度變?yōu)?，L2由0增大到10.284，顯著性水平α為0.01（P）（拒絕原假設(shè)），說明簡(jiǎn)略模型和飽和模型存在十分顯著的差異，即擬合程度受到很大影響。顯著=不能剔除該交互因素在因素很多的復(fù)雜飽和模型中，通過此方法刪減多個(gè)不顯著效應(yīng)項(xiàng)來形成簡(jiǎn)略模型。6/30/202332對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)整體檢驗(yàn)的不足之處：

整體檢驗(yàn)顯著只能說明撤銷的效應(yīng)項(xiàng)中起碼有一項(xiàng)是有顯著作用的，但不能確定是哪一項(xiàng)顯著。所以，整體檢驗(yàn)在實(shí)際對(duì)數(shù)線性模型分析中，主要服務(wù)于整個(gè)檢驗(yàn)?zāi)Ｐ偷臋z驗(yàn)情況，而確定各項(xiàng)效應(yīng)時(shí)則是通過單項(xiàng)效應(yīng)的檢驗(yàn)。

且，對(duì)于一個(gè)多階多項(xiàng)效應(yīng)的復(fù)雜模型，采用整體檢驗(yàn)方式就意味著逐項(xiàng)效應(yīng)的剔除測(cè)試，這樣分析過程效率太低。6/30/202333對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)2、分層效應(yīng)檢驗(yàn)當(dāng)研究中涉及的因素較多時(shí)，不僅主效應(yīng)項(xiàng)會(huì)增加，交互效應(yīng)項(xiàng)增加得更快。例如，四個(gè)因素的模型，主效應(yīng)4個(gè)，二階交互效應(yīng)6項(xiàng)，三階交互效應(yīng)4項(xiàng)，四階交互效應(yīng)1項(xiàng)。如此，逐項(xiàng)檢驗(yàn)篩選重要目標(biāo)就太繁瑣了。且，在一般情況下，高階交互效應(yīng)不太容易顯著。因此采用按階次集體檢驗(yàn)交互效應(yīng)項(xiàng)的方法十分間接有效。6/30/202334對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)分層效應(yīng)檢驗(yàn)有兩種：一、某一階及更高階所有交互效應(yīng)項(xiàng)的集體檢驗(yàn)，它的檢驗(yàn)是否顯著表明這一階及以上各階中是否至少有一項(xiàng)是重要的；二、某一階所有交互效應(yīng)的集體檢驗(yàn)，它的檢驗(yàn)是否顯著表明這一階所有交互效應(yīng)中是否至少有一項(xiàng)是重要的。前者檢驗(yàn)比后者綜合性更強(qiáng)。6/30/202335對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)案例

二階以上(簡(jiǎn)略模型)一階以上一階二階6/30/202336對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)分層檢驗(yàn)提供了模型L2的分解。第一種分層檢驗(yàn)中，一階及以上所有效應(yīng)都從模型中刪除，就會(huì)使簡(jiǎn)略模型的L2增加到13.142，而第二種分層檢驗(yàn)告訴我們，這個(gè)L2的增量是一階效應(yīng)L22.858與二階效應(yīng)L210.284之和。6/30/202337對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)分層效應(yīng)檢驗(yàn)的不足：

整體檢驗(yàn)或分層檢驗(yàn)的結(jié)果只能說明所有效應(yīng)中或某一組效應(yīng)中至少有一項(xiàng)效應(yīng)具有顯著重要影響。但并不能明確知道究竟是哪一項(xiàng)顯著。

為了了解到底是哪些具體項(xiàng)目顯著，還需要采用單項(xiàng)效應(yīng)的單獨(dú)檢驗(yàn)。6/30/202338對(duì)數(shù)線性模型的統(tǒng)計(jì)檢驗(yàn)3、單項(xiàng)效應(yīng)的檢驗(yàn)SPSS的單項(xiàng)效應(yīng)檢驗(yàn)只是在分層模型中對(duì)飽和