對(duì)數(shù)線(xiàn)性模型.ppt

1、對(duì)數(shù)線(xiàn)性回歸,多元社會(huì)統(tǒng)計(jì)分析,一、對(duì)數(shù)線(xiàn)性模型簡(jiǎn)介,1、對(duì)數(shù)線(xiàn)性模型基本思想 對(duì)數(shù)線(xiàn)性模型分析是把列聯(lián)表資料的網(wǎng)格頻數(shù)的對(duì)數(shù)表示為各變量及其交互效應(yīng)的線(xiàn)性模型，然后運(yùn)用類(lèi)似方差分析的基本思想，以及邏輯變換來(lái)檢驗(yàn)各變量及其交互效應(yīng)的作用大小,2、列聯(lián)表的四種類(lèi)型,雙向無(wú)序列聯(lián)表； 單向有序列聯(lián)表； 雙向有序且屬性不同的列聯(lián)表； 雙向有序且屬性相同的列聯(lián)表,3、列聯(lián)表的優(yōu)勢(shì),約束條件少 清晰 可以快速準(zhǔn)確進(jìn)行判斷,4、列聯(lián)表的劣勢(shì)：對(duì)于多關(guān)系變量（兩個(gè)以上）研究：不能被清晰解讀,失去了對(duì)多變量之間的交互聯(lián)系的分析 進(jìn)行兩變量間關(guān)聯(lián)分析時(shí)缺乏統(tǒng)計(jì)控制 不能準(zhǔn)確定量描述一個(gè)變量對(duì)另一個(gè)變量的作用幅度

2、,5、對(duì)數(shù)線(xiàn)性模型：多維度列聯(lián)表解決之道，以及模型自身特點(diǎn),通過(guò)數(shù)學(xué)方法（方差分析+邏輯變換）來(lái)描述多元頻數(shù)分布。 綜合性：同時(shí)囊括多個(gè)變量于一個(gè)模型之中。 控制性：可以在控制其他變量的條件下研究?jī)蓚€(gè)分類(lèi)變量之間的關(guān)聯(lián)。 飽和性：將多元頻數(shù)分布分解成具體的各項(xiàng)主效應(yīng)和各項(xiàng)交互效應(yīng)，以及高階效應(yīng)，不會(huì)漏項(xiàng)。（飽和模型與不飽和模型） 定量性：以發(fā)生比的形式來(lái)表示自變量的類(lèi)型不同反映在因變量頻數(shù)分布上的差異。 可檢驗(yàn)性：不僅可以對(duì)所有參數(shù)估計(jì)進(jìn)行檢驗(yàn)，使抽樣數(shù)據(jù)可以推論總體，且能夠通過(guò)不同模型的統(tǒng)計(jì)檢驗(yàn)結(jié)果，對(duì)備選模型進(jìn)行篩選和評(píng)價(jià)，進(jìn)而確定具有最大解釋能力且最簡(jiǎn)單的模型。 消除抽樣波動(dòng)所帶來(lái)的明顯

3、的不規(guī)則性,6、對(duì)數(shù)線(xiàn)性模型的缺點(diǎn),對(duì)數(shù)線(xiàn)性模型更強(qiáng)調(diào)的是變量之間的交互效應(yīng)，它不能直接將因變量用自變量的函數(shù)表示出來(lái)。 對(duì)數(shù)線(xiàn)性模型抽象復(fù)雜，特別是高維模型，不如線(xiàn)性回歸模型易理解,二、對(duì)數(shù)線(xiàn)性模型的基本原理,1、與方差分析相關(guān)的 在多元方差分析中，以二元方差為例：每一個(gè)觀測(cè)值yij=+Ai的效果+Bj的效果+(AB)ij交互作用+ij,2、比數(shù)比,比數(shù)比是對(duì)數(shù)線(xiàn)性模型的基礎(chǔ)，而比數(shù)比又是由比數(shù)計(jì)算而來(lái)。那么什么叫做比數(shù)呢？比數(shù)是一個(gè)事件發(fā)生的概率與其不發(fā)生概率之比,測(cè)量了一個(gè)事件發(fā)生的可能性。這個(gè)數(shù)值越高說(shuō)明結(jié)果2相對(duì)于結(jié)果1發(fā)生的可能性就越高。,Fij代表某模型fij的期望值，令ij 代

4、表與單元格（i , j）有關(guān)的期望概率 上表可轉(zhuǎn)化為,1=12/11 2=22/21 同理我們可以測(cè)量?jī)蓚€(gè)兩個(gè)類(lèi)別間的比值，稱(chēng)作比數(shù)比。 = 1/ 2=2221/1221=F11 F22/ F12 F21 一個(gè)大于1的比數(shù)比意味著行變量和列變量的第二個(gè)（或者第一個(gè)）存在正相關(guān)；等于1無(wú)關(guān)；小于1負(fù)相關(guān)。,比數(shù)比的不變性，不隨1）總樣本量2）行邊緣分布3）列邊緣分布的變化而變化。所以，只要關(guān)心比數(shù)比的估值，那么適用于簡(jiǎn)單隨機(jī)樣本的最大似然估計(jì)就可以被直接應(yīng)用到分層樣本中了。,3、與邏輯變換有關(guān)的：對(duì)數(shù)線(xiàn)性模型的出現(xiàn),令R表示行，C表示列，fij表示第i行第j列的觀測(cè)頻次。那么期望頻次Fij被設(shè)定

5、為一個(gè)乘積的函數(shù) Fij=RiCjRCij 代表概率里面的總概率值1，R 和C分別代表R和C的邊緣效應(yīng)，RC代表R與C的二維交互效應(yīng)，而交互效應(yīng)實(shí)質(zhì)上測(cè)量的就是R與C之間的比數(shù)比，當(dāng)RCij=1的時(shí)候就是我們熟悉的獨(dú)立模型。 相乘形式的不好計(jì)算，我們將其取對(duì)數(shù),上兩式的數(shù)學(xué)變換使各種效應(yīng)項(xiàng)相乘的關(guān)系被轉(zhuǎn)換成相加的關(guān)系，使各項(xiàng)效應(yīng)獨(dú)立化了。 常數(shù)效應(yīng)； A因素效應(yīng)； B因素效應(yīng)；（主效應(yīng)） A、B兩因素的交互效應(yīng)；,主效應(yīng)和多元交互列表涉及因素?cái)?shù)量相等； 交互效應(yīng)的總數(shù)則為所有因素各階組合數(shù)之和。 對(duì)數(shù)線(xiàn)性模型有一個(gè)限制條件： 模型中每一項(xiàng)效應(yīng)的各類(lèi)參數(shù)之和等于0； 如果每項(xiàng)效應(yīng)中只有一類(lèi)的參數(shù)

6、未知，那么可以由已知參數(shù)推算出來(lái)。,通過(guò)上組式子，我們可以計(jì)算出線(xiàn)性模型等式右側(cè)的所有參數(shù)值。 A因素效應(yīng)是行平均值與總平均值之差 B因素效應(yīng)是列平均值與總平均值之差 交互效應(yīng)計(jì)算結(jié)果表示在除去所有其他分布效應(yīng)之后兩個(gè)因素之間的凈關(guān)聯(lián)。,常數(shù)項(xiàng)只受樣本規(guī)模和交互單元數(shù)的影響； 主效應(yīng)項(xiàng)反映的是各因素內(nèi)部類(lèi)別頻數(shù)分布的特征，是在總平均頻數(shù)基礎(chǔ)上的“補(bǔ)差”； 如果模型中所有交互效應(yīng)都等于0，我們將會(huì)看到雖然每行（列）頻數(shù)不同，但行（列）頻數(shù)分布比例卻是相同的，都等于原來(lái)分類(lèi)變量的類(lèi)別分布比例。,泊松分布 多項(xiàng)分布 乘積-多項(xiàng)分布 所以我們不能直接應(yīng)用最小二乘法對(duì)模型、總體、參數(shù)進(jìn)行估計(jì)，但幸運(yùn)的是

7、，三個(gè)抽樣模型下的極大似然估計(jì)是等同的。但是可以通過(guò)迭代再加權(quán)最小二乘法，可是運(yùn)算起來(lái)比較繁瑣。,4、分布,5、估計(jì),參數(shù)估計(jì)通俗的來(lái)講：根據(jù)抽樣結(jié)果來(lái)合理地、科學(xué)的猜測(cè)一下總體的參數(shù)大概是什么？或者是在什么范圍？點(diǎn)估計(jì)就是用樣本計(jì)算出來(lái)的一個(gè)參數(shù)來(lái)估計(jì)未知參數(shù)；區(qū)間估計(jì)就是通過(guò)樣本計(jì)算出來(lái)一個(gè)范圍來(lái)對(duì)位置參數(shù)進(jìn)行估計(jì)。,極大似然法與最小二乘法的區(qū)別于聯(lián)系,最小二乘法所要解決的問(wèn)題是：為了選出似的模型輸出與系統(tǒng)輸出盡可能接近的參數(shù)估計(jì)，用誤差平方和即離差平方和的大小來(lái)表示接近程度。使離差平方和最小的參數(shù)值即為估計(jì)值。簡(jiǎn)單來(lái)說(shuō)，已知點(diǎn)，自己擬合模型也即分布函數(shù)（概率密度函數(shù)的積分），進(jìn)行預(yù)測(cè)。

8、極大似然估計(jì)所要解決的問(wèn)題是：選擇參數(shù)，使已知數(shù)據(jù)在某種意義下最可能出現(xiàn)。某種意義指的是似然函數(shù)最大，此處似然函數(shù)就是概率密度函數(shù)。也就是經(jīng)常提到的“模型已知，參數(shù)未定”。,二者的區(qū)別就是，后者需要知道概率密度函數(shù)。最小二乘法要的是求出最優(yōu)的那個(gè)參數(shù)，而極大似然要求出概率最大（最可能出現(xiàn)的）參數(shù)。舉個(gè)例子，生活中我們一個(gè)著眼最合理是哪一個(gè)，一個(gè)著眼于最可能的是哪一個(gè)（極大似然法）當(dāng)總體服從正態(tài)分布時(shí)，二者是一樣的。 對(duì)于最小二乘法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量應(yīng)該使得模型能最好地?cái)M合樣本數(shù)據(jù)；而對(duì)于最大似然法，當(dāng)從模型總體隨機(jī)抽取n組樣本觀測(cè)值后，最合理的參數(shù)估計(jì)量

9、應(yīng)該是使得從模型中抽取該n組樣本觀測(cè)值的概率最大。,密度函數(shù)和似然函數(shù)（帶著參數(shù)的密度函數(shù)）是相同的，但前者視參數(shù)是固定的且數(shù)據(jù)時(shí)變化的，后者視參數(shù)變化的且數(shù)據(jù)時(shí)固定的。 （1） 寫(xiě)出似然函數(shù)； （2） 對(duì)似然函數(shù)取對(duì)數(shù)，并整理； （3） 求導(dǎo)數(shù) ； （4） 解似然方程,三、對(duì)數(shù)線(xiàn)性模型的假設(shè)檢驗(yàn),1、假設(shè)檢驗(yàn)的作用 統(tǒng)計(jì)推論中包括參數(shù)估計(jì)與假設(shè)檢驗(yàn)兩部分，上面我們已經(jīng)介紹了參數(shù)估計(jì)，那估計(jì)的可信度有多少，還要經(jīng)過(guò)假設(shè)檢驗(yàn)。不經(jīng)過(guò)統(tǒng)計(jì)檢驗(yàn)，研究者便不能肯定得到的參數(shù)估計(jì)是不是僅僅源于抽樣誤差，因而不能肯定在總體中是否存在相同情況。所有結(jié)論只能限于這個(gè)樣本之內(nèi)，不能肯定再抽一個(gè)樣本能否得到類(lèi)似結(jié)

10、果。,2、統(tǒng)計(jì)量,似然卡方比，根據(jù)相關(guān)計(jì)算，看原假設(shè)是否成立。 貝葉斯信息標(biāo)準(zhǔn)，不同模型而言越小的BIC越好。,3、對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),四種主要檢驗(yàn)： 1、對(duì)于假設(shè)模型的整體檢驗(yàn)； 2、分層效應(yīng)的檢驗(yàn)； 3、單項(xiàng)效應(yīng)的檢驗(yàn)； 4、單個(gè)參數(shù)估計(jì)的檢驗(yàn)。,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),1、對(duì)于假設(shè)模型的整體檢驗(yàn) 采用似然比卡方檢驗(yàn)（likelihood-ratio chi-square test，標(biāo)為L(zhǎng)2） 在樣本量較大時(shí)， L2與皮爾遜卡方統(tǒng)計(jì)量的值十分接近。 L2優(yōu)越性： 1、期望頻數(shù)采用似然估計(jì)方法，因而更加穩(wěn)?。?2、可以被分解成若干部分，即各項(xiàng)效應(yīng)都有對(duì)應(yīng)的似然卡方值，并且它們的似然卡方值

11、之和等于整個(gè)模型的似然卡方比值。,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),公式： 其中 為估計(jì)交互頻數(shù)。 原假設(shè)：檢驗(yàn)?zāi)Ｐ偷念l數(shù)估計(jì)與觀測(cè)頻數(shù)無(wú)差異，也可以理解為檢驗(yàn)?zāi)Ｐ秃惋柡湍Ｐ蜔o(wú)差異。（無(wú)關(guān)假設(shè)）,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),飽和對(duì)數(shù)線(xiàn)性模型可以完美無(wú)缺的再現(xiàn)觀測(cè)頻數(shù)，因此不需要對(duì)飽和模型進(jìn)行整體性檢驗(yàn)。 DF等于0，意味著所檢驗(yàn)的模型與飽和模型之間的效應(yīng)項(xiàng)目沒(méi)有差別。,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),真正有意義的是檢驗(yàn)非飽和模型（簡(jiǎn)略模型，reduced model） 如果簡(jiǎn)略模型仍然可以比較準(zhǔn)確的擬合觀測(cè)數(shù)據(jù)（其擬合程度與飽和模型無(wú)顯著差異），說(shuō)明剔除的效應(yīng)對(duì)于擬合意義不大。（科學(xué)的簡(jiǎn)約性原則） 研究目的：不是為

12、了再現(xiàn)觀測(cè)頻數(shù)，而是通過(guò)在模型中加入和減少交互效應(yīng)項(xiàng)的試驗(yàn)，以尋求真正重要的因素。 從飽和模型開(kāi)始逐步剔除不重要的交互效應(yīng)項(xiàng)，在保證擬合程度不受較大影響的前提下，直到形成效應(yīng)項(xiàng)最少的模型。（找到最關(guān)鍵因素）,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),舉例說(shuō)明： 由圖可知，自由度變?yōu)?，L2由0增大到10.284，顯著性水平為0.01（P）（拒絕原假設(shè)），說(shuō)明簡(jiǎn)略模型和飽和模型存在十分顯著的差異，即擬合程度受到很大影響。 顯著=不能剔除該交互因素 在因素很多的復(fù)雜飽和模型中，通過(guò)此方法刪減多個(gè)不顯著效應(yīng)項(xiàng)來(lái)形成簡(jiǎn)略模型。,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),整體檢驗(yàn)的不足之處： 整體檢驗(yàn)顯著只能說(shuō)明撤銷(xiāo)的效應(yīng)項(xiàng)中起碼有一項(xiàng)是

13、有顯著作用的，但不能確定是哪一項(xiàng)顯著。所以，整體檢驗(yàn)在實(shí)際對(duì)數(shù)線(xiàn)性模型分析中，主要服務(wù)于整個(gè)檢驗(yàn)?zāi)Ｐ偷臋z驗(yàn)情況，而確定各項(xiàng)效應(yīng)時(shí)則是通過(guò)單項(xiàng)效應(yīng)的檢驗(yàn)。 且，對(duì)于一個(gè)多階多項(xiàng)效應(yīng)的復(fù)雜模型，采用整體檢驗(yàn)方式就意味著逐項(xiàng)效應(yīng)的剔除測(cè)試，這樣分析過(guò)程效率太低。,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),2、分層效應(yīng)檢驗(yàn) 當(dāng)研究中涉及的因素較多時(shí)，不僅主效應(yīng)項(xiàng)會(huì)增加，交互效應(yīng)項(xiàng)增加得更快。例如，四個(gè)因素的模型，主效應(yīng)4個(gè)，二階交互效應(yīng)6項(xiàng)，三階交互效應(yīng)4項(xiàng)，四階交互效應(yīng)1項(xiàng)。如此，逐項(xiàng)檢驗(yàn)篩選重要目標(biāo)就太繁瑣了。 且，在一般情況下，高階交互效應(yīng)不太容易顯著。因此采用按階次集體檢驗(yàn)交互效應(yīng)項(xiàng)的方法十分間接有效。,對(duì)數(shù)線(xiàn)

14、性模型的統(tǒng)計(jì)檢驗(yàn),分層效應(yīng)檢驗(yàn)有兩種： 一、某一階及更高階所有交互效應(yīng)項(xiàng)的集體檢驗(yàn)，它的檢驗(yàn)是否顯著表明這一階及以上各階中是否至少有一項(xiàng)是重要的； 二、某一階所有交互效應(yīng)的集體檢驗(yàn)，它的檢驗(yàn)是否顯著表明這一階所有交互效應(yīng)中是否至少有一項(xiàng)是重要的。 前者檢驗(yàn)比后者綜合性更強(qiáng)。,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),案例,二階以上 (簡(jiǎn)略模型),一階以上,一階,二階,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),分層檢驗(yàn)提供了模型L2的分解。 第一種分層檢驗(yàn)中，一階及以上所有效應(yīng)都從模型中刪除，就會(huì)使簡(jiǎn)略模型的L2增加到13.142，而第二種分層檢驗(yàn)告訴我們，這個(gè)L2的增量是一階效應(yīng)L2 2.858與二階效應(yīng)L2 10.284之和。

15、,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),分層效應(yīng)檢驗(yàn)的不足： 整體檢驗(yàn)或分層檢驗(yàn)的結(jié)果只能說(shuō)明所有效應(yīng)中或某一組效應(yīng)中至少有一項(xiàng)效應(yīng)具有顯著重要影響。但并不能明確知道究竟是哪一項(xiàng)顯著。 為了了解到底是哪些具體項(xiàng)目顯著，還需要采用單項(xiàng)效應(yīng)的單獨(dú)檢驗(yàn)。,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),3、單項(xiàng)效應(yīng)的檢驗(yàn) SPSS的單項(xiàng)效應(yīng)檢驗(yàn)只是在分層模型中對(duì)飽和模型分析時(shí)提供。它反映的是如果從模型中撤銷(xiāo)一個(gè)效應(yīng)以后對(duì)L2變化的檢驗(yàn)，稱(chēng)為偏關(guān)聯(lián)檢驗(yàn)(tests of PARTIAL associations),對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),偏關(guān)聯(lián)檢驗(yàn)沒(méi)有最高階項(xiàng)，對(duì)于例子而言， 兩個(gè)主效應(yīng)顯著概率都大于0.05 偏關(guān)聯(lián)檢驗(yàn)實(shí)際上是對(duì)飽和模型的L2與刪除該項(xiàng)效應(yīng)后簡(jiǎn)略模型L2之間的增量的檢驗(yàn)。 可以視為分層檢驗(yàn)的進(jìn)一步分解：2.858=1.602+1.257,對(duì)數(shù)線(xiàn)性模型的統(tǒng)計(jì)檢驗(yàn),單項(xiàng)效應(yīng)檢驗(yàn)的不足： 在制定對(duì)數(shù)線(xiàn)性模型時(shí)，一個(gè)因素中可能不只兩個(gè)類(lèi)別。單項(xiàng)效應(yīng)檢驗(yàn)只是肯定這項(xiàng)效應(yīng)中起碼有一類(lèi)與其他類(lèi)存在明顯差別，但并不能提供究竟是哪一類(lèi)。