有序多分類邏輯斯蒂回歸模型

關(guān)于有序多分類邏輯斯蒂回歸模型第一頁，共三十二頁，編輯于2023年，星期一Logistic回歸因變量二項Logistic回歸多項Logistic回歸有序回歸Probit回歸第二頁，共三十二頁，編輯于2023年，星期一第14章有序回歸

（有序多分類因變量Logistic回歸）14.1有序回歸的基本思想14.2有序回歸的案例分析第三頁，共三十二頁，編輯于2023年，星期一研究中常遇到反應(yīng)變量為有序多分類（k>2）的資料，如城市綜合競爭力等級、滿意度等可以劃分為低、中、高。與名義多分類因變量有所不同，定性有序多分類因變量采用累積logit模型，該模型可利用有序這一特點，得到比基線-類別有更簡單解釋的模型。Y的累積概率是指Y落在一個特定點的概率，對結(jié)果為類別j時，其累積概率為：累積概率滿足：累積概率的模型并不利用最后一個概率，因為它必然等于114.1有序回歸的基本思想第四頁，共三十二頁，編輯于2023年，星期一pj=p(y≤j|x)，它表示y

取前j

個值的累積概率。累積概率函數(shù)：14.1有序回歸的基本思想J等級分為兩類：{1,,j}與{j+1,,k}在這兩類的基礎(chǔ)上定義的logit表示:屬于后k-j個等級的累積概率與前j個等級的累積概率的優(yōu)勢的對數(shù)，故該模型稱為累積優(yōu)勢模型(cumulativeoddsmodel)。第五頁，共三十二頁，編輯于2023年，星期一第一個模型表示了y

取第一個值的概率p1與x的關(guān)系；第二個模型表示了y取前兩個值的累積概率p2與x的關(guān)系。這兩個模型的常數(shù)項不同，回歸系數(shù)完全相同的。y

取第一個值的概率p(1)=p1

，y

取第二個值的概率p(2)=p2-p1，y

取第三個值的概率p(3)=1-p2

。它們的截距不同，斜率相同，所以是J-1條平行直線族。多值因變量logistic回歸模型要求進行數(shù)據(jù)的平行性檢驗。第六頁，共三十二頁，編輯于2023年，星期一平行性檢驗（只適用于位置模型/位置參數(shù)/斜率系數(shù)）當(dāng)因變量維多值變量時，模型包含多個回歸方程。Logistic回歸分析要求這多個回歸方程中自變量的系數(shù)是相等的。因此需要做平行行檢驗，也稱為比例比數(shù)假設(shè)檢驗（testfotheproportionaloddsassumption），使用的方法是計分檢驗法。當(dāng)P>a時，接受平行的原假設(shè)。否則，應(yīng)該將因變量的某些值進行合并，減少因變量的取值個數(shù)，使得多值變量logistic回歸模型平行性成立。還可以嘗試其他鏈接函數(shù)。如果各種連接函數(shù)都無法滿足平行性假定，則需要考慮回歸系數(shù)是否會隨著分割點而發(fā)生改變。此時最好使用無序多分類的Logistic回歸進行模型擬合，然后再根據(jù)系數(shù)估計值考慮如何進行處理。第七頁，共三十二頁，編輯于2023年，星期一以4水平的反應(yīng)變量為例，假設(shè)反應(yīng)變量的取值為1、2、3、4，相應(yīng)取值水平的概率為p1、p2、p3、p4，則此時進行Logit變換的分別為p1、p1+p2、p1+p2+p3，對k個自變量擬合三個模型如下:常數(shù)項不同，回歸系數(shù)完全相同的張文彤版本的常數(shù)項前均為負號第八頁，共三十二頁，編輯于2023年，星期一根據(jù)上述公式，可以分別求出：第九頁，共三十二頁，編輯于2023年，星期一由上述建立的模型可以看出，這種模型實際上是依次將反應(yīng)變量按不同的取值水平分割成兩個等級，對這兩個等級建立反應(yīng)變量為二分類的Logistic回歸模型。不管模型中反應(yīng)變量的分割點在什么位置，模型中各自變量的系數(shù)都保持不變，所改變的只是常數(shù)項。此時求出的OR值表示自變量每改變一個單位，反應(yīng)變量提高一個及一個以上等級的比數(shù)比。張文彤認為，這里擬合的模型中常數(shù)項之前的符號應(yīng)當(dāng)是“負號”，原因在于此處的常數(shù)項正好表示低級別和高級別相比的情況，且必然有，但由于研究者主要關(guān)心的是各參數(shù)（系數(shù)）的大小，因此這種差異影響不大。并且由SPSS給出的系數(shù)無需再添加符號。第十頁，共三十二頁，編輯于2023年，星期一某大學(xué)醫(yī)院外科采用兩種不同的繃帶和兩種不同的包扎方式進行腿潰瘍的治療處理。治療的結(jié)果分三種：不愈、有效和痊愈。試分析治療方法對治療效果的影響。設(shè)因變量y表示治療效果，0=不愈、1=有效、2=痊愈。設(shè)自變量x1表示繃帶種類，自變量x2

表示包扎方式。對于多值因變量模型，平行性假設(shè)決定了每個自變量的OR值對于前k-1個模型是相同的。例如，變量x1的OR=5.172，它表示使用第一種繃帶治愈腿潰瘍的可能性是使用第二種繃帶的5.172倍；它也表示使用第一種繃帶至少有效的可能性是使用第二種繃帶的5.172倍。第十一頁，共三十二頁，編輯于2023年，星期一14.1有序回歸的基本思想有序回歸模型的類型：

當(dāng)定性因變量y取k個順序類別時，記為1，2，…，k，這里的數(shù)字1，2，…，k僅表示順序的大小。因變量y取值于每個類別的概率仍與一組自變量x1,x2,…,xk有關(guān)，對于樣本數(shù)據(jù)(xi1,xi2,…,xip

;yi)，i=1,2,…,n，順序類別回歸模型有兩種主要類型，位置結(jié)構(gòu)（Locationcomponent）模型，位置模型，定位模型規(guī)模結(jié)構(gòu)（Scalecomponent）模型，尺度模型，定量模型第十二頁，共三十二頁，編輯于2023年，星期一

位置結(jié)構(gòu)模型（位置模型/定位模型）：（1）

規(guī)模結(jié)構(gòu)模型(尺度模型/度量模型,Scale)：其中z是x1,x2,…,xp的一個子集，作為規(guī)模結(jié)構(gòu)解釋變量，（2）第十三頁，共三十二頁，編輯于2023年，星期一第十四頁，共三十二頁，編輯于2023年，星期一14.2有序回歸的案例分析例：對某地人群調(diào)查其對所從事的工作是否滿意，可能的影響因素有:年齡、性別、年收入水平、文化程度。變量的賦值情況見下表，數(shù)據(jù)見文件satisfy.sav。試進行統(tǒng)計分析。變量的賦值情況如下：第十五頁，共三十二頁，編輯于2023年，星期一警告信息說明自變量的各種取值水平組合中有多少其觀察頻數(shù)為0。由于數(shù)據(jù)庫中變量age為連續(xù)性變量，所以這個比例顯得較大，此種情況下屬于正?，F(xiàn)象。反應(yīng)變量與離散自變量不同取值水平的邊際頻數(shù)分布第十六頁，共三十二頁，編輯于2023年，星期一對模型中是否所有自變量偏回歸系數(shù)全為0進行似然比檢驗（判斷規(guī)則：P<a，擬合較好），結(jié)果P<0.001，說明至少有一個自變量的偏回歸系數(shù)不為0。即：擬合包含年齡、性別、年收入水平、文化程度4個自變量的模型其擬合優(yōu)度好于僅包含常數(shù)項的模型。第十七頁，共三十二頁，編輯于2023年，星期一是Pearson和Deviance兩種擬合優(yōu)度檢驗結(jié)果。判定規(guī)則：卡方值很小或者P>a，擬合較好。當(dāng)自變量很多或者自變量中存在連續(xù)性變量時，這兩個統(tǒng)計量不太適用。這兩個統(tǒng)計量有個致命的缺點是對于自變量取值水平組合的實際觀察頻數(shù)為0的比例十分敏感，如果上述比例過高，這兩個統(tǒng)計量不一定仍舊服從卡方分布，因而基于卡方分布計算的P值也不可信。即：這兩個統(tǒng)計量不一定能真實地反映模型擬合情況。當(dāng)自變量中存在連續(xù)性變量時，如本例中的年齡，常會導(dǎo)致上述比例過高。與上述兩個統(tǒng)計量相比，似然比卡方則要穩(wěn)健得多。本例兩個統(tǒng)計量對應(yīng)的P值均小于0.050第十八頁，共三十二頁，編輯于2023年，星期一第十九頁，共三十二頁，編輯于2023年，星期一14.2有序回歸的案例分析例：分析債權(quán)人如何確定申請者信用風(fēng)險的問題，SPSS自帶數(shù)據(jù)文件“信譽評價數(shù)據(jù).sav”因變量Chist（賬目情況）取值：沒有貸款歷史、現(xiàn)在沒有貸款、正在償還、逾期償還、拖欠貸款因子一般為分類變量協(xié)變量一般為連續(xù)變量，也可以為二分類變量第二十頁，共三十二頁，編輯于2023年，星期一鏈接：指定鏈接函數(shù)(聯(lián)系函數(shù)、連接函數(shù)),即對模型估計中的累積概率的轉(zhuǎn)換函數(shù)，根據(jù)因變量（反應(yīng)變量）的情況選擇補充對數(shù)—對數(shù)負對數(shù)—對數(shù)第二十一頁，共三十二頁，編輯于2023年，星期一輸出偽R方檢驗系數(shù)在各響應(yīng)類別中是否相同，僅適用于位置模型輸出累積頻數(shù)、概率的殘差、觀測概率、預(yù)測概率等內(nèi)容把觀測記錄按因變量進行分類的估計概率，有幾個水平就保存幾個變量保存最大的估計響應(yīng)概率保存預(yù)測正確時的估計響應(yīng)概率保存模型的預(yù)測響應(yīng)分類第二十二頁，共三十二頁，編輯于2023年，星期一位置模型設(shè)置：用于指定定位模型中的各種效應(yīng)第二十三頁，共三十二頁，編輯于2023年，星期一尺度模型設(shè)置：設(shè)置與尺度模型有關(guān)的參數(shù)第二十四頁，共三十二頁，編輯于2023年，星期一案例處理摘要：可以看出，本例在鏈接函數(shù)的選擇上，可以選擇補充對數(shù)——對數(shù)，也可以選擇Cauchit鏈接函數(shù)主要輸出結(jié)果第二十五頁，共三十二頁，編輯于2023年，星期一主要輸出結(jié)果說明最終模型要優(yōu)于只含截距的模型，即模型顯著成立由于本例模型包含連續(xù)變量，故空單元格較多，影響了統(tǒng)計量的計算和有效性。因此，本例基于卡方檢驗的擬合優(yōu)度統(tǒng)計量不太可信第二十六頁，共三十二頁，編輯于2023年，星期一系數(shù)大都不夠顯著，原因可能是因變量的分類順序不對，也可能是因為鏈接函數(shù)選擇不理想。若協(xié)變量的參數(shù)估計之為正，那么對此變量取值越大的觀測目標(biāo)類別取值也越大，如age變量顯著且為正，表明年齡越大拖欠貸款的概率也越大。第二十七頁，共三十二頁，編輯于2023年，星期一平行檢驗：原假設(shè)是斜率系數(shù)（位置參數(shù)）在各響應(yīng)類別中都是相等的。由于P<a,否定原假設(shè)，說明各回歸方程不平行如果平行性檢驗的P值非常小，是不能就這樣蒙混過關(guān)的。其主要原因是鏈接函數(shù)選擇不準(zhǔn)確，或者系數(shù)的確在隨著分割點發(fā)生變化?？梢钥紤]其他鏈接函數(shù)以及使用無序多分類模型。第二十八頁，共三十二頁，編輯于2023年，星期一根據(jù)所得到的模型預(yù)測方程和相關(guān)個案信息，即可進行預(yù)測，預(yù)測該個案的信譽屬于哪一種類別。這對于銀行貸款決策具有重要意義。例如，某申請者的信息為：申請48個月的貸款，22歲，有銀行貸款，沒有其他貸款，有住房，此時可以評估其信譽水平。把上述個案信息代入所得到的（k-1）個模型預(yù)測方程，即可得到（k-1）個估計值，再把這些估計值代入所選擇的鏈接函數(shù)的逆函數(shù)中，得到累計概率值，然后再根據(jù)累積概率概率求出每個類別的預(yù)測概率，預(yù)測概率最大的類別即為該個案的類別，進而做出信譽類別的判斷第二十九頁，共三十二頁，編輯于2023年，星期一練習(xí)1：兒童智力等級與母親文化程度的關(guān)系智商等級y母親文化程度小學(xué)初中高中或中專大專及以上合計x=0x=1x=2x=31=中下2257111912=中等8123611244333=中上30135105102804=上等32617753合計1364542452285714.2有序回歸的案例分析第三十頁，共三十二頁，編輯于2023年，