廣義線性模型

廣義線性模型第1頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜2明確兩個(gè)概念：線性模型（linearmodel），也稱(chēng)經(jīng)典線性模型（classicallinearmodel）或一般線性模型（generallinearmodel,GLM）。廣義線性模型（generalizedlinearmodel，GENMOD）是一般線性模型的直接推廣，由Nelder&Wedderburn(1972)首先提出。第2頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜3SAS軟件中的PROCGLM：PROCGLManalyzesdatawithintheframeworkofgenerallinearmodels.PROCGLMhandlesmodelsrelatingoneorseveralcontinuousdependentvariablestooneorseveralindependentvariables.Theindependentvariablesmaybeeitherclassificationvariablesorcontinuousvariables.

Thus,theGLMprocedurecanbeusedformanydifferentanalyses,includingsimpleregressionmultipleregressionanalysisofvariance(ANOVA),especiallyforunbalanceddataanalysisofcovarianceresponse-surfacemodels(響應(yīng)面模型)weightedregressionpolynomialregression(多項(xiàng)式回歸)partialcorrelationmultivariateanalysisofvariance(MANOVA)repeatedmeasuresanalysisofvariance第3頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜4TheGENMODProcedureTheGENMODprocedurefits

generalizedlinearmodels.Theclassofgeneralizedlinearmodelsisanextensionoftraditionallinearmodelsthatallowsthemeanofapopulationtodependonalinearpredictorthroughanonlinearlinkfunctionandallowstheresponseprobabilitydistributiontobeanymemberofanexponentialfamilyofdistributions.Manywidelyusedstatisticalmodelsaregeneralizedlinearmodels.Theseincludeclassicallinearmodelswithnormalerrors,logisticandprobitmodelsforbinarydata,andlog-linearmodelsformultinomialdata.Manyotherusefulstatisticalmodelscanbeformulatedasgeneralizedlinearmodelsbytheselectionofanappropriatelinkfunctionandresponseprobabilitydistribution.SAS軟件中的PROCGENMOD：第4頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜5一、何為“廣義線性模型”？廣義線性模型（generalizedlinearmodel）由Nelder&Wedderburn(1972)首先提出，是一般線性模型的直接推廣，它使因變量的總體均值通過(guò)一個(gè)非線性連接函數(shù)（linkfunction）而依賴(lài)于線性預(yù)測(cè)值，同時(shí)還允許響應(yīng)概率分布為指數(shù)分布族中的任何一員。許多廣泛應(yīng)用的統(tǒng)計(jì)模型均屬于廣義線性模型，如logistic回歸模型、Probit回歸模型、Poisson回歸模型、負(fù)二項(xiàng)回歸模型等。第5頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜6指數(shù)分布族的概率密度（概率函數(shù)）可表示為：其中，和為兩個(gè)參數(shù)，稱(chēng)為自然參數(shù)，為離散參數(shù)；a、b、c為函數(shù)。第6頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜7第7頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜8一個(gè)廣義線性模型包括以下三個(gè)組成部分：（1）線性成分(linearcomponent)：（2）隨機(jī)成分(randomcomponent)：（3）連接函數(shù)(linkfunction)：連接函數(shù)為一單調(diào)可微（連續(xù)且充分光滑）的函數(shù)。何為“廣義線性模型”？(續(xù))第8頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜9第9頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜10SAS9.0GENMOD過(guò)程中所整合的響應(yīng)變量分布類(lèi)型第10頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜11廣義線性模型在兩個(gè)方面對(duì)經(jīng)典線性模型進(jìn)行了推廣：（1）一般線性模型中要求因變量是連續(xù)的且服從正態(tài)分布，在廣義線性模型中，因變量的分布可擴(kuò)展到非連續(xù)的資料，如二項(xiàng)分布、Poisson分布、負(fù)二項(xiàng)分布等。（2）一般線性模型中，自變量的線性預(yù)測(cè)值就是因變量的估計(jì)值，而廣義線性模型中，自變量的線性預(yù)測(cè)值是因變量的函數(shù)估計(jì)值。何為“廣義線性模型”？（續(xù)）第11頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜12包括：多元線性回歸模型

logistic回歸模型

Probit回歸模型

Poisson回歸模型負(fù)二項(xiàng)回歸模型

廣義線性模型的一般形式：何為“廣義線性模型”？(續(xù))第12頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜13Generalizedlinearmodels(廣義線性模型)FamilyofregressionmodelsOutcomevariabledetermineschoiceofmodel

UsesControlofconfoundingModelbuilding,riskpredictionOutcome ModelContinuous LinearregressionBinomial LogisticregressionSurvival CoxmodelCounts Poissonregression第13頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜14二、廣義線性模型的參數(shù)估計(jì)廣義線性模型的參數(shù)估計(jì)一般不能用最小二乘估計(jì)，常用加權(quán)最小二乘法（weightedleastsquared,WLS）或最大似然法(maximumlikelihood)估計(jì)。各回歸系數(shù)需用迭代方法求解。求得后，用下式估計(jì)：第14頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜15二、廣義線性模型的參數(shù)估計(jì)(續(xù))第15頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜16Log-likelihoodfunctions第16頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜17Log-likelihoodfunctions第17頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜18Log-likelihoodfunctions第18頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜19Log-likelihoodfunctions第19頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜20三、廣義線性模型的假設(shè)檢驗(yàn)

廣義線性模型的檢驗(yàn)一般用似然比檢驗(yàn)、Wald檢驗(yàn)和記分檢驗(yàn)。模型的比較用似然比檢驗(yàn)。（1）似然比檢驗(yàn)：似然比檢驗(yàn)是通過(guò)比較兩個(gè)相嵌套模型（如模型P嵌套于模型K內(nèi)）的對(duì)數(shù)似然函數(shù)來(lái)進(jìn)行的，其統(tǒng)計(jì)量G為：其中，模型P中的自變量是模型K中自變量的一部分，另一部分就是要檢驗(yàn)的變量。這里G服從自由度為K-P的2分布。模型P的對(duì)數(shù)似然函數(shù)模型K的對(duì)數(shù)似然函數(shù)第20頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜21Likelihoodratiostatistic(似然比統(tǒng)計(jì)量)Comparestwonestedmodels

g()=+1x1+2x2+3x3+4x4(model1)g()=+1x1+2x2(model2)LRstatistic-2log(likelihoodmodel2/likelihoodmodel1)=[-2log(likelihoodmodel2)]－

[-2log(likelihoodmodel1)]LRstatisticisa2withDF=numberofextraparametersinmodel三、廣義線性模型的假設(shè)檢驗(yàn)（1）似然比檢驗(yàn)（續(xù)）第21頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜22三、廣義線性模型的假設(shè)檢驗(yàn)（續(xù)）（2）回歸系數(shù)的Wald檢驗(yàn)：

Wald檢驗(yàn)是通過(guò)比較估計(jì)系數(shù)與0的差別來(lái)進(jìn)行的，其檢驗(yàn)統(tǒng)計(jì)量為：或這里，z為標(biāo)準(zhǔn)正態(tài)變量。參數(shù)的可信區(qū)間如下計(jì)算：第22頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4-15山東大學(xué)公共衛(wèi)生學(xué)院：劉靜23三、廣義線性模型的假設(shè)檢驗(yàn)（續(xù)）（3）比分（Score）檢驗(yàn)：以未包含某個(gè)或某幾個(gè)變量的模型為基礎(chǔ)，保留模型中參數(shù)的估計(jì)值，并假設(shè)新增加的參數(shù)之系數(shù)為0，計(jì)算似然函數(shù)的一階偏導(dǎo)數(shù)（又稱(chēng)有效比分）及信息矩陣，兩者相乘即為比分檢驗(yàn)統(tǒng)計(jì)量S。當(dāng)樣本含量較大時(shí)，S的分布近似服從2分布，自由度為檢驗(yàn)的參數(shù)個(gè)數(shù)。第23頁(yè)，共24頁(yè)，2023年，2月20日，星期四2010-4