預(yù)備知識1線性模型

二元回歸模型預(yù)備知識1：線性模型矩陣形式估計(jì)量估計(jì)量方差其中最小二乘估計(jì)（ordinaryleastsquares,OLS）總平方和回歸平方和為預(yù)測值殘差平方和判定系數(shù)（coefficientofdetermination）Rsquared調(diào)整Rsquaredfi

如果這里為已知協(xié)方差矩陣估計(jì)量方差廣義最小二乘（generalizedleast-squares,GLS）可加效應(yīng)模型預(yù)備知識2：固定效應(yīng)模型方差分析（analysisofvariance,ANOVA）假設(shè)

偏差平方和的分解交互效應(yīng)模型方差分析假設(shè)偏差平方和的分解隨機(jī)效應(yīng)模型方差分析假設(shè)檢驗(yàn)統(tǒng)計(jì)量預(yù)備知識3：三大檢驗(yàn)似然比檢驗(yàn)LRWald檢驗(yàn)拉格朗日乘子檢驗(yàn)LM（1）模型是非線性的（2）約束是非線性的（3）擾動(dòng)項(xiàng)分布是非正態(tài)的，在這些情況下，F(xiàn)檢驗(yàn)不再適用，通常需要采用LR、Wald、LM其中之一來檢驗(yàn)約束條件是否成立。三大檢驗(yàn)的引入這三個(gè)檢驗(yàn)方法都是漸進(jìn)等價(jià)的，他們所用統(tǒng)計(jì)量的小樣本分布是未知的，但大樣本下都漸進(jìn)服從自由度為約束個(gè)數(shù)的卡方分布。三大檢驗(yàn)方法是三種基于極大似然法的大樣本檢驗(yàn)方法。

根據(jù)模型的特點(diǎn)采用不同的檢驗(yàn)方法。模型視為給定參數(shù)的數(shù)據(jù)生成過程的集合。三大檢驗(yàn)方法共同點(diǎn)極大似然估計(jì)（ML）（一）極大似然原理假設(shè)對于給定樣本

，其聯(lián)合概率分布存在。將該聯(lián)合概率密度函數(shù)視為未知參數(shù)

的函數(shù)，則

稱為似然函數(shù)（LikelihoodFunction）,即觀測到所給樣本的可能性.極大似然原理就是尋找未知參數(shù)

的估計(jì)

，使得似然函數(shù)達(dá)到最大，或者說尋找使得樣本

出現(xiàn)的概率最大的

。求極大似然函數(shù)估計(jì)值的一般步驟：

（1）寫出似然函數(shù)；

（2）對似然函數(shù)取對數(shù)，并整理；

（3）求導(dǎo)數(shù)；

（4）解似然方程

極大似然估計(jì)，是一種概率論在統(tǒng)計(jì)學(xué)的應(yīng)用，它是參數(shù)估計(jì)的方法之一。說的是已知某個(gè)隨機(jī)樣本滿足某種概率分布，但是其中具體的參數(shù)不清楚，參數(shù)估計(jì)就是通過若干次試驗(yàn)，觀察其結(jié)果，利用結(jié)果推出參數(shù)的大概值。極大似然估計(jì)是建立在這樣的思想上：已知某個(gè)參數(shù)能使這個(gè)樣本出現(xiàn)的概率最大，我們當(dāng)然不會(huì)再去選擇其他小概率的樣本，所以干脆就把這個(gè)參數(shù)作為估計(jì)的真實(shí)值。極大似然估計(jì)量（MLE）的性質(zhì)（1）一致性：是的一致估計(jì)量，即（2）漸進(jìn)有效性：是漸進(jìn)有效的且達(dá)到所有一致估計(jì)量的Cramer-Rao下界，即是所有一致漸進(jìn)正態(tài)估計(jì)量中方差最小的（3）漸進(jìn)正態(tài)性檢驗(yàn)思想：如果參數(shù)約束是有效的，那么加上這樣的約束不應(yīng)該引起似然函數(shù)最大值的大幅度降低。也就是說似然比檢驗(yàn)的實(shí)質(zhì)是在比較有約束條件下的似然函數(shù)最大值與無約束條件下似然函數(shù)最大值。似然比定義為有約束條件下的似然函數(shù)最大值與無約束條件下似然函數(shù)最大值之比。以似然比為基礎(chǔ)可以構(gòu)造一個(gè)服從卡方分布統(tǒng)計(jì)量似然比檢驗(yàn)（LR）似然比檢驗(yàn)（LR）1、似然比命題：如果約束是無效的，有約束的最大似然函數(shù)值當(dāng)然不會(huì)超過無約束的最大似然函數(shù)值，但如果約束條件“有效”，有約束的最大值應(yīng)當(dāng)“接近”無約束的最大值，這正是似然比檢驗(yàn)的基本思路。似然比：無約束模型似然函數(shù)值：有約束模型似然函數(shù)值：顯然。如果原假設(shè)是真，則趨近于1；如果太小，則約束無效，拒絕原假設(shè)?？梢宰C明，對大樣本來說，檢驗(yàn)統(tǒng)計(jì)量為，拒絕域，似然比檢驗(yàn)另一種表達(dá)，檢驗(yàn)思想：如果約束是有效的，那么在沒有約束情況下估計(jì)出來的估計(jì)量應(yīng)該漸進(jìn)地滿足約束條件，因?yàn)镸LE是一致的。以無約束估計(jì)量為基礎(chǔ)可以構(gòu)造一個(gè)Wald統(tǒng)計(jì)量，這個(gè)統(tǒng)計(jì)量也服從卡方分布Wald檢驗(yàn)Wald檢驗(yàn)如果約束條件為真，則不應(yīng)該顯著異于零，其中是無約束極大似然估計(jì)值。當(dāng)顯著異于零時(shí)，約束條件無效，拒絕原假設(shè)。檢驗(yàn)統(tǒng)計(jì)量。Wald檢驗(yàn)實(shí)際基于g（β）和C之間的距離。Wald只需要估計(jì)無約束模型，但需要計(jì)算漸進(jìn)協(xié)方差矩陣。在線性約束條件下，Wald檢驗(yàn)拒絕域，Wald統(tǒng)計(jì)量另一種表達(dá)形式，檢驗(yàn)思想：在約束條件下，可以用拉格朗日方法構(gòu)造目標(biāo)函數(shù)。如果約束有效，則最大化拉格朗日函數(shù)所得估計(jì)量應(yīng)位于最大化無約束所得參數(shù)估計(jì)值附近。這里也是構(gòu)造一個(gè)LM統(tǒng)計(jì)量該統(tǒng)計(jì)量服從卡方分布。拉格朗日乘子檢驗(yàn)（LM）拉格朗日乘子檢驗(yàn)（LM）拉格朗日乘子檢驗(yàn)（LM），又稱為Score檢驗(yàn)。該檢驗(yàn)基于約束模型，無需估計(jì)無約束模型。假設(shè)約束條件為，在約束條件下最大化對數(shù)似然函數(shù)，另表示拉格朗日乘子向量，此時(shí)，拉格朗日函數(shù)為約束條件下最大化問題就是求解下式根，

如果約束成立，對數(shù)似然函數(shù)值不會(huì)有顯著變化。這就意味著在一階條件下，第二項(xiàng)應(yīng)該很小，特別是應(yīng)該很小。因此，約束條件是否成立檢驗(yàn)轉(zhuǎn)化成檢驗(yàn)，這就是拉格朗日乘子檢驗(yàn)的思想。

但是直接檢驗(yàn)比較困難，有一個(gè)等價(jià)而簡單的方法。如果約束條件成立，在約束估計(jì)值處計(jì)算對數(shù)似然函數(shù)的導(dǎo)數(shù)應(yīng)該近似為零，如果該值顯著異于零，則約束條件不成立，拒絕原假設(shè)。對數(shù)似然函數(shù)的導(dǎo)數(shù)就是得分向量，因此，LM檢驗(yàn)就是檢驗(yàn)約束條件下參數(shù)估計(jì)值的得分向量值是否顯著異于零，因而，LM檢驗(yàn)又稱為得分檢驗(yàn)。在最大似然估計(jì)過程中，通過解似然方程，可以求出無約束估計(jì)量；如果計(jì)算有約束估計(jì)量在此處得分，則一般不為零，但是如果約束有效，則趨近于零。在原假設(shè)成立條件下，對于線性約束將有關(guān)量代入上式得，拒絕域，LM統(tǒng)計(jì)量另一種表達(dá)形式，LR、Wald、LM關(guān)系(一般情況下成立)：

對于似然比檢驗(yàn)，既需要估計(jì)有約束的模型，也需要估計(jì)無約束的模型；對于Wald檢驗(yàn)，只需要估計(jì)無約束模型；對于LM檢驗(yàn)，只需要估計(jì)有約束的模型。一般情況下，由于估計(jì)有約束模型相對更復(fù)雜，所有Wald檢驗(yàn)最為常用。對于小樣本而言，似然比檢驗(yàn)的漸進(jìn)性最好，LM檢驗(yàn)也較好，Wald檢驗(yàn)有時(shí)會(huì)拒絕原假設(shè)，其小樣本性質(zhì)不盡如人意。

多層線性模型hierarchicallinearmodel（HLM）分層線性模型（hierarchicallinearmodelHLM）又名多層線性模型（MultilevelLinearModelMLM）、層次線性模型（HierarchLinearMode1）、多層分析（MultilevelAnalysis/Model）。HLM又被通俗的稱為“回歸的回歸”。一般線性回歸和多重線性回歸都是發(fā)生在單一層面，HLM相對于更適用于嵌套數(shù)據(jù)（nestdata）?！?/p>

概念由于個(gè)體行為不僅受個(gè)體自身特征的影響，也受到其所處環(huán)境（群體/層次）的影響。相對于不同層次的數(shù)據(jù)，傳統(tǒng)的線性模型在進(jìn)行變異分解時(shí)，對群組效應(yīng)分離不出，而增大模型的誤差項(xiàng)。而且不同群體的變異來源也可能分布不同，可能滿足不了傳統(tǒng)回歸的方差齊性假設(shè)。在模型應(yīng)用方面，不同群體（層次）的數(shù)據(jù)，也不能應(yīng)用同一模型。鑒于傳統(tǒng)方法的局限性，分層技術(shù)則解決了這些生態(tài)謬誤（EcologicalFallacy）。

假設(shè)個(gè)體層面：這個(gè)與普通的回歸分析相同，只考慮自變量X對因變量Y的影響。群組層面：群組因素W分別對個(gè)體層面中回歸系數(shù)和截距的影響。兩個(gè)層面的假設(shè)：個(gè)體層面：

群組層面：

涉及到多個(gè)群組層次的時(shí)候原理與之類似，可以把較低級層次的群組，如不同的鄉(xiāng)鎮(zhèn)層面與不同的縣市層面，可以這樣理解，鄉(xiāng)鎮(zhèn)即是一個(gè)個(gè)體，群組即是不同的縣市。更多層次的可以這樣理解，一直是下一層對上一層回歸系數(shù)和截距的回歸。與普通的“回歸的回歸”不同的是，整個(gè)計(jì)算過程通過迭代過程完成。

數(shù)學(xué)模型：合并模型固定（非隨機(jī)項(xiàng)）

為固定參數(shù)隨機(jī)項(xiàng)隨機(jī)參數(shù)和。令固定j不獨(dú)立則模型的GLS表達(dá)方式假設(shè)這里則不同j相互獨(dú)立。GLS迭代估計(jì)固定系數(shù)。這里X內(nèi)部變量（within），W外部變量（between），WX交互作用(cross-level)矩陣形式這里并相互獨(dú)立這里大矩陣形式

方差記為記GLS估計(jì)多層線性模型的適用范圍非常廣，凡是具有嵌套和分層的數(shù)據(jù)均可使用多層線性模型進(jìn)行分析。此外，多層線性模型還可以用于縱向研究。采用多層分析的方法處理重復(fù)測量數(shù)據(jù)與時(shí)間變量之間的關(guān)系。在多層結(jié)構(gòu)中可以對非平衡測量數(shù)據(jù)得到參數(shù)的有效估計(jì)。因此用多層分析法處理重復(fù)測量的數(shù)據(jù)，不要求所有的觀測個(gè)體有相同的觀測次數(shù)。在縱向調(diào)查研究中，由于各種各樣的原因，被試個(gè)體觀測值部分缺失的情況時(shí)有發(fā)生，因此多層分析法處理缺失數(shù)據(jù)而不影響參數(shù)估計(jì)精度的這一特征，使得多層分析法處理在處理縱向觀測數(shù)據(jù)時(shí)，比傳統(tǒng)多元重復(fù)測量方法有很大的優(yōu)勢。

應(yīng)用多層分析法通過考慮測量水平和個(gè)體水平不同的差異，明確表示出個(gè)體在水平1（不同測量點(diǎn)）的變化情況，因而對于數(shù)據(jù)的解釋（個(gè)體隨時(shí)間的增長趨勢）是在個(gè)體與重復(fù)測量交互作用基礎(chǔ)上的解釋，即不僅包含了不同測量點(diǎn)的差異，而且包含了個(gè)體之間存在的差異。

處理多元重復(fù)測量數(shù)據(jù)，多層分析法優(yōu)點(diǎn)：

多層分析法對數(shù)據(jù)資料較傳統(tǒng)多元重復(fù)測量方法有較低的要求，對于重復(fù)測量的次數(shù)和重復(fù)測量之間的時(shí)間跨度都沒有嚴(yán)格的限制。不同個(gè)體可以有不同的測量次數(shù)，測量與測量之間的時(shí)間跨度也可以不同。

多層分析模型可以定義重復(fù)觀測變量之間復(fù)雜的協(xié)方差結(jié)構(gòu)，并且對所定義的不同的協(xié)方差結(jié)構(gòu)進(jìn)行顯著性檢驗(yàn)。在多層分析模型中，通過定義第一水平和第二水平的隨機(jī)變異來解釋個(gè)體隨時(shí)間的復(fù)雜變化情況，當(dāng)數(shù)據(jù)滿足傳統(tǒng)多變量重復(fù)測量模型對數(shù)據(jù)的要求和假設(shè)時(shí)，層次分析法得到與傳統(tǒng)固定效應(yīng)多元重復(fù)測量模型相同的參數(shù)估計(jì)和假設(shè)檢驗(yàn)結(jié)果。用多層分析模型可以考慮更高一層的變量，如不同地區(qū)兒童對個(gè)體增長的影響。用于多層分析模型的參數(shù)估計(jì)方法較傳統(tǒng)估計(jì)參數(shù)的方法要復(fù)雜得多。不能處理變量之間間接的影響關(guān)系和處理復(fù)雜的觀測變量和潛變量之間的關(guān)系。缺點(diǎn)1線性回歸：fit<-lm(mathach~ses,hs)summary(lm(mathach~Sector/ses-1,hs))主效應(yīng)Sector，交互效應(yīng)Sector:sessummary(lm(mathach~ses*Sector-1,hs))主效應(yīng)Sector,ses，交互效應(yīng)Sector:seslm1<-lm(matach~factor(school)/ses-1,hs)主效應(yīng)school,交互效應(yīng)school:sesSummary(lm(matach~factor(school)*ses-1,hs))主效應(yīng)school,ses,交互效應(yīng)school:ses2固定效應(yīng)模型

ddu<-up(hs,~factor(school))dim(ddu)ind<-ddu$Sector=="Catholic"L<-rbind("Catholic"=ind,"Public"=1-ind)L<-L/apply(L,1,sum)L<-cbind(rbind(L,0,0),rbind(0,0,L))rownames(L)<-c("CathInt","PubInt","CathSlope","PubSlope")L%*%lml$coefficientswald(lml,L)diffmat<-rbind("Int"=c(-1,1,0,0),Slope=c(0,0,-1,1))diffmat%*%L%*%lml$coefficientswald(lml,diffmat%*%L)#differentofsectorWaldtestlibrary(nlme)lcoefs<-coef(lmList(mathach~ses|factor(school),hs))lm.mult<-lm(as.matrix(lcoefs)~Sector,up(hs,~factor(school)))summary(lm.mult)3多元方差分析（MANOVA）fit.eco<-lm(mathach~ses,up(hs,~factor(school),all=T))summary(fit.eco)library(nlme)fit<-lme(mathach~ses*Sector,hs,random=~1+ses|school)summary(fit)wald(fit,'ses')#overalltestfor'ses'wald(fit,'Sector')5分層線性模型fitc<-lme(mathach~ses*Sector+cvar(ses,school),hs,random=~1+ses|school)summary(fitc)wald(fitc)wald(fitc,-1)#overalltestofFEmodelwald(fitc,'ses')#overalltestofall'ses'effectswald(fitc,'Sector')#overalltestofall'Sector'effectswald(fitc,':')#overalltestofallinteractioneffectscvarandcvarsareintendedtocreatecontextualvariablesinmodelformulas.If'x'isnumerical,cvarisequivalenttocapply(x,id,mean)andcvarsisequivalenttocapply(x,id,sum).6加入背景變量（contextualvariables）的HLMWald檢驗(yàn)fitcd<-update(fitc,.~dvar(ses,school)*Sector+cvar(ses,school))fitcd<-lme(mathach~dvar(ses,school)*Sector+cvar(ses,school),hs,random=~1+ses|school）summary(fitcd)summary(fitc)fitca<-update(fitc,random=~1+dvar(ses,school)|school)summary(fitca)summary(fitc)anova(fitca,fitc)UsingCWGinsteadofraweffect

qqnorm(fitc)qqnorm(fitc,abline=c(0,1),id=.01)plot(fitc)#notasgenerousasinlm,needtomakeyourown:#Thisisaplotofresiduals(z-sc