HLM多層線性模型簡介課件

多層線性模型簡介

IntroductiontoHLM1精選課件ppt主要內(nèi)容為什么要用多層線性模型?回歸分析模型回顧多層（多水平）數(shù)據(jù)特點(diǎn)什么是多層線性模型？HLM發(fā)展HLM數(shù)學(xué)模型HLM常見簡化模型兩水平模型應(yīng)用舉例應(yīng)該注意的問題2精選課件ppt回歸分析模型3精選課件ppt回歸分析模型的假設(shè)線性（Linearity）誤差正態(tài)分布（normallydistributed）誤差方差齊性（homoskedastic）誤差或觀測個(gè)體之間相互獨(dú)立（independent）4精選課件ppt什么是多層（多水平）數(shù)據(jù)?多層（多水平）數(shù)據(jù)指的是觀測數(shù)據(jù)在單位上具有嵌套的關(guān)系。如學(xué)生嵌套于班級，班級嵌套于學(xué)校等。同一單位內(nèi)的觀測，具有更大的相似性。同一個(gè)班級的學(xué)生由于受相同的班級環(huán)境等因素的影響有更大的相似性。5精選課件ppt嵌套于背景（contextual）特征

的多層數(shù)據(jù)舉例學(xué)生水平特征的觀測，嵌套于班級或?qū)W校兄弟姊妹特征的觀測，嵌套于家庭個(gè)體之間的觀測嵌套于社區(qū)個(gè)體不同時(shí)間點(diǎn)的重復(fù)測量嵌套于個(gè)體病人嵌套于醫(yī)院參數(shù)的估計(jì)嵌套于不同的研究(元分析，meta-analysis)6精選課件ppt對多層數(shù)據(jù)，我們了解什么...隨機(jī)選取兩個(gè)觀測，同一組內(nèi)的觀測之間的相似性要比不同組觀測之間的相似性大；如果回歸模型不能解釋所有的組間的差異（事實(shí)上傳統(tǒng)回歸不可能做到這一點(diǎn)）,那么同一組內(nèi)的觀測之間的誤差可能相關(guān)；這就違背了傳統(tǒng)回歸（OLS）中關(guān)于殘差相互獨(dú)立的假設(shè)；至少，傳統(tǒng)回歸分析得到的標(biāo)準(zhǔn)誤的估計(jì)不正確（太?。?/p>

7精選課件pptHLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸模型的做法：（1）個(gè)體（如學(xué)生）水平上分析問題：同一班級的學(xué)生間相互獨(dú)立的假設(shè)是不合理的，同樣對不同班級的學(xué)生和相同班級的學(xué)生作同一假設(shè)也是不合理的。（2）組（如學(xué)校）水平上分析問題：丟失了班級內(nèi)學(xué)生個(gè)體間的差異的信息。8精選課件pptHLM數(shù)據(jù)特點(diǎn)對于嵌套數(shù)據(jù)，傳統(tǒng)回歸分析的假設(shè)往往無法滿足。傳統(tǒng)的線性回歸模型假設(shè)變量間存在直線關(guān)系，因變量總體上服從正態(tài)分布，方差齊性，個(gè)體間相互獨(dú)立。前兩個(gè)假設(shè)較易保證，但方差齊性，尤其是個(gè)體間相互獨(dú)立的假設(shè)卻很難滿足。9精選課件ppt獨(dú)立性不滿足帶來的問題傳統(tǒng)回歸系數(shù)估計(jì)的標(biāo)準(zhǔn)誤依賴于相互獨(dú)立的假設(shè)；如果獨(dú)立性的假設(shè)不滿足，得到的標(biāo)準(zhǔn)誤的估計(jì)往往偏小，因此所犯第一類錯(cuò)誤的概率往往偏大。10精選課件pptHLM數(shù)學(xué)模型例如：對73個(gè)學(xué)校1905名學(xué)生進(jìn)行調(diào)查，目的是考慮其剛上高中時(shí)的入學(xué)成績與三年后高考成績之間的關(guān)系?？紤]方法：（1）如果用傳統(tǒng)的線性回歸分析，直接在學(xué)生水平上進(jìn)行分析，得出入學(xué)學(xué)業(yè)成績對高考成績之間的一條回歸直線，如下圖1所示，從圖1的結(jié)果可以看出，傳統(tǒng)回歸分析沒有區(qū)分不同的學(xué)校之間的差異。11精選課件ppt圖1：不考慮學(xué)校之間差異的回歸直線

12精選課件pptHLM數(shù)學(xué)模型（2）如果將數(shù)據(jù)進(jìn)行簡單合并，用每個(gè)學(xué)校學(xué)生的平均成績代替這個(gè)學(xué)校的成績，直接在學(xué)校水平上估計(jì)入學(xué)成績對高考成績的影響，得到一條回歸直線，如圖2所示，這種方法忽略了不同學(xué)生之間的差異；13精選課件ppt圖2：只考慮學(xué)校差異忽略學(xué)生差異回歸直線

14精選課件pptHLM數(shù)學(xué)模型（3）如果假設(shè)不同學(xué)校入學(xué)成績對高考成績的回歸直線截距不同，斜率相同（平均學(xué)習(xí)成績之間存在差異），得到如圖3的結(jié)果，從圖中結(jié)果可以看出，不同學(xué)校學(xué)生平均高考成績之間存在差異。15精選課件ppt圖3：考慮不同學(xué)校平均成績差異的回歸直線16精選課件pptHLM數(shù)學(xué)模型（4）對73所學(xué)校分別做回歸分析，得到如圖4的結(jié)果，如圖4所示，從圖中結(jié)果可以看出，不同學(xué)?；貧w直線的截距和斜率均不同，即：不同學(xué)校學(xué)生平均高考成績之間存在差異，入學(xué)學(xué)業(yè)成績對高考成績的影響強(qiáng)度不同。17精選課件ppt圖4：考慮不同學(xué)校平均成績差異和入學(xué)對畢業(yè)成績影響程度差異的回歸直線18精選課件ppt回歸模型中，如何解決殘差相關(guān)的問題?希望定義一個(gè)模型，可以明確地允許因變量水平在組內(nèi)和組間存在差異例如，允許學(xué)生的學(xué)業(yè)成績存在學(xué)校之間的差異19精選課件ppt告別OLS:一個(gè)簡單的多層線性模型將重寫為:20精選課件ppt一個(gè)簡單的多層線性模型21精選課件ppt一個(gè)簡單的多層線性模型Outcomeforobservationiinunitj22精選課件ppt一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjIntercept23精選課件ppt一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

24精選課件ppt一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

25精選課件ppt一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

Residualtermspecifictoobservationiinunitj26精選課件ppt一個(gè)簡單的多層線性模型OutcomeforobservationiinunitjInterceptCoefficientValueofXforobservationiinunitj

Residualtermspecifictounitj

Residualtermspecifictoobservationiinunitj27精選課件ppt

uj表示什么?殘差項(xiàng)定義第

j組（第二水平）對于第

j組的所有觀測都相同只有下標(biāo)

j,沒有下標(biāo)

i解釋:總截距和第

j組的截距之間的差異28精選課件ppt

rij表示什么?殘差項(xiàng)定義第j組第i個(gè)觀測

均值為029精選課件ppt模型的特征注意到:

ij=uj+rij我們有:Var(

ij) =Var(uj+rij) =Var(uj)

+Var(rij)+2*Cov(uj,rij) =Var(uj)

+Var(rij)30精選課件ppt模型的特征

Yij

的值可能存在第二水平（組間）的差異對于

uj和rij沒有定義其分布.

X

和

Y

之間的關(guān)系不依賴于

j(

1

不依賴于

j)31精選課件ppt模型的另一種表達(dá)這里32精選課件ppt多層線性模型水平1（如：學(xué)生）

水平2（如：學(xué)校）

jju0000+=gbYij---第j個(gè)學(xué)校的第i個(gè)學(xué)生jju1101+=gb33精選課件ppt何謂多層線性模型?多層線性模型又稱為：

多水平分析（MultilevelAnalysis）混合模型（MixedModels）隨機(jī)系數(shù)模型（RandomCoefficientModels）34精選課件pptHLM的發(fā)展HarveyGoldstein---MultilevelAnalysis(Mlwin)StephenW.Raudenbush---HierarchicalLinearModel(HLM)35精選課件pptHLM的發(fā)展模型理論構(gòu)想階段（Lindley&Smith,1972）36精選課件pptHLM的發(fā)展2問題解決階段

Dempster、Laird

和Rubin(1977)提出EM算法;Dempster（1981）將EM算法應(yīng)用于解決多層線性模型的參數(shù)估計(jì);1983年，Strenio、Weisberg和Bryk等相繼將這一方法應(yīng)用于社會學(xué)的研究；1986年Goldstein應(yīng)用IRGLS估計(jì)參數(shù)，1987年，Longford應(yīng)用費(fèi)歇得分算法對模型參數(shù)進(jìn)行了估計(jì)。37精選課件pptHLM的發(fā)展快速發(fā)展與應(yīng)用

HLM（Bryk，Randenbush，Seltzer＆Congdon，1988）；Mlwin（Rabash，Prosser＆Goldstein，1989）；VARCL（Longford，1988）；MPLUS（Muthen，1992）。38精選課件ppt多層線性模型回歸模型的一種常用來回答背景變量（如班級環(huán)境等）與個(gè)體變量（如學(xué)生特征）之間的關(guān)系常用來估計(jì)組內(nèi)（如班級內(nèi)）和組間（如班級間）變量間的關(guān)系

以及跨水平的交互作用。例如,學(xué)校內(nèi)和學(xué)校間自我概念和學(xué)業(yè)成績之間的關(guān)系。

39精選課件ppt多層線性模型簡介多層線性模型－－一種處理嵌套數(shù)據(jù)的統(tǒng)計(jì)方法。通過定義不同水平（層）的模型，將隨機(jī)變異分解為兩個(gè)部分，其一是第一水平個(gè)體間差異帶來的誤差，另一個(gè)是第二水平班級的差異帶來的誤差。可以假設(shè)第一水平個(gè)體間的測量誤差相互獨(dú)立，第二水平班級帶來的誤差在不同班級之間相互獨(dú)立。多水平分析法同時(shí)考慮到不同水平的變異。40精選課件ppt多層線性模型多層分析方法提供了解決嵌套數(shù)據(jù)關(guān)系的合理的正確的統(tǒng)計(jì)方法。下面結(jié)合上面提到的例子，介紹兩水平模型的一般數(shù)學(xué)表示：41精選課件ppt多層線性模型水平1（如：學(xué)生）

水平2（如：學(xué)校）

jjjuW001000++=ggbYij---第j個(gè)學(xué)校的第i個(gè)學(xué)生42精選課件ppt多層線性模型合并模型：其中：yij表示因變量（如三年后的高考成績），xij表示第一水平（學(xué)生）的預(yù)測變量，Wj表示第二水平（學(xué)校）的預(yù)測變量。

43精選課件ppt多層線性模型模型的假設(shè)條件為：

44精選課件ppt多層線性模型截距與斜率之間的相關(guān)系數(shù)：截距與斜率之間的相關(guān)系數(shù)大小表示了不同學(xué)校平均高考成績與入學(xué)成績對高考成績影響強(qiáng)度之間的關(guān)系，如果相關(guān)系數(shù)大于零，表示平均成績越高，入學(xué)成績對期末成績的影響越大。

45精選課件pptHLM常用模型類型隨機(jī)效應(yīng)一元方差分析模型（one-wayAnovawithRandomEffect）

第一水平：第二水平：合并模型：ijojijeuY++=00g46精選課件pptHLM常用模型類型無條件模型：模型中沒任何預(yù)測變量的多層分析模型模型表示與隨機(jī)效應(yīng)的方差分析模型相同。在無條件模型中：

上式的相關(guān)系數(shù)描述了水平2單位內(nèi)個(gè)體之間的相關(guān)（intralevel2-unitcorrelation），它測量了學(xué)校之間方差占總方差的比例，或者說在總的變異中由水平二解釋的方差的比例。

47精選課件pptHLM常用模型類型隨機(jī)效應(yīng)單因素協(xié)方差分析（One-wayANCOVAwithRandomEffects）

水平1：水平2：

48精選課件pptHLM常用模型類型一般的線性回歸模型

第一水平：第二水平：49精選課件pptHLM常用模型類型隨機(jī)系數(shù)回歸模型（Random-CoefficientsRegressionModel）

第一水平：第二水平：50精選課件pptHLM應(yīng)用舉例hsb1.sav和hsb2.sav在水平一的數(shù)據(jù)文件hsb1.sav中，有7185個(gè)觀測樣本和四個(gè)第一水平的變量（不包含第二水平指標(biāo)變量：學(xué)校編號ID），這四個(gè)變量所表示的含義如下：minority，學(xué)生的種族（1=少數(shù)民族，0=其他）female：學(xué)生性別（1=女，0=男）ses：學(xué)生的社經(jīng)地位，由學(xué)生父母受教育程度、職業(yè)和收入合成，變量已被標(biāo)準(zhǔn)化mathach：學(xué)生的數(shù)學(xué)學(xué)業(yè)成績51精選課件pptHLM應(yīng)用舉例數(shù)據(jù)文件hsb2.sav中包含有160個(gè)學(xué)校，每個(gè)學(xué)校測量了六個(gè)學(xué)校水平的變量（不包含學(xué)校指標(biāo)變量ID）?！ize：學(xué)校招生人數(shù)·sector：學(xué)校類型（1=天主教教會學(xué)校，0=公立學(xué)校）·pracad：從事學(xué)術(shù)研究的學(xué)生的比例·disclim：學(xué)校紀(jì)律環(huán)境，由量表測量得到·himnty：學(xué)校招生少數(shù)民族學(xué)生比例描述（1=超過40%少數(shù)民族學(xué)生，0=其他）·meanses：包含在水平1數(shù)據(jù)中，每個(gè)學(xué)校學(xué)生的平均社經(jīng)地位

52精選課件pptHLM應(yīng)用舉例目的：分析影響學(xué)生數(shù)學(xué)成績的學(xué)生水平變量和學(xué)校水平變量53精選課件ppt個(gè)體水平模型Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij第j組第

I個(gè)個(gè)體因變量的觀測值第j個(gè)組的截距第j組

X1

對應(yīng)的斜率第j組

X2

對應(yīng)的斜率第j組

XK

對應(yīng)的斜率54精選課件ppt背景（Contextual）模型

Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00

1j=

10

2j=

20

…

Kj=

K0在傳統(tǒng)回歸（OLS）模型中,截距和斜率都是固定的，即對不同的第二水平單元均相同55精選課件ppt背景（Contextual）影響問題第二水平不同單元（如不同學(xué)校），截距是否相同?能否用第二水平的協(xié)變量預(yù)測截距之間的差異?斜率是否存在第二水平的變異?能否用第二水平的預(yù)測變量解釋斜率之間的差異?56精選課件ppt截距是否存在第二水平的變異?

Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00

+u0j

1j=

10

2j=

20

…

Kj=

K0Intherandomeffectsmodel,theinterceptvariesaroundsomegrandmeanintercept(

00),andtheslopesarefixed–theyarethesameinallunitsTestH0:Var(u0j)=057精選課件ppt可否用第二水平的預(yù)測變量解釋截距之間的差異?Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00

+

01Z1+

02Z2+…+

0MZM+u0j

1j=

10

2j=

20

…

Kj=

K0Here,theZm’spredicttheintercept.TestH0:

0m=058精選課件ppt斜率是否存在第二水平的變異?Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00+u0j

1j=

10

+u1j

2j=

20

+u2j…

Kj=

K0+uKjTheinterceptandeachoftheslopesvariesaroundtheirgrandmeans(the

k0’s)TestH0:Var(ukj)=059精選課件ppt能否用第二水平的預(yù)測變量解釋斜率間的差異?Yij=

0j+

1jX1ij+

2jX2ij+…+

KjXKij+rij

0j=

00+

01Z1+

02Z2+…+

0MZM+u0j

1j=

10

+

11Z1+

12Z2+…+

1MZM+u1j

2j=

20

+

21Z1+

22Z2+…+

2MZM+u2j…

Kj=

K0

+

K1Z1+

K2Z2+…+

KMZM+uKjHere,theZm’spredicttheslopes.TestH0:

km=060精選課件ppt無條件模型61精選課件ppt無條件模型參數(shù)估計(jì)結(jié)果Finalestimationofvariancecomponents:-----------------------------------------------------------------------------RandomEffectStandardVariancedfChi-squareP-valueDeviationComponent-----------------------------------------------------------------------------INTRCPT1,2.935018.614311591660.232590.000level-1,R6.2568639.14831-----------------------------------------------------------------------------62精選課件ppt含有第一水平預(yù)測變量的HLM模型（隨機(jī)系數(shù)模型）63精選課件ppt隨機(jī)系數(shù)模型參數(shù)估計(jì)結(jié)果Finalestimationoffixedeffects(withrobuststandarderrors)----------------------------------------------------------------------------StandardApprox.FixedEffectCoefficientErrorT-ratiod.f.P-value----------------------------------------------------------------------------ForINTRCPT1,B0INTRCPT2,G0012.6649350.18925166.9211590.000ForSESslope,B1INTRCPT2,G102.3938780.11769720.3391590.000----------------------------------------------------------------------------64精選課件pptFinalestimationofvariancecomponents:-----------------------------------------------------------------------------RandomEffectStandardVariancedfChi-squareP-valueDeviationComponent-----------------------------------------------------------------------------INTRCPT1,U02.197684.82978159905.264720.000SESslope,U10.646750.41828159216.211780.002level-1,R6.0686436.82835-----------------------------------------------------------------------------65精選課件ppt含有第二水平預(yù)測變量的模型66精選課件pptTheoutcomevariableisMATHACHFinalestimationoffixedeffects(withrobuststandarderrors)----------------------------------------------------------------------------StandardApprox.FixedEffectCoefficientErrorT-ratiod.f.P-value----------------------------------------------------------------------------ForINTRC