隨機(jī)效應(yīng)的設(shè)計(jì)陣譜分解

隨機(jī)效應(yīng)的設(shè)計(jì)陣譜分解

1協(xié)方差陣的譜分解考慮到一般線性混合模型。這里,y為n×1觀測向量,X為n×p設(shè)計(jì)矩陣,β為固定效應(yīng),ζl為隨機(jī)效應(yīng),Ui為已知的n×ti設(shè)計(jì)矩陣,e為隨機(jī)誤差.為簡單計(jì),記e=ζk+1,相應(yīng)地,Uk+1=In.假定E(ζi)=0,,Cov(ζi,ζj)=0(i≠j),則y的協(xié)方差陣為其中稱為方差分量,且σ2參數(shù)空間為對平衡數(shù)據(jù),模型中每個(gè)矩陣Ui都可表示成單位矩陣Ia與向量1b=(1,…,1)T的Kronecker乘積形式.定義,則有這里表示Kronecker乘積,p-1通常表示模型中所包含的主因子個(gè)數(shù),每個(gè)上標(biāo)il取值僅為0或1,因此每個(gè)矩陣Ui都唯一對應(yīng)于一個(gè)二進(jìn)制向量(ip,…,i1),記作,稱(ip,…,i1)為Ui的指標(biāo)向量.由Kronecker乘積的性質(zhì),對任意的矩陣A,都有,此這里不妨規(guī)定(1.3)式的每個(gè)下標(biāo)nl>1.定義,(Jb)0=Ib,則y的協(xié)方差陣可表示為本文考慮V(σ2)的譜分解問題.關(guān)于這方面的研究,最初是為了找到V(σ2)-1和行列式|V(σ2)|的表達(dá)式,因?yàn)檫@兩者在求正態(tài)假設(shè)下極大似然估計(jì)中起著很重要的作用.目前文獻(xiàn)中已有兩種譜分解算法:一種是由Smith和Hocking提出的,他們基于完全設(shè)計(jì)的隨機(jī)效應(yīng)模型,給出了譜分解的公式,并將它推廣到一般的混合模型的情形,即將公式中未出現(xiàn)的隨機(jī)項(xiàng)的方差分量用零取代.另一種算法是由Searle和Henderson提出的,該算法完全不依賴于U1,…,Uk之間的某些約束關(guān)系,首先將V(σ2)改寫成,這里(jp,…,j1)取遍從(0,0,…,0)到(1,1,…,1)的所有2p個(gè)二進(jìn)制向量,即添加(2p-k-1)個(gè)的項(xiàng)到V(σ2)給出了最一般形式的譜分解公式.隨后不久,協(xié)方差陣的譜分解又應(yīng)用到統(tǒng)計(jì)的其他方面,如Khuri果應(yīng)用到方差分析方法中,解決了平衡混合效應(yīng)方差分析模型的平方和分解問題.王松桂和尹素菊又將譜分解的結(jié)果應(yīng)用到構(gòu)造模型參數(shù)估計(jì),提出了譜分解估計(jì).但這兩種譜分解都不能明確顯示V(σ2)的不同特征值的個(gè)數(shù),它們所含的譜分解項(xiàng)數(shù)分別為2p-1和2p,往往都遠(yuǎn)遠(yuǎn)大于協(xié)方差陣V(σ2)不同特征值的個(gè)數(shù),這為研究和推導(dǎo)估計(jì)的性質(zhì)造成了許多不便.事實(shí)上Graybill和Hultquist,Szatroski就分別將隨機(jī)模型方差分析估計(jì)的存在性問題,線性混合模型下極大似然方程顯式解的存在問題歸結(jié)為V(σ2)不同特征值的個(gè)數(shù)問題.注意到(1.4)式中指標(biāo)(ip,…,i1)并非從(0,0,…,0)到(1,1,…,1)中任意的(k+1)個(gè)二進(jìn)制向量,在許多情形,它們要滿足某些設(shè)計(jì)上的限制.本文利用設(shè)計(jì)陣的特點(diǎn),首先給出設(shè)計(jì)陣{U1,…,Uk+1}的一種新序,基于此序,提出了平衡模型下協(xié)方差陣新的譜分解方法.此方法的突出特點(diǎn)是能夠明確顯示V(σ2)的不同特征值的個(gè)數(shù),以及譜分解中不同特征值對應(yīng)的投影陣與U1,Uk+1之間的關(guān)系,這將對方差分析(ANOVA)估計(jì)、極大似然估計(jì)(MLE)以及譜分解估計(jì)進(jìn)一步性質(zhì)的研究提供更有力的工具.其次,我們更清晰地顯示了模型參數(shù)譜分解估計(jì)的統(tǒng)計(jì)構(gòu)造,并證明了在一定條件下,譜分解估計(jì)與方差分析估計(jì)相等;再次,證明了在正態(tài)假設(shè)下,一般平衡隨機(jī)模型的方差分析估計(jì)為最小方差無偏估計(jì),而且在一定條件下,混合線性模型的方差分析估計(jì)也可達(dá)到最優(yōu).最后,我們給出其似然方程顯式解存在的一個(gè)較易驗(yàn)證的判定定理,并給出了顯式解存在時(shí)解的一般公式,改進(jìn)了Szatroski的工作.2mi的基本思想令PA=A(ATA)-AT,即子空間M(A)上的正交投影陣,這里M(A)表示由矩陣A的列向量張成的子空間.由(1.3)式易證其中,因此,協(xié)方差陣又可表示為因?yàn)槠渲衪l=max(il,jl),l=1,…,p,故可交換.若tl=1,l=1,…,p,則,這里.為記號簡單計(jì),記,U0=1n.顯然,.定義2.1當(dāng)且僅當(dāng)下面條件之一成立:(2),但存在正整數(shù)m,使得,而.稱序?yàn)橹笜?biāo)序.易知條件(2)等價(jià)于,且二進(jìn)制數(shù)(ip…i1)>(jp…j1).由于指標(biāo)向量(ip,ip-1,…,i1)(i=0,…,k+1)是來自(0,0,…,0)到(1,1,…,1)中的(k+1)個(gè)不同的二進(jìn)制向量,因此依據(jù)指標(biāo)序,U0,U1,…,Uk+1可重新排列為,事實(shí)上,這與相應(yīng)的隨機(jī)效應(yīng)的ξ(1),…,ξ(k)的習(xí)慣排序相一致,在隨機(jī)模型下,我們習(xí)慣于先考慮總體均值、隨機(jī)因子的主效應(yīng),然后考慮其交互效應(yīng)(或套效應(yīng)),最后為隨機(jī)誤差.例如,帶交互效應(yīng)的兩項(xiàng)分類隨機(jī)模型隨機(jī)效應(yīng)α,β,γ以及誤差向量e對應(yīng)的設(shè)計(jì)陣分別為容易驗(yàn)證.為符號清晰計(jì),仍記U(i)為Ui.即下面考慮的U0,U1,…,Uk+1都滿足.定義新序的目的是確保下面事實(shí)成立:若,則借鑒Henderson方法III的思想,我們構(gòu)造一組正交投影陣顯然,MiMj=0(i≠j),,因此{(lán)M0,M1,…,Mk+1}是一個(gè)正交投影的完全集.引理2.1證(1)反證法.假設(shè)存在Mq=0.因?yàn)?故有q>0.由Mi的定義(2.4)式,Mq=0等價(jià)于記,這里,由于每個(gè)ql取值僅為0或者1,因此在指標(biāo)分量qp,…,q1中,僅有d個(gè)指標(biāo)分量取值1,不妨設(shè)(qp,…,qd+1,qd…,q1)=(0,…,0,1,…,1),因此,令由于nl>1(1≤l≤p),因此Nq≠0,且.然而,依定義2.1,表明對每個(gè)Ui(i<q),其指標(biāo)分量ip,…,id+1中至少存在一個(gè),即,因此NqUi=0,故,這與(2.5)式矛盾.于是(1)得證.(2)歸納法.當(dāng)i=2時(shí),由與可交換,故有(見文獻(xiàn)的推論6),這里QA=I-PA,由此式直接可推得,.假設(shè)對任意的i≤m(2<m≤k),都有結(jié)合(2.4)式便得再利用的可交換性,于是證得與可交換,從而依歸納法(2)得證.證畢.注2.1由(2.7)式易推得Mi的迭代形式:這在計(jì)算上往往較簡單.注2.2由于,i=1,…,k+1,因此,.為了下面定理證明的需要,Mi又可寫成記.定理2.1若D0關(guān)于矩陣乘積封閉(即,0≤i,j≤k+1),則)的譜分解為這里Mi如(2.4)式所定義,是V(σ2)的(k+2)個(gè)(不同)的特征值,重?cái)?shù)分別為1,r1=tr(Mi),…,rk+1=tr(Mk+1),其中證由,得V(σ2)M0=λ0M0,因此λ0為V(σ2)的一個(gè)特征值,其重?cái)?shù)為tr(M0)=1.由M0,M1,M2,…,Mk+1彼此正交,且,我們只需證明而此式等價(jià)于或Mi,1≤i,j≤k+1.若j<i,由Mi的定義(2.4)式,顯然有.若j≥i,依引理2.1有.由集合D0關(guān)于矩陣乘積的封閉性,故存在,使得,這里.由(2.2)式,Ua的指標(biāo)分量al=max(il,jl)≥il(l=1,…,p).于是,且其等號成立當(dāng)且僅當(dāng)所有的al=il,即Ua=Ui,這時(shí).若,則,由序以及的可交換性,有綜上所述得其中hij=CjIj(i)(i≤j),H為上三角陣.(2.11)式又可寫成λ=Hσ2,λ0=cTσ2,(2.14這里c=(c1,…,ck+1).注意到hii=ci>0,故H可逆,λ1,…,λk+1互不相等,且僅有λ0和λ1可能相等.定理證畢.注2.3由(2.13)式和注2.1,我們得到Mi的更簡單的計(jì)算公式注2.4λ0=λ1當(dāng)且僅當(dāng),2≤j≤k+1.這可由表達(dá)式和(1)直接推得.記,則D0封閉且λ0=λ1就等價(jià)于D封閉.由于等價(jià)于,注意到事實(shí):若正交投影陣PA與PB可交換,則PAPB作為子空間M(A)∩M(B)上的投影陣,結(jié)合D0關(guān)于矩陣乘積的封閉性以及,有(1≤i,j≤k+1),即D關(guān)于矩陣乘積封閉.反過來,易見若D關(guān)于矩陣乘積封閉,則D0關(guān)于矩陣乘積也封閉,且,即λ0=λ1.由定理2.1得如下推論:推論2.1若D關(guān)于矩陣乘積封閉,則協(xié)方差陣V(σ2)只有(k+1)個(gè)不同特征值,且其譜分解為這里特征值λ1,λ2,…,λk+1的定義同(2.11)式,其重?cái)?shù)分別為1+r1,r2,…,rk+1.推論2.2在定理2.1的條件下,對許多常見的平衡線性混合模型,集合D0關(guān)于矩陣乘積是封閉的,如一般的隨機(jī)效應(yīng)模型,隨機(jī)效應(yīng)部分為一般多項(xiàng)分類平衡數(shù)據(jù)模型的線性混合模型,以及模型中不存在兩個(gè)隨機(jī)因子同時(shí)與同一固定因子有交互效應(yīng)的混合模型.例2.1兩項(xiàng)分類隨機(jī)模型(帶交互效應(yīng))yijk-μ+αi+βj+γij+eijk,i=1,…,a,j=1,…,b,k=1,…,c,關(guān)于模型的假設(shè)見(2.3)式,這里易證這時(shí)D關(guān)于矩陣乘積是不封閉的,而D0封閉,由定理2.1,V(σ2)的全部不同的特征值為它們的重?cái)?shù)分別為1,r1=(a-1),r2=(b-1),r3=(a-1)(b-1),r4=ab(c-1),V(σ2)的譜分解為依推論2.1有與Searle和Henderson的方法相比,定理2.1提供的算法更為簡單.注意到Mi=(i=1,…,4),與Smith和Hocking的方法相比該方法更容易證得平方和分解式各均方的y-2,yTMiy的分布性質(zhì),這將在本文的第4節(jié)中給出.注2.5定理2.1可推廣到更一般的情形.若D不封閉,令為包含D的關(guān)于矩陣乘積的最小封閉集,則V(σ2)僅有k+m個(gè)不同特征值.將Dm的元素按指標(biāo)序進(jìn)行排序:類似于(2.4)式,記則V(σ2)的譜分解為這里為V(σ2)的(k+m)個(gè)不同的特征值,其中證明類似于定理2.1.3般平衡混合模型的方差估計(jì)與an部門估計(jì)王松桂和尹素菊基于Searle和Henderson的V(σ2)譜分解結(jié)果,提出了模型參數(shù)的一種新估計(jì):譜分解估計(jì).他們首先需要將文獻(xiàn)中V(σ2)譜分解結(jié)果中相同特征值的項(xiàng)合并,但由于合并項(xiàng)的投影陣的統(tǒng)計(jì)意義不清晰,故增加了對譜分解估計(jì)的研究難度.Wu和Wang考慮了模型中只含有一個(gè)隨機(jī)變量即k=1的情形,對一般平衡模型(1.1),目前文獻(xiàn)中還沒有譜分解估計(jì)的進(jìn)一步研究結(jié)果.本節(jié)將利用定理2.1的譜分解結(jié)果,著重研究方差分量的譜分解估計(jì)與其方差分析估計(jì)的關(guān)系.對一般平衡模型(1.1),若D0關(guān)于矩陣乘積封閉,則容易給出有關(guān)參數(shù)的譜分解估計(jì).事實(shí)上,用投影陣Mi左乘模型(1.1)便得到模型這里e～(0,Λ)表示隨機(jī)變量e的均值為0,協(xié)方差陣為Λ顯然它們皆為一般的線性模型,由最小二乘統(tǒng)一理論,便得可估計(jì)函數(shù)cTβ及其方差參數(shù)λi的一個(gè)無偏估計(jì)i=1,…,k+1,這里mi=ri-rk(MiX).結(jié)合(2.14)式,得到的無偏估計(jì)和便是模型參數(shù)的譜分解估計(jì).若λ0=λ1,則(3.1)式中的第1個(gè)模型就變?yōu)楣师?的譜估計(jì)就變?yōu)?(3.5)僅需用(3.5)式代替方程組(3.3)中的,便得到方差參數(shù)的譜分解估計(jì).定理3.1對模型(1.1),若D0關(guān)于矩陣乘積封閉且滿足1∈M(X),PX與每個(gè)可交換,則方差分量的譜估計(jì)與ANOVA估計(jì)相等.證依HendersonⅢ方法,σ2的ANOVA估計(jì)可由下列方程組給出:這里ai=E(yTNiy),,,i=2,…,k+1.由(2.7)式有,結(jié)合PX與每個(gè)可交換,可推知Px與可交換,故于是又由可知,因此.(3.8)另一方面,由PX與的可交換性,易知PXMi=MiPX,結(jié)合事實(shí):Mi為正交投影陣,M((I-Mi):X)=M((I-Mi):MiX),故有其中第2個(gè)等式可由文獻(xiàn)的推論6得到,因此方程組(3.3)與方程組(3.6)等價(jià),即證得方差參數(shù)的這兩種估計(jì)相等.定理證畢.對一般平衡隨機(jī)模型(即Xβ=1μ)由于D0關(guān)于矩陣乘積封閉,而且PX=,因此定理3.1的條件成立,故有如下結(jié)論:推論3.1一般平衡隨機(jī)模型的方差分量σ2的ANOVA估計(jì)與譜分解估計(jì)相等.此外,若D關(guān)于矩陣乘積封閉,則由推論2.2知λ0=λ1,由PX與可交換立得,無需條件.于是我們有如下推論:推論3.2若一般平衡混合模型(1.1)滿足條件:D關(guān)于矩陣乘積封閉,且PX與每個(gè)可交換,則定理3.1的結(jié)論仍成立.例3.2Panel數(shù)據(jù)模型,i=1,2,…,N,t=1,2,…,T,(3.10)這里,ui為隨機(jī)的個(gè)體效應(yīng),eit為誤差,ui～,eit～,且它們彼此獨(dú)立.記X0=(x11,…,xNT),X=(1:X0),β=(β0,β1)T,則模型(3.10)的矩陣形式為這里易見β1的兩個(gè)譜分解估計(jì)為,這便是文獻(xiàn)中提到的Between估計(jì)和Within估計(jì).由推論3.2易知,若與可交換,則方差分量,的譜分解估計(jì)等于其對應(yīng)的ANOVA估計(jì).注3.1定理3.1的條件PX與每個(gè)可交換,也是模型(1.1)的任意可估函數(shù)cTβ的最小二乘(LS)估計(jì)為最佳線性無偏(BLU)估計(jì)的充要條件.4般平衡混合模型中an部門anva估計(jì)的最優(yōu)性在正態(tài)假設(shè)下,Graybill和Hultquist考慮了隨機(jī)模型下ANOVA估計(jì)的最優(yōu)性,給出了ANOVA估計(jì)為最小方差無偏估計(jì)的一個(gè)充分必要條件:彼此可交換,且的不同特征值個(gè)數(shù)為k+2.但如何驗(yàn)證其不同特征值的個(gè)數(shù),目前文獻(xiàn)中的結(jié)論仍然很少.盡管Graybill和Wortham指出平衡隨機(jī)模型的方差分析估計(jì)皆為一致最小方差無偏估計(jì),但他們并沒有給出嚴(yán)格的證明.此外,針對一般的混合效應(yīng)模型(1.1),Khuri基于Smith和Hocking提出的譜分解結(jié)果,解決了平方和分解問題,但由于不能確定不同特征值的個(gè)數(shù),故未能給出方差分量的ANOVA估計(jì)最優(yōu)性的討論.本文作者在文獻(xiàn)中給出了k=1時(shí)方差分量的ANOVA估計(jì)為一致最小方差無偏估計(jì)的一個(gè)充分條件.本節(jié)將應(yīng)用定理2.1以及推論2.1的譜分解結(jié)果來研究一般平衡混合模型下ANOVA估計(jì)的最優(yōu)性問題.首先考慮一般平衡隨機(jī)模型這是線性混合模型(1.1)的一個(gè)特例,Xβ=1nμ,這里總體均值μ,隨機(jī)效應(yīng)ξi,…,ξk,誤差e與模型(1.1)有相同的假設(shè).定理4.1對一般平衡隨機(jī)模型(4.1),若y服從正態(tài)分布,則方差分量的ANOVA估計(jì)為一致最小方差無偏估計(jì).證由于對一般平衡隨機(jī)模型,D0關(guān)于矩陣乘積封閉,因此由定理2.1得證譜分解為由于,于是平方和yTy可分解為依定理2.1,結(jié)合引理2.1知每個(gè)ri≠0,因此E(yTMiy)/r1=λi.令注意到事實(shí)1n∈M(Ui),于是因此,對一般平衡隨機(jī)模型(4.1),方差分量σ2的ANOVA估計(jì)為下面考慮一般平衡混合效應(yīng)模型(1.1)的情形.定理4.2在推論3.2的條件下,可估函數(shù)cTβ的LS估計(jì)以及方差分量σ2的ANOVA估計(jì)皆為一致最小方差無偏估計(jì).對于一般平衡混合模型,由推論3.2的條件可知V(σ2)的不同特征值的個(gè)數(shù)等于未知方差分量的個(gè)數(shù).結(jié)合PX與每個(gè)可交換,于是y的密度函數(shù)可分解為與文獻(xiàn)相似,我們可證明任意可估函數(shù)cTβ的LS估計(jì)和方差分量σ2的ANOVA估計(jì)皆為模型充分完備統(tǒng)計(jì)量的函數(shù),依Blackwell-Rao-LehmannScheffe定理,便可證得該定理.以上兩個(gè)定理也表明譜估計(jì)和方差分析估計(jì)在一定條件下可同時(shí)達(dá)到最優(yōu).5混合模型測試這一節(jié)將新的譜分解結(jié)果應(yīng)用到研究一般線性混合模型(1.1)的極大似然估計(jì)問題.下面假設(shè)y服從正態(tài)分布.似然方程中關(guān)于參數(shù)β顯式解的存在性問題等價(jià)于LS估計(jì)的穩(wěn)健性問題,有關(guān)結(jié)論參見文獻(xiàn).在LS估計(jì)穩(wěn)健的情形,關(guān)于方差分量σ2的極大似然估計(jì)顯式形式的存在問題,Szatroski給出了一個(gè)充要條件:V(σ2)僅有(k+1)個(gè)不同的特征值.至于如何判斷這個(gè)充要條件成立,Szatroski和Miller針對一類特殊的模型——平衡混合方差分析(mi