數(shù)理統(tǒng)計課件：Cramer-Rao不等式

Cramer-Rao不等式C-R不等式是判別一個無偏估計量是否為UMVUE的方法之一.基本思想如下如果g(

)的一個無偏估計的方差達到這個下界，則

是g(

)的一個一致最小方差無偏估計(UMVUE).設(shè)Ug

是g(

)的一切無偏估計構(gòu)成的類

Ug

中估計量的方差有一個下界，這個下界稱為C-R下界.C-R不等式是由C.R.Rao和H.Cramer在1945年和1946年分別證明的.C-R不等式成立需要樣本分布族滿足一些正則條件，適合這些條件的分布族稱為C-R正則族.1參數(shù)空間Θ是直線上的開區(qū)間；若單參數(shù)分布族滿足下列條件2對任意

Θ，f(x,

)

>0；4f(x,

)的積分與微分運算可交換，即定義3.6.1(正則分布族)3對任意

Θ，存在；若f(x,

)為離散型隨機變量的分布列，上述條件改為無窮級數(shù)和微分運算可交換；5下列數(shù)學(xué)期望存在，且則該分布族稱為C-R正則分布族.其中(1)-(5)稱為C-R正則條件.I(

)稱為該分布族的Fisher信息量(或稱為Fisher信息函數(shù)).要求樣本分布族滿足：(1)參數(shù)空間為開集(2)分布的支撐與參數(shù)無關(guān)(3)密度函數(shù)或分布列關(guān)于參數(shù)的導(dǎo)數(shù)存在(5)密度函數(shù)或分布列的對數(shù)的導(dǎo)數(shù)存在二階矩(4)密度函數(shù)或分布列的積分和微分可以換序則該分布族稱為C-R正則分布族.定理3.6.1(單參數(shù)C-R不等式)設(shè)分布族是C-R正則分布族，可估函數(shù)g(

)是定義在參數(shù)空間Θ上的可微函數(shù).X1,X2,…,Xn

是從該分布族的某總體抽取的樣本，是g(

)的任一無偏估計，且滿足下列條件:6積分可在積分號下對??求導(dǎo)數(shù)，此處dx=dx1…dxn

,則一切特別當(dāng)g(

)=

時，上式變?yōu)橐磺挟?dāng)f(x,

)為離散型隨機變量X的分布列時，有一切由于X1,X2,…,Xn的聯(lián)合密度函數(shù)(聯(lián)合分布列)為記證明:根據(jù)正則條件(3)和(4)得到下式其中x=(x1,x2,…,xn)

.4f(x,

)的積分與微分運算可交換，即根據(jù)正則條件(5)和(6)得到下式

是g(

)的無偏估計，可在積分號下對??求導(dǎo)數(shù)根據(jù)Cauchy-Schwartz不等式得到5.數(shù)學(xué)期望存在于是,得到結(jié)論一切即不等式稱為Cramer-Rao不等式，簡稱C-R不等式.一切C-R不等式與UMVUE的關(guān)系首先，注意C-R不等式的成立是有條件的.其次，對滿足正則條件的分布族，如果存在一個無偏估計達到方差的下界則它一定是一致最小方差無偏估計.因此，C-R不等式可以作為驗證某一無偏估計是否為一致最小方差無偏估計的方法.用C-R不等式尋找g(θ)的一致最小方差無偏估計的方法.第一步：驗證樣本分布族滿足正則條件(1)?(5)和(6).對于指數(shù)族條件(1)?(5)和(6)均成立.第二步：計算Fisher信息I(

)和無偏估計的方差若，則是g(

)的UMVUE第三步：計算是否達到C-R下界若達不到C-R下界，并不能得出結(jié)論：g(

)的一致最小方差無偏估計不存在.但是其方差大于C-R下界注意存在這樣的例子：是g(

)的一致最小方差無偏估計.設(shè)X~B(1，p)，其分布列為1兩點分布族是指數(shù)族，C-R正則條件成立;2Fisher信息量為：證明：下面看幾個例子.例3.6.1設(shè)X1,X2,…,Xn是從兩點分布族{B(1,p)：0<p<1}中抽取的樣本.用C-R不等式證明樣本均值為p

的一致最小方差無偏估計.因此，C-R下界為由于為p的無偏估計且其方差為達到了C-R下界.因此，為p的一致最小方差無偏估計.設(shè)X~b(m,p),其分布列為1二項分布族是指數(shù)族，C-R正則條件成立;2Fisher信息量為：證明：例3.6.2設(shè)X1,X2,…,Xn是從二項分布族{B(m,p)：0<p<1,m已知}中抽取的樣本.用C-R不等式證明為p

的UMVUE.因此，C-R下界為由于為p

的無偏估計且其方差為達到了C-R下界.因此，為p

的一致最小方差無偏估計.設(shè)X~P(λ

)，

其分布列為1泊松分布族是指數(shù)族，C-R正則條件成立；2Fisher信息量為：證明：例3.6.3設(shè)X1,X2,…,Xn是從泊松分布族{P(λ):λ>0}中抽取的樣本.用C-R不等式證明為λ

的UMVUE.因此，C-R下界為由于，為λ的無偏估計且其方差為達到了C-R下界.因此，為λ

的一致最小方差無偏估計.設(shè)X~Exp(λ),其密度函數(shù)為1指數(shù)分布族是指數(shù)族，C-R正則條件成立；2Fisher信息量為：證明：例3.6.4設(shè)X1,X2,…,Xn是從指數(shù)分布族{Exp(λ):λ>0}中抽取的樣本.用C-R不等式證明為1/λ

的UMVUE.因此，C-R下界為由于，為1/λ的無偏估計且其方差為達到了C-R下界因此為1/λ

的一致最小方差無偏估計.設(shè)X~N(μ,σ2)，其密度函數(shù)為1正態(tài)分布族是指數(shù)族，C-R正則條件成立；2Fisher信息量為：證明：其中μ

未知，

σ2已知例3.6.5設(shè)X1,X2,…,Xn是從正態(tài)分布族{N(μ,σ2):

-∞<μ<∞,σ2>0}抽取的樣本，其中σ2已知.用C-R不等式證明為μ

的一致最小方差無偏估計.因此，C-R下界為由于，為μ的無偏估計且其方差為達到了C-R下界因此，為μ

的一致最小方差無偏估計.Fisher信息量(Fisher信息函數(shù))：解釋1：衡量總體模型中包含的信息量.

解釋2：單個樣本提供的信息量.對于簡單隨機樣本，樣本信息量是總體信息量的n倍.當(dāng)樣本量n=1時，樣本的Fisher信息量稱為總體的Fisher信息量.解釋3：C-R不等式表明，樣本包含參數(shù)的信息越多，無偏估計的方差下界越小.解釋4：充分統(tǒng)計量與樣本包含參數(shù)的信息量相同.

定義3.6.2(效率)設(shè)為g(

)的無偏估計，比值稱為無偏估計的效率.

顯然定義3.6.3(有效估計)定義3.6.4(漸近有效估計)說明1：有效估計是無偏估計類中最好的估計.說明2：有效估計不多，但是漸近有效估計多.說明3：有效估計一定是UMVUE，但是很多UMVUE不是有效估計1此時C-R下界偏小，在很多場合UMVUE的方差達不到C-R下界.2C-R不等式的成立有條件(C-R正則條件)，若條件不成立，此時再利用C-R下界去定義估計的效率或求有效估計就不合理.例3.6.1?例3.6.5給出的有關(guān)參數(shù)的無偏估計，其方差都能達到C-R下界，因此它們都是相應(yīng)參數(shù)的有效估計.例3.6.6例3.6.7設(shè)X1,X2,…,Xn是從正態(tài)分布族{N(μ,σ2):

-∞<μ<∞,σ2>0}抽取的樣本.當(dāng)

μ

未知時，證明:樣本方差S2不是σ2的有效估計，但是漸近有效估計.(2)當(dāng)

μ

已知時，求σ2的有效估計.(1)證明：由于達不到C-R下界因此

S2不是σ2的有效估計.估計的效率為因此

S2是σ2的漸近有效估計.但是當(dāng)

μ

未知時，證明:樣本方差S2不是σ2有效估計，但是漸近有效估計.(2)由于μ

已知，令且得到(2)當(dāng)

μ

已知時，求σ2的有效估計.達到了C-R下界因此，當(dāng)μ