數(shù)理統(tǒng)計(jì)課件：一致最小方差無偏估計(jì)

方差無偏估計(jì)

一致最小設(shè)X=(X1,X2,…,Xn)是從該分布族中抽取的簡單隨機(jī)樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.g(θ)

是定義在參數(shù)空間Θ

上的實(shí)函數(shù).

問題：如何評價(jià)估計(jì)量的優(yōu)劣？定義3.5.1(均方誤差)記為定義3.5.2(一致最小均方誤差估計(jì))且不等號至少對某個(gè)

Θ成立，則稱在均方誤差準(zhǔn)則下但是，一致最小均方誤差估計(jì)常不存在.解決辦法：把最優(yōu)性準(zhǔn)則放寬些，使得適合這種最優(yōu)性的估計(jì)一般存在.在一個(gè)大的估計(jì)類中，一致最優(yōu)估計(jì)量不存在，把估計(jì)類縮小，就有可能存在一致最優(yōu)的估計(jì)量.因此，把估計(jì)類縮小為無偏估計(jì)類來考慮.對無偏估計(jì)的說明：1無偏估計(jì)不一定存在例3.5.1設(shè)樣本X~B(n,p),n已知，0<p<1為未知參數(shù)，令g(p)=1/p，則g(p)的無偏估計(jì)不存在.證明:反證法證明即上式左端是p的n+1次多項(xiàng)式，它至多在(0,1)區(qū)間有n+1個(gè)實(shí)根.可是無偏性要求對(0,1)中的任一實(shí)數(shù)p,上式都成立.導(dǎo)致矛盾，因此g(p)=1/p的無偏估計(jì)不存在.即2對同一個(gè)參數(shù)，無偏估計(jì)一般不唯一.在無偏估計(jì)類中，估計(jì)量的均方誤差就是其方差，即：把不存在無偏估計(jì)的參數(shù)除外.若參數(shù)的無偏估計(jì)存在，則稱此參數(shù)為可估參數(shù).若參數(shù)函數(shù)的無偏估計(jì)存在，則稱此函數(shù)為可估函數(shù).一個(gè)無偏估計(jì)的方差越小越好，有沒有最好的無偏估計(jì)量?為此引入如下一致最小方差無偏估計(jì)的定義.定義3.5.3設(shè)X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.g(θ)

是定義在參數(shù)空間Θ

上的可估函數(shù).

3.5.1一致最小方差無偏估計(jì)的定義特殊的，取g(

)=

設(shè)X1,X2,…,Xn是從該分布族中的某總體抽取的樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.對給定參數(shù)分布族，尋找可估參數(shù)(或可估函數(shù))的一致最小方差無偏估計(jì)的方法有如下：充分完備統(tǒng)計(jì)量法Cramer_Rao不等式法重點(diǎn)：統(tǒng)計(jì)思想3.5.2一致最小方差無偏估計(jì)的求法下面的引理提供了一個(gè)改進(jìn)無偏估計(jì)的方法.引理3.5.1證明：第一步：證明h(T)是g(

)的無偏估計(jì)因此，h(T)是g(

)的無偏估計(jì)由于T(X1,X1,…,Xn)是充分統(tǒng)計(jì)量，根據(jù)定義可以得到給定T時(shí)，樣本X1,X1,…,Xn

的條件分布與

無關(guān).即因此，h(T)是統(tǒng)計(jì)量，可以作為g(

)

的估計(jì)量，且分三步證明與

無關(guān).證明：從右側(cè)出發(fā)證明第二步：證明方差更小，即證明下式成立討論上式最后一項(xiàng)(交叉項(xiàng))因此第三步：證明等號成立的充要條件即說明1該引理提供了一個(gè)改進(jìn)無偏估計(jì)的方法.2一致最小方差無偏估計(jì)一定是充分統(tǒng)計(jì)量的函數(shù).否則，可以通過充分統(tǒng)計(jì)量，按照引理的方法構(gòu)造一個(gè)具有更小方差的無偏估計(jì).解：由引理3.5.1可知，構(gòu)造p的一個(gè)無偏估計(jì)利用T=T(X)構(gòu)造一個(gè)具有比X1的方差更小的無偏估計(jì).例3.5.1設(shè)X1,X2,…,Xn是來自兩點(diǎn)分布總體B(1,p)，0<p<1的樣本，顯然X1是p的一個(gè)無偏估計(jì)，且是充分統(tǒng)計(jì)量.經(jīng)過改進(jìn)的無偏估計(jì)是否是UMVUE？問題：下面的定理給出了求一致最小方差無偏估計(jì)的的方法，即充分完備統(tǒng)計(jì)量法，是由E.L.Lemann.和H.Scheffe提出的.設(shè)T(X)=T(X1,X2,…,Xn)是一個(gè)充分完備統(tǒng)計(jì)量，若是g(

)的一個(gè)無偏估計(jì).定理3.5.1(Lemann_Scheffe定理)：則是g(

)

唯一的UMVUE.X1,X2,…,Xn

是從該分布族中某總體抽取的樣本，設(shè)為一參數(shù)分布族，其中Θ為參數(shù)空間.g(θ)

是定義在參數(shù)空間Θ

上的可估函數(shù).

唯一性是在這樣的意義下：若和都是g(θ)的UMVUE，則對一切

Θ成立.第一步：先證唯一性證明：設(shè)為g(θ)的任一無偏估計(jì).令則由于T(X)為完備統(tǒng)計(jì)量，可知即唯一性成立.第二步：證明一致最小方差性.證明：設(shè)

(X)為g(θ)的任一無偏估計(jì).令由于T(X)為充分統(tǒng)計(jì)量，因此，h(T(X))與θ無關(guān)，

h(T(X))是統(tǒng)計(jì)量.根據(jù)引理3.5.1，得到由唯一性，因此所以為g(θ)的UMVUE，且唯一.及

(X)為g(θ)的任一無偏估計(jì)，得到推論3.5.1設(shè)樣本X1,X2,…,Xn的分布為如下指數(shù)族的自然形式其中令若自然參數(shù)空間Θ*作為Rk的子集有內(nèi)點(diǎn)，且h(T(X))是g(θ)的無偏估計(jì)，則h(T(X))是g(θ)唯一的一致最小方差無偏估計(jì).第一步：由指數(shù)族的性質(zhì)可知證明：為充分完備統(tǒng)計(jì)量.第二步：由于h(T(X))是g(θ)的無偏估計(jì)，根據(jù)Lemann—Scheffe定理(簡記為L—S定理)，可知h(T(X))是g(θ)唯一的一致最小方差無偏估計(jì).例3.5.2設(shè)X1,X2,…,Xn是來自兩點(diǎn)分布總體

B(1,p)，0<p<1的樣本.證明：為p

的UMVUE.證明：根據(jù)因子分解定理可知是充分統(tǒng)計(jì)量.是完備統(tǒng)計(jì)量(指數(shù)族自然參數(shù)空間有內(nèi)點(diǎn))第一步：找充分完備統(tǒng)計(jì)量為充分完備統(tǒng)計(jì)量的函數(shù).對因此根據(jù)定理1(L—S定理)知為p的UMVUE.第二步：找無偏估計(jì)由于是充分完備統(tǒng)計(jì)量的函數(shù)，又是p的無偏估計(jì).說明：獲得可估函數(shù)g(

)的一致最小方差無偏估計(jì)的方法是找到一個(gè)依賴于充分完備統(tǒng)計(jì)量的無偏估計(jì).第一步：找到一個(gè)充分完備統(tǒng)計(jì)量T(X)=T(X1,X2,…,Xn)第二步：找到充分完備統(tǒng)計(jì)量T(X)的函數(shù)g(T(X))，使得

E[g(T(X))]=g(

)g(T(X))為g(

)的一致最小方差無偏估計(jì).例3.5.3在例3.5.2中，已知服從二項(xiàng)分布B(n,p)，且T(X)為充分完備統(tǒng)計(jì)量.求g(p)=p(1-p)的一致最小方差無偏估計(jì).設(shè)

(T)為g(p)=p(1-p)的一個(gè)無偏估計(jì)，目的：要導(dǎo)出

(T)的表達(dá)式按照無偏估計(jì)的定義以及T~b(n,p)，可得解:令，則有，則將展開得因此上式兩邊為ρ的多項(xiàng)式，比較其系數(shù)得到綜合上述兩式得為g(p)=p(1-p)的無偏估計(jì).又是充分完備統(tǒng)計(jì)量的函數(shù).因此根據(jù)定理1(L—S定理)知

(T)為g(p)=p(1-p)的UMVUE.說明：如果一個(gè)參數(shù)或參數(shù)函數(shù)沒有顯然的無偏估計(jì)，可以構(gòu)造充分完備統(tǒng)計(jì)量的函數(shù)，由無偏性，用待定系數(shù)(比較系數(shù))法求出依賴于充分完備統(tǒng)計(jì)量的一個(gè)無偏估計(jì)可得到可估函數(shù)的一致最小方差無偏估計(jì)..例3.5.4設(shè)X1,X2,…,Xn是來自泊松分布總體P(λ)的樣本，分別求由指數(shù)族的性質(zhì)，是充分完備統(tǒng)計(jì)量.解:(1)

λ

的UMVUE.(2)

λr的UMVUE

,其中r>0為自然數(shù).(3)P{X1=x}的UMVUE.第一步：找充分完備統(tǒng)計(jì)量(1)令，則則是充分完備統(tǒng)計(jì)量T(X)的函數(shù)，又是λ的無偏估計(jì).因此根據(jù)定理1(L—S定理)知為λ的UMVUE.(2)由于，令g2(T)為λr的無偏估計(jì)，于是有第二步：找無偏估計(jì)(1)g1(λ)=λ

的UMVUE.(2)g2(λ)=λr的UMVUE

將上式右邊展開得等價(jià)于代入得到上述等式兩邊是λ的冪級數(shù)，比較其系數(shù)得綜合上述兩式得為

λr的無偏估計(jì).又是充分完備統(tǒng)計(jì)量的函數(shù).因此根據(jù)定理1(L—S定理)知g2(T)為

λr的UMVUE.(3)由于是參數(shù)λ的函數(shù).令，則注意(3)P{X1=x}的UMVUE.因此，可用來表示P{X1=x}

.為

的無偏估計(jì).因此,無偏估計(jì)量

(X1)關(guān)于充分完備統(tǒng)計(jì)量求條件期望因此由于g3(T)為

的無偏估計(jì)，為

的UMVUE.g3(T)又是充分完備統(tǒng)計(jì)量

的函數(shù).

為g(

)的一致最小方差無偏估計(jì)說明：在本例第三種情況，存在一個(gè)顯然的無偏估計(jì)，然后對這個(gè)無偏估計(jì)關(guān)于充分完備統(tǒng)計(jì)量求條件期望，得到UMVUE，具體做法如下：第二步：找到g(

)的一個(gè)無偏估計(jì)第三步：無偏估計(jì)量關(guān)于充分完備統(tǒng)計(jì)量求條件期望第一步：找到一個(gè)充分完備統(tǒng)計(jì)量T(X1,X2,…,Xn)例3.5.5設(shè)X1,X2,…,Xn

是來自指數(shù)分布總體Exp(λ)，λ>0的樣本，分別求解:(1)1/λ

的一致最小方差無偏估計(jì).

(2)

的一致最小方差無偏估計(jì).

由指數(shù)族的性質(zhì)，是充分完備統(tǒng)計(jì)量，且第一步：找充分完備統(tǒng)計(jì)量第二步：找無偏估計(jì)(1)由于

是

1/λ

的無偏估計(jì).

又是充分完備統(tǒng)計(jì)量

的函數(shù).

因此

是

1/λ

的一致最小方差無偏估計(jì).

(2)由伽瑪分布的性質(zhì)知

由于即為λ的無偏估計(jì)又是充分完備統(tǒng)計(jì)量的函數(shù).因此根據(jù)定理1(L—S定理)知

為λ的一致最小方差無偏估計(jì).要使得，取(3)令h1(T)是exp(-λx0)

的無偏估計(jì)，且

(3)求g(λ)=1-exp(-λx0)的UMVUE密度函數(shù)為因此由于h2(T(X))是充分完備統(tǒng)計(jì)量T(X)的函數(shù)，

又是g(λ)的無偏估計(jì).因此，根據(jù)定理1(L—S定理)知h2(T(X))為g(λ)=1-exp(-λx0)

的UMVUE.因此為g2(λ)=1-exp(-λx0)

的無偏估計(jì)例3.5.6設(shè)X1,X2,…,Xn是來自正態(tài)總體N(μ,σ2):

-∞<μ<∞,σ2>0的樣本，記

=(μ,σ2)求：(1)μ和σ2的一致最小方差無偏估計(jì).由于T(X)=(T1(X),T2(X))是充分完備統(tǒng)計(jì)量，其中(2)g(θ)=σr的一致最小方差無偏估計(jì).解:第一步：找充分完備統(tǒng)計(jì)量(1)由于第二步：找無偏估計(jì)分別為μ

和σ2的無偏估計(jì).它們又是充分完備統(tǒng)計(jì)量T(X)=(T1(X),T2(X))的函數(shù).因此根據(jù)定理1(L—S定理)知和S2分別為μ

和σ2的UMVUE.(1)μ和σ2的UMVUE.說明：對極