第六專題點估計的優(yōu)良性

第六專題點估計的優(yōu)良性第一頁，共二十九頁，編輯于2023年，星期四點估計的優(yōu)良性前面學(xué)習(xí)了四種點估計方法：矩估計、極大似然估計法、貝葉斯估計法和最小二乘法。我們注意到，用這幾種點估計方法得到的估計量可能不唯一，那么這里就有一個優(yōu)劣問題。判斷一個估計量的優(yōu)劣一般有三種標(biāo)準(zhǔn)：一、無偏性二、有效性三、相合性（一致性）第二頁，共二十九頁，編輯于2023年，星期四一、無偏性

定義1設(shè)為參數(shù)的一個估計量，若，則稱為的一個無偏估計量，否則稱是有偏的。如果，則稱為的漸進(jìn)無偏估計。第三頁，共二十九頁，編輯于2023年，星期四

無偏性是對估計量的最基本要求。其含義為當(dāng)一個無偏估計量被多次使用時，其估計值在未知參數(shù)附近波動，且這些估計值的理論平均值等于該未知參數(shù)。第四頁，共二十九頁，編輯于2023年，星期四第五頁，共二十九頁，編輯于2023年，星期四第六頁，共二十九頁，編輯于2023年，星期四第七頁，共二十九頁，編輯于2023年，星期四由以上例題可以看出，無偏估計可以不唯一，需要引進(jìn)新的評價標(biāo)準(zhǔn)，常用的有有效性。第八頁，共二十九頁，編輯于2023年，星期四二、有效性與有效估計量

無偏性只是估計量的一個評價標(biāo)準(zhǔn)，當(dāng)無偏估計不惟一時，我們應(yīng)當(dāng)考慮另外的評價標(biāo)準(zhǔn)，有效性就是其中一個。定義2設(shè)總體服從某種分布，為未知參數(shù)，是來自總體的樣本，若

與都是的無偏估計，且對一切，都有，則稱比有效。也就是說，在的無偏估計中，方差越小越有效。第九頁，共二十九頁，編輯于2023年，星期四第十頁，共二十九頁，編輯于2023年，星期四第十一頁，共二十九頁，編輯于2023年，星期四

一個參數(shù)的無偏估計的方差可不可以任意少，或者說是否有一個下界？為了回答該問題，我們需要對總體的分布做一些假設(shè)。正則性條件：設(shè)總體的概率密度函數(shù)為，其中參數(shù)未知，關(guān)于可導(dǎo)，且的取值與的非零區(qū)域無關(guān)，即與無關(guān)。是來自總體的樣本。為了將問題一般化，我們考慮的函數(shù)的無偏估計量的方差，其中關(guān)于可導(dǎo)。第十二頁，共二十九頁，編輯于2023年，星期四第十三頁，共二十九頁，編輯于2023年，星期四第十四頁，共二十九頁，編輯于2023年，星期四第十五頁，共二十九頁，編輯于2023年，星期四（**）式稱為Rao-Cramer不等式。（勞-克拉美）該不等式給出了參數(shù)的無偏估計的方差下界，同時說明參數(shù)的無偏估計的方差不可能無限小。第十六頁，共二十九頁，編輯于2023年，星期四定義3如果的無偏估計達(dá)到了羅-克拉美不等式的下界，即則稱T為的有效估計量。其實，羅-克拉美不等式所規(guī)定的下界不是整個無偏估計的下界，而是無偏估計類中的一個子集-----正規(guī)無偏估計類的方差下限。定義4設(shè)T為的一個無偏估計量，稱為T的有效率。

第十七頁，共二十九頁，編輯于2023年，星期四信息量的另一種表示法。性質(zhì)

第十八頁，共二十九頁，編輯于2023年，星期四例題講解P74-75第十九頁，共二十九頁，編輯于2023年，星期四第二十頁，共二十九頁，編輯于2023年，星期四定理3設(shè)總體的概率函數(shù)或概率密度函數(shù)關(guān)于可導(dǎo)，其中為未知參數(shù)，且與無關(guān)，是來自總體的樣本。如果其中與只與有關(guān)。則為的無偏有效估計量。第二十一頁，共二十九頁，編輯于2023年，星期四例題P76-77第二十二頁，共二十九頁，編輯于2023年，星期四三、相合估計（一致估計）我們不僅希望一個估計量是無偏的，且具有較小的方差，還希望當(dāng)樣本容量n無限增大時，估計量能在某種意義下收斂于被估計的參數(shù)值，這就是所謂的相合性（或一致性）的要求。定義5設(shè)是未知參數(shù)的估計序列，如果依概率收斂于，即對任意，有則稱是的相合估計或一致估計。第二十三頁，共二十九頁，編輯于2023年，星期四相合性是對估計量的一個基本要求。一個相合估計量意味著，只要樣本容量n足夠大，就可以保證估計誤差達(dá)到任意給定的精度。如果一個估計量不是相合估計，則它就不是一個好的估計量，在應(yīng)用中往往不予考慮。定理4設(shè)是的一個無偏估計，若且則是的相合估計。第二十四頁，共二十九頁，編輯于2023年，星期四第二十五頁，共二十九頁，編輯于2023年，星期四第二十六頁，共二十九頁，編輯于2023年，星期四四、充分統(tǒng)計量統(tǒng)計推斷都是從樣本出發(fā)，在具體的推斷過程中，都是通過統(tǒng)計量，來進(jìn)行的。通俗地講，統(tǒng)計量是對樣本的一個“加工”或壓縮（其維數(shù)由n降為k），其目的是為了“去粗取精”，使之形式更加簡單，使用更加方便。例如，樣本均值與樣本方差，，；這是經(jīng)常用到的統(tǒng)計量，是一個2維向量，而通常樣本容量n要大得多。自然要問，通過壓縮或降維以后的統(tǒng)計量來推斷總體與通過原有樣本X來推斷總體，其效果是否一樣？即是否會損失有用的信息？如果效果一樣，信息未受到任何損失，則該統(tǒng)計量就稱為充分統(tǒng)計量。充分統(tǒng)計量是Fisher于1922年提出來的，這是統(tǒng)計學(xué)中非常重要的概念，因為它不損失信息地把n維樣本簡化成k維統(tǒng)計量（通常k比n小很多），在此基礎(chǔ)上進(jìn)行統(tǒng)計推斷要簡單方便得多。第二十七頁，共二十九頁，編輯于2023年，星期四定義3.6設(shè)總體X具有分布函數(shù)，是來自總體X的樣本，為一個統(tǒng)計量。當(dāng)給定T=t時，若樣本的條件分布與參數(shù)無關(guān)，則稱T為的充分統(tǒng)計量。定義中樣本的分布與無關(guān)，意味著在給定T=t時，樣本的剩余部分不再包含的信息。也就是說在T中包含的全部信息。這正是充分統(tǒng)計量的含義。第二十八頁，共二十九頁，編輯于2023年，星期四定理3.5Neyman-Fisher(因子分解定理)設(shè)總體X的概率函數(shù)或概率密度函數(shù)為，其中參數(shù)未知。一個統(tǒng)計量為的充分統(tǒng)計量的充要條件為樣本的聯(lián)合概率函數(shù)或聯(lián)合概率密度函數(shù)可以分解為其中