第八章經(jīng)典估計(jì)理論1 -2

1、1第八章第八章 經(jīng)典估計(jì)理論經(jīng)典估計(jì)理論n本章重點(diǎn)：1、Bayes估計(jì)、最大后驗(yàn)估計(jì)和最大似然估計(jì)三個(gè)經(jīng)典估計(jì)準(zhǔn)則的內(nèi)容及應(yīng)用。2、估計(jì)量的性質(zhì):無(wú)偏性、一致性、充分性和有效性。n本章難點(diǎn)：運(yùn)用估計(jì)準(zhǔn)則求參數(shù)估計(jì)并分析其性質(zhì)28.6 估計(jì)量的性質(zhì)估計(jì)量的性質(zhì) 前面已經(jīng)討論了幾種構(gòu)造估計(jì)量的方法。 既然對(duì)于同一個(gè)未知信號(hào)參數(shù)，可用多種不同的方法來(lái)構(gòu)造估計(jì)量，可能產(chǎn)生不同的結(jié)果，這就涉及到評(píng)價(jià)估計(jì)量性能的標(biāo)準(zhǔn)。 本節(jié)討論估計(jì)量的性質(zhì)，給出衡量估計(jì)量逼近給出衡量估計(jì)量逼近真值程度的一些度量真值程度的一些度量。實(shí)質(zhì)上就是評(píng)價(jià)估計(jì)量好壞的一些性能指標(biāo)。其目的是了解估計(jì)量和更好地選用估計(jì)量。38.6.1

2、無(wú)偏性無(wú)偏性 n由于樣本的隨機(jī)性，對(duì)于個(gè)別樣本，其估計(jì)值可能偏大或偏小。然而一個(gè)好的估計(jì)量，從平均值來(lái)看，應(yīng)該等于被估計(jì)參數(shù)。即 作為一個(gè)隨機(jī)變量，它所取的值應(yīng)集中在未知參數(shù)的真值或均值附近。 n如果估計(jì)量估計(jì)量 的均值的均值(數(shù)學(xué)期望數(shù)學(xué)期望)等于被估計(jì)等于被估計(jì)參量參量 的均值的均值，則稱此估計(jì)量具有無(wú)偏性，則稱此估計(jì)量具有無(wú)偏性，為無(wú)偏估計(jì)量，數(shù)學(xué)表達(dá)式為）（）（EE）（E）（ En若被估計(jì)參量為確定的，即 ，則無(wú)偏性可表示為 4n無(wú)偏性是一個(gè)所期望的性能，但是有時(shí)候一個(gè)有偏的估計(jì)量也可能是非常有用的，如果它具有漸近性的話。 n若 滿足關(guān)系式 （其中 n為樣本數(shù)），則稱為漸近無(wú)偏估計(jì)漸近

3、無(wú)偏估計(jì)。n“漸近”一詞是指樣本數(shù)n趨向無(wú)限大時(shí)的極限性能。 ）（ limEnn若 不等于 ，則稱 為有偏估計(jì)量，差值 稱為估計(jì)量的偏差或偏量。估計(jì)量的偏差或偏量。 n估計(jì)量的無(wú)偏性保證保證了估計(jì)值總是分布在被估計(jì)量的均值附近，是估計(jì)量應(yīng)具有的一種良好性質(zhì)。 ）（ E ）（）（Eb58.6.2 一致性一致性 n對(duì)于一個(gè)好的估計(jì)量，當(dāng)樣本數(shù)無(wú)限增大時(shí)，其值便趨近于被估量的真值。 n設(shè) 是未知參數(shù) 的估計(jì)量，當(dāng)觀測(cè)樣本數(shù) 時(shí)，估計(jì)量 依一定概率收斂于被估計(jì)參量 ，則稱 為 的簡(jiǎn)單一致估計(jì)量簡(jiǎn)單一致估計(jì)量。 n即對(duì)任意給定的 ，有 n或等價(jià)于 n nn n 01limnnP0limnnP6n可以看出

4、，簡(jiǎn)單一致估計(jì)量隨著觀測(cè)樣本數(shù)的隨著觀測(cè)樣本數(shù)的增加而變得更好增加而變得更好，即估計(jì)誤差 的絕對(duì)值為任意小的概率，隨著n的增加而趨近于1。 n若隨著接收樣本數(shù)n的增加，估計(jì)均方誤差的極限 則稱 為 的均方一致估計(jì)量均方一致估計(jì)量。 n0lim2）（nnEn 若 為無(wú)偏估計(jì)量，則 即估計(jì)誤差為零均值估計(jì)誤差為零均值。0）（）（）（）（EEEEnnn 的方差就是其均方誤差，即22）（）（nEE7一致估計(jì)的特點(diǎn)一致估計(jì)的特點(diǎn)是：估計(jì)量的性質(zhì)與漸近是：估計(jì)量的性質(zhì)與漸近無(wú)偏估計(jì)量一樣，與觀測(cè)樣本數(shù)目有關(guān)。無(wú)偏估計(jì)量一樣，與觀測(cè)樣本數(shù)目有關(guān)。隨著隨著n的增大，估計(jì)值的概率密度分布必的增大，估計(jì)值的概率密

5、度分布必然越來(lái)越集中于真值的附近。然越來(lái)越集中于真值的附近。這就是通過(guò)這就是通過(guò)重復(fù)測(cè)量來(lái)減小測(cè)量誤差的理論根據(jù)。重復(fù)測(cè)量來(lái)減小測(cè)量誤差的理論根據(jù)。均方一致估計(jì)表明：隨著接收樣本數(shù)n的增加，均方一致估計(jì)量估計(jì)誤差的方差減小。88.6.3 充分性充分性 n設(shè)未知參量的估計(jì)量為 。如果似然函數(shù)可以分解為下列乘積形式：n其中， 為 已知條件下，估計(jì)量 的概率密度函數(shù)，函數(shù) 與 無(wú)關(guān)，則稱 具有充分性，為充分估計(jì)量具有充分性，為充分估計(jì)量。n充分估計(jì)量的意義的意義是指沒(méi)有別的估計(jì)量可以提供比充分估計(jì)量更多的關(guān)于被估計(jì)參量 的信息。 ）（）（）（xffxf）（f）（xf x （ ）98.6.4 有效性有

6、效性 n在符合一致性和無(wú)偏性的估計(jì)量中，應(yīng)選擇數(shù)值最集中的估計(jì)量。估計(jì)量 方差越小，說(shuō)明估計(jì)值 相對(duì)于被估計(jì)值 的偏離程度就越小，就更集中于 的均值附近。 n設(shè) 、 為未知參量 的兩個(gè)無(wú)偏估計(jì)量，若他們的方差滿足不等式 則稱 比 更有效。 具有最小方差的無(wú)偏估計(jì)量稱為有效估計(jì)量。具有最小方差的無(wú)偏估計(jì)量稱為有效估計(jì)量。 1 2 ）（）（21VarVar1 2 10幾種性質(zhì)的特點(diǎn)：幾種性質(zhì)的特點(diǎn)：無(wú)偏性是說(shuō)估計(jì)量雖有誤差，但在重復(fù)觀無(wú)偏性是說(shuō)估計(jì)量雖有誤差，但在重復(fù)觀測(cè)的條件下，測(cè)的條件下，估計(jì)量總是在參數(shù)真值附近估計(jì)量總是在參數(shù)真值附近隨機(jī)分布隨機(jī)分布;有效性則說(shuō)明有效性則說(shuō)明估計(jì)量接近于真值的程度估計(jì)量接近于真值的程度，它實(shí)際上給出了估計(jì)量誤差的理論極限它實(shí)際上給出了估計(jì)量誤差的理論極限;漸近無(wú)偏性和一致性則漸近無(wú)偏性和一致性則給出了改善估計(jì)精給出了改善估計(jì)精度度的途徑，即通過(guò)增加觀測(cè)樣本數(shù)的途徑，即通過(guò)增加觀測(cè)樣本數(shù)n來(lái)改善來(lái)改善估計(jì)精度。估計(jì)精度。118.7 克拉美克拉美羅不等式羅不等式 (Cramer-Rao) 一個(gè)估計(jì)量最基本的特征體現(xiàn)在偏差和方差偏差和方差上。精確地表示方差往往是困難的。在這些情況下，希望得到方差(或均方誤差)可能達(dá)