概率論與數(shù)理統(tǒng)計(jì)：第6章 參數(shù)估計(jì)

第六章參數(shù)估計(jì)上一講，我們介紹了總體、樣本、簡(jiǎn)單隨機(jī)樣本、統(tǒng)計(jì)量和抽樣分布的概念，介紹了統(tǒng)計(jì)中常用的三大分布，給出了幾個(gè)重要的抽樣分布定理.它們是進(jìn)一步學(xué)習(xí)統(tǒng)計(jì)推斷的基礎(chǔ).

總體樣本統(tǒng)計(jì)量描述作出推斷研究統(tǒng)計(jì)量的性質(zhì)和評(píng)價(jià)一個(gè)統(tǒng)計(jì)推斷的優(yōu)良性，完全取決于其抽樣分布的性質(zhì).隨機(jī)抽樣

現(xiàn)在我們來介紹一類重要的統(tǒng)計(jì)推斷問題

參數(shù)估計(jì)問題是利用從總體抽樣得到的信息來估計(jì)總體的某些參數(shù)或者參數(shù)的某些函數(shù).參數(shù)估計(jì)估計(jì)廢品率估計(jì)新生兒的體重估計(jì)湖中魚數(shù)……估計(jì)降雨量在參數(shù)估計(jì)問題中，假定總體分布形式已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)（假定身高服從正態(tài)分布）設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69估計(jì)為1.68，這是點(diǎn)估計(jì).這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，假如我們要估計(jì)某隊(duì)男生的平均身高.現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì).而全部信息就由這5個(gè)數(shù)組成.6.1點(diǎn)估計(jì)問題概述一、點(diǎn)估計(jì)的概念問題的提出：已知總體X的分布函數(shù)F(x;θ1,θ2,…,θk)，其中θ1,θ2,…,θk是未知參數(shù)。點(diǎn)估計(jì)：由總體的樣本(X1,X2,…,Xn)對(duì)每一個(gè)未知參數(shù)θi(i=1,2,…,k)構(gòu)造統(tǒng)計(jì)量作為參數(shù)θi的估計(jì)，稱為參數(shù)θi的估計(jì)量。樣本(X1,X2,…,Xn)的一組取值(x1,x2,…,xn)稱為樣本觀察值，將其代入估計(jì)量，得到數(shù)值稱為參數(shù)θi的估計(jì)值。在不致混淆的情況下，估計(jì)量、估計(jì)值統(tǒng)稱估計(jì)，記為請(qǐng)注意，被估計(jì)參數(shù)是一個(gè)未知常數(shù)，而估計(jì)量是一個(gè)隨機(jī)變量，是樣本的函數(shù),當(dāng)樣本取定后，它是個(gè)已知的數(shù)值,這個(gè)數(shù)常稱為參數(shù)的估計(jì)值.由于現(xiàn)用它來估計(jì)未知參數(shù)，故稱這種估計(jì)為點(diǎn)估計(jì)。是實(shí)數(shù)域上的一個(gè)點(diǎn)，(3)怎樣決定一個(gè)估計(jì)量是否比另一個(gè)估計(jì)量“好”？如何求得合理的估計(jì)量？我們希望一個(gè)“好的”估計(jì)量具有什么特性？那么要問:

二、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)在介紹估計(jì)量?jī)?yōu)良性的準(zhǔn)則之前，我們必須強(qiáng)調(diào)指出：

評(píng)價(jià)一個(gè)估計(jì)量的好壞，不能僅僅依據(jù)一次試驗(yàn)的結(jié)果，而必須由多次試驗(yàn)結(jié)果來衡量.這是因?yàn)楣烙?jì)量是樣本的函數(shù)，是隨機(jī)變量.因此，由不同的觀測(cè)結(jié)果，就會(huì)求得不同的參數(shù)估計(jì)值.因此一個(gè)好的估計(jì)，應(yīng)在多次試驗(yàn)中體現(xiàn)出優(yōu)良性.

常用的幾條標(biāo)準(zhǔn)是：1．無偏性2．有效性3．相合性（一致性）這里我們重點(diǎn)介紹前面兩個(gè)標(biāo)準(zhǔn).

估計(jì)量是隨機(jī)變量，對(duì)于不同的樣本值會(huì)得到不同的估計(jì)值.我們希望估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的期望值等于未知參數(shù)的真值.這就導(dǎo)致無偏性這個(gè)標(biāo)準(zhǔn).1．無偏性則稱為的無偏估計(jì).設(shè)是未知參數(shù)的估計(jì)量，若如果不是無偏的，就稱該估計(jì)是有偏的。稱為的偏差。例6.1

設(shè)總體

X

的期望與方差存在,

X的樣本為

(n>1).(1)不是

2的無偏估量;(2)是

2的無偏估計(jì)量.證可證證明因而故證畢.注：當(dāng)樣本量趨于無窮時(shí)，有E(s*2)2，我們稱s*2為2的漸近無偏估計(jì)。例6.2

設(shè)總體X

的密度函數(shù)為為常數(shù)為X

的一個(gè)樣本,證明是的無偏估計(jì)量。證

故是的無偏估計(jì)量.例如，用樣本均值作為總體均值的估計(jì)時(shí)，雖無法說明一次估計(jì)所產(chǎn)生的偏差，但這種偏差隨機(jī)地在0的周圍波動(dòng)，對(duì)同一統(tǒng)計(jì)問題大量重復(fù)使用不會(huì)產(chǎn)生系統(tǒng)偏差.無偏性是對(duì)估計(jì)量的一個(gè)常見而重要的要求.無偏性的實(shí)際意義是指沒有系統(tǒng)性的偏差.所以無偏估計(jì)以方差小者為好,這就引進(jìn)了有效性這一概念.的大小來決定二者和一個(gè)參數(shù)往往有不止一個(gè)無偏估計(jì),若和都是參數(shù)

的無偏估計(jì)量，比較我們可以誰更優(yōu).由于2．有效性D()<D()則稱較有效.都是參數(shù)

的無偏估計(jì)量，若有設(shè)和在數(shù)理統(tǒng)計(jì)中常用到最小方差無偏估計(jì).它的定義是:（也稱最佳無偏估計(jì)）若滿足：（1），即為的無偏估計(jì)；（2），是的任一無偏估計(jì).則稱為的最小方差無偏估計(jì).設(shè)是取自總體X的一個(gè)樣本，是未知參數(shù)的一個(gè)估計(jì)量，例6.3

設(shè)X1,X2,X3為來自總體X的簡(jiǎn)單隨機(jī)樣本,EX=μ,DX=σ2,驗(yàn)證下列μ的估計(jì)量哪個(gè)更有效.解=EX=μ=DX/2=σ2/2同理所以為無偏估計(jì)量,更有效.三、一致性（相合性）在參數(shù)估計(jì)中，很容易想到，如果樣本容量越大，樣本所含的總體分布的信息越多。n越大，越能精確估計(jì)總體的未知參數(shù)。隨著n的無限增大，一個(gè)好的估計(jì)量與被估參數(shù)的真值之間任意接近的可能性會(huì)越來越大，這就是所謂的相合性或一致性。定義設(shè)為未知參數(shù)的估計(jì)量，若對(duì)任意給定的正數(shù)ε>0，都有即以概率收斂于參數(shù)，則稱為參數(shù)的一致估計(jì)或相合估計(jì)量。

在實(shí)際中,常常以樣本均值作為總體均值的點(diǎn)估計(jì),以樣本方差作為總體方差的點(diǎn)估計(jì).期望的點(diǎn)估計(jì)選擇估計(jì)量(1)無偏性(2)樣本容量越大,估計(jì)值越有效方差的點(diǎn)估計(jì)選擇估計(jì)量(無偏估計(jì)量)注意(非無偏估計(jì)量)一、矩法用樣本

k

階矩作為總體

k

階矩的估計(jì)量,建立含有待估參數(shù)的方程,從而解出待估參數(shù)6.2點(diǎn)估計(jì)的常用方法設(shè)總體的

r

階矩存在，記為樣本X1,X2,…,Xn的r階矩為令——含待估計(jì)參數(shù)1,2,,k的方程組解方程組,得k

個(gè)統(tǒng)計(jì)量：未知參數(shù)

1,,k

的矩估計(jì)量代入一組樣本值得k個(gè)數(shù):未知參數(shù)

1,,k

的矩估計(jì)值解得矩法估計(jì)量為按矩法原理，令例6.4

設(shè)總體X~N(,2),X1,X2,…,Xn為總體的樣本,求,2的矩法估計(jì)量.解例6.5設(shè)總體X~E(),X1,X2,…,Xn為總體的樣本,求的矩法估計(jì)量.解令故例6.6

設(shè)從某燈泡廠某天生產(chǎn)的燈泡中隨機(jī)抽取10只燈泡，測(cè)得其壽命為(單位:小時(shí))1050,1100,1080,1120,12001250,1040,1130,1300,1200試用矩法估計(jì)該廠這天生產(chǎn)的燈泡的平均壽命及壽命分布的方差.解例6.7

設(shè)總體X~U(a,b),a,b未知,求參數(shù)

a,b

的矩法估計(jì)量.解由于令解得矩法估計(jì)的優(yōu)點(diǎn)：計(jì)算簡(jiǎn)單；矩法估計(jì)的缺點(diǎn)：(1)矩法估計(jì)有時(shí)會(huì)得到不合理的解；(2)求法估計(jì)不同的做法會(huì)得到不同的解；(通常規(guī)矩法估計(jì)時(shí)，要盡量使用低階矩)如例6.5中，若不用1階矩，而是用2階矩,則與不同(3)總體分布的矩不一定存在，故矩法估計(jì)不一定有解。二、最大似然估計(jì)法

思想方法：已知試驗(yàn)結(jié)果的情況下,給參數(shù)選取一個(gè)估計(jì)值,使得試驗(yàn)結(jié)果出現(xiàn)的可能性最大.例如:有兩外形相同的箱子,各裝100個(gè)球一箱99個(gè)白球1個(gè)紅球一箱1個(gè)白球99個(gè)紅球現(xiàn)從兩箱中任取一箱,并從箱中任取一球,結(jié)果所取得的球是白球.答:第一箱.問:所取的球來自哪一箱？再如：甲.乙兩人比較射擊技術(shù),分別射擊目標(biāo)一次,甲中而乙未中,則可以認(rèn)為:甲射擊技術(shù)優(yōu)于乙射擊技術(shù).又如：事件A發(fā)生的概率為0.1或0.9,觀察一次,事件A發(fā)生了,則可以認(rèn)為:事件A發(fā)生的概率為0.9.實(shí)際問題(醫(yī)生看病、公安人員破案、技術(shù)人員進(jìn)行質(zhì)量檢驗(yàn)等)盡管千差萬別,但他們具有一個(gè)共同的規(guī)律,即在獲得了觀察資料之后,給參數(shù)選取一個(gè)數(shù)值,使得前面的觀察結(jié)果出現(xiàn)的可能性最大.最大似然估計(jì)就是通過樣本值來求得總體的分布參數(shù),使得取值為的概率最大.一般,設(shè)X為離散型隨機(jī)變量,其分布律為則樣本X1,X2,…,Xn的聯(lián)合概率分布為或稱L()為樣本的似然函數(shù)稱這樣得到的為參數(shù)的最大似然估計(jì)值選擇適當(dāng)?shù)?,使取最大值,即L()最大似然估計(jì)若X

連續(xù),取f(xi;)為Xi

的密度函數(shù),似然函數(shù)為例6.8

設(shè)總體X~N(,2),x1,x2,…,x