第7章參數(shù)估計(jì)

1、第7章 參數(shù)估計(jì)假設(shè)隨機(jī)變量服從正態(tài)分布，在實(shí)踐中，通常數(shù)學(xué)期望，方差都是未知的，需要進(jìn)行估計(jì)，常用的估計(jì)法有點(diǎn)估計(jì)，區(qū)間估計(jì)等等，首先我們來討論點(diǎn)估計(jì)。§7.1 點(diǎn)估計(jì)假設(shè)某一總體的分布函數(shù)為，其中參數(shù)未知，需要進(jìn)行估計(jì)，又假設(shè)為從總體中抽出的一個(gè)樣本，由這個(gè)樣本構(gòu)造一個(gè)函數(shù)，并以此作為參數(shù)的估計(jì)值，我們就稱為的點(diǎn)估計(jì)。常用的點(diǎn)估計(jì)有矩估計(jì)，極大似然估計(jì)等等，下面我們分別進(jìn)行討論。 1 矩估計(jì)法若總體的密度函數(shù)為，其中為未知參數(shù)，如果總體的階矩（）存在，設(shè)，又假設(shè)為從總體中抽出的一個(gè)樣本，為這個(gè)樣本的階樣本矩，令若上述關(guān)于的方程組有解，則稱這個(gè)解是的矩估計(jì)量或矩估計(jì)。按矩估計(jì)的定義

2、，無論總體是什么分布，只要真實(shí)矩存在，階樣本原點(diǎn)矩均是它們相應(yīng)真實(shí)原點(diǎn)矩的矩估計(jì)量。例 6.2 設(shè)為從某個(gè)總體中隨機(jī)取出的一個(gè)樣本，且 存在， 試求的矩估計(jì)量。解 而，所以，解得，。例 6.3 設(shè)為上的均勻分布，為樣本，求的矩估計(jì)。解令解上述關(guān)于的方程得。例 6.4 在貝努利試驗(yàn)中，設(shè)事件在每一次試驗(yàn)中發(fā)生的概率為，求參數(shù)的矩估計(jì)。解 設(shè)，而為的一個(gè)樣本， 為事件發(fā)生的頻率，由矩估計(jì)定義，故有使用矩估計(jì)法的一個(gè)前提是總體存在適當(dāng)階的矩，階數(shù)應(yīng)不小于待估參數(shù)的個(gè)數(shù)（或者說參數(shù)空間的維數(shù)），但這不總是可以做到的。矩估計(jì)法簡便易行，且只要充分大，估計(jì)的精確度也很高，但它只用到總體的數(shù)字特征的形式，而

3、未用到總體的具體分布形式，損失了一部分很有用的信息，因此,在很多場合下顯得粗糙和過于一般。3極大似然估計(jì)（）參數(shù)的點(diǎn)估計(jì)方法中另一個(gè)常用方法就是極大似然估計(jì)，簡記為。我們通過一個(gè)具體例子來說明這一估計(jì)的思想。我們來看一個(gè)的例子。例2 已知有一批產(chǎn)品，試估計(jì)這批產(chǎn)品的不合格品率。這里。解 設(shè)，于是服從概率分布， 我們從產(chǎn)品中隨機(jī)抽取出一個(gè)容量為的樣本，于是的概率為 。這概率可以看作是未知參數(shù)的函數(shù)，用表示，稱作未知參數(shù)的似然函數(shù)，也即 。 在一次抽樣中，值使獲得這一組特殊觀測值的概率應(yīng)該最大，也即似然函數(shù)應(yīng)該達(dá)到最大值。所以我們以使達(dá)到極大的值作為參數(shù)的一個(gè)估計(jì)值是合理的。對兩邊取對數(shù)，得，由于

4、對數(shù)函數(shù)是的單調(diào)函數(shù)，所以與在同一個(gè)值上達(dá)到極大。由對求導(dǎo)數(shù)，并使其等于零，得 ，解方程得解為 。不難驗(yàn)證，使達(dá)到極大，因此稱為參數(shù)的極大似然估計(jì)值，其相應(yīng)的統(tǒng)計(jì)量 稱做參數(shù)的極大似然估計(jì)量。極大似然估計(jì)的出發(fā)點(diǎn)是基于這樣一個(gè)統(tǒng)計(jì)原理：在一次隨機(jī)試驗(yàn)中，某一事件已經(jīng)發(fā)生，比如已經(jīng)得到某個(gè)具體的樣本，則必然認(rèn)為發(fā)生該事件的概率最大。通過上述討論，下面我們給出極大似然估計(jì)的概念。極大似然估計(jì)定義：設(shè)為取自具有概率函數(shù)的母體的一個(gè)樣本，樣本的聯(lián)合概率函數(shù) 是的函數(shù)。我們用表示，即 我們稱這個(gè)函數(shù)為樣本的似然函數(shù)。稱為對數(shù)似然函數(shù)。如果是離散型母體，給出觀測到（）的概率。所以我們只要尋找這樣的觀測值（

5、）的函數(shù)，使 成立。我們稱為參數(shù)的極大似然估計(jì)值，其相應(yīng)的統(tǒng)計(jì)量稱作參數(shù)的極大似然估計(jì)量。如果是連續(xù)型變量，表示密度函數(shù)。我們只需求出使得達(dá)到極大的，便可得到極大似然估計(jì)。由于是的單調(diào)增函數(shù)，使成立的也使成立。若關(guān)于的偏導(dǎo)數(shù)都存在，于是的極大似然估計(jì)必須滿足似然方程組 這兩個(gè)方程組是兩個(gè)同解方程組。通常情況下，解對數(shù)似然方程組更容易。例1 設(shè)是的樣本，求與的解 由已知，因此事件發(fā)生的概率為，由分別對求偏導(dǎo)，得似然方程組解似然方程組，即得。由此可見，對于正態(tài)分布總體來說，的矩估計(jì)與是相同的。例 2 求均勻分布中參數(shù)的解 設(shè)為從總體中隨機(jī)取出的一個(gè)樣本，則樣本的似然函數(shù)為本例似然函數(shù)不連續(xù)，不能用

6、似然方程求解的方法，只有回到極大似然估計(jì)的原始定義。注到最大值只能發(fā)生在 ；而欲最大，只有使最小，即使盡可能小，盡可能大，但在式（6.4）的約束下，因此只能取=，=和矩估計(jì)的情形一樣，有時(shí)雖能給出似然方程，也可以證明它有解，但得不到解的解析表達(dá)式。§6.2 估計(jì)量的評價(jià)準(zhǔn)則對于同一參數(shù)，用不同方法來估計(jì)，結(jié)果是不一樣的。那么究竟孰優(yōu)孰劣就需要進(jìn)行判斷，判斷不同估計(jì)量優(yōu)劣的方法主要有下述3個(gè)指標(biāo)：1相合性設(shè)=是的一個(gè)估計(jì)量，若對任意給定的及，都有，就稱是的相合估計(jì)。相合性是對一個(gè)估計(jì)量最基本的要求，如果一個(gè)估計(jì)量連相合性都不滿足，這個(gè)估計(jì)量便沒有什么意義?？梢宰C明，矩估計(jì)，極大似然估計(jì)

7、都是相合估計(jì)。2無偏性 定義 ： 設(shè)=是的一個(gè)估計(jì)量，若對任意的，都有，則稱是的無偏估計(jì)量，如果，則稱是的漸近無偏估計(jì)量。無偏性反映了估計(jì)量的取值在真值周圍擺動(dòng)，顯然，我們希望一個(gè)量具有無偏性。例1 假設(shè)總體階矩存在，而是從總體體中隨機(jī)取出的一個(gè)樣本，樣本階矩為，證明：樣本階矩是總體階矩 矩的無偏估計(jì)。證明：因?yàn)槭菑目傮w體中隨機(jī)取出的一個(gè)樣本，所以獨(dú)立同分布，從而，因此，所以由無偏估計(jì)的定義，樣本階矩是總體階矩 矩的無偏估計(jì)。如果，則為樣本平均數(shù)，為數(shù)學(xué)期望，因此樣本平均數(shù)是數(shù)學(xué)期望的無偏估計(jì)。例2.假設(shè)求是從某一總體中隨機(jī)取出的一個(gè)樣本，且，為樣本方差。求證：不是總體方差的無偏估計(jì)。證明：因

8、為故 ，所以 不是總體方差的無偏估計(jì)。但 ，因此是漸近無偏估計(jì)。在的基礎(chǔ)上，我們適當(dāng)加以修正可以得到一個(gè)的無偏估計(jì)，這個(gè)估計(jì)量也和樣本方差一樣是經(jīng)常被采用的：。例3假設(shè)總體X服從指數(shù)分布，其密度函數(shù)為，其中參數(shù)未知，又設(shè)是從總體中隨機(jī)取出的一個(gè)樣本，試證明：和都是的無偏估計(jì)。證明：因?yàn)?，而得密度函?shù)為，所以，從而。上述例子表明，一個(gè)參數(shù)的無偏估計(jì)可以有很多個(gè)。3有效性 前面已經(jīng)說過，無偏估計(jì)量只說明估計(jì)量的取值在真值周圍擺動(dòng)，但這個(gè)“周圍”究竟有多大？我們自然希望擺動(dòng)范圍越小越好，即估計(jì)量的取值的集中程度要盡可能的高，這在統(tǒng)計(jì)上就引出最小方差無偏估計(jì)的概念。定義 假設(shè)=與=是未知參數(shù)的兩個(gè)無偏

9、估計(jì)，如果對于任意的，總有，并且至少對于某一個(gè)不等式成立，就稱比有效。§7.3 區(qū)間估計(jì)1定義對于一個(gè)未知參數(shù)，除了希望給出其估計(jì)值以外，同時(shí)也希望能夠給出估計(jì)值的誤差區(qū)間，誤差區(qū)間也叫做置信區(qū)間，求置信區(qū)間的過程也就叫做未知參數(shù)的區(qū)間估計(jì)。下面給出區(qū)間估計(jì)的的定義。定義：對于參數(shù)，如果有兩個(gè)統(tǒng)計(jì)量,，滿足對給定的，有則稱區(qū)間，是的一個(gè)區(qū)間估計(jì)或置信區(qū)間，分別稱作置信下限、置信上限，稱為置信水平。2單個(gè)正態(tài)總體均值與方差的區(qū)間估計(jì)求區(qū)間估計(jì)的一般步驟如下：10 先求出的一個(gè)點(diǎn)估計(jì)，它滿足兩點(diǎn)：一是它較前面提出的標(biāo)準(zhǔn)應(yīng)該是一個(gè)“好的”估計(jì)量，二是它的分布形式應(yīng)該已知，只依賴未知參數(shù)20

10、 所求的區(qū)間考慮為的一個(gè)鄰域,使得對于=1- (6.22)對于一般分布的總體,其抽樣分布的計(jì)算通常有些困難，因此，我們將主要研究正態(tài)總體參數(shù)的區(qū)間估計(jì)問題。下面我們來看幾個(gè)例子。例1一車床加工圓柱形工件，其產(chǎn)品直徑據(jù)經(jīng)驗(yàn)服從正態(tài)分布，現(xiàn)從中隨機(jī)抽取100個(gè)樣本，測得數(shù)據(jù)如下表：直徑（cm）27282930313233頻 數(shù)5812501573若總體方差=25，試計(jì)算總體均值 及其95%的置信區(qū)間。解： ）。由定理知，從而Z=。給定置信水平=0.05，查正態(tài)分布表，得，則P，其意義如圖2·2·1所示。圖2·2·1圖2·2·1表明， 當(dāng)置

11、信水平給定以后，的概率為1，若取為0.05，則1=0.95，。從而在0.95的概率意義下，有成立。解不等式,得，將、,代入上式，得。就是說，的真值落在區(qū)間（26.05，33.85）內(nèi)的概率為0.95，所以的95%的置信區(qū)間為（26.05，33.85）。我們把區(qū)間 )叫做總體平均數(shù)的置信區(qū)間，叫作置信概率, 叫作置信水平。叫做分位值。在例1中,總體方差是已知的,然而在實(shí)踐中，通?？傮w方差常是未知的，在這種情況下，只要樣本足夠大，可用樣本方差代替總體方差。例2 已知在一次數(shù)學(xué)測驗(yàn)中， 學(xué)生的考試成績服從正態(tài)分布，現(xiàn)從中隨機(jī)抽取了400個(gè)樣本，計(jì)算出樣本均值為67.2分,樣本標(biāo)準(zhǔn)差為10分，試在95

12、%的概率下，求總體均值的置信區(qū)間。解：由題意，令，則，給定置信水平，則。從而在95%的概率以以下，。由于很大，因此 得， ， ，總體均值95%的置信區(qū)間為（66.225，68.175）。令= =，則為置信區(qū)間長度。越小，表明估計(jì)值越精確，越大，則表明估計(jì)值越差。例3 已知在一次數(shù)學(xué)測驗(yàn)中，考生的成績服從正態(tài)分布，總體標(biāo)準(zhǔn)差，要使總體平均數(shù)的估計(jì)誤差不超過1分，問至少需要多大的樣本？解：取置信水平則。要使總體平均數(shù)的估計(jì)誤差不超過1分，至少應(yīng)有<1,即 。在實(shí)踐中，除了需要求出平均數(shù)的置信期間以外，有時(shí)也需要求出方差的置信區(qū)間，下面我們舉例進(jìn)行討論。例4有一大批糖果，現(xiàn)從中隨機(jī)取出16袋，

13、稱得重量如下：506 508 499 503 504 510 497 512 514 505 493 496 506 502 509 496試求總體平均數(shù)的置信區(qū)間。解 經(jīng)計(jì)算，給定置信水平，查分布表得，因此，所以平均數(shù)的95%的置信區(qū)間為（500.4,507.1）。例5·已知在一次數(shù)學(xué)測驗(yàn)中，考生的成績分布服從正態(tài)分布，其中總體均值和總體方差均未知，現(xiàn)從中隨機(jī)抽取了61個(gè)樣本，算得樣本方差，試在95%的概率意義下，求總體方差的置信區(qū)間。解：由定理2·2， 。又由題意， 。給定置信水平，查分布表，得，解不等式，得 。， ， ， 。所以的95%的置信區(qū)間為。將上式兩邊開方，得

14、，95%的置信區(qū)間為（）。區(qū)間即為總體方差估計(jì)值的置信區(qū)間。例6求例4的標(biāo)準(zhǔn)差的置信區(qū)間。解：由例4知，給定置信水平，查分布表得， ，所以標(biāo)準(zhǔn)差的一個(gè)95%的置信區(qū)間為（4.58，9.60）。3 雙正態(tài)總體參數(shù)的區(qū)間估計(jì)1）兩個(gè)總體均值差的置信區(qū)間設(shè),分別為出自和的樣本，且它們相互獨(dú)立， 假設(shè)已知，則,故，從而，給定，查正態(tài)分布表，得 ，于是，解不等式 得。上述區(qū)間就是置信水平為95%的兩個(gè)總體均值差的置信區(qū)間。例1 已知在一次數(shù)學(xué)測驗(yàn)中，甲、乙兩班的考試成績服從正態(tài)分布，有關(guān)數(shù)據(jù)如下表： 班 級 學(xué) 生 平 均 成 績 標(biāo)準(zhǔn)差（S） 甲 (X) 100 805 12 乙 (Y) 150 76

15、 11 試估計(jì)兩個(gè)班級的平均成績差的置信區(qū)間。解： 1計(jì)算統(tǒng)計(jì)量： ，所以的置信區(qū)間（2.87，6.13）。 2）若若未知，因?yàn)椋瑥亩啥x，得到。令，則。給定置信水平，查分布表得，從而，于是得到的置信區(qū)間為例2 已知全班19名學(xué)生參加了一項(xiàng)測驗(yàn),將測驗(yàn)結(jié)果按男女生分組,所得數(shù)據(jù)如下表： 學(xué) 生 平均分 標(biāo) 準(zhǔn) 差 n 男 (X) 10 1.6 10 女 (Y) 11.8 3.06 9試估計(jì)兩個(gè)小組平均成績差的置信區(qū)間。解： ， 所以的置信區(qū)間為（-4.24，0.64）。§7.4 0-1分布的參數(shù)區(qū)間估計(jì)假設(shè)有一容量為的樣本，它來自（0-1）分布總體，的分布函數(shù)為，其中為未知參數(shù)，下

16、面我們來求的置信水平為的置信區(qū)間。已知0-1分布總體的數(shù)學(xué)期望為，方差為，又設(shè)是從總體中隨機(jī)抽取出的一個(gè)樣本，因?yàn)闃颖救萘枯^大，因此由中心極限定理，近似服從正態(tài)分布，于是在置信水平下，解不等式，得，令，這里，。因此的置信水平為的置信區(qū)間為。例1 設(shè)從一大批產(chǎn)品中隨機(jī)抽取100個(gè)產(chǎn)品，得一級品60個(gè)，求這批產(chǎn)品的一級品率的95%的置信區(qū)間。解 由已知，是0-1分布的參數(shù)，且，查表得，所以，這批產(chǎn)品的一級品率的95%的置信區(qū)間為（0.51，0.69）。§7.5 單側(cè)置信區(qū)間在上述討論中，對于未知參數(shù)，我們給出兩個(gè)統(tǒng)計(jì)量，得到的雙側(cè)置信區(qū)間。但在某些實(shí)際問題中，例如，對于設(shè)備、元件的壽命來說，平均壽命長是我們所希望的，我們關(guān)心的是平均壽命的“下限”；與之相反，在考慮化學(xué)藥品中雜質(zhì)念量的均值時(shí)，我們常關(guān)心參數(shù)的“上限”。這就引出了單側(cè)置信區(qū)間的概念。對于給定值，若由樣本確定的統(tǒng)計(jì)量（），對于任意滿足 ，稱隨機(jī)區(qū)間是的置信水平為的單側(cè)置信區(qū)間，稱為的置信水平為的單側(cè)置信下限。 又若統(tǒng)計(jì)量（），對于任意滿足，稱隨機(jī)區(qū)間是的置信水平為的單