第6章參數(shù)估計ppt.ppt

1、第六章 參數(shù)估計,點估計 估計量的評選標準 區(qū)間估計,統(tǒng)計推斷就是利用樣本資料所提供的信息，對總體作出盡可能精確和可靠的結(jié)論.,由于樣本帶有隨機性，這種推斷一般總含有一定程度的不確定性，而所出現(xiàn)的不確定性可以用概率的大小來衡量.于是，統(tǒng)計推斷總伴有一定的概率出現(xiàn).,統(tǒng)計推斷,參數(shù)估計,假設(shè)檢驗,點估計,區(qū)間估計,本章介紹,第七章介紹,1 點估計,一 參數(shù)估計的方式,參數(shù)估計就是根據(jù)樣本所提供的信息，對總體分布中的未知參數(shù)進行估計，以及討論如何建立一些準則對所做出的估計的好壞進行評價.,參數(shù)估計,點估計,區(qū)間估計,矩估計法，最大似然估計法，,最小二乘法，順序統(tǒng)計量估計，判決函數(shù)法,單側(cè)置信區(qū)間,

2、雙側(cè)置信區(qū)間,作為 的估計量.若當樣本取得觀察值 時，,稱 為 的估計值.,點估計,設(shè)總體分布函數(shù)為 ，其中 為待估參數(shù)，由總體 的樣本 構(gòu)造一個適當?shù)慕y(tǒng)計量,區(qū)間估計,稱這樣的估計方法為點估計.,由總體 的樣本 構(gòu)造兩個統(tǒng)計量,使得 以較大概率被隨機區(qū)間 所覆蓋，稱該區(qū)間為 的置信區(qū)間.,稱這樣的估計方法為區(qū)間估計.,二 矩估計,基本思想 就是把樣本矩作為相應(yīng)的總體矩的估計量,設(shè) 是來自總體 的一個樣本，總體 的前k階原點矩存 在，如果待估參數(shù)恰為k個，記為 ，用樣本的 i 階原點矩 去估計 ，即,由,解方程組,稱 為 的矩估計量，稱該方法為矩估計法.,由于總體k階中心矩可化為總體原點矩的函

3、數(shù)，從而矩估計法也可以用樣本的k階中心矩作為總體k階中心矩的矩估計量. 如例2(3),例1 某燈泡廠某天生產(chǎn)了一大批燈泡，從中抽取了10個進行壽命實驗，得數(shù)據(jù)如下（單位：h）,1050 1100 1080 1120 1200 1250 1040 1130 1300 1200,問該天生產(chǎn)的燈泡的平均壽命大約是多少？,解 計算出,以此作為總體期望值 的估計值,即,例2 設(shè) 為總體 的樣本，分別求下列分布中參數(shù)的矩估計.,(1) 服從泊松分布 ；,(2) 服從指數(shù)分布 ；,(3) 服從正態(tài)分布 .,解 (1),故,(2),從而,(3) 服從正態(tài)分布 .,解 (3),二階中心矩,其中,例3 設(shè) 服從

4、上的均勻分布， 是來自 的樣本， 是未知參數(shù)，求的矩估計 .,解,從而,其中,解之得,若該例中， 為未知參數(shù) ，則 的矩估計怎么求？,矩估計的優(yōu)點是簡便易于計算，但其應(yīng)用前提為總體矩一定要存在.而有些分布，如柯西（Cauchy）分布，其各階原點矩均不存在，從而不能用矩估計法.另外，矩估計量可能不唯一，如泊松（Poisson）分布中其期望和方差均為 ，因而 及 都可作為 的矩估計量，這在應(yīng)用中是不利的.,三 最大似然估計,首先看如下的例子,一袋中有黑白兩種形狀相同的球，其球數(shù)之比為1:10，但不知哪種球數(shù)多，現(xiàn)從袋中隨機摸出一球，發(fā)現(xiàn)是白球，顯然認為白球比黑球多是合理的.,上述例子中有一個共同規(guī)

5、律，即從樣本獲得最大概率的參數(shù)值作為未知參數(shù)的估計值.這就是最大似然估計的基本思想.,一個老獵人帶領(lǐng)一個新手進山打獵，遇見一只飛奔的野兔，他們各發(fā)一彈，野兔被打中了，但身上只有一個彈孔，誰打中的可能性大呢？恐怕絕大多數(shù)人認為是老獵人打中的.,為 的似然函數(shù)，記為,（1）設(shè)總體 為連續(xù)型隨機變量，其密度函數(shù),其中 為未知參數(shù)， 為 的樣本， 為樣本的觀察值，稱,若隨機變量只有一個未知參數(shù) ，則其似然函數(shù)為,形式已知,的聯(lián)合概率密度,若 為離散型隨機變量，其分布律,形式已知，則,的聯(lián)合分布律稱為,的似然函數(shù)，記為,以后似然函數(shù)簡記為,（2）若存在一組 ，使得,則稱 是 的最大似然估計值,因為 與

6、在同一 處取得極值，故,由似然方程組,求得,用最大似然估計方法得到的 的估計值 是,的函數(shù)，,故寫成,當 作為 的最大似然估計量時，應(yīng)寫作,為總體的一組樣本觀測值，求 的最大似然估計量.,例4 設(shè)總體 服從泊松分布 ，其分布律,解,似然函數(shù)為,解似然方程,得,所以 的最大似然估計量為,例5 設(shè)是 來自參數(shù)為 的指數(shù)分布的總體 , 的概率密度函數(shù)為,其中 (未知)，求 的最大似然估計量.,解,似然函數(shù)為,得 的最大似然估計量為,由,例6 設(shè)總體 是來自 的一個樣本值，求 的最大似然估計量.,解,似然函數(shù)為,故 的最大似然估計量為,解似然方程為,例7 設(shè)總體 服從區(qū)間 上的均勻分布， 是來自總體

7、的樣本值，求參數(shù) 的最大似然估計量.,解,似然函數(shù)為,其中 ，,顯然,不能通過求偏導數(shù)獲得最大似然估計量,但 為單調(diào)遞減函數(shù)，可見其在 處取得極大值， 故 .其估計量為,最大似然估計法的優(yōu)點是充分利用了總體分布所提供的信息，因此有許多優(yōu)良性質(zhì).此外，最大似然估計還具有下述性質(zhì)：,通過上述例題，我們看到：有時最大似然估計不能由解似然方程得到，有時似然方程的解也不一定使似然函數(shù)極大等等.但最大似然估計法仍不失為一種最重要和最好的方法之一，如果總體分布的具體形式給定，我們通?？偸且惹笃渥畲笏迫还烙?,當 是參數(shù) 的最大似然估計，并且函數(shù) 有單值反函數(shù) 時， 是 的極大似然估計.,2 估計量的評選標

8、準,從上節(jié)介紹的內(nèi)容可以看出，對于同一個未知參數(shù)使用不同的方法估計，可得出不同的估計量.,如：當 時，未知參數(shù) 的矩估計量是 ，而 的最大似然估計是,問題,(1)對于同一個參數(shù)究竟采用哪一個估計量好?,(2)評價估計量的標準是什么?,這是因為估計量是樣本的函數(shù), 是隨機變量 . 因此，由不同的觀測結(jié)果，就會求得不同的參數(shù)估計值. 因此一個好的估計，應(yīng)在多次試驗中體現(xiàn)出優(yōu)良性 .,常用的幾條標準是：,這里我們重點介紹前面兩個標準 .,無偏性（無系統(tǒng)偏差 ） 有效性（最小方差性 ） 相合性（一致性）,一 無偏性,估計量是隨機變量，對于不同的樣本值會得到不同的估計值 . 我們希望估計值在未知參數(shù)真值

9、附近擺動，而它的期望值等于未知參數(shù)的真值. 這就導致無偏性這個標準 .,設(shè) 為來自總體 的樣本，,是未知參數(shù) 的估計量，若,則稱 為 的無偏估計 .,例1 設(shè) 是來自數(shù)學期望為 的總體 ，,判斷下列統(tǒng)計量是否為 的無偏估計.,解,故它是 的無偏估計；,故它是 的無偏估計.,故它不是 的無偏估計.,例2 設(shè) 是來自數(shù)學期望為 ,方差為,的總體 ，則樣本均值 是 的無,偏估計，樣本方差 是 的無偏估計.,解,由于,故 是 的無偏估計.,而,故 是 的無偏估計.,由此可見:樣本的二階中心矩不是總體二階矩的無偏估計.,例3 設(shè)總體 的數(shù)學期望 存在，,證明： 不是 的無偏估計.,證明 因為,所以 不是

10、 的無偏估計.,從上例中，可以看出：如果 是 的無偏估計，除了 是 的線性函數(shù)外，一般 不是 的無偏估計,此外，由例1可以看出無偏估計可以有很多個，因此單從無偏性去評價估計量的好壞是不夠的.衡量兩個無偏估計更好的標準是看一看它們誰的波動性最小，即誰的方差最小，這就是下面介紹的有效性.,則稱 較 有效，,二 有效性,設(shè) 為來自總體 的樣本，,是參數(shù) 的兩個無偏估計，若有關(guān)系式,和,若在 的一切無偏估計中 均有最小，,則稱 為 的有效估計.,例4 設(shè) 是來自數(shù)學期望為 ，方差為,的總體 ，下列三個估計量哪個比較有效？,解 因為,所以， ，均為 的無偏估計.,又因為,其中 最小，所 以比 ， 有效，

11、,是三個估計量中最有效的一個.,三 相合性,設(shè) 為未知參數(shù) 的一列估計量，,若對任意的 ，均有,稱 是 的相合估計（或一致估計）.,相合性是對一個估計量的基本要求，不具備相合性的估計量是不予以考慮的.,3 區(qū)間估計,前面我們討論了參數(shù)的點估計，這一估計方法是用一個統(tǒng)計量 作為未知參數(shù) 的估計，一旦給定了樣本觀測值就能算出 的估計值.在使用中較為直觀，也較為方便.,但是點估計也有明顯的缺點，就是沒有提供關(guān)于估計精度的任何信息.,為了解決上面的問題，我們常需要估計出未知參數(shù)的一個可能范圍，這個范圍在數(shù)軸上就是一個區(qū)間，我們希望給出兩個區(qū)間端點（都是隨機變量），用此兩端點所構(gòu)成的區(qū)間（是隨機區(qū)間）來

12、估計參數(shù) ，使這個隨機區(qū)間以比較大的概率套住 的真值，這就是區(qū)間估計的問題.,設(shè)總體分布中含有一個未知參數(shù) ，由樣本,確定的兩個統(tǒng)計量 及,，對于給定的 ，滿足,稱隨機區(qū)間 為 的置信水平為 的置信區(qū)間.,分別稱為置信下限和置信上限, 稱為置信水平.,若 越小， 就越大， 覆蓋住 的可能性就越大.同時，,區(qū)間 的長度就越大，區(qū)間過大，區(qū)間估計沒意義了.,正確提法 ：在給定的較大的置信水平 下，使 平均長度最小的區(qū)間估計為最好的區(qū)間估計.,一 單個正態(tài)總體的置信區(qū)間,1. 單個正態(tài)總體均值 的置信區(qū)間,設(shè)總體 ， 為 的樣本，給定,置信水平為 ， 分別為樣本均值和樣本方差.,由 是 的一個無偏估

13、計，又由第二章知,1 已知,由正態(tài)分布表可知，對給定的 ，一定存在一個值 ，使,即 的分布不依賴于任何未知參數(shù)，有,這樣，我們就得到了關(guān)于 的一個置信水平為 的置信區(qū)間,2 未知,方差未知時，考慮能否用 的無偏估計,來代替參數(shù) ，由第五章定理四知,因而對給定的置信水平 ，可由 分布表查出,分位數(shù) 的數(shù)值，根據(jù)分位數(shù)的定義可知,于是關(guān)于 的一個置信水平為 的置信區(qū)間為,即,例1 某工廠生產(chǎn)滾珠，從某日生產(chǎn)的產(chǎn)品中隨機抽取9個，測得直徑（單位：mm）如下,14.6 14.7 15.1 14.9 14.8 15.0 15.1 15.2 14.8,設(shè)滾珠直徑服從正態(tài)分布，若,(1) 已知滾珠直徑的標準

14、差 ;,(2) 未知標準差,求直徑均值的置信水平為0.95的置信區(qū)間.,解,由題可知,（1）,計算得 ，,從而關(guān)于 的一個置信水平為0.95的置信區(qū)間為,（2）,關(guān)于 的一個置信水平為0.95的置信區(qū)間為,2. 單個正態(tài)總體方差 的置信區(qū)間（ 未知）,設(shè)樣本 來自正態(tài)總體,均未知,由于樣本方差 是 的無偏估計，隨機變量,，由,可得 的置信水平為 的,置信區(qū)間為,例2 設(shè)燈泡廠生產(chǎn)的一大批燈泡的壽命 服從正態(tài)分布,其中 未知，今隨機的抽取16只燈泡進行,壽命試驗，測得壽命數(shù)據(jù)如下（單位：h）,1502 1480 1485 1511 1514 1527 1603 1480 1532 1508 14

15、90 1470 1520 1505 1485 1540,求燈泡壽命方差 的置信水平為0.95的置信區(qū)間.,解,的置信水平為0.95的置信區(qū)間為,分別為總體 和 的樣本方差.,和 分別為總體 的樣本.,二 兩正態(tài)總體均值及方差的置信區(qū)間,1. 兩個總體均值差 的置信區(qū)間,設(shè)正態(tài)總體 與 相互獨立，,分別為總體 和 的樣本均值，,構(gòu)造總體均值差 的區(qū)間估計.,1 均為已知,因為,所以，統(tǒng)計量,得 關(guān)于的置信水平為 的置信區(qū)間為,*,2 ，但 未知,由 * 式得,用 的無偏估計,代替,得 關(guān)于的置信水平為 的置信區(qū)間為,未知,從而,例3 有二個建筑工程隊，第一對有10人，平均每人每月完成50m2的住

16、房建筑任務(wù)，標準差S1=6.7m2；第二對有12人，平均每人每月完成43m2的住房建筑任務(wù)，標準差S2=5.9m2.試求 的置信水平為0.95的置信區(qū)間.,解,設(shè)兩個總體相互獨立且服從正態(tài)分布.因為 ，,查 分布表得,所以關(guān)于 的置信水平為0.95的置信區(qū)間為,相互獨立， 均未知,2. 兩個總體方差比 的置信區(qū)間,分別為總體 和 的樣本方差.,和 分別為總體 的樣本.,設(shè)正態(tài)總體 與,分別為總體 和 的樣本均值，,構(gòu)造總體方差比 的區(qū)間估計.,由第五章定理七知,的分布已知且其中不含任何未知參數(shù)，由,得 關(guān)于的置信水平為 的置信區(qū)間為,例4 某自動機床加工同類套筒，假設(shè)套筒的直徑服從正態(tài)分布，現(xiàn)

17、從兩個不同班次A班和B班的產(chǎn)品中各抽取5個套筒，測得它們的直徑（單位：cm）分別為,A班：2.066，2.063，2.068，2.060，2.067 B班：2.058，2.057，2.063，2.059，2.060,試求兩班所加工的套筒直徑的方差比 的置信水平為0.90的置信區(qū)間.,解,查表得,于是，得 的置信水平為0.90的置信區(qū)間為,三 單側(cè)置信區(qū)間,在上述討論中，對于未知參數(shù) ，我們給出兩個統(tǒng)計量 ， ，得到 的雙側(cè)置信區(qū)間 ，而在一些實際問題中，我們只關(guān)心置信上限或下限，例如，對于元件、設(shè)備的壽命問題，希望平均壽命越長越好，而不能過短，所以我們關(guān)注的是平均壽命的下限，此時置信區(qū)間可采用 的形式，與之相反，對產(chǎn)品的次品率等問題，我們關(guān)注的是它的上限，置信區(qū)間可設(shè)為 的形式，這就引出了單側(cè)置信區(qū)間的概念.,設(shè)總體分布中含有一個未知參數(shù) ，由樣本,確定的兩個統(tǒng)計量 及,，對于給定的 ，滿足,稱隨機區(qū)間 為 的置信水平為 的置信區(qū)間.,分別稱為置信下限和置信上限, 稱為置信水平.,若 越小， 就越大， 覆蓋住 的可能性就越大.同時，,區(qū)間 的長度就越大，區(qū)間過大，區(qū)間估計沒意義了.,正確提法 ：在給定的較大的置信水平 下，使 平均長度最小的區(qū)間估計為最好的區(qū)間估計.,設(shè)