第八章_參數(shù)估計(jì)

1、第八章 參數(shù)估計(jì) 參數(shù)估計(jì)是統(tǒng)計(jì)推斷的基本問題之一。對(duì)于總體X，當(dāng)知道其分布類型，但其中的參數(shù) （有時(shí)是多個(gè)參數(shù) 1 1， 2 2 , , ， k k ）未知時(shí)，還需要確定參數(shù)。因?yàn)橹挥挟?dāng)參數(shù) 確定后，才能利用概率密度函數(shù)求出其概率。這就是本章要討論的參數(shù)估計(jì)問題：設(shè)總體X的概率密度函數(shù)f(x; )分布類型已知，但其中 未知，運(yùn)用樣本X X1 1， X X2 2 , , ， X Xn n所提供的信息，對(duì)未知參數(shù) 作出估計(jì)，這類統(tǒng)計(jì)問題就稱為參數(shù)估計(jì)問題 對(duì)未知參數(shù)進(jìn)行估計(jì)有兩種方式，一種是通過樣本X1， X2 , ， Xn對(duì)被估計(jì)的參數(shù)合理地給出一個(gè)估計(jì)量 （表示的估計(jì)量（值）這是所謂點(diǎn)估計(jì)問

2、題。另一種是通過樣本尋求一個(gè)區(qū)間，使之有一定把握包含被估計(jì)的參數(shù) ，這是所謂區(qū)間估計(jì)問題8.1 估計(jì)量的優(yōu)劣標(biāo)準(zhǔn)8.2 獲得估計(jì)量的方法點(diǎn)估計(jì)8.3 區(qū)間估計(jì)8.1 估計(jì)量的優(yōu)劣標(biāo)準(zhǔn) 對(duì)于同一個(gè)參數(shù)，用不同的估計(jì)方法求出的估計(jì)量可能不同，那么采用哪一個(gè)估計(jì)量好呢？這就涉及到用什么樣的標(biāo)準(zhǔn)來評(píng)價(jià)估計(jì)量。常用的標(biāo)準(zhǔn)有三個(gè)，即無偏性，有效性，一致性。 （一一） 一致估計(jì)一致估計(jì) 定義8.1 這里是的估計(jì)量，即 若則是的一致估計(jì)量。1n1nP P (X ,X )(X ,X ) ， n n,0lim ( P)=1 如果當(dāng)時(shí)， 依概率收斂于即任給，則稱 為參數(shù) 的一致估計(jì)。 一致性是對(duì)于極限性質(zhì)而言的，它

3、只在樣本容量較大時(shí)才起作用。 由于未知參數(shù)的估計(jì)量是一個(gè)隨機(jī)變量，每次抽樣后得到的的估計(jì)值不一定與真值相吻合，一般有誤差，誤差分為系統(tǒng)性誤差和隨機(jī)性兩種，系統(tǒng)性誤差指的是該理論不是它所要描述的現(xiàn)象的正確理論，理論和經(jīng)驗(yàn)之間的誤差在本質(zhì)上無法彌合，而隨機(jī)性誤差指的是該理論的所要描述的現(xiàn)象的正確理論，理論和經(jīng)驗(yàn)之間的不盡一致，是由于無法控制的隨機(jī)因素干擾所致.（二）無偏估計(jì)（二）無偏估計(jì)E 稱為以 作為 的估計(jì)的系統(tǒng)誤差1(,),.nXXE設(shè)為 的估計(jì)量 若則稱 是 的無偏估計(jì)量無偏估計(jì)的實(shí)際意義就是無系統(tǒng)誤差（即系統(tǒng)誤差等于零）定義8.2在經(jīng)濟(jì)科學(xué)技術(shù)中，由定義可知，無偏性的驗(yàn)證關(guān)鍵在于求出未知

4、參數(shù)的估計(jì)量 的期望，例1 從總體中 取一樣本（ X1, ,Xn ），E = ,D = 2 , 試證樣本平均數(shù) 分別是及2的無偏估計(jì)。2XS及樣本方差證 11 ,niiXXn2211()1niiSXXn11()()niiE XEXn11niiEXn1nn樣本均值是的無偏估計(jì)。()E X2211()1niiESEXXn2111niiEXXn2211()1niiEXn Xn2211111nniiiiDXDXDXnnn222111nnnnn221111niinE XE Xnn21=DXnS2是2的無偏估計(jì)若設(shè) 22011()niiSXXn22201111() 1niinnSXXSnnn2222011

5、1()nnnESESESnnn220ES S02 不是2的無偏估計(jì)。則故注：由于用S02 估計(jì)方差2時(shí)，有系統(tǒng)誤差，所以，常用樣本方差S2估計(jì)總體方差2 。 用n/n-1乘S02 ，所得到的估計(jì)量就是無偏的了，稱S2為修正的樣本方差，稱S02 為未修正的樣本方差。無偏性的要求正是引進(jìn)修正樣本方差的原因。 要注意，并非一切有偏估計(jì)都可修正為無偏的如果從總體中隨機(jī)取出兩個(gè)相互獨(dú)立的樣本（ X11 , ,X1n1 ）及（X21 , ,X2n2），則可以證明分別是總體中和2的無偏估計(jì)量。其中，12i ，221122211221212111 2nSnSXn Xn XSnnnn221111 ()1nnii

6、 jii jijjiXXSXXnn 對(duì)總體的某一參數(shù)的無偏估計(jì)量往往不止一個(gè)，而且無偏性僅僅表明 所有可能取的值按概率平均等于，可能它取的值大部分與相差很大。為保證 的取值能集中與附近，自然要求 的方差越小越好。（三）有效估計(jì)定義8.3 設(shè) 和 都是的無偏估計(jì)，若樣本容量為 n , 的方差小于 的方差，則稱 是比 有效的估計(jì)量。如果在的一切無偏估計(jì)量中, 的方差達(dá)到最小，則 稱為的有效估計(jì)量。即11212(,),1, 2,.iinXXiDD設(shè)分別是參數(shù) 的兩個(gè)無偏估計(jì) 若則稱 比有效由定義，要證明兩個(gè)無偏估計(jì)哪一個(gè)更有效，只須證明它們的方差，看哪一個(gè)方差較小。例2 比較總體期望值的兩個(gè)無偏估計(jì)

7、的有效性。11niiXXn11niiiniia XXa10niia解：()E X21DXn11Xniiiniia EEXa利用不等式21niina222112211nniiiinniiiia DXaDXaa21DXn2 ()0ijaa222ijija aaa22112nniiijiiijaaa a2221niijiijaaa（+ ）21211niiniiana222112211nniiiinniiiia DXaDXaa21DXn21211niiniiana2221211niiniiaDXDXnnaXX故 比有效8.2 獲得估計(jì)量的方法點(diǎn)估計(jì) 點(diǎn)估計(jì)就是以樣本的某一函數(shù)值作為總體中未知參數(shù)的估計(jì)

8、值的一種估計(jì)方法若(x1, x2 ,xn)是樣本的一個(gè)觀測(cè)值,以1f( ,),nxx作為 的估計(jì)值 由于f(x1, x2 ,xn) 是實(shí)數(shù)域上的一個(gè)點(diǎn)，用 它來估計(jì) ， 故稱這種估計(jì)為點(diǎn)估計(jì)點(diǎn)估計(jì)。 點(diǎn)估計(jì)的經(jīng)典方法是矩估計(jì)法與最最（極）大極）大似然估計(jì)法。似然估計(jì)法。( (一）矩估計(jì)法（簡(jiǎn)稱一）矩估計(jì)法（簡(jiǎn)稱“矩法矩法”）矩法是求估計(jì)量的最古老的方法。具體的做法是：以樣本矩作為相應(yīng)的總體矩的估計(jì)，以樣本矩的函數(shù)作為相應(yīng)的總體矩的同一函數(shù)的估計(jì)。常用的是用樣本平均數(shù) 估計(jì)總體期望值 。因此，矩估計(jì)法的基本思想就是“替換”的思想因此總體的期望是它的一階原點(diǎn)矩，方差是其二階中心矩()(1,2,)k

9、E Xk ()(1,2,)kE XEXk矩是隨機(jī)變量的數(shù)字特征，它有兩種：原點(diǎn)矩和中心矩，對(duì)總體X而言, 稱為總體X的k階原點(diǎn)矩.它是隨機(jī)變量X的k次冪的數(shù)學(xué)期望稱為總體X的k階中心矩.它是隨機(jī)變量離差的k次冪的數(shù)學(xué)期望11(1,2,)nkkiiAXkn11()(1,2,)nkkiiBXXkn樣本矩可類似定義，對(duì)統(tǒng)計(jì)量而言，樣本原點(diǎn)矩是指當(dāng)k =1時(shí)，就是樣本均值當(dāng)k=2時(shí)，就是二階樣本中心矩.樣本中心矩是指例1 某燈泡廠某天生產(chǎn)了一大批燈泡，從中抽取了10個(gè)進(jìn)行壽命實(shí)驗(yàn)，得數(shù)據(jù)如下（單位：小時(shí)）問該天生產(chǎn)的燈泡平均壽命是多少？ 矩法比較直觀，求估計(jì)量有時(shí)也比較直接，但它產(chǎn)生的估計(jì)量往往不夠理

10、想。1050110010801120120012501040113013001200解 計(jì)算出x1147，以此作為總體期望值的估計(jì)。（二）最大似然估計(jì)法（二）最大似然估計(jì)法1、最大似然思想、最大似然思想 有甲乙兩個(gè)射手，甲的命中率為0.9,乙的命中率為0.2,現(xiàn)在他們中的一個(gè)向目標(biāo)射擊了一發(fā)，結(jié)果命中了，估計(jì)是誰射擊的？ 從這個(gè)例子，我們悟出一個(gè)基本想法：如果在一次試驗(yàn)中事件A發(fā)生了，那么試驗(yàn)的條件應(yīng)最有利于A的出現(xiàn)，換言之，試驗(yàn)的條件應(yīng)使A發(fā)生的概率最大。這就是最大似然估計(jì)法的直觀想法。 最大似然估計(jì)法是要選取這樣的 ，當(dāng)它作為 的估計(jì)值時(shí)，使觀察結(jié)果出現(xiàn)的可能性最大。對(duì)于連續(xù)型的隨機(jī)變量就

11、是估計(jì)概率密度中的。對(duì)于離散型的隨機(jī)變量就是估計(jì)概率函數(shù)中的參數(shù)；設(shè)為連續(xù)性隨機(jī)變量，它的分布函數(shù)是F(x;),概率密度是 ，其中是未知參數(shù)，可以是一個(gè)值，也可以是一個(gè)向量。由于樣本的獨(dú)立性，則樣本X1, X2 ，,Xn 的聯(lián)合概率密度聯(lián)合概率密度是對(duì)每一個(gè)取定的樣本值， x1,xn是常數(shù)，L是參數(shù) 的函數(shù)，稱稱L L為樣本的似然函數(shù)為樣本的似然函數(shù)（如果 是一個(gè)向量，則L 是多元函數(shù)）; x1,;1,;nniiL xxx設(shè)為離散型隨機(jī)變量，有概率函數(shù) 則似然函數(shù)似然函數(shù);iiPxp x11,;nniiLxxpx定義8.4 如果 在 處達(dá)到最大值，即存在 則稱 是的最大似然估計(jì)。如何把的最大似

12、然估計(jì) 求出來，由高等數(shù)學(xué)知識(shí)知道，L()的最大值常用求導(dǎo)方法求得，由于 L與L同時(shí)達(dá)到最大值，故只需求 L的最大值點(diǎn)即可，一般通過解方程來得到參數(shù)的最大似然估計(jì)1,;nL xx12=,)( )max ( )nx xxLL （，使ln ( )0dLd求最大似然估計(jì)的步驟求最大似然估計(jì)的步驟(1) 做似然函數(shù)做似然函數(shù)11( )( ,; )( ; )nniiLL xxx(2) 做對(duì)數(shù)似然函數(shù)做對(duì)數(shù)似然函數(shù)11ln ( )( ,; )ln ( ; )nniiLL xxx(3) 求導(dǎo)數(shù)，列似然方程求導(dǎo)數(shù)，列似然方程ln ( )0dLd若該方程有解，則其解就是的最大似然估計(jì)。(4) 解似然方程解似然方

13、程如果是一個(gè)向量，即 12,m 則，解似然方程組：1lnL0 lnL0m1,m1,m其解就分別是的最大似然估計(jì)1 0; 00 xexx其他例2 已知(x1, x2 ,xn)為 的一組樣本觀察值，求的最大似然估計(jì)。解： 似然函數(shù)1112;111,niiixnxnniL x xxee 解似然方程 x 就是 的最大似然估計(jì)。1112;111,niiixnxnniL x xxee11lnL=lnniinx21lnL1niidnxd 2110niinx11niixxn取對(duì)數(shù)得求導(dǎo)數(shù)得得例3 某電子管的使用壽命（從開始使用到初次失效為止）服從指數(shù)分布（概率密度見例2），今抽取一組樣本，其具體數(shù)據(jù)如下；問如

14、何估計(jì) ？162950681001301402702803404104505206201902108001100解 根據(jù)例2的結(jié)果，參數(shù)用樣本平均數(shù)估計(jì)1572331818為的估計(jì)值。1111629800 100018niixn318(x1, x2 ,xn)為的一組樣本觀察值，用最大似然估計(jì)法估計(jì),2 2 的值。解2222112ixniLe2211()222112niinnxe 222111lnL= lnln()222niinnx例4 已知服從正態(tài)分布N(N(,2 2 ), ), 22241lnL1()22niinx 21ln L1niix222111lnL= lnln()222niinnx2

15、12241101()022niiniixnX解似然方程組212241101()022niiniixnX解似然方程組11niixxn2221111()()nniiiixxxnn得P164 2 前一節(jié)介紹的參數(shù)的點(diǎn)估計(jì)是用樣本觀測(cè)值計(jì)算總體參數(shù)的估計(jì)值，它是參數(shù)的真值的近似值。為了了解估計(jì)值的精確度，希望對(duì)的取值估計(jì)出一個(gè)范圍，為了了解其可靠性，希望知道這個(gè)范圍包含參數(shù)的真值的可靠程度，這樣的范圍通常用區(qū)間的形式給出，這就是本節(jié)討論的參數(shù)的區(qū)間估計(jì)8.3 區(qū)間估計(jì)區(qū)間估計(jì)一、概念一、概念 定義：定義： 設(shè)總體X的分布函數(shù)F(x；)含有未知參數(shù)，對(duì)于給定值（0 1),若存在兩個(gè)統(tǒng)計(jì)量 則稱隨機(jī)區(qū)間隨

16、機(jī)區(qū)間 為的置信度置信度為1的的置信置信區(qū)間區(qū)間注：F(x;)也可換成概率密度或分布律。1121(,)(,)nnXXXX與12()1*P 12 ( ,) 使是事先給定的一個(gè)小正數(shù)，它是指參數(shù)估計(jì)不準(zhǔn)的概率，一般常給 =5%或1%未知參數(shù)的區(qū)間估計(jì)，應(yīng)掌握兩類題型一類是推導(dǎo)正態(tài)總體中未知參數(shù)區(qū)間估計(jì)另一類是給出樣本值，求單個(gè)正態(tài)總體的期望和方差的置信區(qū)間求置信區(qū)間的一般步驟是：1、明確問題 要求的是什么參數(shù)的置信區(qū)間，置信度有多大？2、構(gòu)造含未知參數(shù)且有確定分布的隨機(jī)變量3、根據(jù)隨機(jī)變量的分布，對(duì)給定的置信度1-定出4、利用不等式變形，求出的置信區(qū)間u如何理解置信區(qū)間的置信度1 ？在所給的一個(gè)樣

17、本值之下，假設(shè)得到了一個(gè)確定的常數(shù)區(qū)間a,b，如果獨(dú)立地再取一個(gè)樣本，又會(huì)得到另一個(gè)常數(shù)區(qū)間，如果獨(dú)立地取100個(gè)樣本，那么會(huì)得到100個(gè)這種常數(shù)區(qū)間，為方便計(jì)，設(shè)置信度1=0.90=90%，其含義：從統(tǒng)計(jì)意義看，這100個(gè)常數(shù)區(qū)間中約有90%包含 =EX ，只有約10%的區(qū)間不包含 =EX，既然絕大多數(shù)區(qū)間都包含 =EX ，那么就可認(rèn)為區(qū)間a,b包含 =EX ，當(dāng)然也可能遇上正好這個(gè)區(qū)間不包含 =EX的偶然情況，這時(shí)我們就作了錯(cuò)誤的判斷，不過出現(xiàn)這種情況的可能性很小，僅有約10%一 總體期望E 的區(qū)間估計(jì)1、總體分布未知，方差已知、總體分布未知，方差已知，估計(jì)期望，估計(jì)期望2()1DPE 1

18、1 niiXXn利用切貝謝夫不等式進(jìn)行估計(jì)從總體中抽取樣本（X1, X2 ，,Xn ），令則 E,/XEDXDn2()1DP XEn 20 P()()DXEP XEn利用切貝謝夫不等式，有若要求P(X E )95%，如果D 0，則取=20D /n,得到由上式看出，有95%以上的把握保證20 DXEn2020DDXEXnn P()1DDXEXnn 即因此，對(duì)于已知方差 D 的一般總體，估計(jì)E的置信區(qū)間按如下確定上式左邊不是隨機(jī)變量落在某一確定區(qū)間內(nèi)的概率，而是常數(shù)E 被隨機(jī)區(qū)間蓋住的可能性,即平均每100次抽樣（每次抽n個(gè)樣品）計(jì)算得到的100個(gè)區(qū)間中，至少有（1-）100個(gè)區(qū)間包含E例1 某燈

19、泡廠某天生產(chǎn)了一大批燈泡,從中抽取了10個(gè)進(jìn)行壽命實(shí)驗(yàn)，得數(shù)據(jù)如下（單位：小時(shí)），如果知道該天生產(chǎn)的燈泡壽命的方差是8，試找出燈泡平均壽命的置信區(qū)間（ = 0.05）.1050110010801120120012501040113013001200解：用表示該天燈泡的壽命， 已知D = 8,X=1147, D / n =4于是，E 的置信區(qū)間為（1147-4,1147+4）即（1143,1151）2、總體分布為正態(tài)分布、總體分布為正態(tài)分布N( ， 2 ), 2已知，估計(jì)已知，估計(jì)211(), 1. nnXXNxx設(shè)， ， 是來自正態(tài)總體，的樣本 給定，由觀測(cè)值，求出 的置信區(qū)間X U(0,1)

20、Nn即()1P Uu ()1/XPun ()1(8.6)P XuXunn 對(duì)于給定的 ，查附表3可以確定 ，使因此，的置信度為1的置信區(qū)間為(,)XuXunnu例2 若燈泡壽命服從正態(tài)分布N( ,8),從中抽取了10個(gè)進(jìn)行壽命實(shí)驗(yàn)，得數(shù)據(jù)如下（單位：小時(shí)）試估計(jì)平均壽命所在范圍（ =0.05）.1050110010801120120012501040113013001200解：已知 =0.05， 所以所以 n=10, =2 2而 1147x 計(jì)算出1.96u根據(jù)樣本值計(jì)算1.961147 1.753 1145.25 xun2 21147-101.961147 1.753 1148.75 xun

21、2 21147+10的置信度為1- 0.95的置信區(qū)間是 （1145.25，1148.75）根據(jù)（8,6）式得例例3 3 已知某煉鐵廠的鐵水中含碳量在正常情況下服從正態(tài)分布，其方差2 = 0.1082 .現(xiàn)在測(cè)定了9爐鐵水，其平均含碳量為4.484.按此資料計(jì)算該廠鐵水平均含碳量的置信區(qū)間，并要求有95% 的可靠性。解：設(shè)該廠鐵水平均含碳量為已知 0.05，查表確定1.96u根據(jù)樣本值計(jì)算4.555xun4.413xun的置信系數(shù)為1- 0.95的置信區(qū)間是 （4.413，4.555）3、一般總體大樣本下E 的區(qū)間估計(jì)根據(jù)中心極限定理，當(dāng)樣本容量相當(dāng)大時(shí)，X漸近地服從正態(tài)分布，故大樣本情況下，對(duì)于一般總體仍然可以用（8.6）式對(duì)E 進(jìn)行估計(jì) 4、正態(tài)總體方差、正態(tài)總體方差 2未知，期望未知，期望的區(qū)間估計(jì)的區(qū)間估計(jì)因此，的1置信區(qū)間為對(duì)于給定的，查附表4，可確定 (1)/XTt nSn選取估計(jì)量() P Tt令()P( ) 1n XtS ( ) P 1(8.8)SSXtXtnn 設(shè)