第三章參數(shù)估計

1、第三章第三章 參數(shù)估計參數(shù)估計統(tǒng)計推斷：統(tǒng)計推斷：根據(jù)樣本推斷總體分布或分布的數(shù)字特征。根據(jù)樣本推斷總體分布或分布的數(shù)字特征。參數(shù)估計：參數(shù)估計：總體的分布函數(shù)或概率函數(shù)的數(shù)學(xué)表達(dá)式總體的分布函數(shù)或概率函數(shù)的數(shù)學(xué)表達(dá)式為已知，但它的某些參數(shù)（總體的數(shù)字特為已知，但它的某些參數(shù)（總體的數(shù)字特征也作為參數(shù)）卻未知，我們對未知參數(shù)征也作為參數(shù)）卻未知，我們對未知參數(shù)或未知參數(shù)的函數(shù)進(jìn)行估計?；蛭粗獏?shù)的函數(shù)進(jìn)行估計。主要內(nèi)容主要內(nèi)容：n點估計量的方法點估計量的方法 矩估計法矩估計法 極大似然法極大似然法 順序統(tǒng)計量法順序統(tǒng)計量法n估計量的評選標(biāo)準(zhǔn)估計量的評選標(biāo)準(zhǔn) 無偏性無偏性 有效性有效性 相合性相

2、合性 充分性充分性n一致最小方差無偏估計一致最小方差無偏估計n區(qū)間估計區(qū)間估計 3.1 求點估計量的方法求點估計量的方法為為參參數(shù)數(shù)空空間間。，稱稱即即，的的取取值值范范圍圍記記為為為為總總體體的的未未知知參參數(shù)數(shù)，值值，的的觀觀測測為為隨隨機(jī)機(jī)變變量量中中數(shù)數(shù)學(xué)學(xué)表表達(dá)達(dá)式式為為已已知知，其其的的或或概概率率函函數(shù)數(shù)的的分分布布函函數(shù)數(shù)設(shè)設(shè)總總體體 XxxPxFX),(),(定義定義1：的估計量。的估計量。稱為稱為量量的估計值，而統(tǒng)計的估計值，而統(tǒng)計為為的值，則稱的值，則稱參數(shù)參數(shù)作為未知作為未知，若將統(tǒng)計量的觀測值，若將統(tǒng)計量的觀測值，對于樣本觀測值，對于樣本觀測值構(gòu)造統(tǒng)計量構(gòu)造統(tǒng)計量為總

3、體的未知參數(shù)，為總體的未知參數(shù)，的樣本，的樣本，是總體是總體設(shè)設(shè) ),(),(),(),(),(,212121212121nnnnnnXXXTxxxTxxxTxxxXXXTXXXX統(tǒng)計量統(tǒng)計量個不帶任何未知參數(shù)的個不帶任何未知參數(shù)的樣本建立樣本建立要由要由個不同的未知參數(shù)，則個不同的未知參數(shù)，則，有，有為為或概率函數(shù)或概率函數(shù)的分布函數(shù)為的分布函數(shù)為設(shè)總體設(shè)總體llxPxFXll),;(),;(11 liXXTni, 2 , 1),(1 個個未未知知參參數(shù)數(shù)的的估估計計量量把把它它們們分分別別作作為為這這lliXXTnii, 2 , 1),(1 5參數(shù)估計參數(shù)估計點估計點估計區(qū)間估計區(qū)間估計6

4、 估計廢品率估計廢品率估計新生兒的體重估計新生兒的體重估計湖中魚數(shù)估計湖中魚數(shù) 估計降雨量估計降雨量實際應(yīng)用例子實際應(yīng)用例子7例例 已知某地區(qū)新生嬰兒的體重已知某地區(qū)新生嬰兒的體重X),(2 N,2未知 隨機(jī)抽查隨機(jī)抽查100個嬰兒個嬰兒得得100個體重數(shù)據(jù)個體重數(shù)據(jù)10,7,6,6.5,5,5.2, 呢呢? ?據(jù)此據(jù)此, ,我們應(yīng)如何估計我們應(yīng)如何估計和和而全部信息就由這而全部信息就由這100個數(shù)組成個數(shù)組成.8 為估計為估計 , 需要構(gòu)造一個需要構(gòu)造一個適當(dāng)?shù)慕y(tǒng)計量適當(dāng)?shù)慕y(tǒng)計量 每當(dāng)有了樣本觀測值每當(dāng)有了樣本觀測值 x1, x2, xn ，就代入該統(tǒng)計量中算出一個，就代入該統(tǒng)計量中算出一個

5、 值值 ： 作為未知參數(shù)作為未知參數(shù) 的近的近 似值似值 .12(,),nXXX12(,)nxxx 稱為參數(shù)稱為參數(shù) 的的估計量估計量12(,)nXXX 稱為參數(shù)稱為參數(shù) 的一個的一個估計值估計值12(,)nxxx9 其基本思想是其基本思想是用樣本矩估計總體矩用樣本矩估計總體矩 . .矩估計法是英國統(tǒng)計學(xué)家矩估計法是英國統(tǒng)計學(xué)家K.皮爾遜皮爾遜最早提出的最早提出的. .一一. .矩法估計矩法估計),;(),;(11llxpxXPXxfX 分布列為分布列為為離散型隨機(jī)變量，其為離散型隨機(jī)變量，其總體總體概率密度為概率密度為為連續(xù)型隨機(jī)變量，其為連續(xù)型隨機(jī)變量，其設(shè)總體設(shè)總體存存在在。或或階階原原

6、點點矩矩的的設(shè)設(shè)總總體體 ilikilkkkxpxdxxfxlkEXkX),;(),;(), 2 , 1(11 nikikXnA11階階原原點點矩矩為為樣樣本本的的k.), 1(lk原理：原理： 經(jīng)驗分布函數(shù)一致收斂于總體分布函數(shù)，樣本經(jīng)驗分布函數(shù)一致收斂于總體分布函數(shù)，樣本的的k階原點矩一致收斂于總體的階原點矩一致收斂于總體的k階原點矩。階原點矩。矩估計法（矩法）：矩估計法（矩法）： 用樣本各階原點矩的函數(shù)來估計用樣本各階原點矩的函數(shù)來估計總體各階原點矩同一函數(shù)的方法，相應(yīng)的估計總體各階原點矩同一函數(shù)的方法，相應(yīng)的估計量稱為矩估計量。量稱為矩估計量。),(2lEXEXEXQQ ),(21lA

7、AAQQ 的的具具體體做做法法如如下下：矩矩估估計計法法),(111l 設(shè)設(shè)：), 2 , 1(10lkEXkXkk 階原點矩階原點矩的的求出總體求出總體解解上上面面方方程程組組得得：02),(111l ),(1lll ),(1lll , 2 , 1),(1lkxxTnkk ，（分分別別代代替替上上式式中中的的以以), 2 , 130lkAkk ),(),(11111nlXXTAA 則則),(),(11nllllXXTAA .1的的矩矩估估計計量量，分分別別為為l .1的的矩矩估估計計值值，分分別別為為l .,0010)(:111是一個樣本是一個樣本未知未知其中其中其他其他的概率密度為的概率密

8、度為設(shè)總體設(shè)總體例例nXXxxxfX 的矩估計量。的矩估計量。求：求： 11011 dxxxEX解解：返回主目錄XXnAnii 1111令令解得解得21 XX.的的矩矩估估計計量量為為 是是一一個個樣樣本本；未未知知；設(shè)設(shè)總總體體例例nXXbabaUX,:21的的矩矩估估計計量量。求求：ba,21baEX 解解：XXnAbanii 1112令令 niiXnAbaab1222214)(12)(4)(12)()( 22222baabEXDXEX 返回主目錄)(12,22121AAabAba 即即 niiniiXXnXAAAbXXnXAAAa122121122122)(3)(3)(3)(3 解解得得

9、：返回主目錄21212)(11XXnXXnniinii 例例 2 2（續(xù)）（續(xù)）17例例3 甲乙兩個校對員彼此獨立對同一甲乙兩個校對員彼此獨立對同一本書的樣稿進(jìn)行校對，校完后，甲發(fā)本書的樣稿進(jìn)行校對，校完后，甲發(fā)現(xiàn)現(xiàn)a個錯字，乙發(fā)現(xiàn)個錯字，乙發(fā)現(xiàn)b個錯字，其中共個錯字，其中共同發(fā)現(xiàn)的錯字有同發(fā)現(xiàn)的錯字有c個，試用個，試用矩估計法矩估計法對如下兩個未知參數(shù)進(jìn)行估計對如下兩個未知參數(shù)進(jìn)行估計 該書樣稿的總錯字個數(shù)；該書樣稿的總錯字個數(shù)； 未被發(fā)現(xiàn)的錯字?jǐn)?shù)未被發(fā)現(xiàn)的錯字?jǐn)?shù).18解：解：設(shè)該書樣稿中總錯字個數(shù)為設(shè)該書樣稿中總錯字個數(shù)為甲校對員識別出錯字的概率為甲校對員識別出錯字的概率為1p乙校對員識別

10、出錯字的概率為乙校對員識別出錯字的概率為2p由于甲乙是彼此獨立的進(jìn)行校對，由于甲乙是彼此獨立的進(jìn)行校對，則同一錯字能被甲乙同時識別的概則同一錯字能被甲乙同時識別的概率為率為12p p191ap由頻率替換思想，得由頻率替換思想，得2bp12cp p由獨立性，得矩估計方程由獨立性，得矩估計方程abcabc解得解得20(2)未被發(fā)現(xiàn)的錯字?jǐn)?shù)的估計等于總錯字未被發(fā)現(xiàn)的錯字?jǐn)?shù)的估計等于總錯字?jǐn)?shù)的估計減去甲乙發(fā)現(xiàn)的錯字?jǐn)?shù)，即數(shù)的估計減去甲乙發(fā)現(xiàn)的錯字?jǐn)?shù)，即ababcc例如：若設(shè)例如：若設(shè)a=120,b=124,c=80,則該書則該書樣稿中錯字總數(shù)的矩估計為樣稿中錯字總數(shù)的矩估計為120 12418680未

11、被發(fā)現(xiàn)的錯字個數(shù)的矩估計為未被發(fā)現(xiàn)的錯字個數(shù)的矩估計22個個21 它首先是由德國數(shù)學(xué)家它首先是由德國數(shù)學(xué)家高斯高斯在在1821年提出的年提出的 , GaussFisher 然而，這個方法常歸功于然而，這個方法常歸功于英國統(tǒng)計學(xué)家英國統(tǒng)計學(xué)家費歇費歇(Fisher) . Fisher在在1922年重新發(fā)現(xiàn)了年重新發(fā)現(xiàn)了 這一方法，并首先研究了這這一方法，并首先研究了這 種方法的一些性質(zhì)種方法的一些性質(zhì) .二二 最大似然估計最大似然估計22 最大似然法的基本思想最大似然法的基本思想 先看一個簡單例子先看一個簡單例子一只野兔從前方竄過一只野兔從前方竄過 .是誰打中的呢？是誰

12、打中的呢？某位同學(xué)與一位獵人一某位同學(xué)與一位獵人一起外出打獵起外出打獵 .如果要你推測，如果要你推測，你會如何想呢你會如何想呢?只聽一聲槍響，野兔應(yīng)聲倒下只聽一聲槍響，野兔應(yīng)聲倒下 .23其數(shù)學(xué)模型為 令令X為打一槍的中彈數(shù)，則為打一槍的中彈數(shù)，則XB(1,p), p未知未知.設(shè)想我們事先知道設(shè)想我們事先知道p只有兩種可能只有兩種可能:p=0.9 或或 p=0.1要估計總體要估計總體 X 的參數(shù)的參數(shù)p的值的值24當(dāng)兔子不中彈當(dāng)兔子不中彈，即，即X =0發(fā)生了發(fā)生了 現(xiàn)有樣本觀測值現(xiàn)有樣本觀測值x =1, 什么樣的參數(shù)使該樣本什么樣的參數(shù)使該樣本值出現(xiàn)的可能性最大呢？值出現(xiàn)的可能性最大呢？ 若

13、若p=0.9，則，則PX=1=0.9 若若p=0.1，則，則PX=1=0.1 若若p=0.9，則，則PX=0=0.1 若若p=0.1，則，則PX=0=0.9當(dāng)兔子中彈當(dāng)兔子中彈，即，即X =1發(fā)生了發(fā)生了25最大似然估計法的基本思想：最大似然估計法的基本思想： 根據(jù)樣本觀測值，選擇參數(shù)根據(jù)樣本觀測值，選擇參數(shù)p的估計的估計 ，使得樣本在該樣本值附近出現(xiàn)的可能性最大使得樣本在該樣本值附近出現(xiàn)的可能性最大 p26獵人命中的概率一般大于這位獵人命中的概率一般大于這位同學(xué)命中的概率同學(xué)命中的概率, 看來這一槍看來這一槍是獵人射中的是獵人射中的 . 一槍打中一槍打中獵人獵人同學(xué)同學(xué)哪個概率大？哪個概率大

14、？27 當(dāng)試驗中得到一個結(jié)果當(dāng)試驗中得到一個結(jié)果( (上例中指上例中指一槍一槍 打中打中) )時時, ,哪個哪個 p 值使這個結(jié)果的出現(xiàn)具值使這個結(jié)果的出現(xiàn)具 有最大概率就應(yīng)該取哪個值作為有最大概率就應(yīng)該取哪個值作為 p 的估的估 計值計值. . 這個例子確定這個例子確定 的的基本想法基本想法是是: : p 這個想法稱為這個想法稱為最大似然原理最大似然原理. . 它用到它用到“概率最大的事件最可能出現(xiàn)概率最大的事件最可能出現(xiàn)”的直觀想法的直觀想法. . 28 最大似然估計的求法最大似然估計的求法(1)( ; ),XP Xxf x 若總體 屬離散型，其分布列 的形式為已知， 為待估參數(shù)， 是 可

15、能的 取值范圍。11,nnXXXXX 設(shè)是來自 的樣本,則的聯(lián)合分布列1( ; )niif x29的一個樣本值；是又設(shè)nnXXxx,11發(fā)生的概率為：事件的概率，亦即取易知樣本,1111nnnnxXxXxxXX11( )( ;,)( ; ),.nniiLLxxf x ( )L它是 的函數(shù),稱似為樣本的然函數(shù).3011(; )max(; )nniiiif xf x使使 已經(jīng)得到了觀察值已經(jīng)得到了觀察值(x1，x2，xn),它是哪一個它是哪一個所確定的總體所確定的總體( (分布分布) )產(chǎn)生的？產(chǎn)生的？ 尋找最可能的！尋找最可能的！也就是產(chǎn)生這個樣本也就是產(chǎn)生這個樣本的概率最大的的概率最大的. .

16、nxxx,21即求即求3111,(,),nnxxxx與有關(guān)，記為最大似稱其為參數(shù) 的然估計值.1(,)nXX稱 為 參 數(shù)的 最 大 似 然 估 計 量 .32(2).( ; ),;Xf x若總體 屬連續(xù)型，其概率密度的形式已知， 為待估參數(shù)的聯(lián)合密度：則nXX,1niixf1);(11111,(,)( ,),nnnnnxxXXXXxxdxdxn設(shè)是相應(yīng)的一個樣本值，則隨機(jī)點落在的鄰域（邊長分別為的 維立方體）內(nèi)的概率近似為：1( ; ) niiif xdx取 的估計值 ，使上式概率取到最大值。33iidx但不隨而變，故只需考慮：11( )( ;,)( ; ), nniiLLxxf x( )L

17、的最大值，這里稱為樣本的似然函數(shù).11若 ( ;,)max ( ;,)nnLxxLxx1(,)nxx則稱為 的最大似然估計值.1(,)nXX稱為 的最大似然估計量.( ; )( ) 0.f xdLd一般，關(guān)于 可微，故 可由下式求得：34( )ln( ) ln( )0. LLdLd又因與在同一 處取到極值，因此 的最大似然估計也可從下述方程解得：若總體的分布中包含多個參數(shù)，., 1, 0ln., 1, 0kiLkiLii或即可令1,kk解 個方程組求得的極大似然估計值。35 似然函數(shù)似然函數(shù)1121,;,;niinniif xLx xxf x離散， 連續(xù)最大似然估計：最大似然估計：若若 使使1

18、2,nx xx1212;,max;,nnLx xxLx xx則稱則稱 為為的最大似然估計的最大似然估計.nxxx,21綜上所述，歸納如下：綜上所述，歸納如下：原理：原理： 當(dāng)試驗中得到一個結(jié)果時，哪個當(dāng)試驗中得到一個結(jié)果時，哪個 值使得這值使得這個結(jié)果的出現(xiàn)具有最大概率就應(yīng)該取哪個值個結(jié)果的出現(xiàn)具有最大概率就應(yīng)該取哪個值作為作為 的估計值。的估計值。概率最大的事件最可能發(fā)生概率最大的事件最可能發(fā)生極大似然估計法：極大似然估計法：稱樣本的聯(lián)合概率函數(shù)稱樣本的聯(lián)合概率函數(shù)的樣本，的樣本，為為維的，維的，是是是未知參數(shù)，參數(shù)空間是未知參數(shù)，參數(shù)空間的概率函數(shù)，其中的概率函數(shù)，其中為總體為總體設(shè)設(shè)XX

19、XlXxpnll,),(),;(111 ),;(),(111lniilxpL 使得下式成立使得下式成立的似然函數(shù)；若的似然函數(shù)；若為為ll ,11),;(sup),(111lniilxpL 的極大似然估計量。的極大似然估計量。為為則稱則稱knkkXX ),(1待待估估函函數(shù)數(shù)）為為的的已已知知實實函函數(shù)數(shù)（簡簡稱稱為為若若參參數(shù)數(shù)l ,1的的極極大大似似然然估估計計量量。為為則則稱稱),(),(11lluuu ),(1luu 返回主目錄, );();,()(11 niinxpxxLL :10似似然然函函數(shù)數(shù)寫寫出出法法的的具具體體做做法法如如下下：極大似然估計極大似然估計. 0)( ddL令令

20、)(20 L似似然然函函數(shù)數(shù)求求:的最大值點的最大值點. 0)(ln Ldd或或).,(1nxx 的的極極大大似似然然估估計計值值解解之之得得，個個參參數(shù)數(shù)若若母母體體的的分分布布中中包包含含多多l(xiāng),1., 1, 0ln., 1, 0liLliLii 或或即即可可令令的極大似然估計值。的極大似然估計值。個方程組求得個方程組求得解解ll ,1返回主目錄似似然然函函數(shù)數(shù)為為：則則樣樣本本的的, ),;(),(111 nililxpL的的一一個個樣樣本本，是是來來自自設(shè)設(shè)例例XXXpBXn,);,(:113試求參數(shù)p的極大似然估計量。的分布律為：的分布律為：是一個樣本值。是一個樣本值。解：設(shè)解：設(shè)X

21、xxn,1; 1 , 0,)1(1 xppxXPxx故似然函數(shù)為故似然函數(shù)為,)1()1()(1111 niiniiiixnxxxnipppppL).1ln()(ln)()(ln11pxnpxpLniinii 而而. 01)(ln11 pxnpxpLdpdniinii令令返回主目錄xxpnii 1n1p 的極大似然估計值的極大似然估計值解得解得XXpnii 1n1p 的的極極大大似似然然估估計計量量為為-它與矩估計量是相同的。它與矩估計量是相同的。返回主目錄1)( pXEXXnAnii 111例例 3 3（續(xù)）（續(xù)）nnxxXXxxxfX,)(.11100104是一個樣本是一個樣本未知未知其中

22、其中其他其他的概率密度為的概率密度為設(shè)總體設(shè)總體例例解：解：返回主目錄的的極極大大似似然然估估計計。求求似然函數(shù)為似然函數(shù)為 , );();,()(11 niinxfxxLL 其他其他01,0),(1112nnnxxxx .是是一一組組樣樣本本觀觀察察值值返回主目錄1121),()(1,0 nnnxxLxx時時，當(dāng)當(dāng) niixnL1ln)1(ln2)(ln 0ln212)(ln 1 niixnLdd 令令的的極極大大似似然然估估計計值值解解之之得得 212ln niixn 例例 4 4（續(xù)）（續(xù)）是是一一個個樣樣本本值值，未未知知，設(shè)設(shè)例例nxxbabaUX,;,.15的的極極大大似似然然估估

23、計計量量。求求：ba,X的概率密度為的概率密度為： 其其它它 , 0;,1),;(bxaabbaxf 其它其它 , 0,)(1),(1bxxaabbaLnn返回主目錄解：解：似然函數(shù)為：似然函數(shù)為：),max(),min(1)(1)1(nnnxxxxxx 設(shè)設(shè),)()1(1bxxabxxann 等等價價于于因因為為所以所以返回主目錄 其其它它 , 0;,)(1),()()1(nnxbxaabbaL時，時，當(dāng)當(dāng))()1(,nxbxa nabbaL)(1),( 例例 5 5（續(xù)）（續(xù)）, 0)(),(1 nabnbaLannnxxxbxabaL)(1,),()1()()()1( 時時，取取最最大大

24、值值在在的極大似然估計值為：的極大似然估計值為：故故ba,max,min)()1(inixxbxxa 的極大似然估計量為：的極大似然估計量為：故故ba,max,miniiXbXa 返回主目錄0)(),(1 nabnbaLb的單減函數(shù)。的單減函數(shù)。是是的單增函數(shù)的單增函數(shù)是是可見可見babaL,),(例例 5 5（續(xù)）（續(xù)）nncxxxXXccxecxfX11,)0(,01),;(. 6是一個樣本是未知參數(shù)其中其他的概率密度為設(shè)總體例解：解：返回主目錄的的極極大大似似然然估估計計。求求c, 似然函數(shù)為似然函數(shù)為 其他其他01),(1)(11ncxnxxcecLnii .是是一一組組樣樣本本觀觀察察值值返回主目錄 niicxnnecLxxc1)(111),( 時時，當(dāng)當(dāng) niicxncL1)(1ln),(ln 0),(ln ncLc的極大似然估計值的極大似然估計值c;1xc ,),(的單增函數(shù)的單增函數(shù)是是可見可見ccL 0)(1),(ln 12 niicxncL 令令例例 6 6（續(xù)）（續(xù)）返回主目錄的的極極大大似似然然估估計計值