中國(guó)礦業(yè)大學(xué)《概率論與數(shù)理統(tǒng)計(jì)》課件-第七章 參數(shù)估計(jì)

第七章參數(shù)估計(jì)§7.1點(diǎn)估計(jì)

§7.3區(qū)間估計(jì)§7.2估計(jì)量的評(píng)選標(biāo)準(zhǔn)統(tǒng)計(jì)推斷的基本問(wèn)題估計(jì)問(wèn)題假設(shè)檢驗(yàn)問(wèn)題點(diǎn)估計(jì)區(qū)間估計(jì)矩估計(jì)法最大似然估計(jì)法參數(shù)估計(jì)是統(tǒng)計(jì)推斷的基本問(wèn)題之一參數(shù)估計(jì)要解決的問(wèn)題:總體分布函數(shù)的形式為已知,估計(jì)其一個(gè)或多個(gè)未知參數(shù)（如何估計(jì)？）§7.1

點(diǎn)估計(jì)二、矩估計(jì)法一、點(diǎn)估計(jì)問(wèn)題的思想方法三、最大似然估計(jì)法一、點(diǎn)估計(jì)問(wèn)題的思想方法設(shè)總體X的分布函數(shù)的形式已知,但含有一個(gè)或多個(gè)未知參數(shù)：1,2,,k設(shè)

X1,X2,…,Xn為總體的一個(gè)樣本構(gòu)造k個(gè)統(tǒng)計(jì)量：隨機(jī)變量當(dāng)測(cè)得樣本值(x1,x2,…,xn)時(shí),代入上述統(tǒng)計(jì)量，即可得到k個(gè)數(shù)：數(shù)值如何構(gòu)造統(tǒng)計(jì)量？如何評(píng)價(jià)估計(jì)量的優(yōu)劣？稱數(shù)為未知參數(shù)的估計(jì)值對(duì)應(yīng)統(tǒng)計(jì)量為未知參數(shù)的估計(jì)量.問(wèn)題對(duì)未知參數(shù)估計(jì)的兩種方法:二、矩估計(jì)法

矩估計(jì)法是用樣本矩估計(jì)總體矩.英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.矩估計(jì)法、最大似然估計(jì)法。命題：若總體X的k階矩存在，則證明因?yàn)闃颖鞠嗷オ?dú)立且與總體X服從相同的分布.則也相互獨(dú)立且與服從相同的分布.由辛欽定理即(1)若X為離散型隨機(jī)變量，設(shè)其分布律為令，其中為樣本，為樣本值，解出基本思想：令例1

設(shè)總體X的分布律為其中參數(shù)未知，現(xiàn)有X的一組樣本值解令其中所以θ的矩估計(jì)值為試求θ的矩估計(jì)值.1,1,1,3,2,1,3,2,2,1,2,2,3,1,1,2(2)若X為連續(xù)型隨機(jī)變量，設(shè)概率密度為令，其中為樣本，為樣本值，解出例2

設(shè)總體為X的一個(gè)樣本，求的矩估計(jì)量.解

令其中所以λ的矩估計(jì)量為例3

設(shè)總體X的概率密度為解

是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)α的矩估計(jì)量.令，則從而α的矩估計(jì)量為X的一個(gè)樣本，求的矩估計(jì)量.例4設(shè)總體解

令令例5設(shè)

為X的一個(gè)樣本，求X的數(shù)的矩估計(jì)量.學(xué)期望解令其中則解得數(shù)學(xué)期望的矩估計(jì)量分別為總結(jié)：任何分布的均值和方差的矩估計(jì)量的表達(dá)式都不變.例6

設(shè)總體一個(gè)樣本，求的矩估計(jì)量.為X

的解

由所以由上例可得三、最大似然估計(jì)法最大似然估計(jì)法這是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,然而，這個(gè)方法常歸功于英國(guó)統(tǒng)計(jì)學(xué)家費(fèi)歇.費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法,并首先研究了這種方法的一些性質(zhì).GaussFisher最大似然估計(jì)法基本思想例如:

有兩外形相同的箱子,各裝100個(gè)球甲箱99個(gè)白球1個(gè)紅球乙箱1個(gè)白球99個(gè)紅球現(xiàn)從兩箱中任取一箱,并從箱中任取一球,結(jié)果所取得的球是白球.答:甲箱.問(wèn):所取的球來(lái)自哪一箱？最大似然法的基本思想兔子是誰(shuí)打中的呢？推測(cè)即：在一次抽樣中，某事件發(fā)生了，可以

認(rèn)為該事件發(fā)生的概率最大.實(shí)際推斷原理：只做一次試驗(yàn)就出現(xiàn)的事件有最大的概率.

最大似然法的基本思想X的分布律為，其中θ未知.為X的樣本，為X的樣本值，⑴X為離散型稱為似然函數(shù).當(dāng)時(shí)，稱為θ的最大似然估計(jì)量；為θ的最大似然估計(jì)值.表示取到樣本值的概率具體算法：令兩邊取對(duì)數(shù)令注意到,lnL(

)是L的單調(diào)增函數(shù),故若某個(gè)

使lnL(

)最大,則這個(gè)

必使L(

)最大。例1

設(shè)總體X服從0-1分布,且P(X=1)=p,用最大似然法求

p

的估計(jì)值.解總體X的概率分布為設(shè)x1,x2,…,xn為總體樣本X1,X2,…,Xn的樣本值,則對(duì)于不同的p,L(p)不同,見(jiàn)右下圖現(xiàn)經(jīng)過(guò)一次試驗(yàn)，發(fā)生了，事件則

p

的取值應(yīng)使這個(gè)事件發(fā)生的概率最大.在容許范圍內(nèi)選擇p，使L(p)最大.所以為所求p的估計(jì)值.解例2設(shè)X1,X2,…,Xn是取自總體X

的一個(gè)樣本,，求參數(shù)λ的最大似然估計(jì)量.似然函數(shù)為:即取的最大值.⑵X為連續(xù)型思想：隨機(jī)點(diǎn)落在點(diǎn)的鄰域內(nèi)的概率近似地為Xi

的概率密度為，其中θ未知.所以似然函數(shù)為求極大值或得例3設(shè)X1,X2,…,Xn是取自總體X

的一個(gè)樣本,，求參數(shù)λ的最大似然估計(jì)值.解似然函數(shù)當(dāng)令所以例4設(shè)X1,X2,…,Xn是取自總體X

的一個(gè)樣本,，求參數(shù)的最大似然估計(jì)值.解令所以的最大似然估計(jì)值為例5設(shè)X1,X2,…,Xn是取自總體X

的一個(gè)樣本,，求參數(shù)a,b的最大似然估計(jì)值.解似然函數(shù)所以所以則要使得取最大值注：特殊的似然函數(shù)通過(guò)求導(dǎo)得不到其最大，需要用其它的方法.例6設(shè)X1,X2,…,Xn是取自總體X

的一個(gè)樣本,求⑴參數(shù)θ和μ的矩估計(jì)量；⑵參數(shù)θ和μ的最大似然估計(jì)量.解⑴令所以解得參數(shù)θ和μ的矩估計(jì)量為⑵設(shè)x1,x2,…,xn是X1,X2,…,Xn的樣本值，則似然函數(shù)為其中當(dāng)時(shí)令第二個(gè)似然方程求不出θ的估計(jì)值，觀察，表明L是μ的嚴(yán)格遞增函數(shù)，又，故所以當(dāng)時(shí)L取到最大值從而參數(shù)θ和μ的最大似然估計(jì)值分別為則參數(shù)θ和μ的最大似然估計(jì)量分別為

問(wèn)題1)待估參數(shù)的極大似然估計(jì)是否一定存在?2)若存在,是否惟一?設(shè)X~U[a–?,a+?]，x1,x2,…,xn是

X的一個(gè)樣本,求

a的極大似然估計(jì)值.解由上例可知,當(dāng)時(shí),L

取最大值1,即顯然,a

的極大似然估計(jì)值可能不存在,也可能不惟一.例6對(duì)于同一個(gè)未知參數(shù),不同的方法得到的估計(jì)量可能不同,于是提出問(wèn)題應(yīng)該選用哪一種估計(jì)量?用何標(biāo)準(zhǔn)來(lái)評(píng)價(jià)一個(gè)估計(jì)量的好壞?常用標(biāo)準(zhǔn)(1)無(wú)偏性(3)一致性(2)有效性§7.2估計(jì)量的評(píng)選標(biāo)準(zhǔn)一、無(wú)偏性三、一致性二、有效性定義1

設(shè)是未知參數(shù)θ的估計(jì)量存在，且對(duì)任意的θ，有則稱為θ的無(wú)偏估計(jì).無(wú)偏性的實(shí)際意義是指沒(méi)有系統(tǒng)偏差一、無(wú)偏性我們不可能要求每一次由樣本得到的估計(jì)值與真值都相等，但可以要求這些估計(jì)值的期望與真值相等.定義的合理性例1設(shè)是取自總體X的一個(gè)樣本，X的k階矩存在，試證明不論總體服從什么分布，k階樣本矩Ak是μk的無(wú)偏估計(jì).證明則所以k階樣本矩?zé)o偏估計(jì).注意:

無(wú)論X服從什么分布,只要它的數(shù)學(xué)期望存在，總是的無(wú)偏估計(jì)量.例2設(shè)總體X

的則都存在，且的估計(jì)量都未知,是無(wú)偏的嗎?證明注意不是的無(wú)偏估計(jì)，而所以是的無(wú)偏估計(jì)（不論總體服從什么分布）所以一般都取是的估計(jì)量.所以不是的無(wú)偏估計(jì)量.例3設(shè)X1,X2,…,Xn是取自總體X

的一個(gè)樣本,⑴求k使為的無(wú)偏估計(jì).⑵求l使為的無(wú)偏估計(jì).解

⑴故當(dāng)時(shí)結(jié)論成立.由于⑵求l使為的無(wú)偏估計(jì).故當(dāng)時(shí)結(jié)論成立,一個(gè)未知數(shù)可以有不同的無(wú)偏估計(jì)量.解例4的大小來(lái)決定二者誰(shuí)更優(yōu).和一個(gè)參數(shù)往往有不止一個(gè)無(wú)偏估計(jì),若和都是參數(shù)

的無(wú)偏估計(jì)量，我們通過(guò)可以比較由于二、有效性定義2設(shè)都是參數(shù)θ的無(wú)偏估計(jì)量，若有則稱有效.比例4設(shè)X1,X2,…,Xn是X

的一個(gè)樣本,⑵問(wèn)那個(gè)估計(jì)量最有效?解

⑴由于⑴驗(yàn)證都是的無(wú)偏估計(jì).都是總體均值的無(wú)偏估計(jì)量.故⑵因?yàn)樗愿行?例5

設(shè)總體X

的概率密度為為常數(shù)為X

的一個(gè)樣本.證

故是的無(wú)偏估計(jì)量.證明與都是的無(wú)偏估計(jì)量令即故nZ是的無(wú)偏估計(jì)量.定義3設(shè)若對(duì)于任意θ∈Θ,當(dāng)則稱的一致（或相合）估計(jì)量.為參數(shù)θ的估計(jì)量，（了解）一致性估計(jì)量?jī)H在樣本容量n足夠大時(shí),才顯示其優(yōu)越性.關(guān)于一致性的兩個(gè)常用結(jié)論1.樣本k階矩是總體k

階矩的一致性估計(jì)量.是的一致估計(jì)量.由大數(shù)定律證明用切比雪夫不等式證明矩法得到的估計(jì)量一般為一致估計(jì)量在一定條件下,極大似然估計(jì)具有一致性2.設(shè)是

的無(wú)偏估計(jì)量,且,則例6為常數(shù)則是的無(wú)偏、有效、一致估計(jì)量.證

由例5知是的無(wú)偏、有效估計(jì)量.所以是

的一致估計(jì)量,證畢.一、置信區(qū)間二、正態(tài)總體均值的區(qū)間估計(jì)§7.3區(qū)間估計(jì)

引言所謂參數(shù)點(diǎn)估計(jì).它是指用樣本算得的一個(gè)值去估計(jì)未知參數(shù).

(1)估計(jì)值是否為待估參數(shù)的真實(shí)值？(2)估計(jì)值與參數(shù)真實(shí)值的偏離程度（誤差范圍）

是多少？江蘇糧網(wǎng)2018年10月27日：金秋十月，江蘇灌南縣水稻已進(jìn)入成熟期。今年該地水稻種植面積穩(wěn)定，品種優(yōu)良，水稻畝產(chǎn)量約1020公斤左右，比去年增加20-50公斤，全縣52萬(wàn)多畝水稻將迎來(lái)又一個(gè)豐收年.江蘇灌南水稻迎來(lái)大豐收徐州日?qǐng)?bào)訊2018年6月9日：銅山區(qū)政府有關(guān)負(fù)責(zé)人告訴記者：“今年的氣候特別適合山區(qū)小麥生長(zhǎng)，預(yù)計(jì)山區(qū)增產(chǎn)幅度較大。全縣小麥單產(chǎn)預(yù)計(jì)可達(dá)697公斤左右，比去年增加約8公斤.小麥產(chǎn)量增加全景網(wǎng)2018年11月15日訊：創(chuàng)業(yè)板新股三豐智能（300276）今日上市，銀河證券預(yù)計(jì)首日上市價(jià)格為12.1-33.6元，漲幅12.94%-31.76%.股價(jià)預(yù)報(bào)若我們能給出一個(gè)區(qū)間，并且能以比較高的把握相信該區(qū)間包含真實(shí)參數(shù)值，這樣對(duì)真實(shí)值的估計(jì)就有把握多了.參數(shù)真實(shí)值（

）一、置信區(qū)間的定義滿足設(shè)是一個(gè)待估參數(shù)，給定X1,X2,…,Xn確定的兩個(gè)統(tǒng)計(jì)量若由樣本和分別稱為置信下限和置信上限.則稱區(qū)間是的置信水平（置信度)為的置信區(qū)間.a稱顯著性水平，通常取值為0.1，0.05，0.01等.注：定義的兩點(diǎn)說(shuō)明1－a是置信度（置信水平）反映了區(qū)間估計(jì)的可靠程度.()()()θ（1）隨機(jī)區(qū)間以的概率包含著待估參數(shù)的真實(shí)值.我們重復(fù)抽樣10次,則在得到的10個(gè)區(qū)間中包含真值的有9個(gè)左右,不包含真值的有1個(gè)左右.即置信度為例如

若通常,采用95%的置信度,有時(shí)也取99%或90%.例3

設(shè)是來(lái)自的樣本，則μ的置信水平為1-α的置信區(qū)間為這里用它來(lái)說(shuō)明置信區(qū)間的含義。若取，則，上式化為現(xiàn)假定我們用隨機(jī)模擬方法由N(15,4)產(chǎn)生一個(gè)容量為10的樣本，如下即是這樣一個(gè)樣本：14.85，13.01，13.50，14.93，16.97，13.80，17.9533，13.37，16.29，12.38由該樣本可以算得從而得到的一個(gè)區(qū)間估計(jì)為取，由圖可以統(tǒng)計(jì)出，100個(gè)區(qū)間中包含真實(shí)值15的有91個(gè)區(qū)間，另外不包含參數(shù)真值有9個(gè).我們用隨機(jī)模擬方法由N(15,4)產(chǎn)生100個(gè)容量為10的樣本，也就得到100個(gè)區(qū)間，我們將這100個(gè)區(qū)間畫(huà)在下圖上：取，我們也可以給出100個(gè)區(qū)間，見(jiàn)下圖，可以統(tǒng)計(jì)出，這100個(gè)區(qū)間中有50個(gè)包含參數(shù)真值15，另外50個(gè)不包含參數(shù)真值.希望精確度與置信度均高,但二者是矛盾的.在實(shí)際應(yīng)用中廣泛接受的原則是：保證可靠程度的前提下,盡量提高精確度.精確度置信度

（2）隨機(jī)區(qū)間的長(zhǎng)度是隨機(jī)變量，置信區(qū)間的平均長(zhǎng)度反映了區(qū)間估計(jì)的精確程度.~N(0,1)明確問(wèn)題,是求什么參數(shù)的置信區(qū)間?置信水平是多少？尋找未知參數(shù)的一個(gè)良好估計(jì).選的點(diǎn)估計(jì)為,解尋找一個(gè)待估參數(shù)和統(tǒng)計(jì)量的函數(shù)，要求其分布為已知.有了分布，就可以求出U取值于任意區(qū)間的概率.二、正態(tài)總體均值區(qū)間估計(jì)設(shè)為總體的一個(gè)樣本，置信度下，來(lái)確定的置信區(qū)間⑴已知方差，估計(jì)均值對(duì)給定的置信水平尋找

a,b，使得若

，例如我們得到均值的置信水平為0.95的置信區(qū)間為區(qū)間長(zhǎng)度即顯然這個(gè)區(qū)間比前面一個(gè)要長(zhǎng)一些.由區(qū)間長(zhǎng)度我們得到均值的置信水平為0.95的置信區(qū)間為我們總是希望置信區(qū)間盡可能短.類似地，我們可得到若干個(gè)不同的置信區(qū)間.注：在概率密度為單峰且對(duì)稱的情形，當(dāng)a=-b時(shí)求得的置信區(qū)間的長(zhǎng)度為最短.簡(jiǎn)記為所以

的置信水平為

的置信區(qū)間為區(qū)間估計(jì)方法總結(jié)：（1）尋找參數(shù)的一個(gè)良好的點(diǎn)估計(jì)（2）尋找一個(gè)待估參數(shù)和估計(jì)量T

的函數(shù)且其分布為已知.并且不能含有任何其它未知參數(shù)。（3）對(duì)于給定的置信水平，根據(jù)的分布，確定常數(shù)a,b，使得于是就是的置信度為的置信區(qū)間.（4）

對(duì)“

”作等價(jià)變形，得到如下形式:可見(jiàn)，確定區(qū)間估計(jì)很關(guān)鍵的是要尋找一個(gè)待估參數(shù)和估計(jì)量T的函數(shù)S(T,),

且S(T,)的分布為已知,不依賴于任何其它未知參數(shù).而這與總體分布有關(guān)，所以，總體分布的形式是否已知，是怎樣的類型，至關(guān)重要.尋找一個(gè)樣本的函數(shù)它含有待估參數(shù),不含其它未知參數(shù),它的分布已知,且分布不依賴于待估參數(shù)(常由的點(diǎn)估計(jì)出發(fā)考慮

).例如求置信區(qū)間的步驟—稱為樞軸量取樞軸量

給定置信度1

,定出常數(shù)a,b,使得(引例中

由解出得置信區(qū)間

引例中

已知幼兒身高服從正態(tài)分布，現(xiàn)從5~6歲的幼兒中隨機(jī)地抽查了9人，其高度分別為：115,120131,115,109,115,115,105,110cm；假設(shè)標(biāo)準(zhǔn)差置信度為95%;試求總體均值μ的置信區(qū)間.解已知由樣本值算得：查正態(tài)分布表得，由此得置信區(qū)間例1而選取樣本函數(shù)：對(duì)于給定的查t分布表，得臨界值使由前面分析知道，選取對(duì)稱區(qū)間，區(qū)間長(zhǎng)度最短.可用樣本方差：⑵

方差未知，估計(jì)均值因?yàn)槭堑臒o(wú)偏估計(jì).即由t

分布表可以查出所以μ置信水平為1-α的置信區(qū)間為簡(jiǎn)記為用儀器測(cè)量溫度,重復(fù)測(cè)量7次,測(cè)得溫度分別為：115,120,131,115,109,115,115；設(shè)溫度在置信度為95%時(shí),試求溫度真值所在范圍.例2查表得已知由樣本值算得：解

設(shè)μ是溫度的真值，X是測(cè)量值得區(qū)間：對(duì)某種型號(hào)飛機(jī)的飛行速度進(jìn)行15次試驗(yàn),測(cè)得最大飛行速度(單位:米/秒)為:422.2,417.2,425.6，420.3,425.8,423.1,418.7,438.3434.0,412.3,431.5，413.5,441.3,423.0,428.2根據(jù)長(zhǎng)期經(jīng)驗(yàn),可以認(rèn)為最大飛行速度服從正態(tài)分布.求飛機(jī)最大飛行速度的期望值的置信水平為0.95的置信區(qū)間.例3解

以X表示該飛機(jī)的最大飛行速度,則查表得由于總體方差未知,因此的置信水平為0.95的置信區(qū)間為:由⑶方差的置信區(qū)間（均值μ未知）設(shè)為總體的