高等工程數(shù)學(xué) 第二講 參數(shù)估計(jì)

總體樣本統(tǒng)計(jì)量描述作出推斷隨機(jī)抽樣第十三章參數(shù)估計(jì)參數(shù)估計(jì)問(wèn)題是利用從總體抽樣得到的信息來(lái)估計(jì)總體的某些參數(shù)或者參數(shù)的函數(shù).1.1參數(shù)估計(jì)在參數(shù)估計(jì)中，假定總體分布已知，未知的僅僅是一個(gè)或幾個(gè)參數(shù).參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)§13.1求點(diǎn)估計(jì)量的方法點(diǎn)估計(jì)的方法矩估計(jì)法最大似然法參數(shù)估計(jì)是對(duì)已知分布類型的總體，利用樣本對(duì)其未知參數(shù)作出估計(jì)。一、

矩法理論依據(jù):大數(shù)定律它是由簡(jiǎn)單“替換”的思想建立起來(lái)的一種估計(jì)方法.是英國(guó)統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出的.用相應(yīng)的樣本矩去代替總體矩的估計(jì)方法就稱為矩估計(jì)法.解:由矩估計(jì)法,樣本矩總體矩從中解得的矩估計(jì).即為數(shù)學(xué)期望是一階原點(diǎn)矩

例1

設(shè)總體X的概率密度為(p24,ex2)是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)

的矩估計(jì).例2區(qū)間[0,]上均勻分布的矩估計(jì) 設(shè)樣本X1，X2，…，Xn是來(lái)自在區(qū)間[0,]上均勻分布的總體，

未知，求

的矩估計(jì)。解：#注意：估計(jì)量是隨機(jī)變量而期望是數(shù)值注意：樣本矩是隨機(jī)變量，而總體矩是數(shù)值要注意相應(yīng)的字母大小寫區(qū)分注：1運(yùn)用矩估計(jì)的前提條件是總體對(duì)應(yīng)的各階矩要存在。2盡量用低階樣本矩去估計(jì)未知參數(shù)。

二、

極大似然法它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的,GaussFisher費(fèi)歇爾在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).最大似然法的基本思想先看一個(gè)簡(jiǎn)單例子：一只野兔從前方竄過(guò).是誰(shuí)打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測(cè)，你會(huì)如何想呢?只聽(tīng)一聲槍響，野兔應(yīng)聲倒下.你就會(huì)想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來(lái)這一槍是獵人射中的.這個(gè)例子所作的推斷已經(jīng)體現(xiàn)了極大似然法的基本思想.例極大似然法---簡(jiǎn)例例如果一個(gè)老兵和一個(gè)新兵同時(shí)打靶，但僅有一人命中，問(wèn)誰(shuí)命中的可能性大？

(1)老兵(2)新兵大家首先想到的是老兵，因?yàn)樗锨槔?！例若袋中有黑白兩種球(除顏色外別無(wú)差異),且已知兩種球數(shù)之比為1:3，現(xiàn)任取一球，發(fā)現(xiàn)是白色，問(wèn)哪種顏色的球多一些？顯然，大家都會(huì)覺(jué)得白色的多一些。#極大似然法的基本思想選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是最大似然法的基本思想.極大似然估計(jì)原理：當(dāng)給定樣本x1,x2,…xn時(shí)，定義似然函數(shù)為：設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型)或聯(lián)合分布律(離散型)為f(X1,X2,…Xn;).最大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì)

.稱為的最大似然估計(jì)（MLE）.求極大似然估計(jì)的一般步驟：1.寫出似然函數(shù)：4.解似然函數(shù)方程組得即為所求。2.對(duì)似然函數(shù)取對(duì)數(shù)：3.對(duì)j(j=1,…,m)分別求偏導(dǎo)，并令其為0得似然方程(組)：例指數(shù)分布的點(diǎn)估計(jì)例某電子管的使用壽命X（單位：小時(shí))(從開(kāi)始使用到首次失效為止）服從指數(shù)分布，

今取一組樣本，數(shù)據(jù)如下，問(wèn)如何估計(jì)θ？162950681001301402702803404104505206201902108001100解：可用兩種方法估計(jì)：矩法估計(jì)和極大似然估計(jì)（二）極大似然估計(jì)構(gòu)造似然函數(shù)：（一）矩法估計(jì)求偏導(dǎo)：求解得：#取對(duì)數(shù)：例均勻分布的極大似然估計(jì)

設(shè)樣本X1，X2，…，Xn是來(lái)自在區(qū)間[0,]上均勻分布的總體，未知，求的極大似然估計(jì)。解:注意：該似然函數(shù)不能用一般方法----通過(guò)求導(dǎo)構(gòu)造似然方程。嘗試用其他方法求解！#從前例可以看到,對(duì)于同一個(gè)參數(shù),用不同的估計(jì)方法求出的估計(jì)量可能不相同,而且,很明顯,原則上任何統(tǒng)計(jì)量都可以作為未知參數(shù)的估計(jì)量.問(wèn)題(1)對(duì)于同一個(gè)參數(shù)究竟采用哪一個(gè)估計(jì)量好?評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)是什么?下面介紹幾個(gè)常用標(biāo)準(zhǔn).(2)我們希望一個(gè)“好的”估計(jì)量具有什么特性？(3)怎樣決定一個(gè)估計(jì)量是否比另一個(gè)估計(jì)量“好”？第二節(jié)估計(jì)量的評(píng)選標(biāo)準(zhǔn)無(wú)偏性有效性相合性估計(jì)量是隨機(jī)變量，對(duì)于不同的樣本值會(huì)得到不同的估計(jì)值.我們希望估計(jì)值在未知參數(shù)真值附近擺動(dòng)，而它的期望值等于未知參數(shù)的真值.這就導(dǎo)致無(wú)偏性這個(gè)標(biāo)準(zhǔn).一、無(wú)偏性則稱為的無(wú)偏估計(jì)

.設(shè)是未知參數(shù)的估計(jì)量，若例：下列估計(jì)量是否μ的無(wú)偏估計(jì)量？由上例可見(jiàn)，一個(gè)參數(shù)的無(wú)偏估計(jì)可以有很多；無(wú)偏估計(jì)只能保證無(wú)系統(tǒng)誤差，；但是卻可能有極大的偏差。因此一個(gè)優(yōu)良的估計(jì)量，其方差應(yīng)該較小。二、有效性D()≤D()則稱較有效.都是參數(shù)

的無(wú)偏估計(jì)量，若對(duì)任意，設(shè)和且至少對(duì)于某個(gè)上式中的不等號(hào)成立，例：下列估計(jì)量哪一個(gè)更有效？例一般地，在的無(wú)偏估計(jì)量三、相合性任意，當(dāng)時(shí)依概率收斂于,則稱為的相合估計(jì)量.設(shè)是參數(shù)

的估計(jì)量，若對(duì)于為的相合估計(jì)量對(duì)于任意,有點(diǎn)估計(jì)的缺陷：由于樣本是隨機(jī)的，估計(jì)值可能非真值----即便估計(jì)量是無(wú)偏有效估計(jì)量。即使估計(jì)值等于真實(shí)值，也無(wú)從肯定；若不等于真實(shí)值，不知相差多少。改進(jìn)：對(duì)于θ的估計(jì)，給定一個(gè)范圍：，并滿足:我們希望兩者都能滿足，但這二者是矛盾的！無(wú)法同時(shí)滿足。于是可以將上述兩個(gè)要求改為：在一定可靠程度下找出被估參數(shù)的可能取值范圍

譬如，在估計(jì)湖中魚數(shù)的問(wèn)題中，若我們根據(jù)一個(gè)實(shí)際樣本，得到魚數(shù)N的極大似然估計(jì)為1000條.若我們能給出一個(gè)區(qū)間，在此區(qū)間內(nèi)我們合理地相信N的真值位于其中.這樣對(duì)魚數(shù)的估計(jì)就有把握多了.實(shí)際上，N的真值可能大于1000條，也可能小于1000條.也就是說(shuō)，我們希望確定一個(gè)區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.湖中魚數(shù)的真值[]這里所說(shuō)的“可靠程度”是用概率來(lái)度量的，稱為置信度或置信水平.習(xí)慣上把置信水平記作，這里是一個(gè)很小的正數(shù).第三節(jié)區(qū)間估計(jì)置信區(qū)間定義置信區(qū)間的求法單側(cè)置信區(qū)間定義設(shè)總體的未知參數(shù)為θ，由樣本X1，…，Xn確定兩個(gè)統(tǒng)計(jì)量和，對(duì)于給定的實(shí)數(shù)a(0<a

<1)，滿足則稱隨機(jī)區(qū)間為θ的置信度為1-a的置信區(qū)間。1-a又稱置信系數(shù)或置信概率

a又稱置信水平，通常取值為0.1，0.05等等。兩點(diǎn)要求1可靠性：2精確性：要求估計(jì)的精確度盡可能的高，這是一對(duì)矛盾，一般是在保證可靠度的條件下盡可能提高精確度.正態(tài)分布中μ的區(qū)間估計(jì)例設(shè)X~N(μ,σ2)，σ2=σ02已知，求參數(shù)μ的置信度為1-a的置信區(qū)間。分析:要估計(jì)參數(shù)，就涉及統(tǒng)計(jì)量；而選取統(tǒng)計(jì)量應(yīng)根據(jù)優(yōu)良性質(zhì)準(zhǔn)則來(lái)選。這里μ的優(yōu)良估計(jì)是：2）將統(tǒng)計(jì)量化為常用分布，再通過(guò)臨界值確定區(qū)間。這里：它是無(wú)偏、有效、相合估計(jì)解：是μ的優(yōu)良估計(jì)，且令由標(biāo)準(zhǔn)正態(tài)分布的對(duì)稱性可知從而，前式可化為：即由此可得，μ的置信度為1-a的置信區(qū)間為：從而特別，當(dāng)σ0=1，a=0.05

，樣本觀測(cè)值為：5.15.14.85.04.75.05.25.15.0u

α/2=

，m的置信區(qū)間為：1.96[4.35，5.65]尋找置信區(qū)間的步驟(樞軸變量法)：選取待估參數(shù)θ的估計(jì)量；原則：優(yōu)良性準(zhǔn)則常用：對(duì)查上側(cè)分位數(shù)；代換得到

區(qū)間[A，B]即為所求?？疾旌写绤?shù)和估計(jì)量的統(tǒng)計(jì)量所服從的分布

(不能含有其他未知參數(shù))；

化至常用分布(主要是：正態(tài)、2

、t、F分布)；

相應(yīng)的變換函數(shù)W

稱為樞軸變量可見(jiàn)，確定區(qū)間估計(jì)很關(guān)鍵的是要尋找一個(gè)待估參數(shù)和估計(jì)量T的函數(shù)U(T,),且U(T,)的分布為已知,不依賴于任何未知參數(shù).而這與總體分布有關(guān)，所以，總體分布的形式是否已知，是怎樣的類型，至關(guān)重要.單個(gè)正態(tài)總體的抽樣雙正態(tài)總體的抽樣未知參數(shù)的替換例設(shè)X~N(μ,σ2)，σ2未知，求參數(shù)μ的置信度為1-α的置信區(qū)間。是μ的優(yōu)良估計(jì)思考：是否仍選統(tǒng)計(jì)量分析：1.令求得置信區(qū)間？不可因?yàn)棣?未知，故U不是統(tǒng)計(jì)量2.據(jù)抽樣分布定理有：得T

的置信區(qū)間：由分布的對(duì)稱性，即可化為：代換后可得μ

的置信區(qū)間：比較：σ2=σ02

時(shí)，μ的置信區(qū)間為一、正態(tài)總體均值的區(qū)間估計(jì)二正態(tài)總體方差的區(qū)間估計(jì)分析:應(yīng)選統(tǒng)計(jì)量為：當(dāng)μ未知時(shí)，要化至常用分布，由抽樣分布定理可知：零件長(zhǎng)度的方差例從自動(dòng)機(jī)床加工的同類零件中任取16件測(cè)得長(zhǎng)度值為(單位：mm)

求方差的估計(jì)值和置信區(qū)間(α=0.05)。12.1512.1212.0112.2812.0912.1612.0312.0112.0612.1312.0712.1112.0812.0112.0312.06解：設(shè)零件長(zhǎng)度為X，可認(rèn)為X服從正態(tài)分布，由于μ未知，S2是σ2的優(yōu)良估計(jì)，相應(yīng)的常用分布為：相應(yīng)的置信區(qū)間為：查c2分布表可得：下面計(jì)算方差的置信區(qū)間：σ2的置信度為0.95的置信區(qū)間為：三、兩個(gè)正態(tài)總體均值差的區(qū)間估計(jì)四、兩個(gè)正態(tài)總體方差比的區(qū)間估計(jì)五、單側(cè)置信區(qū)間

前面討論的區(qū)間估計(jì)問(wèn)題，其置信區(qū)間都有兩個(gè)有限的端點(diǎn)，這樣的置信區(qū)間稱為雙側(cè)置信區(qū)間。

在有些實(shí)際問(wèn)題中，我們常常關(guān)心的是未知參數(shù)至少有多大（例如設(shè)備、元件的使用壽命等），或者是未知參數(shù)至多是多少（例如產(chǎn)品的不合格品率、雜質(zhì)含量等），這就引出了只有一個(gè)有限端點(diǎn)的單側(cè)置信區(qū)間概念。是來(lái)自某個(gè)總體的樣本，定義設(shè)

總體分布包含未知參數(shù)q

．是q的估計(jì)量．如果對(duì)q的一切可