第7章 參數(shù)估計

若對參數(shù)一無所知用參數(shù)估計的方法處理若對參數(shù)有所了解但有懷疑猜測需要證實之時用假設(shè)檢驗的方法來處理機動目錄上頁下頁返回結(jié)束1第一節(jié)點估計第二節(jié)估計量優(yōu)劣的評價標準第三節(jié)區(qū)間估計第七章參數(shù)估計ParameterEstimation

機動目錄上頁下頁返回結(jié)束2這類問題稱為參數(shù)估計.參數(shù)估計問題的一般提法X1,X2,…,Xn要依據(jù)該樣本對參數(shù)作出估計,或估計的某個已知函數(shù)

.現(xiàn)從該總體抽樣，得樣本設(shè)有一個統(tǒng)計總體,總體的分布函數(shù)為F(x,)，其中

為未知參數(shù)

(可以是向量).

機動目錄上頁下頁返回結(jié)束3參數(shù)的估計點估計：估計未知參數(shù)的值區(qū)間估計：估計未知參數(shù)的取值范圍，使得這個范圍包含未知參數(shù)真值的概率為給定的值.機動目錄上頁下頁返回結(jié)束4（假定身高服從正態(tài)分布）設(shè)這5個數(shù)是:1.651.671.681.781.69估計為1.68，這是點估計.這是區(qū)間估計.估計在區(qū)間[1.57,1.84]內(nèi)，例如我們要估計某隊男生的平均身高.現(xiàn)從該總體選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個數(shù)）求出總體均值的估計.而全部信息就由這5個數(shù)組成.機動目錄上頁下頁返回結(jié)束5一點估計的概念二矩估計法三最大似然估計法第一節(jié)點估計PointEstimation

機動目錄上頁下頁返回結(jié)束6定義1

總體X的未知參數(shù)θ的點估計指的是一個數(shù)，此數(shù)可以作為θ的真值的近似.Pointestimate

通常的做法是構(gòu)造適當?shù)慕y(tǒng)計量用其測值作為θ的點估計.所選用的統(tǒng)計量稱為θ的(點)估計量相應(yīng)地，也稱為θ的(點)估計值.有時，(點)估計量、(點)估計值統(tǒng)稱為(點)估計，并簡記為一點估計的概念estimator

常用的點估計法：矩估計法，(最）極大似然估計法機動目錄上頁下頁返回結(jié)束7二矩估計法用樣本矩代替相應(yīng)總體矩得到估計的方法稱為矩估計法，簡稱矩法Momentestimation

用矩法得到的估計稱為矩估計Momentestimate用“總體矩等于樣本矩”列出矩方程（組），做法：解之即得矩估計．機動目錄上頁下頁返回結(jié)束8矩估計的步驟：

關(guān)鍵點：1、把待估參數(shù)與總體矩聯(lián)系起來

2、用樣本矩代替相應(yīng)的總體矩即可機動目錄上頁下頁返回結(jié)束設(shè)總體的分布函數(shù)中含有k個未知參數(shù)

它的前k階矩,Step1

把待估參數(shù)和總體矩聯(lián)系起來9機動目錄上頁下頁返回結(jié)束這是包含k個未知參數(shù)的聯(lián)立方程從而形式地解出所謂“形式地”解出是指：由于其中的具體值未知，仍未得到具體值點的估計。10機動目錄上頁下頁返回結(jié)束Step2

將上式中的總體矩用樣本矩代替其中可通過采樣取得具體值，因而未知參數(shù)也可以有具體的估計結(jié)果。11例1

設(shè)總體X在區(qū)間(a,b)上服從均勻分布(a,b未知).X1,X2,

…,Xn是樣本，試求a,

b的矩估計量.解

因為X~U(a,b)，所以機動目錄上頁下頁返回結(jié)束解出a,b12令機動目錄上頁下頁返回結(jié)束以代替13例2

設(shè)總體求(未知).的矩估計量.解

因為解之得的矩估計量分別為

()存在，總有機動目錄上頁下頁返回結(jié)束注無論總體分布如何，只要總體期望()、方差14機動目錄上頁下頁返回結(jié)束

矩法的優(yōu)點是簡單易行,并不需要事先知道總體是什么分布.缺點是，當總體類型已知時，沒有充分利用分布提供的信息.一般場合下,矩估計量不具有唯一性.其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性.如果是θ的矩估計，則是的矩估計15三最大似然估計法18211922FisherGauss引例袋中有10只黑白兩色球，比例為9﹕1，希望知道是黑球多還是白球多（即黑球所占比例p是

90%還是10%）．有放回地抽取兩球，結(jié)果發(fā)現(xiàn)兩次都是黑球,由此可推測黑球所占比例p為90%．思想方法：一次試驗就出現(xiàn)的事件有較大的概率。機動目錄上頁下頁返回結(jié)束16最大似然法的基本思想先看一個簡單例子：一只野兔從前方竄過.是誰打中的呢？某位同學(xué)與一位獵人一起外出打獵.如果要你推測，只聽一聲槍響，野兔應(yīng)聲倒下.你會如何想呢?機動目錄上頁下頁返回結(jié)束17你就會想，只發(fā)一槍便打中,獵人命中的概率一般大于這位同學(xué)命中的概率.看來這一槍是獵人射中的.這個例子所作的推斷已經(jīng)體現(xiàn)了最大似然法的基本思想.機動目錄上頁下頁返回結(jié)束設(shè)總體中含有待估參數(shù)，它可以取得很多值，我們要在一切可能取值中，選出一個樣本觀察值出現(xiàn)的概率為最大的做為的估計并稱為的最大似然估計。18利用“最大似然原理”獲得的估計稱為最大似然估計.MLE

最大似然法具體說來，設(shè)總體X的pdf

為——樣本，——樣本值Likelihoodfunction

——似然函數(shù)最大似然估計量最大似然估計值這種通過求似然函數(shù)的最大值點去求點估計的方法稱為最大似然估計法Maximumlikelihoodestimation概率函數(shù)機動目錄上頁下頁返回結(jié)束19求MLE的一般思路

設(shè)總體X的pdf

為概率函數(shù)寫出似然函數(shù)（參數(shù)的函數(shù)）——對數(shù)似然函數(shù)Log-likelihoodfunction

取對數(shù)——似然方程令——最大似然估計量最大似然估計值相應(yīng)地，解似然方程并將改記為得機動目錄上頁下頁返回結(jié)束20解最大似然估計量.例3

設(shè)總體(未知).求的似然函數(shù)令解得故最大似然估計量分別為機動目錄上頁下頁返回結(jié)束21L(p)解似然函數(shù)為

例4

設(shè)總體X~b(1,p)，求p的最大似然估計量.令=0得

p的最大似然估計值故p的最大似然估計量為機動目錄上頁下頁返回結(jié)束22解：機動目錄上頁下頁返回結(jié)束例5

設(shè)某電子元件的壽命T服從參數(shù)為的指數(shù)分布今測得10個元件的失效時間為

求的最大似然估計量.23機動目錄上頁下頁返回結(jié)束24分布形式已知這是因為，滿足似然方程只是最大似然估計的一個必要條件．但這種驗證在很多情況下是很難、甚至是不可能的．使用最大似然法的前提條件如果是θ的最大似然估計。則是的最大似然估計最大似然估計并不一定都通過求導(dǎo)數(shù)求得原則上還應(yīng)驗證似然方程的解確實使似然函數(shù)達到最大機動目錄上頁下頁返回結(jié)束25例6：設(shè)X1，…，Xn為取自

U(0,)

總體的樣本，>0未知，求參數(shù)

的矩估計量和極大似然估計量。解：矩估計法機動目錄上頁下頁返回結(jié)束極大似然估計由似然估計可知，要使L最大，就要使盡可能地小，但又不能小于26一無偏性二有效性三相合性第二節(jié)估計量優(yōu)劣的評價標準機動目錄上頁下頁返回結(jié)束27定義1

設(shè)是的估計量.一無偏性若對任意的，有則稱

是的無偏估計，否則稱為有偏估計.Unbiased機動目錄上頁下頁返回結(jié)束無偏性的直觀意義：一個較好的估計量應(yīng)在參數(shù)的真值周圍擺動，所取的平均值要等于本身。28例1

樣本均值是總體均值的無偏估計，樣本方差是總體方差的無偏估計，有偏機動目錄上頁下頁返回結(jié)束29例2

設(shè)總體X服從參數(shù)為θ的指數(shù)分布,θ>0未知，

證明nZ=

n[min(X1,X2,…,Xn)]是θ的無偏估計．

證明

X的pdf、cdf分別為=θFmin(z)=1[1

F(z)]n

機動目錄上頁下頁返回結(jié)束30且至少有一個

使得上述不等號嚴格成立，則稱若對任意的,二有效性是θ的兩個無偏估計,定義2

設(shè)Effective

比有效.機動目錄上頁下頁返回結(jié)束引例

都是總體均值的無偏估計.31三相合性

注

相合性是對估計量的一個最基本要求.

如果在樣本量不斷增大時，估計量都不能把被估參數(shù)估計到任意指定的精度,那么這個估計是不可取的.證明相合性除了利用依概率收斂的定義外，可利用大數(shù)定律.Consistent

對任意ε>0，有相合估計，若機動目錄上頁下頁返回結(jié)束定義3

稱為未知參數(shù)的32矩法得出的估計一般都具有相合性.樣本均值是總體均值的相合估計.

樣本方差和樣本二階中心矩是總體方差樣本標準差是總體標準差的相合估計.

的相合估計.機動目錄上頁下頁返回結(jié)束33一置信水平與置信區(qū)間二置信區(qū)間的構(gòu)造三單個正態(tài)總體參數(shù)的區(qū)間估計四兩個正態(tài)總體參數(shù)的區(qū)間估計五大樣本區(qū)間估計六單側(cè)置信區(qū)間第三節(jié)區(qū)間估計機動目錄上頁下頁返回結(jié)束34

引言

前面，我們討論了參數(shù)點估計.它是用樣本算得的一個值去估計未知參數(shù).但是，點估計值僅僅是未知參數(shù)的一個近似值，它沒有反映出這個近似值的誤差范圍，使用起來把握不大.區(qū)間估計正好彌補了點估計的這個缺陷.機動目錄上頁下頁返回結(jié)束35

譬如，在估計湖中魚數(shù)的問題中，若我們根據(jù)一個實際樣本，得到魚數(shù)N的極大似然估計為1000條.

實際上，N的真值可能大于1000條，也可能小于1000條.

若我們能給出一個區(qū)間，在此區(qū)間內(nèi)我們合理地相信N的真值位于其中.這樣對魚數(shù)的估計就有把握多了.機動目錄上頁下頁返回結(jié)束36也就是說，我們希望確定一個區(qū)間，使我們能以比較高的可靠程度相信它包含真參數(shù)值.湖中魚數(shù)的真值[]這里所說的“可靠程度”是用概率來度量的，稱為置信度或置信水平.

習(xí)慣上把置信水平記作，這里是一個

很小的正數(shù).機動目錄上頁下頁返回結(jié)束37置信水平的大小是根據(jù)實際需要選定的.置信區(qū)間.置信水平為的稱區(qū)間為的例如，通常可取置信水平=0.95或0.9等.根據(jù)一個實際樣本，由給定的置信水平，我們求出一個盡可能小的區(qū)間，使機動目錄上頁下頁返回結(jié)束38則稱（隨機）區(qū)間為θ的置信水平（或置信度）為1-

的置信區(qū)間.所謂區(qū)間估計就是找兩個統(tǒng)計量T1

、T2，以它們?yōu)槎它c構(gòu)造區(qū)間(T1,T2)，一旦有了樣本，就把θ的真值估計在此區(qū)間內(nèi)．定義1

設(shè)是總體參數(shù)，對于給定的(0<<1)，若有兩個統(tǒng)計量使得對任意的，

IntervalestimationConfidencelevelConfidenceinterval，CI

分別稱為（雙側(cè)）置信下限和置信上限一置信水平與置信區(qū)間機動目錄上頁下頁返回結(jié)束39置信區(qū)間及置信水平的解釋機動目錄上頁下頁返回結(jié)束

95％置信區(qū)間：從總體中作隨機抽樣，作100次抽樣，每個樣本可算得一個可信區(qū)間，得100個置信區(qū)間，平均有95個置信區(qū)間包括總體參數(shù)(估計正確)，只有5個置信區(qū)間不包括(估計錯誤)?；?qū)τ谀骋粋€區(qū)間而言，它包含總體的可能性為95%，而不包含的可能性僅為5%。因此在實際應(yīng)用中，以這種方法估計總體參數(shù)犯錯誤的概率僅為5%。40置信區(qū)間具有兩個要素

(1)準確度（accuracy）（置信度），反映區(qū)間估計的可靠程度，即置信區(qū)間包含待估參數(shù)的概率的大小，一般而言概率越大越好。

(2)精密度（precision），反映區(qū)間的長度，區(qū)間的長度越短，估計的精密度越好，反之越差。當n確定時，上述兩者互相矛盾。當置信度增大時，區(qū)間長度也增大，精度減??；當置信度減小時，區(qū)間長度縮短，精度增高。原則：先保證置信度，在此前提下盡量提高精度。機動目錄上頁下頁返回結(jié)束41

引例

設(shè)X~N(,

2)（

2

已知）,求的1-CI.應(yīng)該以很高的概率1-被區(qū)間蓋?。悍治龆眯艆^(qū)間的構(gòu)造——樞軸變量法—的好的點估計，真實參數(shù)離之不遠.

而/2/21-故即這樣，μ的1-αCI為

機動目錄上頁下頁返回結(jié)束42/2/21-為什么這樣??？置信區(qū)間不唯一，習(xí)慣上兩邊均分α（分布對稱時，區(qū)間的長度達到最短,精度最高；分布不對稱時，精度不算最高，但計算方便）．機動目錄上頁下頁返回結(jié)束43機動目錄上頁下頁返回結(jié)束取=0.05~N(0,1)44在概率密度為單峰且對稱的情形，當a=-b時求得的置信區(qū)間的長度為最短.a=-b機動目錄上頁下頁返回結(jié)束45

即使在概率密度不對稱的情形，如分布，F(xiàn)分布，習(xí)慣上仍取對稱的分位點來計算未知參數(shù)的置信區(qū)間.機動目錄上頁下頁返回結(jié)束46Step1

選θ的一個“好”的點估計T

；構(gòu)造置信區(qū)間的方法——樞軸變量法Step2

找T

和θ

的函數(shù)W,其分布F已知且與θ無關(guān)；Step3

對于給定的置信水平1，取分布F的/2分位點wα/2和1-/2分位點w1-α/2，使得P{wα/2<W<w1-α/2}=1Step4

將不等式wα/2<W<w1-α/2改寫成即為θ

的1CI——樞軸變量W機動目錄上頁下頁返回結(jié)束47參數(shù)條件樞軸變量及其分布置信區(qū)間（CI）

2

已知

2

未知

2

未知三單個正態(tài)總體參數(shù)的區(qū)間估計總體X~N(,

2),樣本，置信水平1機動目錄上頁下頁返回結(jié)束48例1

用天平秤某物重量9次，得均值(克)，解該物體平均重量的1-αCI為求該物體平均重量的0.95CI.已知天平秤量結(jié)果為正態(tài)分布，其標準差為0.1克.注意到1-α=0.95，查表知z0.975=1.96.從而該物體平均重量的0.95CI為(15.3347，15.4653)或機動目錄上頁下頁返回結(jié)束49例2

假設(shè)輪胎的壽命服從正態(tài)分布.為估計某種輪胎的平均壽命,現(xiàn)隨機地抽12只輪胎試用,測得它們的壽命（單位：萬公里）如下：

4.684.854.324.854.615.025.204.604.584.724.384.70求平均壽命的0.95CI.

平均壽命的0.95CI為機動目錄上頁下頁返回結(jié)束50現(xiàn)從該廠生產(chǎn)的零件中抽取9個，測得其重量為代入數(shù)值得的0.95CI為(0.1218，0.3454).

45.345.445.145.345.545.745.445.345.6試求總體標準差的0.95CI.2的1-αCI為例3

某廠生產(chǎn)的零件重量服從正態(tài)分布N(,2)，

的1-αCI為機動目錄上頁下頁返回結(jié)束51且兩樣本獨立是來自X的樣本是來自Y的樣本四兩個正態(tài)總體參數(shù)的區(qū)間估計置信水平1機動目錄上頁下頁返回結(jié)束參數(shù)條件樞軸變量及其分布置信區(qū)間

已知

未知

2

2

未知52例4

甲、乙兩臺機床加工同種零件，從甲機床處隨機取9個，從乙處隨機取7個零件測得其樣本均值分別為=19.8mm，=23.5mm.又知甲機床的零件長度X～N(1,0.34),乙機床的零件長度Y～N(2,0.36)，求1-2的99%CI.(－4.47，－2.93)

機動目錄上頁下頁返回結(jié)束53

例5

為提高某化學(xué)生產(chǎn)過程的得率，試圖采用一種新的催化劑.為慎重起見，在實驗工廠先進行試驗.采用原來的催化劑進行了8次試驗，得率均值為91.73，樣本方差為3.89；采用新的催化劑進行了8次試驗，得率均值為93.75，樣本方差為4.02.假設(shè)兩總體服從正態(tài)分布，且方差相等.求兩總體均值差1-2的0.95CI.機動目錄上頁下頁返回結(jié)束54(0.222，3.601)

例6A、B兩位化驗員獨立地對某種聚合物的含氯量用相同的方法各做了10次測定，其測定值的方差分別為設(shè)分別是A、B兩位化驗員測量數(shù)據(jù)總體的的方差，且總體服從正態(tài)分布，求的0.95CI.機動目錄上頁下頁返回結(jié)束55五大樣本區(qū)間估計對于離散型隨機變量來說，樞軸變量法不易使用，不僅由于樞軸變量大多不存在，即使存在，由于其分布為離散型，對于給定的置信水平,一般也不一定存在確切的分位