概率統(tǒng)計課件：6-1 參數(shù)的點(diǎn)估計

1、第六章第六章 參數(shù)估計參數(shù)估計假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)點(diǎn)點(diǎn) 估估 計計區(qū)間估區(qū)間估 計計統(tǒng)計統(tǒng)計推斷推斷基本基本問題問題什么是參數(shù)估計？什么是參數(shù)估計？參數(shù)是刻畫總體某方面概率特性的數(shù)量參數(shù)是刻畫總體某方面概率特性的數(shù)量. .當(dāng)此數(shù)量未知時當(dāng)此數(shù)量未知時, ,從總體抽出一個樣本，從總體抽出一個樣本，用某種方法對這個未知參數(shù)進(jìn)行估計就用某種方法對這個未知參數(shù)進(jìn)行估計就是參數(shù)估計是參數(shù)估計. .例如，例如，X N ( , 2), 點(diǎn)估計點(diǎn)估計區(qū)間估計區(qū)間估計若若 , 2未知未知, 通過構(gòu)造樣本的函數(shù)通過構(gòu)造樣本的函數(shù), 給出給出它們的估計值或取值范圍就是參數(shù)估計它們的估計值或取值范圍就是參數(shù)估計的內(nèi)容的內(nèi)

2、容.參數(shù)估計的類型參數(shù)估計的類型點(diǎn)估計點(diǎn)估計 估計未知參數(shù)的值估計未知參數(shù)的值區(qū)間估計區(qū)間估計 估計未知參數(shù)的取值范圍，估計未知參數(shù)的取值范圍， 并使此范圍包含未知參數(shù)并使此范圍包含未知參數(shù) 真值的概率為給定的值真值的概率為給定的值.6.1 參數(shù)的點(diǎn)估計參數(shù)的點(diǎn)估計1. 點(diǎn)估計問題.),(1，稱為點(diǎn)估計用它估計未知參數(shù)，量根據(jù)樣本構(gòu)造一個統(tǒng)計nXX .),(),(11估計值的為稱；估計量的為稱nnxxXX2. 矩估計法 方法方法 用樣本 k 階矩作為總體 k 階矩的估計量, 建立含有待估參數(shù)的方程, 從而解出待估參數(shù)。用相應(yīng)的樣本矩去估計總體矩的用相應(yīng)的樣本矩去估計總體矩的估計方法稱為矩估計法

3、估計方法稱為矩估計法.設(shè)待估計的參數(shù)為m,21設(shè)總體的 k 階矩存在，記為),()(21mkkXE樣本X1, X2, Xn 的k階矩為nikikXnA11mk, 2 , 1令),(21mkkA含未知參數(shù) 1,2, ,m 的方程組解方程組 , 得 m 個統(tǒng)計量：11212(,)(,)nmnX XXX XX 未知參數(shù) 1, ,m 的矩估計量111212( , , , )( , , , )nmmnx xxx xx 代入一組樣本值得 m 個數(shù): 未知參數(shù) 1, ,m 的矩估計值一般, 不論總體服從什么分布, 總體期望 與方差 2 存在, 則它們的矩估計量分別為11niiXXn2122)(1nniiSX

4、Xn事實(shí)上，按矩法原理，令niiXnX11)(12122XEXnAniiX)()(222XEXE22 A2211niiXXn212)(1nniiSXXn例例 設(shè)總體 X E(), X1, X2, Xn為 總體的樣本, 求 的矩法估計量.解解( )1/ ,E X1/.X令故1/.X矩.,.1,010,) 1()(21的矩估計的一個簡單樣本，求總體是是未知參數(shù)其中其他的概率密度為設(shè)總體例XXXXxxxfXn,21) 1()()(10dxxxdxxxfXEXX112得X21令總體矩總體矩樣本矩樣本矩 矩法的優(yōu)點(diǎn)是簡單易行矩法的優(yōu)點(diǎn)是簡單易行,并不需要并不需要事先知道總體是什么分布事先知道總體是什么分

5、布 . 缺點(diǎn)是，當(dāng)總體類型已知時，沒有缺點(diǎn)是，當(dāng)總體類型已知時，沒有 充分利用分布提供的信息充分利用分布提供的信息 . 一般場合下一般場合下,矩估計量不具有唯一性矩估計量不具有唯一性 . 其主要原因在于建立矩法方程時，其主要原因在于建立矩法方程時，選取那些總體矩用相應(yīng)樣本矩代替帶選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性有一定的隨意性 .3. 極大似然估計法極大似然估計法 是在總體類型已知條件下使用的是在總體類型已知條件下使用的一種參數(shù)估計方法一種參數(shù)估計方法 . 它首先是由德國數(shù)學(xué)家高斯在它首先是由德國數(shù)學(xué)家高斯在1821年提出的年提出的. 費(fèi)歇在費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，年重

6、新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì)并首先研究了這種方法的一些性質(zhì) .黑球白球9:1，不知哪種多，有放回抽三次，兩次白球，一次黑球.哪種多？白球多！?1 . 0?9 . 0) 1, 0, 1()(321XXXPL最大這種選擇一個參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大這種選擇一個參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想概率的思想就是極大似然法的基本思想 . 思想方法思想方法：一次試驗(yàn)就出現(xiàn)的 事件有較大的概率 求極大似然估計的一般步驟求極大似然估計的一般步驟(1) 構(gòu)造似然函數(shù)構(gòu)造似然函數(shù))(L),;()(xpxXPX屬離散型，其分布律若總體,1的樣本是來自設(shè)XXXn的一個樣本值

7、；是又設(shè)nnXXxx,11niinxpxxLL11);();,()(似然函數(shù)),;(xfX屬連續(xù)型，其概率密度若總體niinxfxxLL11);();,()(似然函數(shù)的一個樣本值是nnXXxx,11(2) 求似然函數(shù)求似然函數(shù) 的最大值點(diǎn)的最大值點(diǎn))(L即的估計，作為達(dá)到最大的參數(shù)挑選使)(L);,(max);,(11nnxxLxxL.),(1極大似然估計值的稱為參數(shù)nxx .),(1極大似然估計量的稱為參數(shù)nXX . 0)( ddL可由下式求得：一般， . 0)(ln )(ln)(LddLL也可從下述方程解得：的極大似然估計此處取到極值，因在同一與又因似然方程注注1 1未知參數(shù)可以不止一個,

8、 如1, k 設(shè)X 的密度(或分布)為1( ,)kf x則定義似然函數(shù)為111( ,)( ,)nkikiLf x11( ,; ,)nkL xx似然方程組., 1, 0ln., 1, 0kiLkiLii或可令.,1的極大似然估計解方程組求得k注注2 2用上述方法求參數(shù)的用上述方法求參數(shù)的極大似然估計值極大似然估計值有有時行不通，這時要用極大似然原則來求時行不通，這時要用極大似然原則來求.)(L無駐點(diǎn)不可導(dǎo).,.1,010,) 1()(21的矩估計的一個簡單樣本，求總體是是未知參數(shù)其中其他的概率密度為設(shè)總體例XXXXxxxfXn求求 的極大似然估計的極大似然估計. 解：似然函數(shù)為解：似然函數(shù)為ni

9、ixL1) 1()()() 1(1niinx) 10(ixniixndLd10ln1)(ln求導(dǎo)并令其為求導(dǎo)并令其為0解得解得1ln1niixn對數(shù)似然函數(shù)為對數(shù)似然函數(shù)為niixnL1ln) 1ln()(ln 的極大似然估計的極大似然估計 例例 設(shè)總體 X N (, 2), x1, x2, xn 是 X 的樣本值, 求 , 2 的極大似然估計.解解),;,(221nxxxLniixnne1222)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixniexxnniimle11niimlexxn122)(1 , 2 的極大似然估計量分別為11,niiX

10、Xn212)(1nniiSXXn似然似然方程方程組為組為0)(1ln12niixL0)(2)()(21ln)(212222nxLnii., ,.0,0,2)(1)(2的極大似然估計求是樣本觀測值，設(shè)是未知參數(shù)其中其他的概率密度為設(shè)某種元件使用壽命例nxxxxexfX解：似然函數(shù)為解：似然函數(shù)為nixieL1)(22)()(22ixneix02)(ln ndLdniixnL1)(22ln)(ln 的極大似然估計的極大似然估計 ix,min21nxxx單調(diào)增加)(L2.2.設(shè)總體 X U (a, b), a, b 未知, 求(1)參數(shù)a, b 的矩估計量.解解 由于12)()(,2)(2abXDb

11、aXE)()()(22XEXDXE令22212)(baab2abX22221()1122niib aa bAXn習(xí)題六習(xí)題六解得)( 322XAXa矩213() ,niiXXXn)(322XAXb矩213() .niiXXXn11niiXXn2122)(1nniiSXXn或者12)(,222abSbaXnnSXa3矩nSXb3矩是一個樣本值，未知，設(shè)nxxbabaUX,;,) 2.(21的極大似然估計量。求：ba,解：X的概率密度為：其它 , 0;,1),;(bxaabbaxf其它 , 0;,)(1),()()1(nnxbxaabbaL似然函數(shù)為似然函數(shù)只有當(dāng) a xi b, i = 1,2, n 時才能獲得最大值, 且 a 越大, b 越小, L 越大.令xmin = min x1, x2, xnxmax = max x1, x2, xn取maxmin,xbxa則對滿足bxxamaxmin的一切 a b , nnxxab)(1)(1minmax都有故maxmin,xbxa是 a , b 的極大似然估計值.,max,min21max21minnnXXXXXXXX分別是 a , b 的極大似然估計量