概率統(tǒng)計(jì)課件：6-1 參數(shù)的點(diǎn)估計(jì)

1、第六章第六章 參數(shù)估計(jì)參數(shù)估計(jì)假設(shè)檢驗(yàn)假設(shè)檢驗(yàn)點(diǎn)點(diǎn) 估估 計(jì)計(jì)區(qū)間估區(qū)間估 計(jì)計(jì)統(tǒng)計(jì)統(tǒng)計(jì)推斷推斷基本基本問題問題什么是參數(shù)估計(jì)？什么是參數(shù)估計(jì)？參數(shù)是刻畫總體某方面概率特性的數(shù)量參數(shù)是刻畫總體某方面概率特性的數(shù)量. .當(dāng)此數(shù)量未知時(shí)當(dāng)此數(shù)量未知時(shí), ,從總體抽出一個(gè)樣本，從總體抽出一個(gè)樣本，用某種方法對(duì)這個(gè)未知參數(shù)進(jìn)行估計(jì)就用某種方法對(duì)這個(gè)未知參數(shù)進(jìn)行估計(jì)就是參數(shù)估計(jì)是參數(shù)估計(jì). .例如，例如，X N ( , 2), 點(diǎn)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)區(qū)間估計(jì)若若 , 2未知未知, 通過構(gòu)造樣本的函數(shù)通過構(gòu)造樣本的函數(shù), 給出給出它們的估計(jì)值或取值范圍就是參數(shù)估計(jì)它們的估計(jì)值或取值范圍就是參數(shù)估計(jì)的內(nèi)容的內(nèi)

2、容.參數(shù)估計(jì)的類型參數(shù)估計(jì)的類型點(diǎn)估計(jì)點(diǎn)估計(jì) 估計(jì)未知參數(shù)的值估計(jì)未知參數(shù)的值區(qū)間估計(jì)區(qū)間估計(jì) 估計(jì)未知參數(shù)的取值范圍，估計(jì)未知參數(shù)的取值范圍， 并使此范圍包含未知參數(shù)并使此范圍包含未知參數(shù) 真值的概率為給定的值真值的概率為給定的值.6.1 參數(shù)的點(diǎn)估計(jì)參數(shù)的點(diǎn)估計(jì)1. 點(diǎn)估計(jì)問題.),(1，稱為點(diǎn)估計(jì)用它估計(jì)未知參數(shù)，量根據(jù)樣本構(gòu)造一個(gè)統(tǒng)計(jì)nXX .),(),(11估計(jì)值的為稱；估計(jì)量的為稱nnxxXX2. 矩估計(jì)法 方法方法 用樣本 k 階矩作為總體 k 階矩的估計(jì)量, 建立含有待估參數(shù)的方程, 從而解出待估參數(shù)。用相應(yīng)的樣本矩去估計(jì)總體矩的用相應(yīng)的樣本矩去估計(jì)總體矩的估計(jì)方法稱為矩估計(jì)法

3、估計(jì)方法稱為矩估計(jì)法.設(shè)待估計(jì)的參數(shù)為m,21設(shè)總體的 k 階矩存在，記為),()(21mkkXE樣本X1, X2, Xn 的k階矩為nikikXnA11mk, 2 , 1令),(21mkkA含未知參數(shù) 1,2, ,m 的方程組解方程組 , 得 m 個(gè)統(tǒng)計(jì)量：11212(,)(,)nmnX XXX XX 未知參數(shù) 1, ,m 的矩估計(jì)量111212( , , , )( , , , )nmmnx xxx xx 代入一組樣本值得 m 個(gè)數(shù): 未知參數(shù) 1, ,m 的矩估計(jì)值一般, 不論總體服從什么分布, 總體期望 與方差 2 存在, 則它們的矩估計(jì)量分別為11niiXXn2122)(1nniiSX

4、Xn事實(shí)上，按矩法原理，令niiXnX11)(12122XEXnAniiX)()(222XEXE22 A2211niiXXn212)(1nniiSXXn例例 設(shè)總體 X E(), X1, X2, Xn為 總體的樣本, 求 的矩法估計(jì)量.解解( )1/ ,E X1/.X令故1/.X矩.,.1,010,) 1()(21的矩估計(jì)的一個(gè)簡(jiǎn)單樣本，求總體是是未知參數(shù)其中其他的概率密度為設(shè)總體例XXXXxxxfXn,21) 1()()(10dxxxdxxxfXEXX112得X21令總體矩總體矩樣本矩樣本矩 矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行矩法的優(yōu)點(diǎn)是簡(jiǎn)單易行,并不需要并不需要事先知道總體是什么分布事先知道總體是什么分

5、布 . 缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒有缺點(diǎn)是，當(dāng)總體類型已知時(shí)，沒有 充分利用分布提供的信息充分利用分布提供的信息 . 一般場(chǎng)合下一般場(chǎng)合下,矩估計(jì)量不具有唯一性矩估計(jì)量不具有唯一性 . 其主要原因在于建立矩法方程時(shí)，其主要原因在于建立矩法方程時(shí)，選取那些總體矩用相應(yīng)樣本矩代替帶選取那些總體矩用相應(yīng)樣本矩代替帶有一定的隨意性有一定的隨意性 .3. 極大似然估計(jì)法極大似然估計(jì)法 是在總體類型已知條件下使用的是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法一種參數(shù)估計(jì)方法 . 它首先是由德國(guó)數(shù)學(xué)家高斯在它首先是由德國(guó)數(shù)學(xué)家高斯在1821年提出的年提出的. 費(fèi)歇在費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，年重

6、新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì)并首先研究了這種方法的一些性質(zhì) .黑球白球9:1，不知哪種多，有放回抽三次，兩次白球，一次黑球.哪種多？白球多！?1 . 0?9 . 0) 1, 0, 1()(321XXXPL最大這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大這種選擇一個(gè)參數(shù)使得實(shí)驗(yàn)結(jié)果具有最大概率的思想就是極大似然法的基本思想概率的思想就是極大似然法的基本思想 . 思想方法思想方法：一次試驗(yàn)就出現(xiàn)的 事件有較大的概率 求極大似然估計(jì)的一般步驟求極大似然估計(jì)的一般步驟(1) 構(gòu)造似然函數(shù)構(gòu)造似然函數(shù))(L),;()(xpxXPX屬離散型，其分布律若總體,1的樣本是來自設(shè)XXXn的一個(gè)樣本值

7、；是又設(shè)nnXXxx,11niinxpxxLL11);();,()(似然函數(shù)),;(xfX屬連續(xù)型，其概率密度若總體niinxfxxLL11);();,()(似然函數(shù)的一個(gè)樣本值是nnXXxx,11(2) 求似然函數(shù)求似然函數(shù) 的最大值點(diǎn)的最大值點(diǎn))(L即的估計(jì)，作為達(dá)到最大的參數(shù)挑選使)(L);,(max);,(11nnxxLxxL.),(1極大似然估計(jì)值的稱為參數(shù)nxx .),(1極大似然估計(jì)量的稱為參數(shù)nXX . 0)( ddL可由下式求得：一般， . 0)(ln )(ln)(LddLL也可從下述方程解得：的極大似然估計(jì)此處取到極值，因在同一與又因似然方程注注1 1未知參數(shù)可以不止一個(gè),

8、 如1, k 設(shè)X 的密度(或分布)為1( ,)kf x則定義似然函數(shù)為111( ,)( ,)nkikiLf x11( ,; ,)nkL xx似然方程組., 1, 0ln., 1, 0kiLkiLii或可令.,1的極大似然估計(jì)解方程組求得k注注2 2用上述方法求參數(shù)的用上述方法求參數(shù)的極大似然估計(jì)值極大似然估計(jì)值有有時(shí)行不通，這時(shí)要用極大似然原則來求時(shí)行不通，這時(shí)要用極大似然原則來求.)(L無駐點(diǎn)不可導(dǎo).,.1,010,) 1()(21的矩估計(jì)的一個(gè)簡(jiǎn)單樣本，求總體是是未知參數(shù)其中其他的概率密度為設(shè)總體例XXXXxxxfXn求求 的極大似然估計(jì)的極大似然估計(jì). 解：似然函數(shù)為解：似然函數(shù)為ni

9、ixL1) 1()()() 1(1niinx) 10(ixniixndLd10ln1)(ln求導(dǎo)并令其為求導(dǎo)并令其為0解得解得1ln1niixn對(duì)數(shù)似然函數(shù)為對(duì)數(shù)似然函數(shù)為niixnL1ln) 1ln()(ln 的極大似然估計(jì)的極大似然估計(jì) 例例 設(shè)總體 X N (, 2), x1, x2, xn 是 X 的樣本值, 求 , 2 的極大似然估計(jì).解解),;,(221nxxxLniixnne1222)(222)()2(1)ln(2)2ln(22)(ln2122nnxLnii222)(121ixniexxnniimle11niimlexxn122)(1 , 2 的極大似然估計(jì)量分別為11,niiX

10、Xn212)(1nniiSXXn似然似然方程方程組為組為0)(1ln12niixL0)(2)()(21ln)(212222nxLnii., ,.0,0,2)(1)(2的極大似然估計(jì)求是樣本觀測(cè)值，設(shè)是未知參數(shù)其中其他的概率密度為設(shè)某種元件使用壽命例nxxxxexfX解：似然函數(shù)為解：似然函數(shù)為nixieL1)(22)()(22ixneix02)(ln ndLdniixnL1)(22ln)(ln 的極大似然估計(jì)的極大似然估計(jì) ix,min21nxxx單調(diào)增加)(L2.2.設(shè)總體 X U (a, b), a, b 未知, 求(1)參數(shù)a, b 的矩估計(jì)量.解解 由于12)()(,2)(2abXDb

11、aXE)()()(22XEXDXE令22212)(baab2abX22221()1122niib aa bAXn習(xí)題六習(xí)題六解得)( 322XAXa矩213() ,niiXXXn)(322XAXb矩213() .niiXXXn11niiXXn2122)(1nniiSXXn或者12)(,222abSbaXnnSXa3矩nSXb3矩是一個(gè)樣本值，未知，設(shè)nxxbabaUX,;,) 2.(21的極大似然估計(jì)量。求：ba,解：X的概率密度為：其它 , 0;,1),;(bxaabbaxf其它 , 0;,)(1),()()1(nnxbxaabbaL似然函數(shù)為似然函數(shù)只有當(dāng) a xi b, i = 1,2, n 時(shí)才能獲得最大值, 且 a 越大, b 越小, L 越大.令xmin = min x1, x2, xnxmax = max x1, x2, xn取maxmin,xbxa則對(duì)滿足bxxamaxmin的一切 a b , nnxxab)(1)(1minmax都有故maxmin,xbxa是 a , b 的極大似然估計(jì)值.,max,min21max21minnnXXXXXXXX分別是 a , b 的極大似然估計(jì)量