第7章參數估計1節(jié)點估計點估計

1、第一節(jié)第一節(jié) 點估計點估計 一、點估計問題的提法一、點估計問題的提法 二、估計量的求法二、估計量的求法 三、小結三、小結 一、點估計問題的提法一、點估計問題的提法 設總體設總體X 的分布函數形式已知的分布函數形式已知, , , 在某炸藥制造廠在某炸藥制造廠次次一天中發(fā)生著火現象的一天中發(fā)生著火現象的 ,是一個隨機變量是一個隨機變量數數 X為參數為參數假設它服從以假設它服從以0 ,的泊松分布的泊松分布,為未知為未知參數參數 . 試估計參數試估計參數 ,現有以下的樣本值現有以下的樣本值 但它的一個或但它的一個或 總體未知參數的值的問題稱為總體未知參數的值的問題稱為點估計問題點估計問題. . 多個參

2、數為未知多個參數為未知, , 借助于總體借助于總體X的一個樣本來估計的一個樣本來估計 例例1 250012622549075 76543210 k n k k 火的天數火的天數 次著次著發(fā)生發(fā)生 著火次數著火次數 解解),( X因為因為 ).( XE 所以所以 用樣本均值來估計總體的均值用樣本均值來估計總體的均值 E(X) . x223542901750( 250 1 )162564 6 0 6 0 k k k k n kn .22. 1 .22. 1)(的估計為的估計為故故 XE 點估計問題的一般提法點估計問題的一般提法 ，的形式為已知的形式為已知的分布函數的分布函數設總體設總體);( xF

3、X ., 21 為相應的一個樣本值為相應的一個樣本值 n xxx 一個適當的統計量一個適當的統計量點估計問題就是要構造點估計問題就是要構造 ),( 21n XXX ),( 21n xxx 用它的觀察值用它的觀察值 . 來估計未知參數來估計未知參數 .是待估參數是待估參數 , 21 的一個樣本的一個樣本是是 XXXX n .),( 21 的估計量的估計量稱為稱為 n XXX .),( 21 的估計值的估計值稱為稱為 n xxx. , 簡記為簡記為 通稱估計通稱估計 二、估計量的求法二、估計量的求法 由于估計量是樣本的函數由于估計量是樣本的函數, 矩估計法和最大似然估計法矩估計法和最大似然估計法.

4、 . 求估計量是關鍵問題求估計量是關鍵問題. 如何如何 得到的參數值往往不同得到的參數值往往不同, 對不同的樣本值對不同的樣本值, 是隨機變量是隨機變量, 故故 常用構造估計量的方法常用構造估計量的方法: : ( (兩種兩種) ) 1. 矩估計法矩估計法 ,為連續(xù)型隨機變量為連續(xù)型隨機變量設設 X ,為離散型隨機變量為離散型隨機變量或或 X xXP 布律為布律為 , 21 為待估參數為待估參數其中其中 k 其概率密度為其概率密度為 ),;( 21k xf ),;( 21k xp , 21 的樣本的樣本是來自是來自XXXX n 其分其分 ( (X為離散型為離散型) ) l )( l XE ),;

5、( 21k Rx l xpx X 或或 l ( (X為連續(xù)型為連續(xù)型) ) )( l XE xxfx k l d),;( 21 . )(可能取值的范圍可能取值的范圍是是其中其中存在存在xRX kl, 2 , 1 階矩階矩的前的前假設總體假設總體kX 矩估計法的定義矩估計法的定義 用樣本矩來估計總體矩用樣本矩來估計總體矩, , 矩估計法的具體做法矩估計法的具體做法: : ., 2, 1,klAl l 令令 , 21 的方程組的方程組個未知參數個未知參數這是一個包含這是一個包含 k k ., 21k 解出其中解出其中 的的分別作為分別作為用方程組的解用方程組的解 kk , , , 2121 矩估計

6、量的觀察值稱為矩估計值矩估計量的觀察值稱為矩估計值. . 估計法估計法. 這種估計法稱為這種估計法稱為矩矩 數來估計總體矩的連續(xù)函數數來估計總體矩的連續(xù)函數, 用樣本矩的連續(xù)函用樣本矩的連續(xù)函 ,估計量估計量.量量這個估計量稱為矩估計這個估計量稱為矩估計 例例2,上服從均勻分布上服從均勻分布在在設總體設總體baX,a其中其中 ,未知未知b,),( 21 的樣本的樣本是來自總體是來自總體XXXX n ,a求求.的的估估計計量量b 解解 1 2 , 4 )( 12 )( 22 baba 2 )()(XEXD )(XE , 2 ba )( 2 XE 2 ba 1 A , 1 1 n i i X n

7、令令 4 )( 12 )( 22 baba 2 A, 1 1 2 n i i X n . )(12 ,2 2 12 1 AAab Aba 解方程組得到解方程組得到a , b的矩估計量分別為的矩估計量分別為 a b 即即 )(3 2 121 AAA ,)( 3 1 2 n i i XX n X )(3 2 121 AAA .)( 3 1 2 n i i XX n X 例例3, 2 都存在都存在和方差和方差的均值的均值設總體設總體 X且有且有 , 0 2 , 2 均為未知均為未知和和但但 是是又設又設 n XXX, 21 ,一個樣本一個樣本. 2 的矩估計量的矩估計量和和求求 解解 1 2 )(X

8、E , )( 2 XE 2 )()(XEXD , 22 解得解得; 1 . 2 12 2 2 1 A ,X 2 12 AA n i i XX n 1 2 2 1 .)( 1 1 2 n i i XX n 的矩估計量分的矩估計量分和和得得 2 , 2121 代替代替分別以分別以AA 別為別為 所得結果表明，所得結果表明， 達式不因不同的總體分布而異達式不因不同的總體分布而異. 總總體均值與方差的矩估計量的表體均值與方差的矩估計量的表 例如，例如， ),( 2 NX, 2 未知未知 2 , 即得即得 的矩估計量的矩估計量 2 .)( 1 1 2 n i i XX n ,X , 1 1 的均值的矩估

9、計的均值的矩估計作為總體作為總體用樣本均值用樣本均值XX n X n i i 作為總體作為總體用樣本二階中心矩用樣本二階中心矩 2 1 2 )( 1 XX n B n i i 一般地一般地, , .的方差的矩估計的方差的矩估計X 2. 最大似然估計法最大似然估計法 屬離散型屬離散型總體總體 X)1( 似然函數的定義似然函數的定義 , 屬離散型屬離散型若總體若總體 X設分布律設分布律 ),;( xpxXP ,的形式為已知的形式為已知 為待為待 ,估參數估參數.可能的取值范圍可能的取值范圍是是 n XXX, 21 設設 ,的樣本的樣本是來自總體是來自總體 X的聯合分布的聯合分布則則 n XXX,

10、21 . );( 1 n i i xp 律為律為 n XXX, 21 則樣本則樣本的的取到觀察值取到觀察值 n xxx, 21 發(fā)生的概率為發(fā)生的概率為即即, 2211nn xXxXxX )( L ,);( 1 n i i xp );,( 21 n xxxL .)(稱為樣本的似然函數稱為樣本的似然函數 L ，概率概率 為相應于樣本為相應于樣本又設又設 n xxx, 21 n XXX, 21 .的一個樣本值的一個樣本值 最大似然估計法最大似然估計法 , 21 時時得到樣本值得到樣本值 n xxx , 的估計值的估計值作為未知參數作為未知參數取得最大值的取得最大值的 ).;,(max) ;,( 2

11、1 21 nn xxxLxxxL 即即 )(可能的取值范圍可能的取值范圍是是其中其中 , 21 有關有關與樣本值與樣本值這樣得到的這樣得到的 n xxx ),( 21n XXX , 的最大似然估計值的最大似然估計值參數參數 . 的最大似然估計量的最大似然估計量參數參數 )( L選取使似然函數選取使似然函數 ),( 21n xxx 記為記為 屬連續(xù)型屬連續(xù)型總體總體 X)2( 似然函數的定義似然函數的定義 , );( xf設概率密度為設概率密度為, ,為待估參數為待估參數 .可能的取值范圍可能的取值范圍是是 的樣本，的樣本，是來自是來自設設XXXX n , 21 則則 . );(, 1 21 n

12、 i in xfXXX 的聯合密度為的聯合密度為 nn XXXxxx, 2121 為相應于樣本為相應于樣本設設 .的一個樣本值的一個樣本值落在點落在點則隨機點則隨機點),( 21n XXX nn xxxxxxd,d,d(),( 2121 邊長分別為邊長分別為的鄰域的鄰域 概率近似地為概率近似地為內的內的維立方體維立方體的的)n )( L);,( 21 n xxxL , );( 1 n i i xf .)(稱為樣本的似然函數稱為樣本的似然函數 L ).;,(max) ;,( 2121 nn xxxLxxxL 若若 ),( 21n xxx ),( 21n XXX , 的最大似然估計值的最大似然估計

13、值參數參數 . 的最大似然估計量的最大似然估計量參數參數 ,d );( 1 i n i i xxf 求最大似然估計的步驟求最大似然估計的步驟: : );();,()( 1 21 n i in xpxxxLL );(ln)(ln 1 n i i xpL ; );(ln)(ln 1 n i i xfL ; );();,()( 1 21 n i in xfxxxLL或或 取對數取對數二二 )( 或或 寫出似然函數寫出似然函數一一 )( )(三三 最大似然估計法也適用于分布中含有最大似然估計法也適用于分布中含有多個多個未知未知 ., 2 , 1, 0lnkiL i ,個方程組成的方程組個方程組成的方程

14、組解出由解出由 k 對數似然方程組對數似然方程組 對數似對數似 然方程然方程 此時只需令此時只需令參數的情況參數的情況. . . ), 2 , 1( ii ki 的最大似然估計值的最大似然估計值數數 即可得各未知參即可得各未知參 . 的最大似然估計值的最大似然估計值解方程即得未知參數解方程即得未知參數 , 0 d )(lnd L 并令并令, d )(lnd L 求導求導對對 例例4), 1(pbX設設 ,個樣本個樣本.的最大似然估計量的最大似然估計量求求 p 的一的一是來自是來自XXXX n , 21 解解的的為相應于樣本為相應于樣本設設 nn XXXxxx, 2121 ,一個樣本值一個樣本值

15、的分布律為的分布律為X .1 , 0 xxXP ,)1( 1 xx pp 故似然函數故似然函數 ii x n i x pp 1 1 )1( ,)1( 11 n i i n i i xnx pp )(pL )(lnpL 而而 ),1ln(ln 11 pxnpx n i i n i i , 0 的最大似然估計值的最大似然估計值解得解得 p p )(ln d d pL p p xn p x n i i n i i 1 11 令令 n i i x n1 1 .x 的最大似然估計量為的最大似然估計量為p p .X n i i X n1 1 這一估計量與矩估計量是相同的這一估計量與矩估計量是相同的. .

16、例例5),( 2 NX設總體設總體, 2為未知參數 為未知參數 , 21 的一個樣本值的一個樣本值是來自是來自Xxxx n 的最的最和和求求 2 .大似然估計量大似然估計量 解解的概率密度為的概率密度為X ),;( 2 xf,e 2 1 2 2 2 )( x 似然函數為似然函數為 ,e 2 1 2 2 2 )( 1 i x n i ),( 2 L ),(ln 2 L , 0),(ln , 0),(ln 2 2 2 L L 令令 ,0 1 1 2 n i i nx ,0)( )(2 1 2 1 2 222 n i i x n ,)( 2 1 ln 2 )2ln( 2 1 2 2 2 n i i

17、x nn 由前一式解得由前一式解得 n i i x n 1 1 x 代入后一式得代入后一式得 .)( 1 2 1 xx n n i i 2 為為的的最最大大似似然然估估計計量量分分別別因因此此 2 , ,X .)( 1 2 1 XX n n i i 它們與相應的矩估計量相同它們與相應的矩估計量相同. . 2 例例6,上服從均勻分布上服從均勻分布在在設總體設總體baX,a其中其中 ,未知未知b , 21 的一個樣本值的一個樣本值是來自總體是來自總體 Xxxx n ., 的最大似然估計量的最大似然估計量求求ba 解解 ,min 21n xxx ,max 21n xxx )1( x )(n x 記記

18、 ),;(baxf , bxa .其他其他 , 1 ab ,0 的概率密度為的概率密度為X 補充例題補充例題 ),(baL .其他其他 , )( 1 n ab ,0 似然函數為似然函數為 由于由于 , 21 bxxxa n , 21 bxxxa n 等價于等價于 , )1( xa , )( bx n 似然函數為似然函數為 ),(baL .其他其他 , )( 1 n ab ,0 , )1( xa , )( bx n ),(baL n ab)( 1 , )( 1 )1()( n n xx 時取到最大時取到最大在在即似然函數即似然函數 )()1( ,),( n xbxabaL .)( )1()( n

19、 n xx 值值 的最大似然估計值為的最大似然估計值為ba, 的最大似然估計量為的最大似然估計量為ba, a )1( x ,min 1 i ni x b )(n x ,max 1 i ni x , )1( xa 于是對于滿足條件于是對于滿足條件有有的任意的任意baxb n , )( a b ,min 1 i ni X .max 1 i ni X 最大似然估計的性質最大似然估計的性質 , )( uu 的函數的函數設設具有單值反函數具有單值反函數 Uuu ),( 的概率密度函數的概率密度函數是是又設又設X ,)();(的最大似然估計的最大似然估計中的參數中的參數形式已知形式已知 fxf .)() (