數(shù)理統(tǒng)計(jì)與隨機(jī)過(guò)程5--參數(shù)估計(jì)

1、1蘭州大學(xué)信息科學(xué)與工程學(xué)院主講主講: 路永鋼路永鋼E-mail: 尋求估計(jì)量的方法尋求估計(jì)量的方法1. 矩估計(jì)法矩估計(jì)法2. 極大似然法極大似然法3. 最小二乘估計(jì)最小二乘估計(jì)4. 貝葉斯估計(jì)貝葉斯估計(jì)3、 最小二乘估計(jì)最小二乘估計(jì) 從總體中抽出的樣本觀察值與總體平均數(shù)是有差異的，從總體中抽出的樣本觀察值與總體平均數(shù)是有差異的，這種差異屬于這種差異屬于抽樣誤差抽樣誤差。因而，在。因而，在參數(shù)估計(jì)時(shí)參數(shù)估計(jì)時(shí)要盡可能地要盡可能地降低這種誤差降低這種誤差，使總體估計(jì)值盡可能好。，使總體估計(jì)值盡可能好。 參數(shù)估計(jì)的最小二乘法就是基于這種考慮提出的。參數(shù)估計(jì)的最小二乘法就是基于這種考慮提出的。 具體

2、方法具體方法是為使誤差平方和是為使誤差平方和Q為最小，為最小，可通過(guò)求可通過(guò)求Q對(duì)待對(duì)待估參數(shù)的偏導(dǎo)數(shù)，并令其等于估參數(shù)的偏導(dǎo)數(shù)，并令其等于0，以求得參數(shù)估計(jì)量。，以求得參數(shù)估計(jì)量。 一般地，若一般地，若m個(gè)隨機(jī)變量個(gè)隨機(jī)變量x1、x2、x3、xm與隨機(jī)變量與隨機(jī)變量y存存在統(tǒng)計(jì)模型關(guān)系在統(tǒng)計(jì)模型關(guān)系)，；，(kmxxxfy2121k，21其中，其中， 為待估參數(shù)。為待估參數(shù)。 通過(guò)通過(guò)n次觀測(cè)次觀測(cè)(nk)得到得到n組含有組含有x1i , x2i ,xmi , yi ( i=1,2,n )的數(shù)據(jù)以估計(jì)的數(shù)據(jù)以估計(jì) 。 其最小二乘估計(jì)值為使其最小二乘估計(jì)值為使k，2122121112)，；，(

3、kmiiiininixxxfyQ為最小的為最小的 。這種估計(jì)方法稱為參數(shù)估計(jì)的這種估計(jì)方法稱為參數(shù)估計(jì)的最小二乘法最小二乘法。 k21，例例 用用最小二乘法最小二乘法求總體均值求總體均值 的估計(jì)量。的估計(jì)量。 若從均值為若從均值為 的總體中抽得樣本為的總體中抽得樣本為y1、y2、y3、yn，則觀察值可剖分為總體均值與誤差則觀察值可剖分為總體均值與誤差 ei 之和，之和，iiey 總體均值的最小二乘估計(jì)量就是使總體均值的最小二乘估計(jì)量就是使 yi 與均值估計(jì)量間的與均值估計(jì)量間的誤差平方和為最小，即誤差平方和為最小，即niiiyeQ122)(為最小。為最小。為獲得其最小值，求為獲得其最小值，求Q

4、對(duì)對(duì) 的導(dǎo)數(shù)，并令導(dǎo)數(shù)等于的導(dǎo)數(shù)，并令導(dǎo)數(shù)等于0，可得，可得：0)(2niiyQ1即得總體均值的估計(jì)量為：即得總體均值的估計(jì)量為：niiyn11這與矩法估計(jì)以及最大似然估計(jì)都是一致的。這與矩法估計(jì)以及最大似然估計(jì)都是一致的。 () ( )()() ( )p HppHp Hpd ()pH d() ( )()() ( )p HppHp Hpd 211( )exp22xpx200( )( , )pN1() ( )()() ( )() ( )1() ( )Nkkp HppHppp Hpdp Hpdx1220010202222100()() ( )1111expexp2222111exp22NkkNkk

5、NkkpHppxNx x代入正態(tài)分布，得：代入正態(tài)分布，得：2200( )( , ) ( )( , )kpNpN x202222001111()exp22NkkNpHx22200022222100111NNNkNkNNNxmNkkNxNm11x的均值的均值比較兩式，可得：比較兩式，可得：22222()(, )1111()expexp2222NNNNNNNNpHNpH 220022220022220220 0 NNNNNNNmmNNNNN 2202020222011exp22()NNNNNpH ddNmNN 解上面的方程組，得：解上面的方程組，得：最后一步：求最后一步：求 的條件期望的條件期望，

6、得，得 的的最小方差最小方差Bayes估計(jì)估計(jì)：都是假設(shè)知道概率密度的形式，去估計(jì)參數(shù)。都需要從一組已知分類的樣本H來(lái)估計(jì)參數(shù)。 最小方差估計(jì):() ( )()() ( )p HppHp Hpd ()pH d() ( )()() ( )p HppHp Hpd 從前面兩節(jié)的討論中可以看到從前面兩節(jié)的討論中可以看到: : 同一參數(shù)可以有幾種不同的估計(jì)，這時(shí)就需要判斷同一參數(shù)可以有幾種不同的估計(jì)，這時(shí)就需要判斷采用哪一種估計(jì)為好的問(wèn)題。采用哪一種估計(jì)為好的問(wèn)題。 另一方面，對(duì)于同一個(gè)參數(shù)，即使用不同的參數(shù)估另一方面，對(duì)于同一個(gè)參數(shù)，即使用不同的參數(shù)估計(jì)方法得到的是同一個(gè)估計(jì)計(jì)方法得到的是同一個(gè)估計(jì),

7、 , 也存在衡量這個(gè)估計(jì)優(yōu)也存在衡量這個(gè)估計(jì)優(yōu)劣的問(wèn)題。劣的問(wèn)題。 估計(jì)量的評(píng)選標(biāo)準(zhǔn)就是：估計(jì)量的評(píng)選標(biāo)準(zhǔn)就是：評(píng)價(jià)一個(gè)估計(jì)量評(píng)價(jià)一個(gè)估計(jì)量“好好”與與“壞壞”的標(biāo)準(zhǔn)。的標(biāo)準(zhǔn)。7.3 估計(jì)量的評(píng)選標(biāo)準(zhǔn)估計(jì)量的評(píng)選標(biāo)準(zhǔn) 設(shè)設(shè)總體的分布參數(shù)為總體的分布參數(shù)為 ，對(duì)一切可能的對(duì)一切可能的成立成立, ,則稱則稱 為為 的的無(wú)偏估計(jì)無(wú)偏估計(jì)。7.3.1 無(wú)偏性無(wú)偏性 對(duì)于樣本對(duì)于樣本 X1 1, ,X2 2, , ,Xn n的不同取值，的不同取值， 取不同的值取不同的值 ) )。),(21nXXX 如果如果 的的均值等于均值等于， 即即,),(21nXXXE 簡(jiǎn)記為簡(jiǎn)記為 是是 的一個(gè)估計(jì)的一個(gè)估計(jì)(

8、(注意注意! ! 它是一個(gè)統(tǒng)它是一個(gè)統(tǒng)計(jì)量，是隨機(jī)變量。計(jì)量，是隨機(jī)變量。參數(shù)參數(shù) ，有時(shí)可能估計(jì)偏高，有時(shí)可能偏低，有時(shí)可能估計(jì)偏高，有時(shí)可能偏低，但是平均來(lái)說(shuō)它等于但是平均來(lái)說(shuō)它等于 。 “一切可能的一切可能的 ”是指：在參數(shù)估計(jì)問(wèn)題是指：在參數(shù)估計(jì)問(wèn)題中，參數(shù)中，參數(shù) 一切可能的取值。一切可能的取值。 我們之所以要求對(duì)一切可能的我們之所以要求對(duì)一切可能的 都成立，都成立，是因?yàn)樵趨?shù)估計(jì)問(wèn)題中是因?yàn)樵趨?shù)估計(jì)問(wèn)題中, , 我們我們并不知道參數(shù)并不知道參數(shù) 的真實(shí)取值的真實(shí)取值。自然要求它在參數(shù)。自然要求它在參數(shù) 的一切可的一切可能取值的范圍內(nèi)都成立：能取值的范圍內(nèi)都成立：說(shuō)明：說(shuō)明：無(wú)偏

9、性的意義是：用估計(jì)量無(wú)偏性的意義是：用估計(jì)量 估計(jì)估計(jì) .),(21nXXXE例例1：設(shè)設(shè) X1, X2, , Xn 為抽自均值為為抽自均值為 的總體的總體X的隨機(jī)樣本，考慮的隨機(jī)樣本，考慮 的如下幾個(gè)估計(jì)量：的如下幾個(gè)估計(jì)量：例如：例如：若若 指的指的是正態(tài)總體是正態(tài)總體N( , 2)的均值的均值 , ,則其一切可能取值范圍是則其一切可能取值范圍是(-(-, ,) )。若。若 指的指的是方差是方差 2 2，則其一切可能取值范圍是，則其一切可能取值范圍是(0,(0,) )。的的無(wú)無(wú)偏偏估估計(jì)計(jì)。是是所所以以，因因 ,)()( 11111XEEX的的無(wú)無(wú)偏偏估估計(jì)計(jì)。是是所所以以因因 , ,)(

10、 2 22212EXX的無(wú)偏估計(jì)。是 )4( 41213nXXXXnn是有偏估計(jì)。 214X也是有偏估計(jì)。 3215XX 定理定理1：設(shè)總體設(shè)總體 X 的均值為的均值為 , ,方差為方差為 2 2, , X1 1, ,X2 2, , ,Xn n 為來(lái)自總體為來(lái)自總體 X 的隨機(jī)樣本，記的隨機(jī)樣本，記 與與 分別為樣本均值與樣本方差，即分別為樣本均值與樣本方差，即 即即樣本均值樣本均值和和樣本方差樣本方差分別是分別是 總體均值總體均值 和和總體方差總體方差 的的無(wú)偏估計(jì)無(wú)偏估計(jì)。.)(11 ,12121XXnSXnXniinii.)( , )( 22SEXE則則X2S證明：證明：因?yàn)橐驗(yàn)?X1,

11、 X2, , Xn 獨(dú)立同分布，且獨(dú)立同分布，且E(Xi )= , 所以所以；nnXEnXnEXEniinii1)(11)(11另一方面，另一方面，因因, )(2)(212211221XnXXnXXXXXniininiiinii,)()()(,)()()(22222222iiiXEXDXEnXEXDXE于是，有于是，有. )(11 )()(11)(222222122nnnnXnEXEnSEnii注意到注意到的無(wú)偏估計(jì)。也未必是無(wú)偏估計(jì)，的是是：即使的估計(jì)。但必須注意的作為用的一個(gè)估計(jì)，我們通常是參數(shù)如果)()()()(gggg 前面我們?cè)镁胤ê蜆O大似然法分別求得前面我們?cè)镁胤ê蜆O大似然法分

12、別求得了正態(tài)總體了正態(tài)總體 N( , 2) 中參數(shù)中參數(shù) 2 的估計(jì)的估計(jì),均為均為.)(1212XXnnii很顯然，很顯然，它不是它不是 2 的無(wú)偏估計(jì)的無(wú)偏估計(jì)。這正是我們?yōu)槭裁匆獙⑵浞帜感拚秊檫@正是我們?yōu)槭裁匆獙⑵浞帜感拚秊?n- -1，獲，獲得樣本方差得樣本方差 S2來(lái)估計(jì)來(lái)估計(jì) 2 的理由的理由。例例2：試證明樣本標(biāo)準(zhǔn)差試證明樣本標(biāo)準(zhǔn)差 S 不是不是總體標(biāo)準(zhǔn)差總體標(biāo)準(zhǔn)差 的無(wú)偏估計(jì)。的無(wú)偏估計(jì)。 證明：證明：因因E(E(S2 2)=D()=D(S)+E()+E(S)2 2, , 而而 E(E(S2 2)=)= 2 2，所以，所以，D(D(S)+E()+E(S)2 2 = = 2 2，

13、由由 D(D(S) )0 0，知，知 E(E(S)2 2 = = 2 2 - D(- D(S S) ) 2 2. .所以，所以，E(E(S) ) . .故，故，S S 不是不是 的無(wú)偏估計(jì)。的無(wú)偏估計(jì)。例例3：設(shè)總體設(shè)總體 X的的 k階原點(diǎn)距為階原點(diǎn)距為 ak=E(Xk)，X1, X2, , Xn是是X 的隨機(jī)樣本，樣本的隨機(jī)樣本，樣本 k 階原點(diǎn)距為階原點(diǎn)距為Ak, 則則Ak是是 ak的無(wú)偏估計(jì)，的無(wú)偏估計(jì)，k=1,2, 。 證明：證明：因因X1, X2, ,Xn獨(dú)立，且與獨(dú)立，且與 X 同分布同分布，故，故., 2 , 1,1)(11)(11kananXEnXnEAEkknikinikik

14、 即，即，Ak是是 ak的無(wú)偏估計(jì)。的無(wú)偏估計(jì)。 這就是人們?yōu)槭裁闯Ｓ脴颖具@就是人們?yōu)槭裁闯Ｓ脴颖?k 階矩估計(jì)總階矩估計(jì)總體體 k 階矩的主要原因之一。階矩的主要原因之一。例例4：設(shè)總體設(shè)總體 X 服從參數(shù)為服從參數(shù)為 的指數(shù)分布的指數(shù)分布，即其概率密，即其概率密度函數(shù)為度函數(shù)為 證明：證明：設(shè)設(shè)Z的分布函數(shù)為的分布函數(shù)為 FZ(z, )，先求分布函數(shù)先求分布函數(shù)，然，然后導(dǎo)出后導(dǎo)出 Z 的的概率密度函數(shù)概率密度函數(shù)及及 E(nZ)。. 0, 0, 0,),(/1xxexfx 若若 X1, X2, ,Xn 是是 X 的隨機(jī)樣本的隨機(jī)樣本，記，記),min(21nXXXZ則則 nZ 為為 的無(wú)

15、偏估計(jì)。的無(wú)偏估計(jì)。 因因X1, X2, ,Xn獨(dú)立，且與獨(dú)立，且與 X 同分布同分布，所以，對(duì)任意，所以，對(duì)任意給定的給定的 Z0, ,有有.1)(11,1),min(11),(/212121nznznnnZeezXPzXPzXPzXzXzXPzXXXPzZPzZPzF 于是于是，E(Z)=/n，E(nZ)= ，即即 nZ 為為 的無(wú)偏估計(jì)。的無(wú)偏估計(jì)。 . 0, 0, 0,)/(),()/(zzenzfznZ 用估計(jì)量用估計(jì)量 估計(jì)估計(jì) ，估計(jì)誤差估計(jì)誤差7.3.2 有效性（均方誤差準(zhǔn)則）有效性（均方誤差準(zhǔn)則）),(21nXXX 是隨機(jī)變量，通常用其均值是隨機(jī)變量，通常用其均值衡量估計(jì)誤差

16、的大小。衡量估計(jì)誤差的大小。 要注意要注意: : 為了防止求均值時(shí)正、負(fù)誤差相互為了防止求均值時(shí)正、負(fù)誤差相互抵消，我們先將其平方后再求均值，并稱其為抵消，我們先將其平方后再求均值，并稱其為均方誤差均方誤差，記成，記成 ，即，即),(21nXXX.)()(2 EMSE)(MSE 哪個(gè)估計(jì)的均方誤差小，哪個(gè)估計(jì)的均方誤差小，就稱哪個(gè)估計(jì)比較優(yōu)，這種判定估計(jì)優(yōu)劣的準(zhǔn)就稱哪個(gè)估計(jì)比較優(yōu)，這種判定估計(jì)優(yōu)劣的準(zhǔn)則為則為“均方誤差準(zhǔn)則均方誤差準(zhǔn)則”，或，或“有效性準(zhǔn)則有效性準(zhǔn)則”。定理：定理：均方誤差可分解成兩部分均方誤差可分解成兩部分: :, 21和和的兩個(gè)估計(jì)的兩個(gè)估計(jì)對(duì)對(duì)證明：證明：.)()()(2

17、EDMSE)()( 2 )()( )()( )()(2222EEEEEEEEEEMSE.)()(2ED 上式表明，均方誤差由兩部分構(gòu)成：第一上式表明，均方誤差由兩部分構(gòu)成：第一部分是估計(jì)量的方差，部分是估計(jì)量的方差，第二部分是估計(jì)量的第二部分是估計(jì)量的偏偏差的平方和。差的平方和。 注意：注意：如果一個(gè)估計(jì)量是無(wú)偏的，則第二如果一個(gè)估計(jì)量是無(wú)偏的，則第二部分是零，則有部分是零，則有: :2)()()(EDMSE 如果兩個(gè)估計(jì)如果兩個(gè)估計(jì)都是無(wú)偏估計(jì)都是無(wú)偏估計(jì)，這時(shí)哪個(gè)估，這時(shí)哪個(gè)估計(jì)的方差小，哪個(gè)估計(jì)就較優(yōu)。這種判定估計(jì)計(jì)的方差小，哪個(gè)估計(jì)就較優(yōu)。這種判定估計(jì)量?jī)?yōu)劣的準(zhǔn)則稱為量?jī)?yōu)劣的準(zhǔn)則稱為方差準(zhǔn)則方差準(zhǔn)則。)()(DMSE例例5 5：設(shè)設(shè) X1, X2, , Xn 為抽自均值為為抽自均值為 的總體的總體, ,考慮考慮 的如下兩個(gè)估計(jì)的優(yōu)劣：的如下兩個(gè)估計(jì)的優(yōu)劣： 我們看到我們看到: : 顯然兩個(gè)估計(jì)都是顯然兩個(gè)估計(jì)都是 的的無(wú)偏無(wú)偏估計(jì)估計(jì)。計(jì)算二者的方差：。計(jì)算二者的方差：.11 ,1nijjjiXnX,)() (2nXDD.1)(11)(212nXDnDnijjji。優(yōu)優(yōu)于于方方差差小小，比比于于是是， iiXX這表明：當(dāng)用樣本均值去估