概率與統(tǒng)計(jì)62

1、4.3節(jié)節(jié) 第五點(diǎn)內(nèi)容（第五點(diǎn)內(nèi)容（P94）：矩的概念）：矩的概念定義定義 設(shè)設(shè)X和和Y為隨機(jī)變量，為隨機(jī)變量，lk,為正整為正整數(shù)，數(shù)，)(kXE為為k階原點(diǎn)矩階原點(diǎn)矩 (簡稱簡稱k階矩階矩);)(kXEXE 為為k階中心矩階中心矩)(kXE為為k階絕對(duì)原點(diǎn)矩階絕對(duì)原點(diǎn)矩；)(kXEXE 為為k階絕對(duì)中心矩階絕對(duì)中心矩；稱稱()klE X Y為為X和和Y的的lk 階混合矩階混合矩;() ( ) klEXE XYE Y為為X和和Y的的lk 混合中心矩混合中心矩.6.26.2點(diǎn)估計(jì)的常用方法點(diǎn)估計(jì)的常用方法一、矩估計(jì)法一、矩估計(jì)法矩估計(jì)法的矩估計(jì)法的基本思想基本思想 是用樣本矩估計(jì)總體矩是用樣本

2、矩估計(jì)總體矩. 由大數(shù)定理知，由大數(shù)定理知， 當(dāng)總體的當(dāng)總體的k階矩存在時(shí)，階矩存在時(shí)， 樣本的樣本的k階矩依概率收斂于總體的階矩依概率收斂于總體的k階矩階矩.例如，例如，量量, 一般地一般地,因?yàn)橐驗(yàn)榭捎脴颖揪悼捎脴颖揪礨作為總體均值作為總體均值)(XE的估計(jì)的估計(jì)記記總體總體k階矩階矩);(kkXE 樣本樣本k階矩階矩;11 nikikXnA總體總體k階中心矩階中心矩;)(kkXEXE 樣本樣本k階中心矩階中心矩.)(11 nikikXXnB用相應(yīng)的樣本矩估計(jì)總體矩的方法就稱為用相應(yīng)的樣本矩估計(jì)總體矩的方法就稱為矩估計(jì)法矩估計(jì)法,相應(yīng)的估計(jì)量稱為相應(yīng)的估計(jì)量稱為矩估計(jì)量矩估計(jì)量， 相應(yīng)

3、的估計(jì)值稱為相應(yīng)的估計(jì)值稱為矩矩估計(jì)值估計(jì)值， 矩估計(jì)量與距估計(jì)值稱為矩估計(jì)量與距估計(jì)值稱為矩估計(jì)矩估計(jì). 求矩估計(jì)的方法求矩估計(jì)的方法參數(shù)參數(shù),1k 則則（1）一般都是這一般都是這k個(gè)未知參數(shù)的函數(shù)個(gè)未知參數(shù)的函數(shù),;, 2 , 1),(1kigkii （*）（2）;, 2 , 1),(1kjhkjj 設(shè)總體設(shè)總體X的分布函數(shù)的分布函數(shù)),;(1kxF 中含有中含有k個(gè)未知個(gè)未知X的前的前k階矩階矩,1k 求總體求總體記為記為從從(*)中解得中解得（3）), 2 , 1(kii 的估計(jì)量的估計(jì)量iA分別代替上式分別代替上式再用再用即可得即可得), 2 , 1(kjj 的矩估計(jì)量：的矩估計(jì)量：

4、., 2 , 1),(1kjAAhkjj 的的,i 中中求矩估計(jì)的方法求矩估計(jì)的方法注注： 求求,1kv 類似于上述步驟，類似于上述步驟， 最后用最后用kBB,1代替代替,1kv 求出矩估計(jì)求出矩估計(jì))., 2 , 1(kij 例例1 設(shè)總體設(shè)總體X的概率密度為的概率密度為 , 010,)1()(其它其它xxxf 其中其中1 是未知參數(shù)是未知參數(shù), ,樣本樣本, , 求參數(shù)求參數(shù) 的矩估計(jì)的矩估計(jì).解解 數(shù)學(xué)期望是一階原點(diǎn)矩?cái)?shù)學(xué)期望是一階原點(diǎn)矩1101()()E Xxx dx nXXX,21是取自是取自X的的,21)1(101 dxx令令12,X 得得,112XX 即為即為 的矩的矩估計(jì)估計(jì).

5、例例2 設(shè)總體設(shè)總體X的均值的均值 及方差及方差2 都存在都存在, ,但但2, 均為未知均為未知, , 又設(shè)又設(shè),21XXnX,是來自是來自X的樣的樣試求試求2, 的矩估計(jì)量的矩估計(jì)量.解解,)(1 XE,)()()(22222 XEXDXE以以21,AA代替代替,21 且有且有2 , 0 本本,1,AX 22222111niiAAXXn 222211niiAXn 解得：解得：,X 211() .niiXXn 注注: 本例表明本例表明, , 總體均值與方差的矩估計(jì)量的表達(dá)式總體均值與方差的矩估計(jì)量的表達(dá)式不因不同的總體公布而異不因不同的總體公布而異. . 如如, ,),(2 NX2, 的矩估計(jì)

6、量為的矩估計(jì)量為則則,X 未知未知, ,2, .)(1212XXnnii 例例3 設(shè)總體設(shè)總體X的概率分布為的概率分布為, 13 x求求 的矩估計(jì)值的矩估計(jì)值.解解 先求總體一階原點(diǎn)矩先求總體一階原點(diǎn)矩,23)1(3)1(221)(22 XE一階樣本矩一階樣本矩.34)121(31 x由由,)(xXE 得得,3423 推出推出,65 , 11 x現(xiàn)抽得一個(gè)樣本現(xiàn)抽得一個(gè)樣本, 22 x 為未知參數(shù)為未知參數(shù). .其中其中22)1()1(2321 ipX估計(jì)值估計(jì)值.65 所以所以 的矩的矩二、最大似然估計(jì)法二、最大似然估計(jì)法最大似然估計(jì)法的思想最大似然估計(jì)法的思想： 在已得到試驗(yàn)結(jié)果的情況在已

7、得到試驗(yàn)結(jié)果的情況引例引例某同學(xué)與一位獵人一起去打獵某同學(xué)與一位獵人一起去打獵,一只野兔從一只野兔從前方竄過，前方竄過，只聽一聲槍響，只聽一聲槍響， 野兔應(yīng)聲倒下，野兔應(yīng)聲倒下，試猜測試猜測是誰打中的？是誰打中的？由于只發(fā)一槍便打中由于只發(fā)一槍便打中,而獵人命中的概率一般大于而獵人命中的概率一般大于這位同學(xué)命中的概率，這位同學(xué)命中的概率， 故一般會(huì)猜測這一槍是獵人故一般會(huì)猜測這一槍是獵人射中的射中的.下，下，應(yīng)尋找使這個(gè)結(jié)果出現(xiàn)的可能性最大的那個(gè)應(yīng)尋找使這個(gè)結(jié)果出現(xiàn)的可能性最大的那個(gè) 值作為值作為 的估計(jì)的估計(jì). 例例 設(shè)盒子里裝有許多白球和紅球，不知道哪種球多，只知道設(shè)盒子里裝有許多白球和紅

8、球，不知道哪種球多，只知道 兩種球的比例是兩種球的比例是 3:1 ，我們希望通過實(shí)驗(yàn)去判別白球占的，我們希望通過實(shí)驗(yàn)去判別白球占的 比例是比例是 1/4 還是還是 3/4。解：采用有放回抽樣方式從盒子里抽取解：采用有放回抽樣方式從盒子里抽取 3 個(gè)球，記白球數(shù)為個(gè)球，記白球數(shù)為 X。則則331,0,1,2,3.kkkP XkC ppk其中其中 是是 1/4 或或 3/4，是待定參數(shù)。，是待定參數(shù)。p就就 是是 1/4 或或 3/4 為參數(shù)值計(jì)算二項(xiàng)概率得下表：為參數(shù)值計(jì)算二項(xiàng)概率得下表：pX1/ 4p 3/ 4p 01231/ 641/ 649 / 649 / 6427 / 6427 / 64

9、27 / 6427 / 64顯然，當(dāng)實(shí)驗(yàn)結(jié)果是顯然，當(dāng)實(shí)驗(yàn)結(jié)果是X=0 或或 1 時(shí)，我們認(rèn)為時(shí)，我們認(rèn)為1/4.p 反之，當(dāng)實(shí)驗(yàn)結(jié)果是反之，當(dāng)實(shí)驗(yàn)結(jié)果是X=2 或或 3 時(shí)，我們認(rèn)為時(shí)，我們認(rèn)為3/4.p 就就 是是 1/4 或或 3/4 為參數(shù)值計(jì)算二項(xiàng)概率得下表：為參數(shù)值計(jì)算二項(xiàng)概率得下表：pX1/ 4p 3/ 4p 01231/ 641/ 649 / 649 / 6427 / 6427 / 6427 / 6427 / 64顯然，當(dāng)實(shí)驗(yàn)結(jié)果是顯然，當(dāng)實(shí)驗(yàn)結(jié)果是X=0 或或 1 時(shí)，我們認(rèn)為時(shí)，我們認(rèn)為1/4.p 反之，當(dāng)實(shí)驗(yàn)結(jié)果是反之，當(dāng)實(shí)驗(yàn)結(jié)果是X=2 或或 3 時(shí)，我們認(rèn)為時(shí)，我們認(rèn)

10、為3/4.p 因?yàn)闃颖臼莵碜钥傮w的，它能很好地反映總體的概率分布因?yàn)闃颖臼莵碜钥傮w的，它能很好地反映總體的概率分布特征，所以在作參數(shù)估計(jì)時(shí)，應(yīng)從樣本的觀察值出發(fā)，選取使特征，所以在作參數(shù)估計(jì)時(shí)，應(yīng)從樣本的觀察值出發(fā)，選取使得樣本落在觀察值的鄰近的概率達(dá)到最大的參數(shù)值作為總體參得樣本落在觀察值的鄰近的概率達(dá)到最大的參數(shù)值作為總體參數(shù)值的估計(jì)值。這就是最大似然法的原理。數(shù)值的估計(jì)值。這就是最大似然法的原理。最大似然估計(jì)法最大似然估計(jì)法定義定義 若對(duì)任意給定的樣本值若對(duì)任意給定的樣本值,21nxxx存在存在),(21nxxx 使使),(max)( LL 則稱則稱),(21nxxx 為為 最大似然估計(jì)

11、值最大似然估計(jì)值，稱相應(yīng)的統(tǒng)計(jì)量稱相應(yīng)的統(tǒng)計(jì)量),(21nxxx 為為 最大似然估計(jì)最大似然估計(jì)量量, 它們統(tǒng)稱為它們統(tǒng)稱為 的最大似然估計(jì)的最大似然估計(jì)(MLE).最大似然估計(jì)法最大似然估計(jì)法似然函數(shù)似然函數(shù))( L的值的大小意味著該樣本值出現(xiàn)的可的值的大小意味著該樣本值出現(xiàn)的可能性的大小，能性的大小，在已得到樣本值在已得到樣本值nxxx,21的情況下的情況下,計(jì)計(jì), 這種求點(diǎn)估計(jì)的方法稱為這種求點(diǎn)估計(jì)的方法稱為最大似然估計(jì)法最大似然估計(jì)法.則應(yīng)選擇使則應(yīng)選擇使)( L達(dá)到最大值的那個(gè)達(dá)到最大值的那個(gè) 值作為值作為 的估的估注注：最大似然估計(jì)法首先由德國數(shù)學(xué)家高斯于最大似然估計(jì)法首先由德國數(shù)

12、學(xué)家高斯于1821年提出，年提出，英國統(tǒng)計(jì)學(xué)家費(fèi)歇于英國統(tǒng)計(jì)學(xué)家費(fèi)歇于1922年重新發(fā)現(xiàn)并作年重新發(fā)現(xiàn)并作了進(jìn)一步的研究了進(jìn)一步的研究.似然函數(shù)的概念似然函數(shù)的概念離散型總體離散型總體的情形：的情形：設(shè)總體設(shè)總體X的概率分布為的概率分布為),( xpxXP 其中其中 為未知參數(shù)為未知參數(shù).如果如果nXXX,21是取自總體是取自總體X的樣本的樣本 ,值為值為,21nxxx則樣本的聯(lián)合分布律則樣本的聯(lián)合分布律 niinnxpxXxXP111),(, 對(duì)確定的樣本觀察值對(duì)確定的樣本觀察值,21nxxx它是未知參數(shù)它是未知參數(shù)樣本的觀樣本的觀察察 的函數(shù)，的函數(shù)，記為記為 niinxpxxxLL121

13、),(),()( 并稱為并稱為似然函數(shù)似然函數(shù).似然函數(shù)的概念似然函數(shù)的概念連續(xù)型總體連續(xù)型總體的情形：的情形： 設(shè)總體設(shè)總體X的概率密度為的概率密度為),( xf其中其中 為未知參數(shù)，為未知參數(shù)， 此時(shí)定義此時(shí)定義似然函數(shù)似然函數(shù) niinxfxxxLL121).,(),()( 求未知參數(shù)求未知參數(shù) 的最大似然估計(jì)問題，的最大似然估計(jì)問題， 歸結(jié)為求似然歸結(jié)為求似然函數(shù)函數(shù))( L的最大值點(diǎn)的問題的最大值點(diǎn)的問題. 當(dāng)似然函數(shù)關(guān)于未知當(dāng)似然函數(shù)關(guān)于未知參數(shù)可微時(shí)，參數(shù)可微時(shí)， 可利用微分學(xué)中求最大值的方法求之可利用微分學(xué)中求最大值的方法求之. 其其主要步驟主要步驟：（1）（2）求出駐點(diǎn)；求出

14、駐點(diǎn)；);,()(21 nxxxLL 寫出似然函數(shù)寫出似然函數(shù)0)( ddL或或, 0)(ln dLd令令注注： 因函數(shù)因函數(shù)Lln是是L的單調(diào)增加函數(shù)，的單調(diào)增加函數(shù)，且函數(shù)且函數(shù))(ln L與函數(shù)與函數(shù))( L有相同的極值點(diǎn)，有相同的極值點(diǎn)，故常轉(zhuǎn)化為求函數(shù)故常轉(zhuǎn)化為求函數(shù))(ln L的最大值點(diǎn)較方便的最大值點(diǎn)較方便.(3)在最大值點(diǎn)的表達(dá)式中在最大值點(diǎn)的表達(dá)式中,用樣本值代入即得參數(shù)的最大估計(jì)值用樣本值代入即得參數(shù)的最大估計(jì)值. 注注： 當(dāng)似然函數(shù)關(guān)于未知參數(shù)不可微時(shí)，當(dāng)似然函數(shù)關(guān)于未知參數(shù)不可微時(shí)，只能只能按最大似然估計(jì)法的基本思想求出最大值點(diǎn)按最大似然估計(jì)法的基本思想求出最大值點(diǎn).

15、上述方法易推廣至多個(gè)未知參數(shù)的情形上述方法易推廣至多個(gè)未知參數(shù)的情形.判斷并求出最大值點(diǎn)判斷并求出最大值點(diǎn),例例個(gè)樣本個(gè)樣本, , 試求參數(shù)試求參數(shù)p的最大似然估計(jì)的最大似然估計(jì). .解解 設(shè)設(shè)nxxx,21是是nXXX,21的一個(gè)樣本值的一個(gè)樣本值, ,X的分布律為的分布律為,)1(1 xxppxXP 故似然函數(shù)為故似然函數(shù)為1111( )()(),nniiiinxnxiiL pp xpp 設(shè)設(shè)), 1(pbXnXXX,21是取自總體是取自總體X的一的一, 1 , 0 x令令, 0)1()(ln11 pxnpxpLdpdniinii111ln ( )lnln()nniiiiL pxpnxp例

16、例個(gè)樣本個(gè)樣本, , 試求參數(shù)試求參數(shù)p的最大似然估計(jì)的最大似然估計(jì). .解解設(shè)設(shè)), 1(pbXnXXX,21是取自總體是取自總體X的一的一令令, 0)1()(ln11 pxnpxpLdpdniinii.11xxnpnii 從而從而p的最大似然估計(jì)量的最大似然估計(jì)量.11XXnpnii 注注: : 這一估計(jì)量與矩估計(jì)量是相同的這一估計(jì)量與矩估計(jì)量是相同的.解得解得p的最大似然估計(jì)值的最大似然估計(jì)值例例設(shè)總體設(shè)總體X服從指數(shù)分布服從指數(shù)分布, , 其概率密度函數(shù)其概率密度函數(shù) ,0, 00,),(xxexfx 其中其中, 0 是未知參數(shù)是未知參數(shù). .nxxx,21是來自總體是來自總體X的樣本

17、觀察值的樣本觀察值, , 求參數(shù)求參數(shù) 的最大似然估計(jì)值的最大似然估計(jì)值. .解解 似然函數(shù)似然函數(shù)顯然顯然);,(21 nxxxL的最大值點(diǎn)一定是的最大值點(diǎn)一定是 niixnnexxxL1);,(211 其它其它, 00,);,(121ixnnxexxxLnii 的最大值點(diǎn)的最大值點(diǎn), , 對(duì)其取對(duì)數(shù)對(duì)其取對(duì)數(shù) niinxnxxxL1211ln);,(ln 由由 niinxndxxxLd12110);,(ln .11xxnnii 可得參數(shù)可得參數(shù) 的最大似然估計(jì)值的最大似然估計(jì)值例例 設(shè)設(shè) 是一隨機(jī)變量，是一隨機(jī)變量， 是它的一個(gè)樣本。是它的一個(gè)樣本。 X 的分布密度如下，求參數(shù)的分布密度如

18、下，求參數(shù) 的最大似然估計(jì)。的最大似然估計(jì)。X12,.nx xx1,01, 0;0,xxp x 其它其它解：似然函數(shù)（當(dāng)解：似然函數(shù)（當(dāng) 時(shí)）：時(shí)）：01ix 11nniiLx 1lnln1lnniiLnx由似然方程：由似然方程： 1lnln0niidLnxd1lnniinx 參數(shù)參數(shù) 的最大似然估計(jì)為的最大似然估計(jì)為1lnniinx 關(guān)于有關(guān)于有k個(gè)未知參數(shù)的最大似然估計(jì)個(gè)未知參數(shù)的最大似然估計(jì)一般地，一般地，如果總體如果總體X的分布中含有的分布中含有k個(gè)未知參數(shù)個(gè)未知參數(shù)值，值，則似然函數(shù)則似然函數(shù)),;,(2121knxxxL 為為k ,21的的k元函數(shù)，元函數(shù)， 由方程組由方程組),

19、2 , 1( , 0),;,(ln2121kixxxLikn nkxxx,2121 為來自總體為來自總體X的的解得解得),;,(ln2121knxxxL 的最大值點(diǎn)的最大值點(diǎn),21k 它們分別是參數(shù)它們分別是參數(shù)k ,21的最大似然估計(jì)值的最大似然估計(jì)值.樣本觀察樣本觀察例例設(shè)設(shè)nxxx,21是正態(tài)總體是正態(tài)總體),(2 N的樣本觀的樣本觀察值察值, , 其中其中2, 是未知參數(shù)是未知參數(shù), ,似然估計(jì)值似然估計(jì)值. .解解 記似然函數(shù)記似然函數(shù)),(),;,(2221 LxxxLn 則則 nixieL12)(22221),( 22221122/() ()exp()nnniix 試求試求 和和

20、2 的最大的最大222211222ln ( ,)lnln()niinLnx 例例設(shè)設(shè)nxxx,21是正態(tài)總體是正態(tài)總體),(2 N的樣本觀的樣本觀察值察值, , 其中其中2, 是未知參數(shù)是未知參數(shù), ,似然估計(jì)值似然估計(jì)值. .解解試求試求 和和2 的最大的最大 nixnnL121222)(21ln22ln),(ln 02)(21ln21242 nxLnii niixL12, 0)(1ln 由此可得參數(shù)由此可得參數(shù) 和和2 的最大似然估計(jì)值為的最大似然估計(jì)值為 niixxn1,1 niixxn122)(1 例例設(shè)設(shè)nxxx,21是正態(tài)總體是正態(tài)總體),(2 N的樣本觀的樣本觀察值察值, , 其中其中2, 是未知參數(shù)是未知參數(shù), ,似然估計(jì)值似然估計(jì)值. .解解試求試求 和和2 的最大的最大由此可得參數(shù)由此可得參數(shù) 和和2 的最大似然估計(jì)值為的最大似然估計(jì)值為 niixxn1,1 niixxn122)(1 最大似然估計(jì)量為最大似然估計(jì)量為,11XXnnii 與例與例3中的矩估計(jì)量相同中的矩估計(jì)量相同. niiXXn122)(1 例例6 設(shè)總體設(shè)總體X服從服從, 0 上的均勻分布上的均勻分布, ,1XnX,為為X的樣本的樣本, ,