北語13秋概率論與數(shù)理統(tǒng)計導(dǎo)學(xué)資料三(第五章到第六章)

北語13秋《概率論與數(shù)理統(tǒng)計》第三階段導(dǎo)學(xué)一、本階段學(xué)習(xí)內(nèi)容概述本階段學(xué)習(xí)內(nèi)容包括了教材的第五章和第六章。第三階段導(dǎo)學(xué)主要有三個部分內(nèi)容：大數(shù)定律和中心極限定理，數(shù)理統(tǒng)計的基本概念，參數(shù)估計。本階段的具體內(nèi)容包括大數(shù)定律、中心極限定理、總體和樣本、總體的分布函數(shù)、樣本的數(shù)字特征、常用統(tǒng)計量的分布、點估計及估計量的求法、估計量的優(yōu)劣、參數(shù)的區(qū)間估計。二、重難點講解(一)大數(shù)定律大數(shù)定律研究對象：研究大量隨機變量的平均結(jié)果在什么條件下具有穩(wěn)定性的問題。1、切貝雪夫大數(shù)定理設(shè)是一列兩兩相互獨立的隨機變量，服從同一分布，且存在有限的數(shù)學(xué)期望 a和方差bZ則對任意小的正數(shù)s,有：liii)P(產(chǎn)的-u<￡|)—1該定律的含義是：當(dāng)n很大，服從同一分布的隨機變量T1乃2￡北的算術(shù)平均數(shù)將依概率接近于這些隨機變量的數(shù)學(xué)期望。將該定律應(yīng)用于抽樣調(diào)查，就會有如下結(jié)論：隨著樣本容量 n的增加，樣本平均數(shù)將接近于總體平均數(shù)。從而為統(tǒng)計推斷中依據(jù)樣本平均數(shù)估計總體平均數(shù)提供了理論依據(jù)。2、貝努里大數(shù)定律設(shè)是n次獨立試驗中事件A發(fā)生的次數(shù)，且事件A在每次試驗中發(fā)生的概率為 巳則對任意正數(shù)目有:limP(\--p<￡\]=Inrocn該定律是切貝雪夫大數(shù)定律白特例，其含義是，當(dāng) n足夠大時，事件A出現(xiàn)的頻率將幾乎接近于其發(fā)生的概率,即頻率的穩(wěn)定性。在抽樣調(diào)查中，用樣本成數(shù)去估計總體成數(shù)，其理論依據(jù)即在于此。3、辛欽大數(shù)定律設(shè)八墾產(chǎn),房是一列獨立同分布的隨機變量，且數(shù)學(xué)期望存在因浮=12…1"lim—￡點-臼<5)=1則對立>0,有…孔」 成立。4、重要例題1 /a、產(chǎn)產(chǎn)…F... 亶7回￡短=Q(1)設(shè)"公務(wù)》'為一列隨機變量，如果i討, (*)則服從大數(shù)定律。

lun-y證明：j’…N備表明對充分大的n,i-1的方差存在對卡烹〉口，由契貝曉夫不等式1" 1" 1" ］R0lun-y證明：j’…N備表明對充分大的n,i-1的方差存在對卡烹〉口，由契貝曉夫不等式1" 1" 1" ］R0工利一二點--二世"）=網(wǎng)-Z點-以一苫勁歸月川uir*、DX或\i-LJ兩邊取極限得1"131limFO-X&--Z^^=0…n口.1*1,

lim闿一工*一匯酩卜；￡）=1…落1」加，」服從大數(shù)定律此稱為馬爾可夫大數(shù)定律（*）式稱為馬爾可夫條件。、八芻的八"磯為 "&=屈）=7愈=-屈）=設(shè)7的分布列為： 上,證:且為縣產(chǎn),廣小,，相互獨立，試證明Cj服從大數(shù)定律。左&=ViniX--JiniX—=02 2白點三月4「一（富g）口=lni"rMX==_r2Llnr,;史*->0,(?;T00)故服從大數(shù)定律（馬爾可夫大數(shù)定律）p(x)=設(shè)［短）獨立同分布，且共同密度函數(shù)為1+5i產(chǎn)j，。』】）0問1)2)&〕是否服從大數(shù)定律？［卜卜"物=Q+s）卜之源=0+后TOC\o"1-5"\h\z解：1）因為一 1工故亂的數(shù)學(xué)期望存在?！鯤o 1J=[1+3)j汽?-577dx=[1+/)j-ydx=+co又因為?- ： ，L故量的方差不存在。2）由（1）知“或存在，故滿足辛欽大數(shù)定律的條件,

偌）服從辛欽大數(shù)定律。從此例可以看出，隨機變量序列｛品〕不滿足契貝曉夫大數(shù)定律的條件，因而服從大數(shù)定律的隨機變量序列，它們的方差可以不存在。（4）若心統(tǒng)」，*,短為一列獨立同分布的隨機變量序列，且盤的密度函數(shù)為本問：1）（盤）是否滿足契貝曉夫大數(shù)定律的條件?2）心」是否滿足辛欽大數(shù)定律的條件？解:因盤=［孫（五）否=j封「=卜M互助=卜_0 —?9總的數(shù)學(xué)期望存在，但方差不存在解:因盤=［孫（五）否=j封「=卜M互助=卜_0 —?9總的數(shù)學(xué)期望存在，但方差不存在所以CJ不滿足契貝曉夫大數(shù)定律的條件，滿足辛欽大數(shù)定律的條件。辛欽大數(shù)定律為實際生活中經(jīng)常采用的算術(shù)平均值法則提供了理論依據(jù)，它斷言：如果諸“+盤+…+盤量是具有數(shù)學(xué)期望、相互獨立、同分布的隨機變量，則當(dāng)n充分大時，算術(shù)平均值定以接近1的概率落在真值就的任意小的鄰域內(nèi)。據(jù)此，如果要測量一個物體的某指標(biāo)值+…十八,可以獨立重復(fù)地測量 n次，得到一組數(shù)據(jù):五十與十…十。勺，石「「七，當(dāng)n充分大時，可以確信作為厚的近似值比一次測量作為出的近似值要精確的多，因E矗二口1關(guān)于前的偏差程度是一次測量的 制。（二）中心極限定理中心極限定理研究對象：研究大量隨機因素的總效應(yīng)在什么條件下近似地服從正態(tài)分布的問題。1、（德莫佛一拉普拉斯）極限定理在n重貝努里試驗中，事件A在每次試驗中出現(xiàn)的概率為 （01<1），周為n次試驗中A事件發(fā)生的次數(shù),lim產(chǎn)2、（林德貝爾格-勒維）中心極限定理是一列獨立同分布的隨機變量，且 ,，工（ 'Lj/flE短-摩limPdi￡費一國N金近似。當(dāng)然這里要求虞，身是一列獨立同分布的隨機變量o3、例題例limPdi￡費一國N金近似。當(dāng)然這里要求虞，身是一列獨立同分布的隨機變量o3、例題例1、已知紅黃兩種番茄雜交的第二代結(jié)紅果的植株與結(jié)黃果的植株的比率為3:1,現(xiàn)種植雜交種400株，求結(jié)黃果植株介于83到117之間的概率。解：由題意任意一株雜交種或結(jié)紅果或結(jié)黃果,p只有兩種可能性，且結(jié)黃果的概率J4；種植雜交種400株,相當(dāng)于做了400次貝努里試驗若記4a為400株雜交種結(jié)黃果的株數(shù)，則風(fēng)加由于n=400較大，故由中心極限定理所求的概率為H7-400X-4H7-400X-4UoOx-x-V44)33-400x144g「黑上V44)=①11.96)-①(-L96)=2中(1.96)-1=Q975X2-1=0.95故結(jié)黃果植株介于83到117之間的概率為0.95例2、某單位內(nèi)部有260架電話分機，每個分機有4%勺時間要用外線通話。 可以認為各個電話分機用不同外線是相互獨立的。問：總機需備多少條外線才能以95%勺把握保證各個分機在使用外線時不必等候?p=0.04p=0.04,260解：由題意，任意一個分機或使用外線或不使用外線只有兩種可能結(jié)果，且使用外線的概率個分機中同時使用外線的分機數(shù) “?"（260004）k-260/>095設(shè)總機確定的最少外線條數(shù)為籃,則有「也前-幻之°勺5由于由上門k-260/>095岸工1.65查正態(tài)分布表可知 ■'''1'解得 -工所以總機至少備有16條外線，才能以95%勺把握保證各個分機使用外線時不必等候。例3、重復(fù)擲一枚有偏的硬幣，設(shè)在每次試驗中出現(xiàn)正面的概率 .未知。試問要擲多少次才能使出現(xiàn)正面的頻率1與總相差不超過的概率達95%A上？解：依題意，欲求融，使<—Ko.95/區(qū)一產(chǎn)<—1=2^001區(qū)］—1ACX95事［,01叵1之0.9751所以要擲硬幣9604次以上就能保證出現(xiàn)正面的頻率與概率之差不超過 10。0(三)數(shù)理統(tǒng)計1、總體與樣本在數(shù)理統(tǒng)計中，我們把作為統(tǒng)計研究對象的隨機變量稱為 總體，記為，，…。對總體進行n次試驗后所得到的結(jié)果，稱為樣本，記為(Xi,X2,,Xn),(丫1,丫2,，丫n),……，其中，試驗次數(shù) n稱為樣本容量。樣本(Xi,X2,,Xn)中的每一個Xi都是隨機變量。樣本所取的一組具體的數(shù)值，稱為 樣本觀測值，記為(Xi,X2,,Xn)。具有性質(zhì)：(1)獨立性，即X1,X2,,Xn相互獨立。(2)同分布性，即每一個Xi都與總體 服從相同的分布。稱為簡單隨機樣本。如果總體是離散型隨機變量，概率分布為 P{k}，那么樣本(如果總體是離散型隨機變量，概率分布為 P{k}，那么樣本(X1,X2,,Xn)的聯(lián)合概率分布為TOC\o"1-5"\h\z\o"CurrentDocument"n nXi}。P{Xi Xi,X2X2,,XnXn} P{Xi Xi}。i1 i1如果總體 是連續(xù)型隨機變量，概率密度為 (x)，那么樣本(X1,X2,,Xn)的聯(lián)合概率密度為\o"CurrentDocument"n n*(Xi,X2,,Xn) Xi(Xi) (Xi)。i1 i1如果總體的分布函數(shù)為F(x),那么樣本(X1,X2,,Xn)的聯(lián)合分布函數(shù)為n nF*(X1,X2,,Xn) FXi(Xi) F(Xi)。i1 i12、用樣本估計總體的分布數(shù)理統(tǒng)計的一個主要任務(wù)，就是要用樣本估計總體的分布。參數(shù)估計又可以分為兩種，一種是點估計，另一種是區(qū)間估計。3、矩法估計求矩法估計的步驟為:(1)計算總體分布的矩(1)計算總體分布的矩E(k) fk(1，2m),k1,2,,m,計算到m階矩為止(m是總體分布中未知參數(shù)的個數(shù))(2)列方程f1(?,?2,,?m) EXf2(?心，,?m)E(2)X7fm(7,2, ,?m)E(m)Xm的矩法估計。從方程中解出彳，2, ,j,它們就是未知參數(shù) 1m的矩法估計。4、極大似然估計求極大似然估計的步驟為：(1)寫出似然函數(shù)L的表達式。n如果總體 是離散型隨機變量，概率分布為 P{k},那么LP{ xi}；i1n如果總體 是連續(xù)型隨機變量，概率密度為 (x),那么L (Xi)。i1(2)在1,2,,m的取值范圍 內(nèi)，求出使得似然函數(shù)L達到最大的參數(shù)估計值?」，，1,它們就是未知參數(shù)的極大似然估計。通常的做法是，先取對數(shù) lnL(因為當(dāng)lnL達到最大時，L也達到最大)。1,然后令lnL關(guān)于1,2, ,m的偏導(dǎo)數(shù)等于0,得到方程組由此可見，如果上面這個方程組在G, ,?m就是未知參數(shù)1,2,內(nèi)有唯一解m的極大似然估計。1,,2, ,m，所以，按照極大似然估計的定義,5、衡量點估計好壞的標(biāo)準(zhǔn)值,定理設(shè)總體 的數(shù)學(xué)期望 E和方差D 都存在，(X1,X2,...,Xn)是的樣本，X是樣本均S2是樣本方差，則有(DEXE；(2)DX2n1(DEXE；(2)DX(3)E(S)——Dn衡量點估計的好壞標(biāo)準(zhǔn):無偏性定義6.1設(shè)？是參數(shù)的估計，如果有,則稱？是的無偏估計。(2)有效性定義6.2設(shè)?G都是參數(shù)的無偏估計，如果有D(1)D(分，則稱比,2有效。(3)相合性(一致性)0,都有定義6.3設(shè)？是參數(shù)的估計，n0,都有l(wèi)imP{n則稱？是的相合估計(一致估計)可以證明，矩法估計都是相合估計。除了極個別的例外，極大似然估計也都是相合估計。6、數(shù)理統(tǒng)計中幾個常用的分布2分布Xi2所服從的分布為自定義6.4若有XjX?,...,Xn相互獨立，Xi?N(0,1)，i1,2, ,nXi2所服從的分布為自由度是n的2分布，記為2(n)。2分布的概率密度為(x)- x22(2)2分布的圖象見圖定理如果有2, 、(mn).. 2.。即 分布具有可加性t分布定義若有N(0,1)2,(n),相互獨立，則稱所服從的分布為自由度是n的t分布，記為t(n)。t分布的概率密度為(x) —1n (一)F分布定義若有2(m),2?、 一(n),相互獨立,二m則稱一n所服從的分布為自由度是(m,n)分布，記為F(m,n)。F分布的概率密度為一亍一2m2n2(x)m(2)n(2)mix2

mn

/ 、2~T~(mxn)F分布概率密度的圖象見圖6-4。6一4定理如果F?F(m,n),則必有-?F(n,m)。F大抽樣分布大抽樣分布的嚴格定義見定義6.4,6.56.6,構(gòu)造性定義可簡示如下:2其中回代表分布F對應(yīng)的隨機變量.7、正態(tài)總體統(tǒng)計量的分布定理設(shè)(Xi,X2,,Xn)是總體N(,2)的樣本，X是樣本均值,則有2X-N(,——)，即有

nXX-Vn-N(0,1)。定理設(shè)（X1,X2,,Xn）是總體N(,2)的樣本，X是樣本均值，S2是樣本方差，則有（1）X與S2相互獨立；(2)里?2(n1)。定理設(shè)（Xi,X2,,Xn）是總體N(2）的樣本，X是樣本均值,S*是修正樣本標(biāo)準(zhǔn)差,則有X Jn?t(n1)S*定理設(shè)（X1,X2,,Xm）是總體N(1,12)的樣本，（丫1,丫2,,Yn)是總體N(2,2)的樣本，兩個樣本相互獨立,的樣本均值,則有定理設(shè)(Xi,X2,的樣本，其中差，則有(XY)(112 2,Xm）是總體N(12)1 2,兩個樣本相互獨立， X,Y是(XY)(Sw.1N(0,1)。的樣本，（丫1,丫2,,Yn)是總體N(2,2)的樣本均值,Sx,的樣本方1—2)?t(mn2)，其中，Sw12 2mSxnSymn2總體，為正態(tài)分布，X1,…，Xm與Y,...,Yn分別為其樣本時，幾個重要結(jié)論及關(guān)系:8、典型例題例1設(shè)總體N(,2),是未知參數(shù)，（Xi,X2,,Xn）的樣本，求的矩法估計。解先求總體分布的矩，得到E(2)D_ 2 2(E)再列方程?2 ?2E(2)X2從（1）得？X,代入（2）可得X2(X)21n2 -2Xi2 X2ni1S2開方后得？ vS2 S,由于,舍去不符合題意的負根，最后得到和 的矩法估計X X。在推導(dǎo)中，我們順便也求得了S2的矩法估計 ?2S2。例2設(shè)總體服從［0,］上的均勻分布，概率密度為(x)0x其他0是未知參數(shù)，（X1，X2,,Xn）是 的樣本，求 的矩法估計。解先求總體分布的矩 Ex（x）dx°x/dx/2c再列方程 ？，2EX。解此方程，得到 的矩法估計 ？2X例3設(shè)總體服從0-1分布，概率分布為P{k}pk（1 p）1k,k0,1,0p1是未知參數(shù),(Xi,X2,,Xn)是的樣本，求P的極大似然估計。解先求似然函數(shù)再取對數(shù)ln求導(dǎo)，列方程計。nP{i1nXiln1Xi}(nnPXi(1P)1Xii1nXi)ln(1i1P)pi1X n(1p)dlnL

dp一Xipi1-(nPnXi)i1從方程中可解得 p4設(shè)總體?N（先求似然函數(shù)再取對數(shù)求導(dǎo)，列方程從（1）解得開方后得2)InL,s2nXi(Xi)In(2lnLlnLXiXs,由于它們使lnL達到最大，所以,s使L達到最大，也就是,它使lnL達到最大，所以0是未知參數(shù)。(X1,X2,(Xi )2e22(2p的極大似然估計為,Xn)是的樣本。(Xii1)2nXiXo1的極大似然估nIn代入（(Xi11n-3i1(Xi2）可解得(Xi)2 ，)2n(Xi n)i1(1)(2)1n c一(XiX)ni1,舍去不符合題意的負根，得到的極大似然估計為s。2 2s使L達到最大，所以，順便還可以推導(dǎo)出的極大似然估計為S2。例5設(shè)總體服從［0,］上的均勻分布，概率密度為(x)0x其他0是未知參數(shù)，(XhX2,,Xn)是的樣本，求的極大似然估計。先求似然函數(shù):(i1,2,,n)dlnL

d(Xi)L0時，對L取對數(shù)ln其他minximaxxi

i i其他1L ln(-n)nln。對它求導(dǎo)后，列出的方程n0顯然無解，這說明當(dāng)時，不存在導(dǎo)數(shù)為0的點。但是，不存在導(dǎo)數(shù)為0的點，不等于說L沒有最大值。從L1一一，—可以看出,的值越小，L的值越大。但是， 不能無限制地小下去,此式成立的條件是maxxi

i,在其它情況下有0,所以，只有當(dāng)maxxi時，似然函數(shù)iL才能取到最大值。因此,根據(jù)極大似然估計的定義,的極大似然估計是maxXi。

i例6設(shè)總體N(2)，前面我們已求得的估計2的估計?2S2，問2S2是不是和2無偏估計?解由上面定理6.1可知，E?EX?X是的無偏估計。而E(?2)E(S2)?口n2 2 2S不TE 的無偏估計。但是，只要對它稍作修正，用修正樣本方差S*2n _(XiX)2^^S2代替S2作為i1 n12的估計,, on0no由于E(S*2)E(——S2)——E(S2)n1n12一_ 2 2 . 、一.，所以S*是 的無偏估計。例7設(shè)總體~N(,2),(X1,X2)是的一個樣本,\o"CurrentDocument"、一八 2 .. 1 .. 八 1 ?\o"CurrentDocument"證明?1 _ X1 一 X2 , ?2 — X13 3 21上-X2都2是的無偏估計。并比較哪一個估計更有效。1e31e31e2TOC\o"1-5"\h\z?一 八2 1 2解因為E?1 —EX1 —EX2 — E3 3 3- 1 1 1e?21ex11ex2」e\o"CurrentDocument"2 2 2所以？1,?2都是 的無偏估計。4_因為D? DX191D?21DX14而12 52,即D?22 9（四）參數(shù)估計-DX291-DX24ID9d52一,91 2一,2D?1，所以？2比?1更有效?？傮w參數(shù)在估計前是未知參數(shù)估計是用樣本統(tǒng)計量估計總體參數(shù)的方法。 總體參數(shù)是反映總體特征的數(shù)字,的。這一部分主要介紹參數(shù)估計的基本方法（點估計、區(qū)間估計）以及參數(shù)估計量的評價標(biāo)準(zhǔn)等。點估計目的是總體參數(shù)在估計前是未知依據(jù)1^本X=（X1,X2，…,Xn）估計總體分布所含的未知參數(shù) 0或0的函數(shù)g（。）。一般0或g（。）是總體的某個特征值，如數(shù)學(xué)期望、方差、相關(guān)系數(shù)等。點估計的常用方法有矩估計法、順序統(tǒng)計量法、最大似然法、最小二乘法等。區(qū)間估計是從點估計值和抽樣標(biāo)準(zhǔn)誤出發(fā)， 按給定的概率值建立包含待估計參數(shù)的區(qū)間。 其中這個給定的概率值稱為置信度或置信水平， 這個建立起來的包含待估計函數(shù)的區(qū)間稱為置信區(qū)間， 指總體參數(shù)值落在樣本統(tǒng)計值某一區(qū)內(nèi)的概率；而置信區(qū)間是指在某一置信水平下， 樣本統(tǒng)計值與總體參數(shù)值間誤差范圍。 置信區(qū)間越大，置信水平越高。劃定置信區(qū)間的兩個數(shù)值分別稱為置信下限和置信上限。通過對教材和課件的學(xué)習(xí)，在這一章大家要熟悉點估計的概念， 掌握矩估計法和極大似然估計法， 熟悉估計量的無偏性、有效性、一致性，掌握置信區(qū)間的概念，了解區(qū)間估計的基本方法，掌握正態(tài)總體均值區(qū)間估計。了解單側(cè)置信限、比率P的置信區(qū)間。點估計部分1.矩估計法如上所述，例5.4中我們所做的對該地區(qū)農(nóng)戶的平均收入水平和貧富懸殊程度做出推斷這一工作，用數(shù)理統(tǒng)計的話說，實質(zhì)上是對總體X~N（,2）的未知參數(shù)期望值 與方差值2進行估計。我們當(dāng)時是分別用樣本均值X和樣本方差S2來反映這兩個量的，那么這樣做是否合理？直觀來看這樣做是合理的， 從概率論的觀點看也是合理的。事實上，若總體X的期望存在，E（X） ,X1,X2,,Xn是出自X的樣本，則由柯爾莫哥洛夫強大數(shù)定律，以概率為1地成立1nlimXinni1而上式左邊極限號內(nèi)正是樣本均值 X,因此，我們常用X作為的估計值。不僅如此，若X的k階矩存在,EXkak,則同樣由柯爾莫哥洛夫強大數(shù)定律得出22以概率為1成立。于in1vk

lim—Xiniiak1n是，同樣可用樣本k階原點矩Ak1Xik來近似ak,這種用樣本原點矩去估計總體相應(yīng)原點矩的方法，即是所謂的矩估計法。一般地，若總體的分布有m個參數(shù)m,則顯然，總體的k階矩(km)ak如果存在的話，必依賴這些參數(shù)，即m),k1,2,,m按照用樣本矩近似真實矩的原則，可得方程Aiai(m)(6.1)若上述關(guān)于i,2, ,m的方程組有唯一的解(i，2,Amm)am(m)則稱?是i的矩估計量(SquareEstimator)或矩估計。例:無論總體為什么分布，只要二階矩存在,則樣本方差2 2s2為方差2的矩估計量。解:設(shè)Xi,X2,,Xn為一樣本,我們有iaina?a22ai例:設(shè)X為［i,2］上的均勻分布,解:(XiXiXi,X2,2xdxnXi2ii1n2 —2-XiXniiX)2S2,Xn為樣本,2 22i2(2i)2i2 , dxi,2的矩估計。i(i2)ii22i)2—1z、X—(1 2)S2 12(2 1)解上述關(guān)于1,2的方程得X、,3SX..3S例：貝努利試驗中，事件A發(fā)生的頻率是該事件發(fā)生概率的矩法估計。解：此處，實際上我們視總體X為“唱票隨機變量”，即X服從兩點分布:X1,若A發(fā)生，P（A）0,若A不發(fā)生立即為事件A發(fā)生的頻n立即為事件A發(fā)生的頻n設(shè)X1,X2,,Xn為X的一個樣本，若其中有 n1個Xi等于1,率，另一方面，顯然EXP(A)p故有?例:設(shè)總體的密度函數(shù)為f(x,1,2)—2 x1exp(1 1x例:設(shè)總體的密度函數(shù)為f(x,1,2)—2 x1exp(1 1x2),x20,x02QX1,X2, ,Xn為此總體的樣本。則可以算出a2其中（z）為伽（Gamma）函數(shù)，按矩估計原理分別用X,A2取代a1,a2。使用矩估計法的一個前提是總體存在適當(dāng)階的矩,但這不總是可以做到的。例：柯西（Cauchy）分布設(shè)總體具有密度函數(shù)階數(shù)應(yīng)不小于待估參數(shù)的個數(shù)（或者說參數(shù)空間的維數(shù)）f(x,)12,(1(x))顯然，它的各階矩皆不存在，因此 ，不能用矩估計法來估計參數(shù) .另外，盡管矩估計法簡便易行，且只要n充分大，估計的精確度也很高，但它只用到總體的數(shù)字特征的形式，而未用到總體的具體分布形式，損失了一部分很有用的信息，因此，在很多場合下顯得粗糙和過于一般。2.極大似然估計參數(shù)的點估計方法中另一個常用方法就是極大似然估計，簡記為MLE(MaximumLikelihoodEstimation)。從字面上來理解 ,就是通過對樣本的考察，認為待估參數(shù)最象是取什么值即作為對參數(shù)的估計，事實上 ,極大似然估計原理也大致如此。我們通過一個具體例子來說明這一估計的思想。例：已知甲、乙兩射手命中靶心的概率分別為0.9及0.4，今有一張靶紙上面的彈著點表明為 10槍6中，已知這張靶紙肯定是甲、乙之一射手所射，問究竟是誰所射？從直觀上看，甲的槍法屬上乘，命中靶心率為 0.9，看來這次射擊成績不至于這么差；而乙的槍法又似乎尚不足以打出這么好的成績，但二者取一，還是更象乙所射。我們來計算一下可能性。為此，我們建立一個統(tǒng)計模型：設(shè)甲、乙射中與否分別服從參數(shù)為 p10.9,p2 0.4p是0.9,還是0.4．這里因為參數(shù)空間只有兩個點：={0.9，0.4}，我們不妨分別計算一下參數(shù)為什么的可能性大。若是甲所若是甲所10Xi10射，即參數(shù) p=0.9，則此事發(fā)生的概率為 L(p1) p1i1(1 p1)100.9,p2 0.4p是0.9,還是0.4．這里因為參數(shù)空間只有兩個點：={0.9，0.4}，我們不妨分別計算一下參數(shù)為什么的可能性大。若是甲所若是甲所10Xi10射，即參數(shù) p=0.9，則此事發(fā)生的概率為 L(p1) p1i1(1 p1)10Xii1 (0.9)6(0.1)4 0.00005;若是乙所射，10Xi1010Xi即參數(shù) p=0.4，則此事發(fā)生的概率為 L(p2) p2i1(1 p2)i1(0.4)6(0.6)40.0005，盡管是乙所射的可能也不大，但畢竟比是甲所射的概率大了10倍，因此,在參數(shù)空間只有兩點的情況下，概率L(p)的最大值在p=0.4處發(fā)生，故我們更情愿認為是乙所射，即用0.4作為p的估計：p?=p2=0.4.總之，極大似然估計的出發(fā)點是基于這樣一個統(tǒng)計原理，在一次隨機試驗中，某一事件已經(jīng)發(fā)生，比如已經(jīng)得到某個具體的樣本 X1,X2, ,Xn，則必然認為發(fā)生該事件的概率最大。從例中我們可以看出，極大似然估計的做法，關(guān)鍵有兩步：第一步寫出某樣本 X1,X2, ,Xn出現(xiàn)概率的表達式 L()，對于離散型總體 X，設(shè)它的分布列為p(ki;),i 1,2, ,則上述樣本出現(xiàn)的概率為nL()p(Xi;)

i1對于固定的樣本，L()是參數(shù)的函數(shù)，我們稱之為似然函數(shù)(LikelihoodFunction)。第二步則是求 ? (是參空間),使得L()達到最大，此 ?即為所求的參數(shù) 的極大似然估計。這里還需要著重強調(diào)幾點：1)當(dāng)總體X是連續(xù)型隨機變量時，談所謂樣本 X1,X2, ,Xn出現(xiàn)的概率是沒有什么意義的，因為任何一個具體樣本的出現(xiàn)都是零概率事件。這時我們就考慮樣本在它任意小的鄰域中出現(xiàn)的概率，這個概率越大，就等價于此樣本處的概率密度越大。因此在連續(xù)型總體的情況下，我們用樣本的密度函數(shù)作為似然函數(shù)。nL()f(Xi;)

i1

2)為了計算方便，我們常對似然函數(shù)L()取對數(shù)，并稱lnL()為對數(shù)似然函數(shù) 2)為了計算方便，我們常對似然函數(shù)function)o易知，L()與lnL()在同一？處達到極大，因此，這樣做不會改變極大點。3)在仞6.7中參數(shù)空間只有兩點，我們可以用窮舉法求出在哪一點上達到最大，但在大多數(shù)情形中,含m維歐氏空間的一個區(qū)域，因此，必須采用求極值的辦法，即對對數(shù)似然函數(shù)關(guān)于i求導(dǎo)，再令之為0,即得30, (1,2, ,m)i1,2,,m(6.2)含m維歐氏空間的一個區(qū)域，因此，必須采用求極值的辦法，即對對數(shù)似然函數(shù)關(guān)于i求導(dǎo)，再令之為0,即得30, (1,2, ,m)i1,2,,m(6.2)我們稱(6.2)為似然方程(組)(Likelihoodequation(group))。解上述方程,即得到i的MLE,i1,2,,m.例:設(shè)X「X2,2,Xn是N(,2)的樣本，求解:我們有12尸12尸expn(Xi )i1lnL(,2)n,八ln22n.ln2lnL(,2)n,八ln22n.ln2n(Xii1)2lnL(2)2lnL(,2)1ni112(Xi(Xi1)2 0解似然方程組，即得nXii1解似然方程組，即得nXii1n?2 1(Xini1X)2S2例：設(shè)有k個事件Ai,例：設(shè)有k個事件Ai,A2,,Ak兩兩互斥，其概率P1,P2,,Pk之和為1.做n次重復(fù)獨立試驗，則各事件發(fā)生的頻率為各相應(yīng)概率的MLE.事實上，設(shè)樣本Xi,X2,,Xn記錄了每次試驗中所發(fā)生的事件，以 ni表k1Pii1nk1Pii1nklnL(P)k1nilnPinkln(1Pi)示n次試驗中事件A(i1,2, ,k)發(fā)生的次數(shù)，則此樣本出現(xiàn)的概率(似然函數(shù))為k1L(P)Pni

i1

得似然方程lnL(p) nj、nj nkkHPj Pj 1nPj Pk1 pii1即\PkPjnk，j1,2,,k1kn, Pkn, Pi 1及i1將上述k1個等式相加，注意到 nii1(n nk)Pk nk(1 Pk)得到?k?knkn右邊即為事件A右邊即為事件Ak發(fā)生的頻率，顯然事件人與其它事件Aj地位是相同的，故類似可得到1,2,,k11,2,,k1?jLj

n需注意到，并非每個MLE問題都可通過解似然方程得到，如估計量的評價準(zhǔn)則部分對于同一參數(shù)，用不同方法來估計，結(jié)果是不一樣的，甚至用同一方法也可能得到不同的統(tǒng)計量。例：設(shè)總體X服從參數(shù)為的泊松分布，即kP{Xk}e,k0,1,2,

k!則易知E(X),D(X) ，分別用樣本均值和樣本方差取代 E(X)和D(X),于是得到 的兩個矩估計量? X,?2S2.既然估計的結(jié)果往往不是唯一的，那么究竟孰優(yōu)孰劣？這里首先就有一個標(biāo)準(zhǔn)的問題。1.無偏性(Unbiased)定義1設(shè)？=?(Xi,X2, ,Xn)是的一個估計量，若對任意的 ，都有E(3 ,則稱？是的無偏估計量(Unbiasedestimator),如果lim(E(Xi,X2,,Xn) )_limbn()0n n則稱？是的漸近無偏估計量(Approximationunbiasedestimator),其中bn()稱為是？的偏差(affect)。(Suppose?=?(X1,X2, ,Xn)isaestimator,ifforany thereisE(?) ,then?iscalleda

unbiasedestimatorof;iflim(E(Xi,X2,,Xn) )limbn() 0n n?、iscalledasymptoticallyunbiasedestimatorof,wherebn()iscalledaffectof■.)無偏性反映了估計量的取值在真值 周圍擺動，顯然，我們希望一個量具有無偏性。D(X)D(1

nS2nXi)i11~2nD(Xi)D(X)因為注意到E(SD(X)D(1

nS2nXi)i11~2nD(Xi)D(X)因為注意到E(S2)n(XiX)2(Xi1)2(X)2limnnD(Xi)D(X)2 . 2因此S2 . 2因此S是漸近無偏估計。在S的基礎(chǔ)上,我們適當(dāng)加以修正可以得到一個2 . 、一. .的無偏估計，這個估計量也和樣本方差一樣是經(jīng)常被采用的:n2n2 1 2s1——S2——(XiX)2n1n1i1我們在第五章曾經(jīng)說過，對估計量的優(yōu)劣的評價，一般是站在概率論的基點上，在實際應(yīng)用問題中，含有多次反復(fù)使用此方法效果如何的意思。 對于無偏性，也同樣是這樣，即是在實際應(yīng)用問題中若使用這一估計量算出多個估計值，則它們的平均值可以接近于被估參數(shù)的真值。 這一點有時是有實際意義的，如某一廠商長期向某一銷售商提供一種產(chǎn)品，在對產(chǎn)品的檢驗方法上，雙方同意采用抽樣以后對次品進行估計的辦法。 如果這種估計是無偏的，那么雙方都理應(yīng)能夠接受。比如這一次估計次品率偏高，廠商吃虧了，但下一次估計可能偏低，廠商的損失可以補回來，由于雙方的交往是長期多次的，采用無偏估計，總的來說是互不吃虧。然而不幸的是，無偏性有時并無多大的實際意義。這里有兩種情況，一種情況是在一類實際問題中沒有多次抽樣，比如前面的例子中，廠商和銷售商沒有長期合作關(guān)系，純屬一次性的商業(yè)行為，雙方誰也吃虧不起，這就沒有什么“平均”可言。另一種情況是被估計的量實際上是不能相互補償?shù)模虼恕捌骄睕]有實際意義，例如通過試驗對某型號幾批導(dǎo)彈的系統(tǒng)誤差分別做出估計，既使這一估計是無偏的，但如果這一批導(dǎo)彈的系統(tǒng)誤差實際估計偏左，下一批導(dǎo)彈則估計偏右，結(jié)果兩批導(dǎo)彈在使用時都不能命中預(yù)定目標(biāo)，這里不存在“偏左”與“偏右”相互抵消或“平均命中”的問題。我們還可以舉出數(shù)理統(tǒng)計本身的例子來說明無偏性的局限。X. 3例： 設(shè)X服從參數(shù)為 的泊松分布，Xi,X2,,Xn為X的樣本，用(2)1作為e3的估計，則此估計是無偏的。因為kX1 k 2 3E[(2)]e(2)eee

k0k!但當(dāng)Xi取奇數(shù)時，(2)X1vO,顯然用它作為e3>0的估計是不能令人接受的。 為此我們還需要有別的標(biāo)準(zhǔn)。2.最小方差性和有效性前面已經(jīng)說過，無偏估計量只說明估計量的取值在真值周圍擺動，但這個“周圍”究竟有多大？我們自然希望擺動范圍越小越好，即估計量的取值的集中程度要盡可能的高，這在統(tǒng)計上就引出最小方差無偏估計的概念。定義2對于固定的木￥本容量n,設(shè)TT(Xi,X2,,Xn)是參數(shù)函數(shù)g()的無偏估計量，若對g()的任一個無偏估計量TT(X1,X2,,Xn)有D(T)D(T'),對一切則稱T(X1,X2, ,Xn)為g()的(一致)最小方差無偏估計量， 簡記為UMVUE(UniformlyMinimumVarianceUnbiasedEstimation)或者稱為最優(yōu)無偏估計量。 (Forstationarysamplecapacityn,letTT(Xi,X2,,Xn)isaunbiasedestimatorofparameterfunctiong(),ifforanyunbiasedestimatorofg()TT(X1,X2, ,Xn),suchthatD(T)D(T'),forallthencallT(X1,X2,,Xn)isaUniformlyMinimumVarianceUnbiasedEstimationofg(),isabbreviatedforUMVUE.)從定義上看，要直接驗證某個估計量是參數(shù)函數(shù) g()的最優(yōu)無偏估計是有困難的。但對于很大一類分布和估計來說，我們從另一個角度來研究這一問題?？紤]g()的一切無偏估計U,如果能求出這一類里無偏估計中方差的一個下界(下界顯然存在的，至少可以取0,而又能證明某個估計 TU能達到這一下界，則T當(dāng)然就是一個UMVUE.我們來求這個下界。下面不妨考慮總體為連續(xù)型的。 (對于離散型的，只須做一點相應(yīng)的改動即可) ，簡記統(tǒng)n計量TT(X1,X2,,Xn)為T(X),樣本Xi,X2,,Xn的分布密度f(x4)為f(x;)；積分i1dx〔 dXn為dx.又假設(shè)在以下計算中，所有需要求導(dǎo)和在積分號下求導(dǎo)的場合都具有相應(yīng)的可行性。今考慮g()的一個無偏估計T(X),即有T(x)f(x;)dxETg()兩邊對求導(dǎo)T^f^dxg'() (6.5)又f(x;)dx1上式兩邊對 求導(dǎo)22式(6.5)加上式(6.6)乘以-g()上式改寫成g'()f(x;)dx(6.6)式(6.5)加上式(6.6)乘以-g()上式改寫成g'()f(x;)dx(6.6)[T(x)g()]」^^dxg'(){[T(x)g()]f(x;)}貴廠dx用柯西-許瓦爾茲(Cauchy-Schwarz)不等式，即得9 2 f(x;[g'()]2 [T(x)g()]f(x;)dx —(-;)1f(x;)2f(x;)dx(6.7)其中_ 2- _ _(6.8)[T(x)g()]f(x;)dxD(T)(6.8)2(6.9)f(x;) 1 lnf(x;)(6.9) --f(x;)dxE f(x;)由式(6.7)~式(6.9)即得著名的克拉美-勞(Cramer-Rao)不等式(簡稱C-R不等式)：D(T(X))[g'()]2ED(T(X))[g'()]2Elnf(X;)2(6.10)注意到Xi,X2,,Xn獨立同分布，則由lnf(x;)nlnf(x「)以及當(dāng)ij時，利用式(6.6)Elnf(Xi;)lnf(Xj;)可得lnf(X「)lnf(Xi;)lnf(X「)可得lnf(X「)lnf(Xi;)lnf(X「)2lnf(X;)Elnf(Xj;)lnf3;) f(xj;f(xj;)-j-dxj0nElnf(Xi;i1)dxjnElnf(X")nI()

Inf(X1;)2 ,、其中I()=E( )稱為費歇(Fisher)信息^(informationquantity),于是式(6.10)可簡寫成D(T(X))[g'()]2.nI() (6.11)式(6.11)的右邊稱為參數(shù)函數(shù)g()估計量方差的C-R下界(lowerlimit)。還可以證明I()的另一表達式，它有時用起來更方便：I()I()2lnf(Xi;)2定義3稱en2定義3稱en—[g()] D(T(X))nI()的。(Callen2[g()]2

D(T(X))nI()isefficiencyforunbiasedestimatorTofg()(obviouslybyCRinequality,為g()的無偏估計量T的效率(efficiency)(顯然由C-R不等式，en 1).又當(dāng)T的效率等于1時，稱T是有效(efficient)的；若limen 1,則稱T是漸近有效(asymptoticallyefficient)nen 1).WhenefficiencyofTequal1,callTisefficient；iflimen 1,thencallTisasymptoticallyefficient.)n顯然，有效估計量必是最小方差無偏估計量， 反過來則不一定正確， 因為可能在某參數(shù)函數(shù)的一切無偏估計中，找不到達到CR下界的估計量。我們常用到的幾種分布的參數(shù)估計量多是有效或漸近有效的。 從下面的例子，我們可以體會出驗證有效性的一般步驟。例：設(shè)總體X~N(,2),Xi,X2, ,Xn為X的樣本，則 的無偏估計X是有效的， 2的無偏估2 計S*是漸近有效的。證(i)由例6.13,6.14知，X,S*2分別是 和2的無偏估計。(ii)計算D(X),D(S*2)易知2易知D(X)一

nnS2又由定理5.3,2(n1),D(nS222(n1),從而(iii)nS2又由定理5.3,2(n1),D(nS222(n1),從而(iii)計算I(),I(2)D(S*2)D2nS2n1 2(n4—2(n1)21)lnf(Xi；2)Xi一 2I()Elnf(X1;，)1一 2I()Elnf(X1;，)1-D(X1)Inf(X",2)_ 2lnf(X1；,)2)2」r(X1217(X1)2)22I(2)2lnf(X1；I(2)(2)22(iv)計算效率en(X),en(S*2)en(X)D(X)nI()1en(X)D(X)nI()1~2_2en(S*)D(S*2)nI(2)1,n（v）故X是的有效估計，S*2是2的漸近有效估計。區(qū)間估計部分1.區(qū)間估計的一般步驟我們在討論抽樣分布時曾提到過區(qū)間估計。 與點估計不同的是，它給出的不是參數(shù)空間的某一個點， 而是一個區(qū)間（域）。按照一般的觀念，似乎我們總是希望能得到參數(shù)的一個具體值，也就是說用點估計就夠了，為什么還要引入?yún)^(qū)間估計呢？這是因為在使用點估計時，我們對估計量 ？是否能“接近”真正的參數(shù) 的考察是通過建立種種評價標(biāo)準(zhǔn)，然后依照這些標(biāo)準(zhǔn)進行評價， 這些標(biāo)準(zhǔn)一般都是由數(shù)學(xué)特征來描繪大量重復(fù)試驗時的平均效果，而對于估值的可靠度與精度卻沒有回答。即是說，對于類似這樣的問題： “估計量？在參數(shù)的鄰域的概率是多大？”點估計并沒有給出明確結(jié)論，但在某些應(yīng)用問題中，這恰恰是人們所感興趣的，如例：某工廠欲對出廠的一批