參數(shù)估計(jì)方法

參數(shù)估計(jì)的方法矩法一、矩的概念矩(moment)分為原點(diǎn)矩和中心矩兩種。對(duì)于樣本八八…，,，各觀測(cè)值的k次方的平均值，稱為樣本的k階原點(diǎn)矩，記為"，有"=1支yk，例如，算術(shù)頃'平均數(shù)就是一階原點(diǎn)矩；用觀測(cè)值減去平均數(shù)得到的離均差的k次方的平均數(shù)稱為樣本的k階中心矩，記為T或.k'有L=Xyiy)k，例如，樣本方差1%(y-y)2就是二階中心矩。ni=1 '對(duì)于總體y「y2，…，y,各觀測(cè)值的k次方的平均值，稱為總體的k階原點(diǎn)矩，記為即)，有…'件y：；用觀測(cè)值減去平均數(shù)得到的離均差的k次方的平均數(shù)稱為總體的k階中心矩，記為初(yf)k:或日k，有E［(y-日)k:=—t(y-日)k。Ni=i'二、矩法及矩估計(jì)量所謂矩法就是利用樣本各階原點(diǎn)矩來估計(jì)總體相應(yīng)各階原點(diǎn)矩的方法，即yk=—ty* — E(yk)TOC\o"1-5"\h\z(8?6) '='并且也可以用樣本各階原點(diǎn)矩的函數(shù)來估計(jì)總體各階原點(diǎn)矩同一函數(shù)，即若Q=f(E(y)，E(y2)，???，E(yk))則2 -，一 xQ=f(y，y2，—，yk)由此得到的估計(jì)量稱為矩估計(jì)量。［例8.1］現(xiàn)獲得正態(tài)分布N(口，。2)的隨機(jī)樣本*，，…，y，要求正態(tài)分布N(日，。2)參數(shù)H和c2的矩估計(jì)量。 12 ^(y-R)(y-R)22c2E(y)=「8yf(y)dy=j+?y? ~exp—8 —8/2兀c(此處 「(y-r)2〕表示自然對(duì)數(shù)底數(shù)e的「(y-R)21的指數(shù)式，即［-(y-R)2］)2c22c2\ exp一 、口子＜、、刀4 eUJ一 曰上、，e 2c2 /2c22c2E[(y-日)]2=J+8(y-日)2f(y)dy=J+OT(y-日)2?, exp-f f V2kg(y-Q)22(y-Q)22。2dy=b2y.-Q2最后，利用矩法，Q=y=11yn"Q=y=~1Ly.，Q.=s2=~tt(y,-y)2獲得總體平均數(shù)和方差的矩估計(jì)……:平七—y)2故總體平均數(shù)和方差的矩估計(jì)值分別為樣本平均數(shù)和樣本方差，方差的分母為n。單峰分布曲線還有二個(gè)特征數(shù)，即偏度(skewness)與峰度(kurtosis)，可分別用三階中心矩Q和四階中心矩Q來度量。但Q和Q是有單位的，為轉(zhuǎn)化成相對(duì)3 4 LL由樣本計(jì)算的偏度系數(shù)cs=1n,一、t(y-y)2ni=1 ，數(shù)以便不同分布之間的比較，可分別用偏度系數(shù)和峰度系數(shù)作測(cè)度。偏度系數(shù)(coefficientofskewness由樣本計(jì)算的偏度系數(shù)cs=1n,一、t(y-y)2ni=1 ，(8-7)峰度系數(shù) ck=(8-8)最小二乘法從總體中抽出的樣本觀察值與總體平均數(shù)是有差異的，這種差異屬于抽樣誤差。因而，在總體平均數(shù)估計(jì)時(shí)要盡可能地降低這種誤差，使總體平均數(shù)估計(jì)值盡可能好。參數(shù)估計(jì)的最小二乘法就是基于這種考慮提出的。其基本思想是使誤差平方和最小，達(dá)到在誤差之間建立一種平衡，以防止某一極端誤差對(duì)決定參數(shù)的估計(jì)值起支配地位。這有助于揭示更接近真實(shí)的狀況。具體方法是為使誤差平方和Q為最小，可通過求Q對(duì)待估參數(shù)的偏導(dǎo)數(shù)，并令其等于0，以求得參數(shù)估計(jì)量。［例8.4］用最小二乘法求總體平均數(shù)q的估計(jì)量。若從平均數(shù)為q的總體中抽得樣本為y1、y2、與、???、匕，則觀察值可剖分為總體平均數(shù)q與誤差弓之和，y=Q+e總體平均數(shù)q的最小二乘估計(jì)量就是使y與q間的誤差平方和為最小，即Q="=S(y—")2

i ii=l為最小。為獲得其最小值，求。對(duì)目的導(dǎo)數(shù)，并令導(dǎo)數(shù)等于0,可得:?—=-2￡(y一口)=0即總體平均數(shù)的估計(jì)量為：IV1。=1因此，算術(shù)平均數(shù)為總體平均數(shù)的最小二乘估計(jì)。這與矩法估計(jì)是一致的。此處順便介紹估計(jì)離均差平方和q，=Z(y-5)2的數(shù)學(xué)期望：iE(Q')=E[￡(y-y)2]= -^-y+H)2]i /=E[￡(_y—目)2—2￡(y—p)(y—p)+￡(y一目)2]/ i-E\_T^(y-p)2—￡(y—|1)2]=no2-no2/ni=(〃-1)<52因而，。2估計(jì)為：畚2=.，/(〃-1)=Z(y.-yykn-1)與矩法所得不同，而與常規(guī)以自由度為除數(shù)法一致。[例8.5]求例6.13的兩向分組方差分析資料缺1個(gè)小區(qū)(表8.1)的最小二乘估計(jì)量和估計(jì)值。TOC\o"1-5"\h\z從第6章可知，這種資料模式的線性模型為：y=|Ll+T+B+￡。該模型的約束條(/■ ij〃件為：￡,=o，￡&=0和誤差項(xiàng)服從正態(tài)分布。按照最小二乘法的估計(jì)原理，使i Ji=i j=lQ=￡￡￡2=￡Z(y- -T-P)2為最小時(shí)可以求出效應(yīng)和缺失小區(qū)匕的估計(jì)量，即7=1J=1t2(y—pi—T-p)(-1)=0L1=1J=1dQ,TOC\o"1-5"\h\z=￡2(y-|Li-T-P)(-1)=0dx=i〃 /jv1J_~ =^2(y-|Li-T-P)(-1)=0api〃 /jJ地=tt^(y—n—c-P)=oQy,=ij=iIJ 1 7、e J從而，最小二乘估計(jì)量分別為：_ 1=y=~tty?ar....〃，=ij=i- - 1 1 ?^.=y.-y=~ty..-—11y?1 1 r.i〃ar....ijJ=1 J=1P.=y.-y=-Sy?-—SJy..JJ nlJfir lJi=l 1=1y=Q+f+P=~ty+~ty-~ttye 1Jrj=i，a"Jar "缺區(qū)估計(jì)是根據(jù)線性模型，以及最小二乘法的原理得到的。不過，試驗(yàn)中盡可能不要缺

區(qū)，因?yàn)槿眳^(qū)估計(jì)盡管可以估計(jì)缺區(qū)的值，但是誤差的自由度將減少，本試驗(yàn)的誤差自由度將減少1。一般地，若m個(gè)自變數(shù)x、x、％、???、x與依變數(shù)j存在統(tǒng)計(jì)模型關(guān)系TOC\o"1-5"\h\z12 3 my-f(x，x，…，x；0，0，…，0)+￡ (8'9)1 2 m1 2 k其中，氣，02，x，x，…，x，1i2i mi..，0為待估參數(shù)。通過n次觀測(cè)(n>k)得到n其中，氣，02，x，x，…，x，1i2i miQ=^￡2=￡[y-f(x，x，…，x；0，0，…，0)]2 (810)i 1i 2i mi1 2 ki=1 i=1為最小的0，o'，.，o'。這種估計(jì)方法稱為參數(shù)估計(jì)的最小二乘法(leastsquares)，或最小平方法。第9章將應(yīng)用最小二乘法估計(jì)線性回歸中有關(guān)參數(shù)的估計(jì)量，此處不再贅述。極大似然法極大似然法(maximumlikelihoodmethod)是參數(shù)估計(jì)的重要方法。首先，通過舉例來說明其思路。例如，有1個(gè)射手射擊3次，命中0次。試問該射手的命中概率最有可能為3個(gè)命中概率：1/5、8/15和4/5中的哪一個(gè)？回答該問題可以從兩方面來看，一方面，該射手的命中率為0,與此最接近的命中概率為1/5,即1/5最有可能；另一方面，分別假定該射手的命中率為1/5、8/15和4/5，根據(jù)二項(xiàng)分布原理分別計(jì)算出該射手射擊3次命中0次的概率分別為：C《)0(1—、=*，C。(旦)0(1—旦)3=K，C0(4)0(1-4)3=二35 5 3375 315 15 3375 35 5 3375因此，選擇使事件發(fā)生概率最大的可能命中概率為1/5,從而認(rèn)為該射手的命中概率最有可能為1/5。這種參數(shù)估計(jì)方法稱為極大似然法。極大似然法，包括二個(gè)步驟：首先建立包括有該參數(shù)估計(jì)量的似然函數(shù)(likelihoodfunction)，然后根據(jù)實(shí)驗(yàn)數(shù)據(jù)求出似然函數(shù)達(dá)極值時(shí)的參數(shù)估計(jì)量或估計(jì)值。上面根據(jù)二項(xiàng)分布計(jì)算概率，因而包含有待估概率的二項(xiàng)分布便是似然函數(shù)，它是關(guān)于待估參數(shù)的函數(shù)。由于試驗(yàn)結(jié)果是由總體參數(shù)決定的，那么參數(shù)估計(jì)值就應(yīng)該使參數(shù)真值與試驗(yàn)結(jié)果盡可能一致，似然函數(shù)正是溝通參數(shù)與試驗(yàn)結(jié)果一致性的函數(shù)。一、似然函數(shù)對(duì)于離散型隨機(jī)變量，似然函數(shù)是多個(gè)獨(dú)立事件的概率函數(shù)的乘積，該乘積是概率函數(shù)值，它是關(guān)于總體參數(shù)的函數(shù)。例如，一只大口袋里有紅、白、黑3種球，采用復(fù)置抽樣50次，得到紅、白、黑3種球的個(gè)數(shù)分別為12,24，14,那么根據(jù)多項(xiàng)式的理論，可以建立似然函數(shù)為：50! 12!24!14! (P「口'P「里'P3”4其中P1，P2，p3分別為口袋中紅、白、黑3種球的概率(p3=1-p1-p2)，它們是需要估計(jì)的。對(duì)于連續(xù)型隨機(jī)變量，似然函數(shù)是每個(gè)獨(dú)立隨機(jī)觀測(cè)值的概率密度函數(shù)的乘積，則似然函數(shù)為：L(0)=L(y1，y2，…，y；0)=f(y「0)f(y2；0)…f(y；0) (8*11)若y1服從正態(tài)分布n（日，c2），則°=（p,g，上式可變?yōu)?1 -(y’L1 -(y’L)2L(p，c)=—: ~e 2c22丸c1(yn-p)2

2c2-1[(y-p)2+…+(y-p)2]e2c2 1 n(8?12)二、極大似然估計(jì)所謂極大似然估計(jì)就是指使似然函數(shù)為最大以獲得總體參數(shù)估計(jì)的方法。其中，所獲得的估計(jì)總體參數(shù)的表達(dá)式稱為極大似然估計(jì)量，由該估計(jì)量獲得的總體參數(shù)的估計(jì)值稱為總體參數(shù)的極大似然估計(jì)值。為了計(jì)算上的方便，一般將似然函數(shù)取對(duì)數(shù)，稱為對(duì)數(shù)似然函數(shù)，因?yàn)槿?duì)數(shù)后似然函數(shù)由乘積變?yōu)榧邮剑浔磉_(dá)式為：lnL（0）=lnL（y「y2,…’y；。）=￡lnf（y.,0） （8*13）i=1通過對(duì)數(shù)似然函數(shù)和似然函數(shù)的極大化以估計(jì)總體參數(shù)的結(jié)果是一致的，一般說來，前者在計(jì)算上要容易處理些。因此，往往利用對(duì)數(shù)似然函數(shù)極大化的方法來獲得極大似然估計(jì)。求極大似然估計(jì)量可以通過令對(duì)數(shù)似然函數(shù)對(duì)總體參數(shù)的偏導(dǎo)數(shù)等于0來獲得，即當(dāng)0=（01，02，…，01），有l(wèi)nL（y，y，…，y；0，0，…，0）Q0 12 n12 lk=t~^f（y；01，02，…，01）=0（k=1，2，…，I）（8?14）k由此獲得總體參數(shù)的極大似然估計(jì)量。三、關(guān)于三種估計(jì)方法的討論通過上述3種參數(shù)估計(jì)方法已獲得總體平均數(shù)、方差的估計(jì)量。對(duì)于總體平均數(shù)的估計(jì)量，3種估計(jì)方法都具有無偏性、有效性和相合性；對(duì)于總體方差的估計(jì)量，由離均差平方和期望值所得的是無偏的，但由矩法和極大似然法所得兩種估計(jì)量是有偏的，但都是相合的；最小二乘法無直接的總體方差估計(jì)量。本章介紹了點(diǎn)估計(jì)的3種常用方法，但其要求不同。極大似然法要求已知總體的分布，才能獲得估計(jì)量，另外兩種方法對(duì)分布沒有嚴(yán)格的要求。一般地，極大似然法估計(jì)結(jié)果大多具有無偏性、有效性和相合性等優(yōu)良的估計(jì)量性質(zhì)，因此被廣泛采用，但也并不是該法估計(jì)的結(jié)果就一定最好，例如極大似然方法估計(jì)平均數(shù)盡管是無偏估計(jì)，但其估計(jì)的方差是有偏的，在樣本容量小時(shí)不能很好地反映總體變異。最小二乘法在估計(jì)線性回歸模型參數(shù)時(shí)具有