第一節(jié)-參數(shù)估計(jì)的意義課件

參數(shù)估計(jì)第一節(jié)參數(shù)估計(jì)的意義一、參數(shù)估計(jì)的意義

參數(shù)估計(jì)問題是利用從總體抽樣得到的信息來估計(jì)總體的某些參數(shù)或者總體的某些數(shù)字特征.參數(shù)估計(jì)的兩個(gè)研究方向：1.在已知總體分布類型的前提下，由樣本信息估計(jì)出總體未知參數(shù)的近似值，從而近似估計(jì)總體分布.一、參數(shù)估計(jì)的意義2.

有時(shí)關(guān)心的不是總體服從具體分布，而是關(guān)注總體的某些數(shù)字特征（如均值、方差等）

例如，燈泡廠生產(chǎn)過程中受到隨機(jī)因素干擾，燈泡壽命不盡相同.為評(píng)價(jià)產(chǎn)品質(zhì)量，自然提出如何估計(jì)這批燈泡的平均壽命（總體均值），以及壽命長短相差（總體方差）等問題.有時(shí)還希望通過數(shù)據(jù)分析，以一定的可靠性來估計(jì)燈泡平均壽命介于某個(gè)范圍或者不低于某個(gè)數(shù)值.由于樣本來自總體，它必然在一定程度上反映總體，因而在參數(shù)估計(jì)問題中，經(jīng)常要用到樣本的某個(gè)適當(dāng)?shù)暮瘮?shù)來估計(jì)總體的參數(shù).二、參數(shù)估計(jì)的概念二、參數(shù)估計(jì)的概念

參數(shù)估計(jì)問題：知道隨機(jī)變量（總體）的分布類型，但確切的形式不知道，根據(jù)樣本來估計(jì)總體的參數(shù)，這類問題稱為參數(shù)估計(jì)(ParamentricEstimation).參數(shù)估計(jì)點(diǎn)估計(jì)區(qū)間估計(jì)二、參數(shù)估計(jì)的概念（假定身高服從正態(tài)分布）

設(shè)這5個(gè)數(shù)是:1.651.671.681.781.69這是區(qū)間估計(jì).估計(jì)在區(qū)間[1.57,1.84]內(nèi)，例如我們要估計(jì)某隊(duì)男生的平均身高.

現(xiàn)從該總體中選取容量為5的樣本，我們的任務(wù)是要根據(jù)選出的樣本（5個(gè)數(shù)）求出總體均值的估計(jì)，而全部信息就由這5個(gè)數(shù)組成.

估計(jì)為1.68，這是點(diǎn)估計(jì).參數(shù)估計(jì)第二節(jié)參數(shù)的點(diǎn)估計(jì)一、引言1.順序統(tǒng)計(jì)量估計(jì)法2.矩估計(jì)法3.極大似然估計(jì)4.最小二乘法點(diǎn)估計(jì)常用方法：二、矩估計(jì)法矩估計(jì)法是英國統(tǒng)計(jì)學(xué)家K.皮爾遜最早提出來的.由辛欽大數(shù)定律,若總體的數(shù)學(xué)期望有限,則有二、矩估計(jì)法

這表明，當(dāng)樣本容量很大時(shí)，在統(tǒng)計(jì)上，可以用樣本矩去估計(jì)總體矩.這一事實(shí)導(dǎo)出矩估計(jì)法.定義用樣本原點(diǎn)矩估計(jì)相應(yīng)的總體原點(diǎn)矩,又用樣本原點(diǎn)矩的連續(xù)函數(shù)估計(jì)相應(yīng)的總體原點(diǎn)矩的連續(xù)函數(shù),這種參數(shù)點(diǎn)估計(jì)法稱為矩估計(jì)法

.

理論依據(jù):

大數(shù)定律二、矩估計(jì)法二、矩估計(jì)法例1

解：由矩估計(jì)法可知二、矩估計(jì)法例2

解：二、矩估計(jì)法解：例2

二、矩估計(jì)法解：總體均值的估計(jì)值為二、矩估計(jì)法總體方差的估計(jì)值為二、矩估計(jì)法例4設(shè)總體X具有分布列解：總體均值為樣本均值為解:

由矩估計(jì)法,從中解得的矩估計(jì).即為例5設(shè)總體X的概率密度為是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本,求參數(shù)的矩估計(jì).三、矩估計(jì)法

練習(xí)1

設(shè)總體X在[a,b]上服從均勻分布,a,b未知.是來自X

的樣本,試求a,b

的矩估計(jì)量.練習(xí)練習(xí)2

設(shè)總體X的概率密度為是未知參數(shù),其中X1,X2,…,Xn是取自X的樣本，求參數(shù)的矩估計(jì).練習(xí)四、極大似然估計(jì)極大似然估計(jì)法是在總體類型已知條件下使用的一種參數(shù)估計(jì)方法.它首先是由德國數(shù)學(xué)家高斯在1821年提出的.

GaussFisher然而，這個(gè)方法常歸功于英國統(tǒng)計(jì)學(xué)家費(fèi)歇.費(fèi)歇在1922年重新發(fā)現(xiàn)了這一方法，并首先研究了這種方法的一些性質(zhì).四、極大似然估計(jì)例子：1.老獵人和小獵人捕獵，各自向野兔射擊一發(fā)子彈，兔子身上只有一個(gè)彈孔，一般情況下，我們總會(huì)認(rèn)為，這是由老獵人射中的.2.機(jī)器發(fā)生故障時(shí)，總是從易損部位開始檢查；醫(yī)院就醫(yī)時(shí)，醫(yī)生總是先檢查病例，從曾經(jīng)的患處入手診斷.3.兩個(gè)箱子各100個(gè)球，甲箱中99個(gè)白球1個(gè)紅球，乙箱中1個(gè)白球99個(gè)紅球，現(xiàn)任取一箱再任取一個(gè)球，發(fā)現(xiàn)是紅球，一般估計(jì)此球來自乙箱.四、極大似然估計(jì)極大似然估計(jì)法的思想

極大似然估計(jì)法，是建立在最大似然原理的基礎(chǔ)上的求點(diǎn)估計(jì)量的方法.最大似然原理的直觀想法是：在試驗(yàn)中概率最大的事件最有可能出現(xiàn).

因此，一個(gè)試驗(yàn)如有若干個(gè)可能的結(jié)果A,B,C,…,若在一次試驗(yàn)中，結(jié)果A出現(xiàn)，則一般認(rèn)為A出現(xiàn)的概率最大.

在已得試驗(yàn)結(jié)果的條件下，應(yīng)該尋找使得該結(jié)果出現(xiàn)可能性最大的那個(gè)參數(shù)值作為真正參數(shù)的估計(jì).四、極大似然估計(jì)極大似然估計(jì)定義：當(dāng)給定樣本X1,X2,…Xn時(shí)，定義似然函數(shù)為：f(x1,x2,…,xn;)這里x1,x2,…,xn

是樣本的觀察值.設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本，樣本的聯(lián)合密度(連續(xù)型）或聯(lián)合分布律(離散型)為四、極大似然估計(jì)似然函數(shù)：f(x1,x2,…,xn;)

看作參數(shù)的函數(shù)，它可作為將以多大可能產(chǎn)生樣本值x1,x2,…,xn

的一種度量.極大似然估計(jì)法就是用使達(dá)到最大值的去估計(jì).即稱為的極大似然估計(jì)值.而相應(yīng)的統(tǒng)計(jì)量稱為的極大似然估計(jì)量.四、極大似然估計(jì)求極大似然估計(jì)量的一般步驟為：

（1）求似然函數(shù)（2）一般地，求出及似然方程

（3）解似然方程得到極大似然估計(jì)值

（4）最后得到極大似然估計(jì)量

四、極大似然估計(jì)1.X為離散型解：例1四、極大似然估計(jì)這一估計(jì)量與矩估計(jì)量是相同的.四、極大似然估計(jì)四、極大似然估計(jì)例2

設(shè)總體X具有分布列解：四、極大似然估計(jì)解似然函數(shù)練習(xí)四、極大似然估計(jì)四、極大似然估計(jì)四、極大似然估計(jì)2.X為連續(xù)型四、極大似然估計(jì)例3

設(shè)總體X服從指數(shù)分布，其分布密度為解：似然函數(shù)為四、極大似然估計(jì)取對(duì)數(shù)似然方程為四、極大似然估計(jì)解：例4

設(shè)連續(xù)型總體X的概率密度為似然函數(shù)為四、極大似然估計(jì)取對(duì)數(shù)解：似然函數(shù)為對(duì)數(shù)似然函數(shù)為練習(xí)

設(shè)X1,X2,…Xn是取自總體X的一個(gè)樣本求的最大似然估計(jì)值.其中

>0,四、極大似然估計(jì)求導(dǎo)并令其為0=0從中解得即為的最大似然估計(jì)值

.對(duì)數(shù)似然函數(shù)為四、極大似然估計(jì)四、極大似然估計(jì)四、極大似然估計(jì)解：總體X的分布密度為構(gòu)造似然函數(shù)四、極大似然估計(jì)練習(xí)1.答案五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)這就需要討論以下問題:問題的提出從前面可以看到,對(duì)于同一個(gè)參數(shù),用不同的估計(jì)方法求出的估計(jì)量可能不相同,而且,很明顯,原則上任何統(tǒng)計(jì)量都可以作為未知參數(shù)的估計(jì)量.(1)對(duì)于同一個(gè)參數(shù)究竟采用哪一個(gè)估計(jì)量好?(2)評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)是什么?五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)常用的幾條標(biāo)準(zhǔn)是：1．無偏性2．有效性3．一致性這里我們重點(diǎn)介紹前面兩個(gè)標(biāo)準(zhǔn).五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)1、無偏性五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)判斷下列估計(jì)量中哪些總體均值的無偏估計(jì)量五、評(píng)價(jià)估計(jì)量的標(biāo)準(zhǔn)所以無偏