第3章 參數(shù)估計(jì)理論

1、 第3章 參數(shù)估計(jì)理論參數(shù)估計(jì)的基本方法：點(diǎn)估計(jì)，區(qū)間估計(jì)點(diǎn)估計(jì)：以樣本的某一函數(shù)值作為總體中未知參數(shù)的估計(jì)值。區(qū)間估計(jì)：把總體中的參數(shù)確定在某一區(qū)間內(nèi)。 第1節(jié) 點(diǎn)估計(jì) 點(diǎn)估計(jì)就是以樣本的某一函數(shù)值作為總體中未知參數(shù)的估計(jì)值。 設(shè)是總體的待估參數(shù)，用樣本構(gòu)造一個合適的統(tǒng)計(jì)量來估計(jì)參數(shù)，通常記為，即，稱為參數(shù)的估計(jì)量。對樣本的一組觀測值，統(tǒng)計(jì)量的值稱為參數(shù)的估計(jì)值。 點(diǎn)估計(jì)的問題就是要找一個作為待估參數(shù)的估計(jì)量的問題。 點(diǎn)估計(jì)的方法：數(shù)字特征法（矩估計(jì)法）、極大似然估計(jì)法、Bayes估計(jì)法、最小二乘法等等。 第2節(jié) 矩估計(jì)法 矩估計(jì)法由英國統(tǒng)計(jì)學(xué)家K.Person在20世紀(jì)初提出，基本思想就是

2、用樣本矩去估計(jì)相應(yīng)的總體矩。理論依據(jù)是大數(shù)定律。例1 設(shè)總體服從參數(shù)為的指數(shù)分布，即 為取自總體的樣本，求參數(shù)的矩估計(jì)量。例2 設(shè)總體，為取自總體的樣本，求參數(shù)的矩估計(jì)量。例3 設(shè)總體，為取自總體的樣本，求參數(shù)的矩估計(jì)量。例4 設(shè)總體，為取自總體的樣本，求參數(shù)的矩估計(jì)量。例5 設(shè)總體，為取自總體的樣本，求參數(shù)的矩估計(jì)量。 第3節(jié) 極大似然估計(jì)法 極大似然估計(jì)法最初由德國數(shù)學(xué)家C.F.Gauss于1821年提出，英國統(tǒng)計(jì)學(xué)家R.A.Fisher于1922年再次提出極大似然的思想，并探討了它的性質(zhì)。 假設(shè)總體，其中參數(shù)未知，現(xiàn)抽取容量為3的樣本，如果樣本觀察值為1、2、1，我們來估計(jì)參數(shù)。極大似然

3、估計(jì)法的步驟：l 對一組樣本，寫出似然函數(shù)；l 將似然函數(shù)取對數(shù)；l 令，求出，即為的極大似然估計(jì)。例1 設(shè)總體，為取自總體的樣本，求參數(shù)的極大似然估計(jì)量。例2設(shè)總體，為取自總體的樣本，求參數(shù)的極大似然估計(jì)量。例3 設(shè)總體，為取自總體的樣本，求參數(shù)的極大似然估計(jì)量。例4 設(shè)總體，為取自總體的樣本，求參數(shù)的極大似然估計(jì)量。定理1 設(shè)是參數(shù)的極大似然估計(jì)，若存在唯一的反函數(shù)，則是的極大似然估計(jì)。例5 設(shè)總體，未知，為取自總體的樣本，求的極大似然估計(jì)。第4節(jié) Bayes估計(jì) Bayes公式 例 對以往數(shù)據(jù)分析結(jié)果表明，當(dāng)機(jī)器調(diào)整良好時，產(chǎn)品的合格品率為90%，而當(dāng)機(jī)器發(fā)生故障時產(chǎn)品的合格品率為30%

4、。每天早上機(jī)器開動時機(jī)器調(diào)整得良好的概率為75%。試求已知某日早上第一件產(chǎn)品是合格品時機(jī)器調(diào)整得良好的概率是多大？解：設(shè)事件為“產(chǎn)品為合格品”，事件為“機(jī)器調(diào)整得良好”。則一、決策理論的基本概念 統(tǒng)計(jì)決策理論是著名統(tǒng)計(jì)學(xué)家A.Wald（1902-1950)在20世紀(jì)40年代建立起來的（Wald.A. Statistical decision function. New York：John Wileysons, 1950.中譯本：王福寶譯，統(tǒng)計(jì)決策函數(shù)，上海教育出版社，1963）。統(tǒng)計(jì)決策理論與經(jīng)典統(tǒng)計(jì)學(xué)的差別在于是否涉及后果。經(jīng)典統(tǒng)計(jì)學(xué)重在推斷上，而不考慮用在何處以及效果如何，統(tǒng)計(jì)決策理論引入

5、損失函數(shù)，用來度量效益的大小，評價統(tǒng)計(jì)推斷結(jié)果的優(yōu)劣。 Bayes分析是英國學(xué)者T.Bayes（1702-1761）首先提出，在20世紀(jì)后半葉迅速發(fā)展，它與經(jīng)典統(tǒng)計(jì)學(xué)的差別在于是否使用先驗(yàn)信息。1、決策問題與決策空間例1 設(shè)甲乙兩人進(jìn)行一種游戲，甲手中有三張牌，分別標(biāo)有，乙手中也有三張牌，分別標(biāo)有。游戲規(guī)則是雙方各自獨(dú)立地出牌，按下表記甲的得分與乙的失分：甲 乙 3 -2 01 4 -3-4 -1 2描述這類決策問題有三要素：l 狀態(tài)集：狀態(tài)集表示自然界或社會所有可能狀態(tài)的全體。也稱為參數(shù)集或參數(shù)空間。如本例的。l 行動集：行動集表示決策者可能采取的行動的全體。也稱為決策集或決策空間。如本例的

6、l 收益函數(shù)：收益函數(shù)表示自然界或社會處于狀態(tài)時，決策者采取行動所獲的收益。如本例的得分。當(dāng)和都是有限集時，成為收益矩陣。（1）先驗(yàn)信息：人們在過去對自然界或社會的各種狀態(tài)所獲得的信息。（2）樣本的信息：從與自然界或社會的狀態(tài)有關(guān)的環(huán)境中抽樣，從獲得的樣本中了解當(dāng)今狀態(tài)的最新信息。 如果在一個決策問題中只利用樣本的信息，這種問題稱為統(tǒng)計(jì)決策問題；如果在一個決策問題中不僅利用樣本的信息，還利用先驗(yàn)信息，這樣的問題稱為Bayes決策問題。例2 某工廠生產(chǎn)的產(chǎn)品每100件裝成一箱運(yùn)交顧客，在向顧客交貨前面臨如下兩個行動： a 1:一箱中逐一檢查； a2：一箱中都不檢查若工廠選擇行動a1，則可保證交貨

7、時每件產(chǎn)品都是合格品。但因每件產(chǎn)品檢查費(fèi)為0.8元，為此工廠要支付檢查費(fèi)80元/箱；若工廠選擇行動a2，工廠可免付每箱檢查費(fèi)80元，但顧客發(fā)現(xiàn)不合格品時，按合同不僅允許更換，而且每件還要支付12.5元的賠償金。2、損失函數(shù) 且有限，它反映決策中由于的不同，即使同一個偏差造成的危害性常不一樣，而是的非降函數(shù)。最常見的形式是，取非負(fù)整數(shù)。常用的損失函數(shù)：（1）平方損失函數(shù)：或加權(quán)平方損失函數(shù)：（2）線性損失函數(shù)：其中，和是兩個大于0的常數(shù)，它們的選擇常反映行動低于狀態(tài)和高于狀態(tài)的相對重要性。當(dāng)時，得絕對損失函數(shù)若和是的函數(shù)，則稱為加權(quán)線性損失函數(shù)（3）0-1損失函數(shù)：這里的是正數(shù)。這種損失函數(shù)常在

8、兩行動決策問題中使用，這里的0和1并不是損失的大小，是有無損失之意。類似的有或（4）多元二次損失函數(shù)：當(dāng)和是多維向量時其中，為階正定矩陣。在實(shí)際問題中，我們的愿望是選擇一個估計(jì)量，使損失函數(shù)達(dá)到最小。3、決策函數(shù)4、風(fēng)險(xiǎn)函數(shù) 二、Bayes估計(jì)量1、先驗(yàn)分布例3 英國統(tǒng)計(jì)學(xué)家Savage.L.J.曾考慮如下兩個問題：（1）一位常飲牛奶和茶的婦女聲稱，她能辨別先倒進(jìn)杯子里的是茶還是牛奶，對此作了十次試驗(yàn)，全都成功；（2）一位音樂家聲稱，他能從一頁樂譜辨別出是海頓(Haydn)的還是莫扎特(Mozart)的作品，在十次試驗(yàn)中全部成功。(0.5)10=0.00097662、后驗(yàn)分布（1）在經(jīng)典統(tǒng)計(jì)中

9、總體的分布依賴于參數(shù)和的取值，即總體的分布為，而Bayes學(xué)派認(rèn)為函數(shù)是在隨機(jī)變量給定某個值時的條件分布，所以應(yīng)該記為（2）根據(jù)參數(shù)的先驗(yàn)信息確定的先驗(yàn)分布（3）從總體中抽取樣本，則樣本的聯(lián)合分布為 這個聯(lián)合分布綜合了樣本的信息，又稱為似然函數(shù)。（4）考慮參數(shù)的先驗(yàn)信息，即把參數(shù)的先驗(yàn)信息與樣本的信息綜合到一起，得到樣本與參數(shù)的聯(lián)合分布 （5）將樣本的信息分離出來。如果用表示的后驗(yàn)分布，表示樣本的分布，它是樣本的分布，與無關(guān)，即不含的任何信息，亦即分解，分解成 其中， （連續(xù)型）或 （離散型）從而得到后驗(yàn)分布 是離散性還是連續(xù)型，取決于的先驗(yàn)分布是離散性還是連續(xù)型。從上述5個過程不難看出，當(dāng)從

10、總體獲得樣本后，公式把人們對的認(rèn)識從調(diào)整到，這個調(diào)整過程可以形象地表示為 先驗(yàn)信息樣本信息=后驗(yàn)信息即 例4 設(shè)總體，其中參數(shù)未知，且設(shè)在區(qū)間（0，1）上服從均勻分布，是來自總體的樣本，試求的后驗(yàn)分布。解：（1）的條件概率函數(shù)為 （2）的先驗(yàn)分布為 （3）樣本的聯(lián)合分布為（4）樣本和的聯(lián)合分布為 （5）樣本的分布為注意，函數(shù) 所以的后驗(yàn)分布 其中，即的后驗(yàn)分布為3、Bayes估計(jì)量定理 設(shè)總體的概率密度函數(shù)為，其中參數(shù)未知，且假定的先驗(yàn)分布為，為取自總體的樣本，如果損失函數(shù)為，則對樣本的任何一組觀察值，Bayes估計(jì)量為例5設(shè)總體，其中參數(shù)未知，且設(shè)在區(qū)間（0，1）上服從均勻分布，是來自總體的

11、樣本，給定損失函數(shù)，試求的Bayes估計(jì)量。解：由例4知，的后驗(yàn)分布為由定理知， 即的Bayes估計(jì)量為例6設(shè)總體，其中參數(shù)未知，且設(shè)服從，是來自總體的樣本，對損失函數(shù)，試求的Bayes估計(jì)量。解：（1）的條件概率函數(shù)為 （2）的先驗(yàn)分布為 （3）樣本的聯(lián)合分布為 （4）樣本和的聯(lián)合分布為 （5）樣本的分布為 所以的后驗(yàn)分布 （6）由定理對樣本的任意一組觀察值，的Bayes估計(jì)量為 第5節(jié) 估計(jì)量的優(yōu)良性一、無偏性定義1 設(shè)是參數(shù)的一個估計(jì)量，若則稱為的一個無偏估計(jì)量，否則稱是有偏的。如果，則稱為的漸近無偏估計(jì)量。例1 設(shè)總體的均值，方差，為取自于總體的樣本，證明樣本均值為的無偏估計(jì)，樣本方差

12、為的無偏估計(jì)，但樣本的二階中心矩是的有偏估計(jì)，但是的漸近無偏估計(jì)。證明：由第1章的第2節(jié)的定理1和定理2，知道，所以樣本均值為的無偏估計(jì)，樣本方差為的無偏估計(jì)。 所以樣本的二階中心矩是的有偏估計(jì)。由于所以樣本的二階中心矩是的漸近無偏估計(jì)。例2 設(shè)總體，其中參數(shù)未知，為取自總體的樣本，求與的無偏估計(jì)量。解：，說明是的無偏估計(jì)量。又，說明也是的無偏估計(jì)量。從而和都是的無偏估計(jì)量。由于 所以是的一個無偏估計(jì)量。又所以是的一個無偏估計(jì)量。從而和都是的無偏估計(jì)量。這說明一個參數(shù)的無偏估計(jì)不是唯一的。二、有效性與有效估計(jì)量定義2 設(shè)總體，其中參數(shù)是未知參數(shù)，為取自總體的樣本，與都是參數(shù)的無偏估計(jì)量，若，則

13、稱比更有效。即在的無偏估計(jì)量中，方差越小越有效。例3 設(shè)總體的期望，方差，為取自于總體的樣本，若為已知常數(shù)，且，證明為的無偏估計(jì)量，并問在這些無偏估計(jì)量中，當(dāng)為何值時最有效。解：這說明為的無偏估計(jì)量。記 令可得所以當(dāng)時，最小，說明在諸無偏估計(jì)量中，是最有效的。在有效性的定義中，我們說若，則稱比更有效。一個自然的問題是，在的無偏估計(jì)中是不是永遠(yuǎn)都只有“更好”而沒有“最好”呢？正則性條件：設(shè)總體的概率密度函數(shù)為（離散型時為概率分布律），關(guān)于未知參數(shù)可導(dǎo)，且的取值與的非零區(qū)域無關(guān)，即與無關(guān)，對的積分和微分可交換。 為了將問題一般化，考慮參數(shù)的函數(shù)的無偏估計(jì)量的方差，并假定關(guān)于可導(dǎo)。 設(shè)為取自總體的樣

14、本，則的聯(lián)合密度函數(shù)為 由于是無偏估計(jì)，所以 兩邊對求導(dǎo)，有引進(jìn)記號 則上式可以寫成 而 所以 于是由柯西-許瓦茲不等式 記，則 若，和稱為Rao-Cramer不等式。稱為參數(shù)的信息量。定義3 如果的無偏估計(jì)達(dá)到了Rao-Cramer不等式的下界，即，則稱為的有效估計(jì)量。定義4 設(shè)為的一個無偏估計(jì)量，稱為的有效率。性質(zhì) 例4 設(shè)總體服從參數(shù)為的指數(shù)分布，概率密度函數(shù)為 試求的信息量。解：， 例5 設(shè)總體，其中參數(shù)未知，已知，為取自總體的樣本，證明為的有效估計(jì)量。例6 設(shè)總體，為取自總體的樣本，為未知參數(shù)，證明是的有效估計(jì)量。定理 設(shè)總體的概率函數(shù)（連續(xù)型時為概率密度函數(shù)，離散型時為概率函數(shù)）關(guān)

15、于可導(dǎo)，其中為未知參數(shù)，與無關(guān)，為取自總體的樣本，如果 其中與只與有關(guān)，則為的無偏有效估計(jì)量。例7 設(shè)總體，其中參數(shù)未知，已知，為取自總體的樣本，求參數(shù)的無偏有效估計(jì)量。例8 設(shè)總體，為取自總體的樣本，為未知參數(shù)，求參數(shù)的有效估計(jì)量。三、相合性（一致性）定義 設(shè)是未知參數(shù)的估計(jì)序列，如果依概率收斂于，即對任意的，有 則稱是的相合估計(jì)或一致估計(jì)。定理 設(shè)是的一個估計(jì)量，若，且，則是的相合估計(jì)。切比雪夫不等式的推廣：四、充分統(tǒng)計(jì)量定義 設(shè)總體的分布函數(shù)為，為取自總體的樣本，為一個統(tǒng)計(jì)量。當(dāng)給定時，若樣本的條件分布與無關(guān)，即 （離散型時為概率函數(shù)，連續(xù)型時為密度函數(shù)），則稱為的充分統(tǒng)計(jì)量。定理1（因

16、子分解定理） 設(shè)總體的概率密度函數(shù)或概率函數(shù)為，其中參數(shù)未知， 一個統(tǒng)計(jì)量為的充分統(tǒng)計(jì)量的充要條件為的聯(lián)合概率密度（或概率）函數(shù)可以分解為其中是僅依賴于而與無關(guān)的非負(fù)函數(shù)，是與的非負(fù)函數(shù)。例1 設(shè)總體，為取自總體的樣本，為未知參數(shù)，證明是的充分統(tǒng)計(jì)量。例2 設(shè)總體，其中參數(shù)未知，為取自總體的樣本，求參數(shù)的充分統(tǒng)計(jì)量。例3 設(shè)總體，其中參數(shù)未知，為取自總體的樣本，求參數(shù)的充分統(tǒng)計(jì)量。定理2 設(shè)為的充分統(tǒng)計(jì)量，是單值可逆函數(shù)，則也是的充分統(tǒng)計(jì)量。 第6節(jié) 參數(shù)的置信區(qū)間一、參數(shù)的置信區(qū)間的定義定義1 設(shè)是未知參數(shù)，對于給定的，若由樣本構(gòu)造的兩個統(tǒng)計(jì)量和，且，使，對一切，則稱為置信水平，稱隨機(jī)區(qū)間是

17、參數(shù)的置信水平為的雙側(cè)置信區(qū)間，和分別稱為置信水平為的雙側(cè)置信區(qū)間的置信下限和置信上限。定義2 對于給定的，若由樣本構(gòu)造的統(tǒng)計(jì)量，使，稱隨機(jī)區(qū)間是參數(shù)的置信水平為的單側(cè)置信區(qū)間，稱為置信水平為的單側(cè)置信上限。若由樣本構(gòu)造的統(tǒng)計(jì)量，使，稱隨機(jī)區(qū)間是參數(shù)的置信水平為的單側(cè)置信區(qū)間，稱為置信水平為的單側(cè)置信下限。二、正態(tài)總體參數(shù)的置信區(qū)間1單正態(tài)總體參數(shù)的置信區(qū)間設(shè)為取自于正態(tài)總體的樣本，樣本均值和樣本方差分別為，求和的置信區(qū)間。（1）的置信區(qū)間若已知，的置信區(qū)間為若未知，的置信區(qū)間為例1設(shè)總體，其中參數(shù)未知，為取自總體的樣本，對樣本進(jìn)行觀察，得一組觀察值為6.92 7.34 7.26 6.88，求

18、參數(shù)的置信水平為0.95的置信區(qū)間。解：的置信水平為0.95的置信區(qū)間為例2 從某商店一年來的發(fā)票存根中隨機(jī)抽取26張，計(jì)算得平均金額78.5元，樣本標(biāo)準(zhǔn)差為20元。假設(shè)發(fā)票金額數(shù)服從正態(tài)分布，其中和未知，試求該商店一年來發(fā)票平均金額數(shù)的0.90的置信區(qū)間。解：的0.90的置信區(qū)間為（2）的置信區(qū)間若已知，的置信區(qū)間為若未知， 的置信區(qū)間為例3 某汽車電池制造商聲稱其生產(chǎn)的電池平均壽命為3年，標(biāo)準(zhǔn)差為1年，這些電池中有5個使用壽命為1.9 2.4 3.0 3.5 4.2年。試求總體方差的0.95的置信區(qū)間，并判定制造商聲稱是否有效。假定電池壽命近似服從正態(tài)分布。（1）已知；（2）未知。解：（1

19、）已知，的0.95置信區(qū)間為 的0.95置信區(qū)間為該區(qū)間包含，可以認(rèn)為制造商聲稱有效。（2）未知，的置信區(qū)間為的0.95置信區(qū)間為也可以認(rèn)為制造商聲稱有效。例5 從一批電視顯像管中隨機(jī)抽取6個測試其使用壽命，（單位：Kh）：15.6 14.9 16.0 14.8 15.3 15.5，假設(shè)顯像管壽命，其中和未知，試求（1）的0.95單側(cè)置信下限；（2）的0.90單側(cè)置信上限。解：（1）因?yàn)槲粗?，選取由得的0.95單側(cè)置信下限為即的0.95單側(cè)置信區(qū)間為（2）因?yàn)槲粗?，選取得的0.90單側(cè)置信上限為即的0.90單側(cè)置信區(qū)間為（0，0.63）2雙正態(tài)總體均值差和方差比的置信區(qū)間設(shè)是來自于總體的簡單隨機(jī)樣本，和分別是樣本均值和樣本方差；是來自于總體的簡單隨機(jī)樣本，和分別是樣本均值和樣本方差。且兩樣本相互獨(dú)立。（1）的置信區(qū)間若已知，的置信區(qū)間為若未知，的置信區(qū)間為 例5 兩臺機(jī)床生產(chǎn)同一型號的滾珠，從甲機(jī)床生產(chǎn)的滾珠中抽取8個，得；從乙機(jī)床生產(chǎn)的滾珠中抽取9個，得，設(shè)兩臺機(jī)床生產(chǎn)的滾珠直徑（毫米）服從正態(tài)分布。（1）若兩臺機(jī)床生產(chǎn)的滾珠直徑的標(biāo)準(zhǔn)差分別是，求的0.90的置信區(qū)間。（2）若