《數(shù)據(jù)科學(xué)統(tǒng)計基礎(chǔ)（第二版）》 課件 呂曉玲 第4、5章 統(tǒng)計決策與貝葉斯方法;再抽樣方法

數(shù)理統(tǒng)計中國人民大學(xué)統(tǒng)計學(xué)院第四章統(tǒng)計決策與貝葉斯方法4.1統(tǒng)計決策的基本概念4.2貝葉斯點估計4.3貝葉斯區(qū)間估計4.4貝葉斯假設(shè)檢驗4.5MCMC算法4.6與本章相關(guān)的R語言操作統(tǒng)計決策的基本概念PART4.14.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素著名統(tǒng)計學(xué)家瓦爾德（A.Wald,1902–1950）提出把統(tǒng)計推斷問題看成是人與自然的一種”博弈”，建立了統(tǒng)計決策理論，對數(shù)理統(tǒng)計學(xué)的發(fā)展產(chǎn)生了重要的影響。

貝葉斯方法運用統(tǒng)計決策理論。以點估計問題為例，我們需要給出一個合適的估計量，這個估計量也稱為該統(tǒng)計問題的解，從統(tǒng)計決策理論來看，一個統(tǒng)計問題的解就是統(tǒng)計決策函數(shù)。為了了解統(tǒng)計決策函數(shù)這一概念，我們先介紹構(gòu)成統(tǒng)計決策問題的基本要素：樣本空間和分布族，決策空間以及損失函數(shù)。4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素1.樣本空間和分布族

4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素例4.1.1

i=1

n

i=1

n

n-4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素2.決策空間統(tǒng)計問題,如參數(shù)??的點估計，區(qū)間估計及其他估計問題需要給出合適的回答。在統(tǒng)計決策理論中稱每一個具體的回答為一個決策，一個統(tǒng)計問題中可能選取的全部決策組成的集合稱為決策空間，記為Δ。一個決策空間Δ至少應(yīng)含有兩個決策。4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素例4.1.2某公司打算根據(jù)歷年來市場的銷售量以及當(dāng)前市場競爭情況決定下年度應(yīng)該擴(kuò)大投資還是縮減投資，或者維持現(xiàn)狀，這樣決策空間Δ為Δ={擴(kuò)大投資，縮減投資，維持現(xiàn)狀}。例4.1.3

4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素3.損失函數(shù)統(tǒng)計決策的一個基本觀點和假定是，每一個決策都會產(chǎn)生經(jīng)濟(jì)或其他的后果，

不同決策產(chǎn)生的后果不同。一個具體的統(tǒng)計決策問題，一般有多種優(yōu)劣不同的決策可以選擇。引入一個依賴于參數(shù)值??∈Θ和決策a∈Δ的二元實值非負(fù)函數(shù)L(??,a)≥0，稱之為損失函數(shù)。表示當(dāng)參數(shù)真值為??而采取的決策為a時所造成的損失，決策越正確，損失就越小。由于統(tǒng)計問題總是利用樣本對總體進(jìn)行推斷，所以誤差是不可避免的，損失總是存在的，這就是損失函數(shù)定義為非負(fù)函數(shù)的原因。4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素例4.1.4設(shè)總體X服從正態(tài)分布N(??,1)，??為未知參數(shù)，參數(shù)空間M=(?∞,+∞)，決策空間取Δ=(?∞,+∞)，一個可供參考的損失函數(shù)是：當(dāng)a=??，即估計正確時損失為0，估計a與實際值??的距離|a???|越大，損失也越大。

4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素如果要求未知參數(shù)??的區(qū)間估計，

損失函數(shù)可取為：

4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素常見的損失函數(shù)有以下幾種：(1)線性損失函數(shù)

(4.1.1)

(4.1.2)4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素(2)平方損失函數(shù)

（4.1.3）

(3)凸損失函數(shù)

（4.1.4）4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素(4)多元二次損失函數(shù)

（4.1.5）當(dāng)??和a均為多維向量時，可取如下二次型作為損失函數(shù)。

（4.1.6）

i=1

p

4.1統(tǒng)計決策的基本概念4.1.1統(tǒng)計決策問題的三要素在實際問題中采用決策方法，如何選擇損失函數(shù)是一個關(guān)鍵問題，也是一個難點。一般來說，選取的損失函數(shù)應(yīng)與實際問題相符合，同時也要方便數(shù)學(xué)處理。上面提到的二次損失即平方損失函數(shù)是參數(shù)點估計中常用的一種損失函數(shù)。從統(tǒng)計決策的觀點來看，負(fù)對數(shù)似然函數(shù)也是一種損失函數(shù)，最大似然估計就是要最小化這個損失。4.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)1.統(tǒng)計決策函數(shù)

定義4.1.1定義在樣本空間??上,取值空間在決策空間Δ上的函數(shù)??(X),稱為統(tǒng)計決策函數(shù),簡稱為決策函數(shù)。4.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)

4.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)例如

就是一個決策函數(shù)。4.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)2.風(fēng)險函數(shù)給定一個決策函數(shù)??(x)，則采取的決策完全取決于樣本X，從而損失必然與X有關(guān)，也就是說決策函數(shù)??(x)與損失函數(shù)L(??,a)都是樣本X的函數(shù)，因此都是隨機(jī)變量。

為了比較決策的優(yōu)劣，常用平均損失作為指標(biāo)，平均損失也稱為風(fēng)險。定義4.1.24.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)

風(fēng)險越小，即平均損失越小說明決策函數(shù)越好。但是對于給定的決策函數(shù)??(x)，風(fēng)險函數(shù)仍是??的函數(shù)，所以兩個決策函數(shù)風(fēng)險大小的比較涉及兩個函數(shù)的比較，因此就產(chǎn)生了優(yōu)良性準(zhǔn)則。定義4.1.34.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)

定義4.1.44.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)

上述兩個定義都是對某個給定的損失函數(shù)而言的，相應(yīng)的結(jié)論隨損失函數(shù)的改變而變。4.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)例4.1.5

4.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)例4.1.6

現(xiàn)研究??的估計問題，為此取決策空間Δ=R，取損失函數(shù)為：

其中I(??)為示性函數(shù)，當(dāng)??=??時它為1，否則為0。從樣本空間??到?jīng)Q策空間Δ上的決策函數(shù)有許多，現(xiàn)考察其中三個。4.1統(tǒng)計決策的基本概念4.1.2統(tǒng)計決策函數(shù)與風(fēng)險函數(shù)

第4章統(tǒng)計決策與貝葉斯方法貝葉斯點估計PART4.24.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式1.三種信息與先驗分布統(tǒng)計學(xué)中有兩個主要學(xué)派，頻率學(xué)派（又稱經(jīng)典學(xué)派）和貝葉斯學(xué)派，他們之間有共同點，也有不同點。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式總體信息，即總體分布或總體所屬分布族給我們的信息。譬如，“總體是正態(tài)分布”這句話就給我們帶來很多信息。

(2)樣本信息，即樣本提供給我們的信息，這是最“新鮮的信息”，并且越多越好。我們希望通過樣本對總體分布或總體的某些特征作出較精確的統(tǒng)計推斷。

沒有樣本，就沒有統(tǒng)計學(xué)可言。基于以上兩種信息進(jìn)行統(tǒng)計推斷的統(tǒng)計學(xué)就稱為經(jīng)典統(tǒng)計學(xué)，

前述的矩估計、最大似然估計、最小方差無偏估計等都屬于經(jīng)典統(tǒng)計學(xué)范疇。(3)先驗信息，即在抽樣之前有關(guān)統(tǒng)計問題的一些信息。

一般來說，先驗信息來源于經(jīng)驗和歷史資料。先驗信息在日常生活和工作中是很重要的，

人們自覺或不自覺地在使用它。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式例4.2.1

英國統(tǒng)計學(xué)家薩瓦赫曾考察了如下兩個統(tǒng)計試驗：一位常飲牛奶加茶的婦女聲稱，她能辨別先倒進(jìn)杯子里的是茶還是牛奶，對此做了十次試驗。她都正確地說出了。一位音樂家聲稱，他能從一頁樂譜辨別出這是海頓(Haydn)還是莫扎特(Mozart)的作品，在十次這樣的試驗中，他都辨別正確。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式基于上述三種信息進(jìn)行統(tǒng)計推斷的統(tǒng)計學(xué)稱為貝葉斯統(tǒng)計學(xué)。貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時，還注意先驗信息的收集、挖掘和加工，使它數(shù)量化，形成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的質(zhì)量。貝葉斯統(tǒng)計起源于英國學(xué)者貝葉斯（BayesT.R.）死后發(fā)表的一篇論文《論有關(guān)機(jī)遇問題的求解》，在此文中提出了著名的貝葉斯公式和一種歸納推理的方法，之后，被一些統(tǒng)計學(xué)家發(fā)展成一種系統(tǒng)的統(tǒng)計推斷方法。在20世紀(jì)30年代已形成貝葉斯學(xué)派，到五六十年代發(fā)展成一個有影響的統(tǒng)計學(xué)派，其影響還在日益擴(kuò)大，打破了經(jīng)典統(tǒng)計學(xué)一統(tǒng)天下的局面。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式貝葉斯學(xué)派最基本觀點是：任一未知量都可看做隨機(jī)變量，可用一個概率分布去描述，這個分布稱為先驗分布。因為任一未知量都有不確定性，而在表述不確定性的程度時，概率與概率分布是最好的語言，再看下面一個例子。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式例4.2.2某地區(qū)煤的儲量??在幾百年內(nèi)不會有多大變化，可看做一個常量，但對人們來說,它是未知的、不確定的。有位專家研究了有關(guān)鉆探資料，結(jié)合經(jīng)驗,他認(rèn)為：該地區(qū)煤的儲量??“大概有5億噸左右”。若把“5億噸左右”理解為4億到6億噸,把“大概”理解為80%的把握,還有20%的可能性在此區(qū)間之外。這無形中就是用一個概率分布去描述未知量??。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式如今經(jīng)典學(xué)派已不反對這一觀點。著名的美國經(jīng)典統(tǒng)計學(xué)家萊曼（LehmannE.L.）在《點估計理論》一書中寫道：

”把統(tǒng)計問題中的參數(shù)看做隨機(jī)變量的實現(xiàn)要比看做未知參數(shù)更合理一些?！叭缃駜膳傻臓幷摻裹c是：

如何利用各種先驗信息合理地確定先驗分布。這在有些場合是容易解決的，但在很多場合是相當(dāng)困難的。這時應(yīng)加強(qiáng)研究，發(fā)展貝葉斯統(tǒng)計，而不宜簡單處置，引起非難。關(guān)于未知量是否可看做隨機(jī)變量在經(jīng)典學(xué)派與貝葉斯學(xué)派間爭論了很長時間。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式2.貝葉斯公式依賴于參數(shù)??的密度函數(shù)在經(jīng)典統(tǒng)計中記為p(x;??)，它表示參數(shù)空間Θ中不同的??對應(yīng)不同的分布。

在貝葉斯統(tǒng)計中應(yīng)記為p(x|??)，它表示在隨機(jī)變量??給定某個值時，X的條件密度函數(shù)。(2)根據(jù)參數(shù)??的先驗信息確定先驗分布

π(??)。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式2.貝葉斯公式

ni=1（4.2.1）4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式(4)由于??′是設(shè)想出來的，仍然是未知的，它是按先驗分布π(??)產(chǎn)生的。為把先驗信息綜合進(jìn)去，不能只考慮??′，對??的其他值發(fā)生的可能性也要加以考慮，故要用π(??)進(jìn)行綜合。這樣一來，樣本x和參數(shù)??的聯(lián)合分布為：

這個聯(lián)合分布把三種可用信息都綜合進(jìn)去了。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式

其中m(x)是X的邊際密度函數(shù)：

它與??無關(guān)，或者說m(x)中不含??的任何信息。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式因此能用來對??作出推斷的僅是條件分布π(??|x)，它的計算公式是

這就是貝葉斯公式的密度函數(shù)形式。這個條件分布稱為??的后驗分布，它集中了總體、樣本和先驗中有關(guān)??的一切信息。它也是用總體和樣本對先驗分布π(??)作調(diào)整的結(jié)果，它要比π(??)更接近??的實際情況，從而使基于π(??|x)對??的推斷可以得到改進(jìn)。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式其他場合下的貝葉斯公式容易寫出在x是離散隨機(jī)變量和??是連續(xù)隨機(jī)變量：(4.2.6)所示當(dāng)??為離散隨機(jī)變量時：(4.2.7)和式(4.2.8)所示

4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式例4.2.3

4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式假如在試驗前，我們對事件A沒有什么了解，從而對其發(fā)生的概率??也說不出是大是小。在這種場合，貝葉斯建議用區(qū)間(0,1)上的均勻分布U(0,1)作為??的先驗分布。貝葉斯的這個建議被后人稱為貝葉斯假設(shè)。這里??的先驗分布為：

為了綜合試驗信息和先驗信息，可利用貝葉斯公式為此先計算樣本X與參數(shù)??的聯(lián)合分布：

4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式從形式上看，此聯(lián)合分布與式(4.2.9)沒有差別，但在定義域上有差別。再計算樣本X的邊際分布：

將式(4.2.11)除以式(4.2.12)，即得??的后驗分布：

這便是參數(shù)為x+1與n?x+1的貝塔分布Be(x+1,n?x+1)。4.2貝葉斯點估計4.2.1先驗分布與貝葉斯公式拉普拉斯在1786年研究了巴黎男嬰出生的比率??是否大于0.5。為此，他收集了1745—1770年在巴黎出生的嬰兒數(shù)據(jù)，其中男嬰為251527個，女嬰為241945個。他選用U(0,1)作為??的先驗分布，于是得??的后驗分布為Be(x+1,n?x+1)，利用這一后驗分布，拉普拉斯計算了“??≤0.5”的后驗概率：

4.2貝葉斯點估計4.2.2先驗分布先驗分布的確定在貝葉斯統(tǒng)計推斷中是關(guān)鍵的一步，它會影響最后的貝葉斯統(tǒng)計推斷結(jié)果。先驗分布確定的原則有二：一：要根據(jù)先驗信息（經(jīng)驗和歷史資料）；二：要使用方便，即在數(shù)學(xué)上處理方便。在具體操作時，人們可首先假定先驗分布來自于數(shù)學(xué)上易于處理的一個分布族，然后再依據(jù)已有的先驗信息從該分布族中挑選一個作為未知參數(shù)的先驗分布。當(dāng)所給定的先驗分布中的超參數(shù)難于確定時，可以對超參數(shù)再給出一個先驗，第二個先驗稱為超先驗。由先驗和超先驗決定的一個新先驗稱為多層先驗，這樣的分析方法也稱為層次貝葉斯模型。4.2貝葉斯點估計4.2.2先驗分布先驗分布的確定現(xiàn)已有一些較為成熟的方法，具體有無信息先驗分布，共軛先驗分布等。無信息先驗分布是指沒有先驗信息場合如何確定先驗分布。人們常把“沒有??的任何信息”理解為對??的任何可能值沒有偏愛，同等可能。因此很自然的把的取值范圍上的均勻分布取作??的先驗分布。若參數(shù)空間為無限區(qū)間時，比如??∈(?∞,+∞)，則無法在其上面定義一個正常的均勻分布，此時，我們假定先驗分布??(??)=c,?∞<??<+∞，這雖不是一個正常的概率密度函數(shù)，但代入貝葉斯公式，不影響后驗密度函數(shù)的求解，因此Bayes學(xué)派將其稱為廣義先驗密度。定義4.2.14.2貝葉斯點估計設(shè)??是某分布中的一個參數(shù)，π(??)是其先驗分布。假如由抽樣信息算得的后驗分布π(??|x)與π(??)同屬于一個分布族，則稱π(??)是??的共軛先驗分布。4.2.2先驗分布4.2貝葉斯點估計4.2.2先驗分布常用的共軛先驗分布列于表4.2.1中。總體分布參數(shù)共軛先驗分布二項分布成功概率貝塔分布泊松分布均值伽瑪分布指數(shù)分布均指倒數(shù)伽瑪分布正態(tài)分布（方差已知）均值正態(tài)分布正態(tài)分布（均值已知）方差倒伽瑪分布表4.2.1常用的共軛先驗分布4.2貝葉斯點估計例4.2.4

4.2.2先驗分布

i=1

n

4.2貝葉斯點估計4.2.2先驗分布由此可寫出樣本X與參數(shù)??的聯(lián)合密度函數(shù)：

4.2貝葉斯點估計4.2.2先驗分布由此容易算得樣本X的邊際分布為：

將上述兩式相除，即得??的后驗分布：

4.2貝葉斯點估計4.2.2先驗分布先驗分布中常含有未知參數(shù)，先驗分布中的未知參數(shù)稱為超參數(shù)。在先驗分布類型已定，但其中還含有超參數(shù)時，確定先驗分布的問題就轉(zhuǎn)化為估計超參數(shù)的問題。下面的例子雖僅涉及貝塔分布，但其確定超參數(shù)的方法在其他分布中也可使用。4.2貝葉斯點估計例4.2.5二項分布中成功概率的共軛先驗分布是貝塔分布Be(a,b)，現(xiàn)在來討論此共軛分布中的兩個超參數(shù)a與b如何確定，下面分幾種情況討論：4.2.2先驗分布

由于貝塔分布的均值與方差分別為：

4.2貝葉斯點估計4.2.2先驗分布

4.2貝葉斯點估計4.2.2先驗分布

4.2貝葉斯點估計4.2.2先驗分布貝塔分布aa+bBe(2,3)250.40.0400Be(4,6)4100.40.0218Be(8,12)8200.40.0114Be(10,15)10250.40.0092Be(14,21)14350.40.0067表4.2.2貝塔分布中超參數(shù)與方差的關(guān)系4.2貝葉斯點估計4.2.2先驗分布

4.2貝葉斯點估計4.2.2先驗分布

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計1.貝葉斯風(fēng)險將參數(shù)??視為Θ上具有先驗分布??(??)的隨機(jī)變量，(4.1.7)式的風(fēng)險函數(shù)R(??,??)可寫為：

R(??)稱為決策函數(shù)??在給定先驗分布??(??)下的貝葉斯風(fēng)險，簡稱??的貝葉斯風(fēng)險。4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計當(dāng)總體X和??都是連續(xù)型隨機(jī)變量時，有：

當(dāng)總體X和??都是離散型隨機(jī)變量時，有:

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

第一次先對??的后驗分布求期望第二次關(guān)于樣本X邊緣分布求期望，此時，R(??)已不依賴于決策函數(shù)??(x)，以貝葉斯風(fēng)險大小作為衡量決策函數(shù)的標(biāo)準(zhǔn)是合理的。4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計2.貝葉斯點估計貝葉斯點估計是對于給定的先驗分布，用平均風(fēng)險函數(shù)評價一個估計量在一個給定的損失函數(shù)情況下的表現(xiàn)，進(jìn)而嘗試去求具有最小貝葉斯風(fēng)險值的估計量。定義4.2.24.2貝葉斯點估計

4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

定理4.2.1

則??的貝葉斯估計是：

其中h(??|X)為參數(shù)??的后驗密度。4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

而

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計定理4.2.2設(shè)??的先驗分布??(??)，取損失函數(shù)為加權(quán)平方損失函數(shù)：

則??的貝葉斯估計為：

本定理的證明與定理4.2.1類似，這里略去不證。4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計定理4.2.3

其中P為正定矩陣，則??的貝葉斯估計為后驗分布h(??|x)的均值向量，即：

這個結(jié)論表明，在正定二次損失下，??的貝葉斯估計不受正定矩陣P的選取影響，??的貝葉斯估計關(guān)于P是穩(wěn)健的。4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計定義4.2.3設(shè)??=??(x)為決策函數(shù)類D中任一個決策函數(shù)，損失函數(shù)為L(??,??(x))，則L(??,??(x))對后驗分布h(??|x)的數(shù)學(xué)期望稱為后驗風(fēng)險，記為：

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計定理4.2.4對給定的統(tǒng)計決策問題（包括先驗分布給定的情形）和決策函數(shù)類D，當(dāng)貝葉斯風(fēng)險滿足如下條件：

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計定理4.2.5設(shè)??的先驗分布為??(??)，損失函數(shù)為絕對值損失：

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

類似的，對于??<m,亦可證明。證畢4.2貝葉斯點估計例4.2.6

解：由定理4.2.1知，當(dāng)損失函數(shù)為二次損失函數(shù)時，欲求p的貝葉斯估計需先求p的后驗分布：

由表4.2.1知后驗是Beta分布，其均值為：

4.2.3貝葉斯風(fēng)險與貝葉斯點估計4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計這個估計的貝葉斯風(fēng)險為：

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計所以：

ni=1可求出其貝葉斯風(fēng)險為1/(6n)。4.2貝葉斯點估計例4.2.7

4.2.3貝葉斯風(fēng)險與貝葉斯點估計4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

假如這個兒童測驗得分為115分，則其智商的貝葉斯估計為：

4.2貝葉斯點估計例4.2.8為估計不合格品率??，今從一批產(chǎn)品中隨機(jī)抽取n件，其中不合格品數(shù)為X=x，又設(shè)??的先驗分布為貝塔分布Be(a,b)，這里a,b已知。求平方損失下??的貝葉斯估計。解：由共軛先驗分布可知，此時??的后驗分布??(??|x)為貝塔分布Be(a+x,b+n?x)，此后驗分布的均值即為??的貝葉斯估計，故

4.2.3貝葉斯風(fēng)險與貝葉斯點估計4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計作為一個數(shù)值例子，我們選用貝葉斯假設(shè)，即??的先驗分布選為均勻分布U(0,1)，它就是a=b=1的貝塔分布。假如其他條件不變，那么??的貝葉斯估計為：

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計4.2貝葉斯點估計例4.2.9經(jīng)過早期篩選后的彩色電視接收機(jī)（簡稱彩電）

的壽命服從指數(shù)分布。它的密度函數(shù)為：

4.2.3貝葉斯風(fēng)險與貝葉斯點估計4.2貝葉斯點估計例4.2.9解：截尾樣本的聯(lián)合分布為：

4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計例4.2.10

4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計4.2.3貝葉斯風(fēng)險與貝葉斯點估計

4.2貝葉斯點估計在給定樣本分布p(x|??)和先驗分布??(??)后，用貝葉斯公式可得??的后驗分布：假如把m(x)省略，貝葉斯公式可改寫為如下形式：

4.2.4兩個注釋1.利用分布的核簡化后驗分布計算4.2貝葉斯點估計例4.2.11

解：這個問題曾在例4.2.3中出現(xiàn)過，這里用分布的核再做一次。首先寫出樣本分布與貝塔分布的核：這兩個分布含有??的核類同，其乘積是后驗分布??(??|x)的核

4.2.4兩個注釋4.2貝葉斯點估計4.2.4兩個注釋此核仍是貝塔分布Be(a+t,b+n?t)的核，在熟悉貝塔分布的情況下，立即可寫出后驗分布的密度及其期望與方差：

從上述簡短的過程可以看出，由于省略了邊際密度m(x)的計算，從而簡化了后驗分布的計算，但需要熟悉分布的核。另外還可看出，貝塔分布之所以可為成功概率??的共軛先驗，關(guān)鍵之處在于先驗分布與樣本分布的核類同。

4.2貝葉斯點估計例4.2.12

4.2.4兩個注釋4.2貝葉斯點估計

4.2.4兩個注釋

4.2貝葉斯點估計2.貝葉斯統(tǒng)計中的充分統(tǒng)計量充分統(tǒng)計量是經(jīng)典統(tǒng)計學(xué)中的一個概念，但與貝葉斯統(tǒng)計是相容的，也是經(jīng)典學(xué)派與貝葉斯學(xué)派間相一致的少數(shù)幾個論點之一。其中g(shù)(t,??)是t與??的函數(shù)，并通過t=T(x)與樣本發(fā)生聯(lián)系；而h(x)僅是樣本x的函數(shù)，與??無關(guān)，則T(x)為??的充分統(tǒng)計量。4.2.4兩個注釋

4.2貝葉斯點估計在貝葉斯統(tǒng)計中對充分統(tǒng)計量也有一個充要條件，其充要條件說：

若??的后驗分布??(??|x)可以表示為??和某個統(tǒng)計量T(x)的函數(shù)：

4.2.4兩個注釋則T(x)為??的充分統(tǒng)計量。上述兩個充要條件式(4.2.18)與式(4.2.19)是等價的。4.2貝葉斯點估計例4.2.13

4.2.4兩個注釋4.2貝葉斯點估計例4.2.13

4.2.4兩個注釋

第4章統(tǒng)計決策與貝葉斯方法貝葉斯區(qū)間估計PART4.34.3貝葉斯區(qū)間估計4.3.1可信區(qū)間對于區(qū)間估計問題，貝葉斯方法具有處理方便和含義清晰的優(yōu)點。當(dāng)參數(shù)??的后驗分布??(??|x)獲得以后，立即可計算??落在某區(qū)間[a,b]內(nèi)的后驗概率，譬如1???，即：

4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間定義4.3.1

4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間這里的可信水平和可信區(qū)間與經(jīng)典統(tǒng)計中的置信水平和置信區(qū)間雖是同類的概念,但兩者在解釋上和尋求上有本質(zhì)差別，主要表現(xiàn)在如下兩點：(1)在貝葉斯方法下，對給定的樣本x和可信水平1???，通過后驗分布可求得具體的可信區(qū)間，譬如，??的可信水平為0.9的可信區(qū)間是[1.5,2.6]，這時我們可以寫出：

還可以說??屬于這個區(qū)間的概率為0.9或??落入這個區(qū)間的概率為0.9，可對置信區(qū)間就不能這么說，因為經(jīng)典統(tǒng)計認(rèn)為??是常量，它要么在[1.5,2.6]內(nèi)，要么在此區(qū)間之外，不能說??在[1.5,2.6]內(nèi)的概率為0.9，只能說使用這個置信區(qū)間100次，大約90次能蓋住??。此種頻率解釋對僅使用一次或兩次的人來說是毫無意義的，相比之下，前者的解釋簡單、自然，易被人們理解和采用，實際情況是很多實際工作者把求得的置信區(qū)間當(dāng)作可信區(qū)間去理解和使用。4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間(2)在經(jīng)典統(tǒng)計中尋求置信區(qū)間有時是困難的，因為要設(shè)法構(gòu)造一個樞軸量（含有被估參數(shù)的隨機(jī)變量），使它的分布不含有未知參數(shù)，這是一項技術(shù)性很強(qiáng)的工作，

不熟悉“抽樣分布”是很難完成的，可尋求可信區(qū)間只需利用后驗分布，無須再去尋求另外的分布，兩種方法相比，可信區(qū)間的尋求要簡單得多。例4.3.1

4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間

4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間在這個例子中，若不用先驗信息，僅用抽樣信息，則按經(jīng)典方法，由X～N(??,100)和x=115亦可求得??的0.95置信區(qū)間：

這兩個區(qū)間是不同的，區(qū)間長度也不等，可信區(qū)間的長度短一些是由于使用了先驗信息。另一個差別是經(jīng)典方法不允許說??位于區(qū)間(95.4,134.6)內(nèi)的概率是0.95，也不允許說區(qū)間(95.4,134.6)蓋住??的概率是0.95，在這一束縛下，

這個區(qū)間(95.4,134.6)還能有什么用處呢？這就是置信區(qū)間常受到批評的原因，可不少人仍在使用置信區(qū)間的結(jié)果，在他們心目中總認(rèn)為??在(95.4,134.6)內(nèi)的概率為0.95，就把此區(qū)間當(dāng)作可信區(qū)間去解釋。例4.3.2經(jīng)過早期篩選后的彩色電視接收機(jī)（簡稱彩電）的壽命服從指數(shù)分布，它的密度函數(shù)為：

其中，??>0是彩電的平均壽命，在例4.2.9中曾選用??的共軛先驗分布——倒伽瑪分布IGa(??,??)，并利用先驗信息確定其中兩個參數(shù)：??=1.956，??=2868，后又利用樣本信息（100臺彩電進(jìn)行400小時試驗，無一臺失效，即S=40000，r=0）。最后得到后驗分布IGa(??+r,??+S)，在那里還獲得平均壽命??的貝葉斯估計：4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間

4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間

4.3貝葉斯區(qū)間估計4.3.1可信區(qū)間由此可得平均壽命??的0.90可信下限

上述計算表明，20世紀(jì)80年代我國彩電的平均壽命接近4.5萬小時，而平均壽命的90%可信下限為1.1萬小時。4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間對給定的可信水平1???，從后驗分布??(??|x)，獲得的可信區(qū)間不止一個，常用的方法是把??平分，用??/2和1???/2分位數(shù)來獲得??的可信區(qū)間。等尾可信區(qū)間在實際中經(jīng)常應(yīng)用，但不是最理想的，最理想的可信區(qū)間應(yīng)是區(qū)間長度最短的，這只要把具有最大后驗密度的點都包含在區(qū)間內(nèi)，而使區(qū)間外的點上的后驗密度函數(shù)值不超過區(qū)間內(nèi)的后驗密度函數(shù)值，這樣的區(qū)間稱為最大后驗密度（highestposteriordensity,HPD）可信區(qū)間，它的一般定義如下。4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間定義4.3.2設(shè)參數(shù)??的后驗密度為??(??|x)，對給定的概率1???(0<??<1)，若在??的直線上存在這樣一個子集C，滿足下列兩個條件：

4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間這個定義僅對后驗密度函數(shù)而給，這是因為當(dāng)??為離散隨機(jī)變量時，HPD可信集很難實現(xiàn)。從這個定義可見，當(dāng)后驗密度函數(shù)??(??|x)為單峰時（見圖4.3.1a），一般總可找到HPD可信區(qū)間，而當(dāng)后驗密度函數(shù)??(??|x)為多峰時，可能得到由幾個互不連接的區(qū)間組成的HPD可信集（見圖4.3.1b），此時很多統(tǒng)計學(xué)家建議放棄HPD準(zhǔn)則，采用相連接的等尾可信區(qū)間。后驗密度函數(shù)出現(xiàn)多峰常常是由于先驗信息與抽樣信息不一致引起的，認(rèn)識和研究此種抵觸信息往往是重要的，共軛先驗分布大多是單峰的，這必導(dǎo)致后驗分布也是單峰的，它可能會掩蓋這種抵觸，這種掩蓋有時是不好的，這就告訴我們，要慎重對待和使用共軛先驗分布。4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間當(dāng)后驗密度函數(shù)單峰、對稱時，尋求(1???)HPD可信區(qū)間較為容易，它就是等尾可信區(qū)間；當(dāng)后驗密度函數(shù)單峰但不對稱時，尋求HPD可信區(qū)間并不容易，這時可借助計算機(jī)。譬如，當(dāng)后驗密度函數(shù)??(??|x)是??的單峰連續(xù)函數(shù)時，可按下述方法逐漸逼近，獲得??的(1???)HPD可信區(qū)間。4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間

4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間例4.3.3在例4.3.2中已確定彩電平均壽命??的后驗分布為倒伽瑪分布IGa(1.956,42868)，現(xiàn)求??的可信水平為0.90的最大后驗密度(HPD)可信區(qū)間。為簡單起見，這里的1.956用近似數(shù)2代替，于是??的后驗密度為：

這將為計算可信區(qū)間的后驗概率提供方便。4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間

這個數(shù)過小，對計算不利，在以下計算中我們用????(??|x)來代替??(??|x)，這并不會影響我們尋求HPD可信區(qū)間，其中我們按尋求HPD可信區(qū)間的程序(1)～(3)進(jìn)行，經(jīng)過四輪計算就獲得??的0.90的HPD可信區(qū)間(4735,81189)，即

4.3貝葉斯區(qū)間估計4.3.2最大后驗密度(HPD)可信區(qū)間表4.3.1可信區(qū)間的搜索過程第4章統(tǒng)計決策與貝葉斯方法貝葉斯假設(shè)檢驗PART4.44.4貝葉斯假設(shè)檢驗

Bayes假設(shè)檢驗是簡單的，與經(jīng)典假設(shè)檢驗相比，它無需選擇檢驗統(tǒng)計量，確定抽樣分布，也無需事先給出顯著性水平，確定拒絕域。此外，Bayes假設(shè)檢驗也容易推廣到三個或三個以上假設(shè)的場合，這時應(yīng)接受具有最大后驗概率的假設(shè)。4.4貝葉斯假設(shè)檢驗例4.4.1設(shè)x是從二項分布b(n,??)中抽取的一次觀測值，先考慮如下兩個假設(shè)：

4.4貝葉斯假設(shè)檢驗

表4.4.1??的后驗機(jī)會比在n=5時可算得各種x下的后驗概率及后驗機(jī)會比（見表4.4.1）4.4貝葉斯假設(shè)檢驗定義4.4.1

被稱為貝葉斯因子。4.4貝葉斯假設(shè)檢驗

其中p(x|??)為樣本的分布。4.4貝葉斯假設(shè)檢驗這時后驗機(jī)會比為：

即要求兩密度函數(shù)值之比大于臨界值，從Bayes觀點看，這個臨界值就是兩個先驗概率比。這種場合下的Bayes因子為：

4.4貝葉斯假設(shè)檢驗例4.4.2設(shè)X～N(??,1)，其中??只有兩種可能，非0即1，我們需要檢驗的假設(shè)是：

4.4貝葉斯假設(shè)檢驗

這個數(shù)很小，數(shù)據(jù)支持原假設(shè)H0微乎其微，因為接受原假設(shè)H0

就要求：

4.4貝葉斯假設(shè)檢驗

這是常見的簡單原假設(shè)對復(fù)雜備擇假設(shè)的檢驗問題，在經(jīng)典統(tǒng)計學(xué)中是非常常見的。貝葉斯檢驗和經(jīng)典方法很不同，有新的特點。在討論這個問題之前，對關(guān)于原假設(shè)為簡單假設(shè)的檢驗先給出一些評論。

4.4貝葉斯假設(shè)檢驗

4.4貝葉斯假設(shè)檢驗

其中（第一個等號可作為符號理解）：

4.4貝葉斯假設(shè)檢驗后驗機(jī)會比為：

從而Bayes因子為：

4.5MCMC算法

4.5MCMC算法4.5.1M-H算法例4.5.1

4.5MCMC算法4.5.1M-H算法

4.5MCMC算法4.5.1M-H算法

4.5MCMC算法4.5.1M-H算法

4.5MCMC算法4.5.1M-H算法例4.5.2

4.5MCMC算法4.5.1M-H算法例4.5.2

4.5MCMC算法4.5.1M-H算法例4.5.2

4.5MCMC算法4.5.2Gibbs抽樣

4.5MCMC算法4.5.2Gibbs抽樣

4.5MCMC算法4.5.2Gibbs抽樣

4.5MCMC算法4.5.2Gibbs抽樣

4.5MCMC算法4.5.1M-H算法例4.5.3

4.5MCMC算法4.5.1M-H算法

例4.5.3

4.5MCMC算法4.5.1M-H算法

例4.5.3

謝謝觀看統(tǒng)計學(xué)院SCHOOLOFSTATISTICS再抽樣方法第五章第5章再抽樣方法5.1自助法參數(shù)估計5.2刀切法5.3再抽樣假設(shè)檢驗5.4交叉驗證5.5數(shù)據(jù)科學(xué)中的PCS準(zhǔn)則5.6與本章相關(guān)的R語言操作自助法參數(shù)估計PART5.15.1自助法參數(shù)估計自助法的基本假定：原始樣本中包含的關(guān)于數(shù)據(jù)的生成機(jī)制的信息也包含在再抽樣樣本中。再抽樣樣本近似于從總體中產(chǎn)生新的隨機(jī)樣本。本節(jié)的基本目標(biāo)是解釋在什么情況下為什么自助法效果更好，以及自助法如何被應(yīng)用到廣泛又多樣的真實數(shù)據(jù)情況中。5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計隨機(jī)樣本X=(??1,??2,…,??n)來自未知的概率分布F，根據(jù)樣本X估計參數(shù)θ=t(F)。

定義5.1.1插件原則（plug-inprinciple）

5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計定義5.1.2標(biāo)準(zhǔn)誤差是某一統(tǒng)計量抽樣分布的標(biāo)準(zhǔn)差,用來衡量統(tǒng)計量的分布的離散程度,是評價該統(tǒng)計量推斷總體的準(zhǔn)確性的重要指標(biāo)

理論探討基于計算機(jī)技術(shù)的方法5.1自助法參數(shù)估計

5.1.1標(biāo)準(zhǔn)誤差的自助法估計5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

星號標(biāo)記表明x?

并不是原樣本數(shù)據(jù)集x，而是等概率有放回的從樣本x的隨機(jī)再抽樣。

當(dāng)n趨于無窮大時，這一概率就將趨近于???1=0.368，所以留在訓(xùn)練集中的樣本大概就占原來數(shù)據(jù)集的63.2%。5.1自助法參數(shù)估計例5.1.2舉一個簡單的例子,從某分布抽取的一個樣本量為10的數(shù)據(jù)為(25,37,14,69,43,26,76,29,57,68).一次自助法抽樣的數(shù)據(jù)集為:(14,69,37,26,14,29,26,68,37,14).其中第3個樣品14被抽中三次,第2個、第6個樣品37、26被抽中兩次,第4、8、10個樣品69、29、68被抽中一次.第1、5、7、9個樣品未被抽中.再一次自助法抽樣的數(shù)據(jù)集為(25,37,57,43,37,25,14,43,76,29),與之前的實現(xiàn)值不同.根據(jù)這些信息判斷治療對于延長小鼠的生命是否有用。5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

5.1自助法參數(shù)估計例5.1.3表5.1.1給出了對16只小鼠進(jìn)行分組實驗的數(shù)據(jù)。它們被隨機(jī)分配到治療組和對照組（非治療組），記錄下它們的生存時間（單位：天）。根據(jù)這些信息判斷治療對于延長小鼠的生命是否有用。分組數(shù)據(jù)樣本規(guī)模均值標(biāo)椎誤差治療組94，197，16，38，99，141，23786.8625.24對照組52，104，146，10，51，30，40，27，46956.2214.1430.6428.945.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計兩組的組內(nèi)均值分別為

兩組差異值的估計為86.86?56.22=30.64，這表明治療有著相當(dāng)大的延長生存期的作用。5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

兩組試驗平均存活時間之差30.64是標(biāo)準(zhǔn)誤差的1.06倍，也就是說在治療不起任何作用的前提下也很有可能會隨機(jī)出現(xiàn)。5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計如果，我們想通過中位數(shù)而非均值比較兩組數(shù)的差異治療組的中位數(shù)為94對照組的中位數(shù)為46差異值的估計為48，高于均值的差異值通過自助法估計差異值的精度5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

B501002505001000均值19.7223.6322.3223.7923.02中位數(shù)32.2136.3534.4636.7236.48表5.1.2治療組均值和中位數(shù)的標(biāo)準(zhǔn)誤差的自助法估計5.1自助法參數(shù)估計例5.1.4一項關(guān)于小片阿司匹林對中年健康男子心臟病的預(yù)防是否有效的研究中，采用控制、對照、雙盲研究方法收集數(shù)據(jù)?？刂?、隨機(jī)、雙盲實驗的精心設(shè)計是為了更好的避免無關(guān)影響因素的干擾，發(fā)現(xiàn)感興趣的因素的影響。實驗數(shù)據(jù)如下:5.1自助法參數(shù)估計表5.1.3阿斯匹林對心臟病預(yù)防效果的數(shù)據(jù)（致命加非致命）心臟病受試者阿司匹林組10411037安慰劑組189110345.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

實驗獲得樣本看起來很大，包含了所有22071個受試者，但是實際上阿司匹林的作用的結(jié)論僅依賴于293個心臟病發(fā)作的受試者的分組。這樣無法確定實驗再進(jìn)行一次結(jié)果不會有很大改變。5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計

（致命加非致命）中風(fēng)受試者阿司匹林組11911037安慰劑組9811034表5.1.4中風(fēng)數(shù)據(jù)僅從這個數(shù)字看來服用阿司匹林事實上是有害的，然而中風(fēng)比率θ的95%置信區(qū)間為（0.93，1.59），這個區(qū)間包含了中立值θ=1，即明阿司匹林與安慰劑相比對中風(fēng)并沒有顯著影響。5.1自助法參數(shù)估計5.1.1標(biāo)準(zhǔn)誤差的自助法估計使用自助法估計中風(fēng)數(shù)據(jù)

一個粗糙的95%置信區(qū)間可以用1000次重復(fù)之中從大到小排列的第25位和975位表示，結(jié)果是(0.93,1.60)。5.1自助法參數(shù)估計5.1.2偏差的自助法估計

5.1自助法參數(shù)估計

5.1.2偏差的自助法估計5.1自助法參數(shù)估計

5.1.2偏差的自助法估計5.1自助法參數(shù)估計

5.1.2偏差的自助法估計5.1自助法參數(shù)估計5.1.2偏差的自助法估計

5.1自助法參數(shù)估計例5.1.5歷史上，統(tǒng)計學(xué)家很擔(dān)憂比率估計量可能產(chǎn)生的偏差。表5.1.5中的貼片數(shù)據(jù)提供了一個實用的例子。將某種天然激素注入八名使用醫(yī)療貼片的受試者的血流中。測量每個受試者使用三種不同的貼片（一種不含激素的安慰劑貼片，一種在舊工廠生產(chǎn)的“舊”貼片，以及一種在新開設(shè)的工廠生產(chǎn)的“新”貼片）后血液中的激素水平。5.1自助法參數(shù)估計例5.1.5表中的前三列顯示了每個受試者的三種情況下血液中激素水平的測量結(jié)果。對每個受試者，z=舊貼片的測量值-安慰劑的測量值，y=新貼片的測量值-舊貼片的測量值。這個測試目的是為了證明新廠生產(chǎn)的貼片與舊廠生產(chǎn)的貼片是等效的。5.1自助法參數(shù)估計受試者安慰劑舊貼片新貼片zy1924317649164498406-12002967112013146142342260131179219979172748187-27054133572181623798845919825905513850125604795-1290662909806101573516-35171241217208165704796-638818806290442632510238-2719均值

6342-452.35.1自助法參數(shù)估計5.1.2偏差的自助法估計美國食品和藥物管理局（FDA）已批準(zhǔn)在舊工廠生產(chǎn)的貼片的銷售。如果能夠證明新工廠生產(chǎn)的貼片與舊工廠的貼片生物等效，那么新工廠的貼片不需要進(jìn)行新一輪的FDA調(diào)查就能被批準(zhǔn)出售。FDA的生物等效性標(biāo)準(zhǔn)是使用新貼片測量結(jié)果的期望值與使用舊貼片測量結(jié)果的期望值滿足以下條件：

5.1自助法參數(shù)估計5.1.2偏差的自助法估計換句話說，F(xiàn)DA希望新貼片與舊帖片的差別控制在舊貼片相比于安慰劑貼片所增加血液的激素水平的20％的范圍內(nèi)。θ為參數(shù)：

在此我們討論θ的插件估計量偏差和標(biāo)準(zhǔn)誤差。5.1自助法參數(shù)估計5.1.2偏差的自助法估計

5.1自助法參數(shù)估計5.1.3自助法的區(qū)間估計

為了實現(xiàn)這個目標(biāo)，我們在此介紹兩種基礎(chǔ)的方法。

5.1自助法參數(shù)估計5.1.3自助法的區(qū)間估計

5.1自助法參數(shù)估計5.1.3自助法的區(qū)間估計

那么，95%的中心化分位數(shù)區(qū)間為

5.1自助法參數(shù)估計5.1.3自助法的區(qū)間估計

這就驗證了變換不變性。在這種意義上，百分位數(shù)方法改進(jìn)了標(biāo)準(zhǔn)置信區(qū)間。該方法要求自助法的樣本量達(dá)到B=2000。除了百分位數(shù)法，還有其他的自助法構(gòu)造置信區(qū)間的算法，更復(fù)雜和準(zhǔn)確的方法請讀者參考相關(guān)文獻(xiàn)。5.1自助法參數(shù)估計例5.1.6有22名同學(xué)參加了機(jī)械學(xué)和矢量學(xué)的考試，表5.1.6展示了他們的成績。表5.1.6考試成績數(shù)據(jù)

1234567891011機(jī)械學(xué)74449593446032495244矢量學(xué)5169417042404045576461

1213141516171819202122機(jī)械學(xué)364252218414831424663矢量學(xué)59603058516338426949635.1自助法參數(shù)估計5.1.3自助法的區(qū)間估計

百分位法利用自助法獲得分布的形狀來提高置信區(qū)間的精度，圖5.1.2中的直方圖的0.025和0.975的分位數(shù)分別是0.118和0.758，也是非參數(shù)中心化的95%分位數(shù)區(qū)間的端點。5.1自助法參數(shù)估計5.1.4討論上面幾個小節(jié)介紹了自助法的基本概念，以及如何使用自助法估計參數(shù)的標(biāo)準(zhǔn)誤差，偏差，置信區(qū)間等。

5.1自助法參數(shù)估計

除了上述介紹的內(nèi)容，自助法有著更廣泛的應(yīng)用，包括多總體、相關(guān)非獨立樣本、貝葉斯情形等。刀切法PART5.25.2刀切法5.2.1刀切法介紹

5.2刀切法5.2.1刀切法法介紹定義5.2.2偏差的刀切法估計定義為

其中

標(biāo)準(zhǔn)誤的Jackknife估計定義為

5.2Jackknife方法5.2.1Jackknife方法介紹

5.2刀切法方法5.2.1刀切法介紹直覺上，刀切法的這個“膨脹因子”是必要的，由于典型的刀切法樣本比自助法樣本更接近原始數(shù)據(jù)集，因此刀切法中的偏差

比自助法的偏差

要小得多。5.2刀切法5.2.1刀切法介紹證

（5.2.5）的定義使得我們很容易估計任何統(tǒng)計量的標(biāo)準(zhǔn)誤差。5.2刀切法5.2.1刀切法介紹相似地，偏差刀切法估計的定義式（5.2.3）中的乘數(shù)因子（n-1）與式（5.2.5）標(biāo)準(zhǔn)誤的Jackknife估計中的因子(n?1)/n相似，也是一個“膨脹因子”。習(xí)題1以樣本方差為例討論這個問題。5.2刀切法例5.2.1表5.2.1中給出了88個學(xué)生的測驗成績，我們感興趣的統(tǒng)計量是協(xié)方差矩陣的最大特征值與特征值之和的比率。

5.2刀切法例5.2.1

5.2刀切法例5.2.1我們可以看到，刀切法直方圖比自助法直方圖（圖5.2.1的第三幅）的寬度要小很多（使用了相同的水平刻度）。這說明平均意義上，刀切法數(shù)據(jù)集比自助法數(shù)據(jù)集更加接近原始數(shù)據(jù)。圖5.2.1的第二幅展示了“膨脹因子”調(diào)整后的刀切法值的直方圖（為了對比，進(jìn)行了平移）。5.2刀切法5.2.1刀切法介紹

5.2刀切法5.2.2刀切法和自助法的聯(lián)系自助法和刀切法哪個更好呢？事實上刀切法可以看作是自助法的近似。以下是其核心思想?？紤]一個線性統(tǒng)計量，可以寫成以下形式

5.2刀切法5.2.2刀切法和自助法的聯(lián)系

5.2刀切法5.2.2刀切法和自助法的聯(lián)系然而對于非線性統(tǒng)計量，則存在信息損失。刀切法估計標(biāo)準(zhǔn)誤差的準(zhǔn)確性取決于??的線性程度。刀切法對高度非線性函數(shù)是無效的，有時甚至是危險的。5.2刀切法5.2.2刀切法和自助法的聯(lián)系類似地,Jackknife方法在對偏差的估計上與自助法近似.這種近似體現(xiàn)在二次統(tǒng)計量(非線性)上,其形式如下:

二次統(tǒng)計量的一個簡單例子是樣本方差,將其展開,我們發(fā)現(xiàn)它可以表示如上式的形式.對于這類統(tǒng)計量,它們的刀切法偏差估計與自助法偏差估計僅差一個因子(n-1)/n5.2刀切法5.2.2刀切法和自助法的聯(lián)系我們可以看出刀切法在估計偏差和標(biāo)準(zhǔn)誤差時是自助法的一個簡單的較好的近似.但當(dāng)統(tǒng)計量不是一個光滑函數(shù)時,刀切法可能會導(dǎo)致較大的錯誤.

本書介紹的刀切是去一法,也就是每次忽略一個樣本點.有時我們也使用去d法,每次忽略d個樣本點.有興趣的讀者可以參閱更多的文獻(xiàn).再抽樣假設(shè)檢驗PART5.35.3再抽樣假設(shè)檢驗5.3.1置換檢驗置換檢驗的主要假定是原假設(shè)下的可交換性，即在原假設(shè)成立的條件下所有樣本都是隨機(jī)的，通過所有的置換來比較觀測數(shù)據(jù)。置換檢驗主要的應(yīng)用是兩樣本問題：我們從兩個概率分布F和G中抽取兩個獨立隨機(jī)樣本：

5.3再抽樣假設(shè)檢驗例5.3.1在例5.1.3的小鼠藥物試驗的例子中，7只治療組小鼠和9只對照組小鼠的存活時間的均值差為30.63，這樣我們傾向于認(rèn)為治療組的分布F的平均存活時間高于對照組的分布G的平均存活時間。但需要進(jìn)行假設(shè)檢驗。

5.3再抽樣假設(shè)檢驗例5.3.1圖5.3.1給出了B=1000次置換抽樣的結(jié)果，其中132次的數(shù)值超過30.63，因此該檢驗的p值為132/1000=0.132，在0.05的顯著性水平下，不能拒絕原假設(shè)。圖5.3.1置換檢驗直方圖5.3再抽樣假設(shè)檢驗5.3.1置換檢驗需要說明的是，這里置換檢驗的結(jié)果與兩樣本t檢驗的結(jié)果很相似，盡管這里沒有正態(tài)性的假設(shè)。如果均值差的抽樣分布的確是正態(tài)的，那么t檢驗給出精確的p值，而對于均值差的抽樣分布遠(yuǎn)不是正態(tài)時，t檢驗就非常不牢靠，但置換檢驗仍會給出精確的p值。置換檢驗給出了兩樣本均值檢驗的一個黃金標(biāo)準(zhǔn)：如果置換檢驗和t檢驗的p值顯著不同，這說明t檢驗的條件不滿足，因此當(dāng)分布和正態(tài)分布很不一樣時，需要使用置換檢驗而不是t檢驗。5.3再抽樣假設(shè)檢驗例5.3.2上例中的數(shù)據(jù)顯示，兩組小鼠更明顯的差異可能不是均值，而是方差。方差的估計比是2.48，這是系統(tǒng)差異，還是樣本量較小造成的隨機(jī)差異，我們可以通過置換檢驗回答這個問題。圖5.3.2給出了1000次置換樣本的實現(xiàn)值（對數(shù)公式），146次實現(xiàn)值超過了原統(tǒng)計量的取值，所以檢驗的p值時0.146，不能拒絕原假設(shè)。（單邊檢驗和雙邊檢驗）。5.3再抽樣假設(shè)檢驗例5.3.2圖5.3.2方差比的置換檢驗總結(jié)之前的敘述，我們可以得到基于度量某個感興趣效應(yīng)的統(tǒng)計量的置換檢驗的一般操作步驟為：(a)計算原始數(shù)據(jù)的該統(tǒng)計量；(b)不放回地以符合零假設(shè)及研究的設(shè)計一致的方式從數(shù)據(jù)抽取置換樣本，從大量的再抽樣所得到的樣本統(tǒng)計量中構(gòu)造相應(yīng)的抽樣分布；(c)在抽樣分布中，找到原數(shù)據(jù)統(tǒng)計量的位置以求出p值。5.3.1置換檢驗5.3再抽樣假設(shè)檢驗下面介紹k樣本均值F檢驗的置換檢驗問題。

5.3再抽樣假設(shè)檢驗5.3.1置換檢驗

而p值則為這些F值中大于原始統(tǒng)計量實現(xiàn)值的比例。5.3再抽樣假設(shè)檢驗5.3.1置換檢驗例5.3.3圖5.3.3四種飼料與小雞體重的箱線圖比較四種飼料，數(shù)據(jù)來自R程序包datasets中的數(shù)據(jù)ChickWeight。這四個樣本的箱線圖如圖5.3.3所示：5.3再抽樣假設(shè)檢驗

用不放回抽樣的方法抽取10000個樣本進(jìn)行置換檢驗，得到的p值為9.999e-05.圖5.3.4為F統(tǒng)計量置換樣本的直方圖和密度估計圖：5.3再抽樣假設(shè)檢驗5.3.1置換檢驗5.3再抽樣假設(shè)檢驗例5.3.4這是一個關(guān)于教育與態(tài)度的二維表檢驗的問題，該數(shù)據(jù)來源于市場調(diào)查。這個數(shù)據(jù)有2個分類變量，第一個是最高學(xué)歷，有3個水平：中學(xué)以下、中學(xué)或初級學(xué)院、大學(xué)以上，第二個分類變量是態(tài)度，有三個水平：支持、中立、反對。5.3再抽樣假設(shè)檢驗態(tài)度學(xué)歷支持中立反對合計大學(xué)以上138252252642中學(xué)5706484421660中學(xué)以下178138108424合計886103880227265.3再抽樣假設(shè)檢驗例5.3.4這個問題也可以應(yīng)用置換檢驗，結(jié)果為0.00001。

5.3再抽樣假設(shè)檢驗

置換檢驗和自助法假設(shè)檢驗都可以使用的情況下他們的結(jié)果是相似的，但自助法假設(shè)檢驗的應(yīng)用范圍更廣，雖然有時精度略低。5.3再抽樣假設(shè)檢驗5.3.2自助法檢驗自助法假設(shè)檢驗的步驟：

5.3再抽樣假設(shè)檢驗注意到該算法與置換算法的不同在于樣本是否通過替換獲得。置換檢驗和自助法檢驗之間還有一些重要的差異。置換檢驗利用原假設(shè)成立的條件下存在的特殊的對稱性給出了檢驗統(tǒng)計量。5.3再抽樣假設(shè)檢驗例5.3.5

5.3再抽樣假設(shè)檢驗通過使用t統(tǒng)計量可以獲得更精確的檢驗，在上面的檢驗中，我們還可以用

5.3再抽樣假設(shè)檢驗5.3.2自助法檢驗上述方法檢驗的原假設(shè)為兩總體獨立的條件下分布F=G，如果只檢驗兩總體均值是否相等應(yīng)該怎么做？

一種方法是用兩樣本t統(tǒng)計量，在原假設(shè)成立的條件下，并假設(shè)兩總體正態(tài)且方差相等，則該學(xué)生化t檢驗統(tǒng)計量的自由度為n+m-2。如果假設(shè)兩總體的方差不等，則檢驗可以依賴于統(tǒng)計量對于正態(tài)總體，上式不服從學(xué)生化t分布，針對這個問題提出了許多漸近解決方法，許多文獻(xiàn)將這個問題稱為Behrens-Fisher問題。5.3.2自助法檢驗5.3再抽樣假設(shè)檢驗

5.3再抽樣假設(shè)檢驗5.3.2自助法檢驗

5.3.2自助法檢驗5.3再抽樣假設(shè)檢驗例5.3.6下面只考慮例5.1.3處理組小鼠，即單樣本問題。假設(shè)其他調(diào)查員對更多小鼠進(jìn)行了相似的實驗，他們發(fā)現(xiàn)經(jīng)過處理的小鼠的平均生命為129.0天。我們想要檢驗表5.1.1中處理組小鼠的生命均值是否為129.0，即

5.3再抽樣假設(shè)檢驗對于這個假設(shè)檢驗問題，應(yīng)用自助法檢驗。自助法假設(shè)檢驗基于原假設(shè)成立條件下檢驗統(tǒng)計量的分布：

5.3再抽樣假設(shè)檢驗5.3.2自助法檢驗但什么是合適的原假設(shè)成立時該統(tǒng)計量的分布?

5.3.2自助法檢驗5.3再抽樣假設(shè)檢驗

5.3再抽樣假設(shè)檢驗5.3.2自助法檢驗交叉驗證PART5.45.4交叉驗證在本章前三節(jié)，我們討論的重點是標(biāo)準(zhǔn)誤差、偏差和置信區(qū)間（假設(shè)檢驗）。這些都是模型參數(shù)精度的度量，更注重模型的可解釋性。

有一些模型則是關(guān)注預(yù)測的。預(yù)測誤差是評價模型預(yù)測未來觀測值準(zhǔn)確性的指標(biāo)，通常用于模型選擇，例如在一組候選模型中選擇一個預(yù)測誤差最小的模型。交叉驗證是估計預(yù)測誤差的方法，它的出現(xiàn)比自助法早，近年來隨著計算能力和速度的提高又興起。5.4.1交叉驗證簡介

統(tǒng)計推斷的問題是評價預(yù)測模型的準(zhǔn)確性。5.4交叉驗證5.4.1交叉驗證簡介定義5.4.1

最常用的兩種預(yù)測誤差的度量是：

5.4.1交叉驗證簡介5.4交叉驗證

理想情況下是從產(chǎn)生原始數(shù)據(jù)相同的總體中獲得數(shù)據(jù)。然而通常情況下不能獲得這些數(shù)據(jù)，于是為了解決這個問題提出了交叉驗證的方法，即使用一部分?jǐn)?shù)據(jù)來擬合模型，

用另一部分?jǐn)?shù)據(jù)驗證。為了得到預(yù)測誤差更準(zhǔn)確地估計，我們希望獲得一個與我們的訓(xùn)練集互相獨立的樣本集，稱為測試樣本或測試數(shù)據(jù)集。對于總量較大的數(shù)據(jù)，通常的做法是將數(shù)據(jù)分為兩部分，而對于較小的數(shù)據(jù)集使用K折交叉驗證可以更加充分的利用可用信息。5.4交叉驗證5.4.1交叉驗證簡介交叉驗證是估計預(yù)測誤差的方法，它的出現(xiàn)比自助法早，近年來隨著計算能力和速度的提高又興起。K折交叉驗證具體步驟如下：將數(shù)據(jù)規(guī)模分成大致相同的K組。

對于第k部分，用剩余的K-1部分的數(shù)據(jù)去擬合模型，然后用第k部分的數(shù)據(jù)計算擬合模型的預(yù)測誤差。5.4.1交叉驗證簡介5.4交叉驗證

5.4交叉驗證5.4.1交叉驗證簡介比如說，我們的樣本有100個數(shù)據(jù)點，我們使用5折交叉驗證，

五次之后，所有的樣本點都有了預(yù)測值，之后計算樣本真實值和預(yù)測值的誤差的平均，這就是模型的交叉驗證誤差。5.4.1交叉驗證簡介5.4交叉驗證例5.4.1圖5.4.1展示的是激素量隨服用時間而變化的數(shù)據(jù)，對應(yīng)的具體數(shù)據(jù)如表5.4.1，因變量????為激素消炎藥在服用????小時后剩余的量，樣本量為27.下面我們考慮回歸模型

對給定服用時間后，預(yù)測藥物剩余量的效果。5.4交叉驗證5.4交叉驗證圖5.4.1激素量散點圖5.4.1交叉驗證簡介表5.4.1激素數(shù)據(jù)5.4交叉驗證5.4.1交叉驗證簡介

但是這個量很可能會低估真實的預(yù)測誤差，因為我們在擬合模型和評價模型時使用了相同的數(shù)據(jù)，這個殘差稱為“回代”的殘差。因為數(shù)據(jù)量較少，在此應(yīng)用棄一法交叉驗證，得到CV結(jié)果為6.03?！盎卮ā钡玫降钠骄`差方差為5.24，低估了大約13%的預(yù)測誤差。

5.4交叉驗證5.4.1交叉驗證簡介圖5.4.2激素量殘差散點圖5.4交叉驗證5.4.1交叉驗證簡介能夠正確使用交叉驗證的方法非常重要。對于一個回歸或者分類問題，我們可能會按以下步驟進(jìn)行分析：變量初步篩選：使用全部數(shù)據(jù)在p個解釋變量中（通常p比較大）挑選出m個（m較?。┡c響應(yīng)變量最相關(guān)的變量。使用挑選出來的m個變量建立預(yù)測模型。使用交叉驗證方法估計調(diào)節(jié)參數(shù)和模型的預(yù)測誤差。實際結(jié)果表明這不是一個正確的分析方法5.4交叉驗證5.4.2進(jìn)一步討論正確使用交叉驗證的方法應(yīng)該是:隨機(jī)將數(shù)據(jù)分成K份。對于每一部分?jǐn)?shù)據(jù)k=1,…,K:使用除了第k份以外的數(shù)據(jù)挑選與響應(yīng)變量最相關(guān)的m個變量；使用除了第k份以外的數(shù)據(jù)以及挑選出來的m個變量建立模型；使用上一步建立的模型測試它在第k份數(shù)據(jù)上的表現(xiàn)。5.4交叉驗證5.4.2進(jìn)一步討論例5.4.2隨機(jī)生成一個樣本量為50的二分類樣本點，以及5000個服從標(biāo)準(zhǔn)正態(tài)分布的連續(xù)型解釋變量，這些解釋變量與響應(yīng)變量（二分類樣本點）是獨立的。在這個問題中，任一分類器的真實測試誤差應(yīng)為50%。首先使用全部數(shù)據(jù)在這5000個解釋變量中挑選出100個與響應(yīng)變量最相關(guān)的變量，用1-近鄰分類器模擬50次，并用交叉驗證計算平均誤差。然后在50個二分類樣本點中隨機(jī)選擇10個，計算其標(biāo)簽與預(yù)先挑選的100個解釋變量的標(biāo)簽的相關(guān)系數(shù)。5.4交叉驗證例5.4.2交叉驗證得到的平均誤差僅為3.4%，遠(yuǎn)遠(yuǎn)小于真實誤差50%。然而這些解釋變量和響應(yīng)變量的相關(guān)系數(shù)的平均值為0.33，遠(yuǎn)遠(yuǎn)大于真實值0。圖5.4.3錯誤方法的相關(guān)系數(shù)圖5.4交叉驗證例5.4.2正確方法結(jié)果：平均誤差為48.68%，平均相關(guān)系數(shù)接近0，相關(guān)系數(shù)的直方圖如圖5.4.4所示。圖5.4.4正確方法的相關(guān)系數(shù)圖5.4交叉驗證交叉驗證可能存在的問題是因訓(xùn)練集數(shù)量減少而引起偏差。圖5.4.5給出了一個理論的假想情況，用于討論訓(xùn)練集樣本量與模型準(zhǔn)確性之間的關(guān)系。圖5.4.5訓(xùn)練集樣本量與模型準(zhǔn)確性關(guān)系示意圖5.4交叉驗證數(shù)據(jù)科學(xué)中的PCS準(zhǔn)則PART5.55.5數(shù)據(jù)科學(xué)中的PCS準(zhǔn)則數(shù)據(jù)科學(xué)生命周期(DSLC)以某一實際問題為開端，歷經(jīng)數(shù)據(jù)收集，管理、處理與清洗、探索、建模等過程，

并最終闡釋數(shù)據(jù)結(jié)果