統(tǒng)計決策與貝葉斯估計

1、統(tǒng)計決策一、統(tǒng)計決策的三個要素1樣本空間和分布族設(shè)總體X的分布函數(shù)為F(x;

),是未知參數(shù)，若設(shè)X1

,…,Xn是來自總體X的一個樣本，則樣本所有可能值組成的集合稱為樣本空間，記為X

2決策空間（判決空間）對于任何參數(shù)估計，每一個具體的估計值，就是一個回答，稱為一個決策，一個統(tǒng)計問題中可能選取的全部決策組成的集合稱為決策空間，一個決策空間至少應(yīng)有兩個決策。3損失函數(shù)統(tǒng)計決策的一個基本假定是，每采取一個決策，必然有一定的后果，統(tǒng)計決策是將不同決策以數(shù)量的形式表示出來常見的損失函數(shù)有以下幾種（1）線性損失函數(shù)絕對損失函數(shù)（2）平方損失函數(shù)（3）凸損失函數(shù)（4）多元二次損失函數(shù)二、統(tǒng)計決策函數(shù)及風(fēng)險函數(shù)1統(tǒng)計決策函數(shù)定義3.1：定義在樣本空間上X，取值于決策空間A內(nèi)的函數(shù)d(x)，稱為統(tǒng)計決策函數(shù)，簡稱決策函數(shù)決策函數(shù)就是一個行動方案，如果用表達(dá)式處理，d(x)=d(x1,x2,…xn)本質(zhì)上就是一個統(tǒng)計量

2風(fēng)險函數(shù)決策函數(shù)d(X)，完全取決于樣本，損失函數(shù)L(,d)也是樣本X的函數(shù),當(dāng)樣本取不同的值x時，決策d(X)可能不同，所以損失函數(shù)值L(,d)也不同，不能判斷決策的好壞，一般從總體上來評價、比較決策函數(shù)，取平均損失，就是風(fēng)險函數(shù)定義3.2設(shè)樣本空間，分布族分別為X，F(xiàn)*，決策空間為A，損失函數(shù)為L(,d),d(X)為決策函數(shù),為決策函數(shù)d(X)的風(fēng)險函數(shù)，R(,d),表示采取決策d(X)所蒙受的平均損失（L(,d)的數(shù)學(xué)期望）

優(yōu)良性準(zhǔn)則定義3.3設(shè)d1,d2是統(tǒng)計問題中的兩個決策函數(shù)，若其風(fēng)險函數(shù)滿足不等式則稱決策函數(shù)d1優(yōu)于d2定義3.4設(shè)D={d(X)}是一切定義在樣本空間X上，取值于決策空間A上的決策函數(shù)全體，若存在一個決策函數(shù)d*(X)，使對任意一個d(X)都有則稱d*(X)為一致最小風(fēng)險決策函數(shù)，或一致最優(yōu)決策函數(shù)問題總結(jié)1風(fēng)險函數(shù)是二元函數(shù)，極值往往不存在或不唯一2在某個區(qū)間內(nèi)的逐點比較不現(xiàn)實（麻煩）3對應(yīng)不同參數(shù)的，同一決策函數(shù)，風(fēng)險值不相等4由統(tǒng)計規(guī)律的特性決定不能點點比較5必須由一個整體指標(biāo)來代替點點比較2.貝葉斯斯估計計1)統(tǒng)統(tǒng)計推推斷的的基礎(chǔ)礎(chǔ)經(jīng)典學(xué)學(xué)派的觀點點：統(tǒng)計推推斷是是根據(jù)據(jù)樣本本信息息對總總體分分布或或總體體的特特征數(shù)數(shù)進(jìn)行行推斷斷，這這里用用到兩兩種信信息：：總體信信息和樣本信信息；貝葉斯斯學(xué)派派的觀點點：除除了上上述兩兩種信信息以以外，，統(tǒng)計計推斷斷還應(yīng)應(yīng)該使使用第第三種種信息息：先驗信信息。。（1））總體信信息:總體分分布提提供的的信息息。（2））樣本信信息:抽取樣樣本所所得觀觀測值值提供供的信信息。。（3））先驗信信息:人們在在試驗驗之前前對要要做的的問題題在經(jīng)經(jīng)驗上和和資料料上總總是有有所了了解的的，這這些信信息對對統(tǒng)計推推斷是是有益益的。。先驗驗信息息即是是抽樣樣（試試驗）之之前有有關(guān)統(tǒng)統(tǒng)計問問題的的一些些信息息。一一般說說來，先先驗信信息來來源于于經(jīng)驗驗和歷歷史資資料。。先驗驗信息在在日常常生活活和工工作中中是很很重要要的。?；谏仙鲜鋈N信信息進(jìn)進(jìn)行統(tǒng)統(tǒng)計推推斷的的統(tǒng)計計學(xué)稱稱為貝葉斯斯統(tǒng)計計學(xué)。。它與經(jīng)經(jīng)典統(tǒng)統(tǒng)計學(xué)學(xué)的差差別就就在于于是否否利用用先驗驗信息息。貝貝葉斯斯統(tǒng)計計在重重視使使用總總體信信息和和樣本本信息息的同同時，，還注注意先先驗信信息的的收集集、挖挖掘和和加工工，使使它數(shù)數(shù)量化化，形形成先先驗分分布，，參加加到統(tǒng)統(tǒng)計推推斷中中來，，以提提高統(tǒng)統(tǒng)計推推斷的的質(zhì)量量。忽忽視先先驗信信息的的利用用，有有時是是一種種浪費費，有有時還還會導(dǎo)導(dǎo)出不不合理理的結(jié)結(jié)論。。貝葉斯斯學(xué)派派的基基本觀觀點：：任一未未知量量都可看看作隨隨機變變量，，可用一一個概概率分分布去去描述述，這這個分分布稱稱為先先驗分分布；；在獲得得樣本本之后后，總總體分分布、、樣本本與先先驗分分布通通過貝貝葉斯斯公式式結(jié)合合起來來得到到一個個關(guān)于于未知知量新的分分布——后驗分分布；任何何關(guān)于于的統(tǒng)計計推斷斷都應(yīng)應(yīng)該基基于的后驗驗分布布進(jìn)行行。2)先先驗分分布利用先先驗信信息的的前提提（1）參數(shù)數(shù)是隨機的的，但有一一定的分布布規(guī)律（2）參數(shù)數(shù)是某一常常數(shù)，但無無法知道目標(biāo)：充分分利用參數(shù)數(shù)的先驗信信息對未知知參數(shù)作出出更準(zhǔn)確的的估計。貝葉斯方法法就是把未未知參數(shù)視視為具有已已知分布的的隨機變量量，將先驗驗信息數(shù)字字化并利用用的一種方方法，一般般先驗分布布記為()3)貝葉斯斯公式的密密度函數(shù)形形式(后驗驗分布）設(shè)總體X的分布密度度函數(shù)P(x;)在貝葉斯統(tǒng)統(tǒng)計中記為為P(x|)，它表示在在隨機變量量θ取某個給定定值時總體體的條件概率密密度函數(shù)；；P(x;)=P(x|)根據(jù)參數(shù)的先驗信息息確定先驗分布()；樣本x1,x2,…,xn的聯(lián)合條件分分布密度函函數(shù)為這個分布綜綜合了總體體信息和樣樣本信息；0是未知的，，它是按先先驗分布()產(chǎn)生的。為為把先驗信信息綜合進(jìn)進(jìn)去，不能能只考慮0，對的其它值發(fā)發(fā)生的可能能性也要加加以考慮，，故要用()進(jìn)行綜合。。這樣一來來，樣本x1,…,xn和參數(shù)的聯(lián)合分布為為:f(x1,x2,…,xn,)=q(x1,x2,…,xn)()，簡記為f(x,)=q(x)()這個聯(lián)合分分布把總體體信息、樣樣本信息和和先驗信息息三種可用用信息都綜綜合進(jìn)去了了；在有了樣本本觀察值x1,x2,…,xn之后，則應(yīng)應(yīng)依據(jù)f(x,)對作出推斷。。由于f(x,)=h(x1,x2,…,xn)m(x1,x2,…,xn)，其中m(x1,x2,…,xn)是x1,x2,…,xn的邊際概率率函數(shù)，它它與無關(guān)。因此此能用來對對作出推斷的的僅是條件件分布h(x1,x2,…,xn)，它的計算算公式是這個條件分分布稱為的后驗分布，，它集中了總總體、樣本本和先驗中中有關(guān)的一切信息息。后驗分布h(x1,x2,…,xn)的計算公式式就是用密密度函數(shù)表表示的貝葉葉斯公式。。它是用總總體和樣本本對先驗分分布()作調(diào)整的結(jié)結(jié)果，貝葉葉斯統(tǒng)計的的一切推斷斷都基于后后驗分布進(jìn)進(jìn)行。4）共軛先先驗分布定義：設(shè)總總體X的分布密度度為p(x|),F*為的一個分布布族，()為的任意一個個先驗分布布，()∈F*,若對樣本的的任意觀測測值x,的后驗分布布h(|x)仍在F*內(nèi)，稱F*為關(guān)于分布布密度p(x|)的共軛先驗驗分布族，，簡稱共軛軛族。計算共軛先先驗分布的的方法當(dāng)給定樣本本的分布（（似然函數(shù)數(shù)）q(x|)和先驗分布()；由貝葉斯公公式得h(x|)=()q(x)/m(x)由于m(x)不依賴于于,改寫為為h(x|)∝()q(x)上式不是正正常的密度度函數(shù),是是h(x|)的主要要部分,稱稱為h(x|)的核例8X1,X2,…,Xn來自正態(tài)分布布N(,2)的一個樣本，，其中已知，求方差差2的共軛先驗分分布例9X1,X2,…,Xn來自二項分布布B(N,)的一個樣本，，求的共軛先驗分分布計算共軛先驗驗分布的方法法1.h(|x)=()q(x|)/m(x),m(x)不依賴于先求出q(x|),再選取與與q(x|)具有相同形形式的分布作作為先驗分布布，就是共軛軛分布2.當(dāng)參數(shù)存在適當(dāng)?shù)慕y(tǒng)統(tǒng)計量時，設(shè)設(shè)X的分布密度為為p(x|),T(X)是的充分統(tǒng)計量量,再由定理3.1，求得共共軛先驗分布布族定理3.1設(shè)設(shè)f()為任一固定定的函數(shù),滿滿足若后驗分布h(x)與()屬于同一個分分布族，則稱稱該分布族是是的共軛先驗分布布(族)。二項分布b(n,)中的成功概率率的共軛先驗分分布是貝塔分分布Be(a,b)；泊松分布P()中的均值的共軛先驗分分布是伽瑪分布Γ(,)；指數(shù)分布中均均值的倒數(shù)的的共軛先驗分分布是伽瑪分分布Γ(,)；在方差已知時時，正態(tài)均值值的共軛先驗分分布是正態(tài)分分布N(,2);在均值已知時時，正態(tài)方差差2的共軛先驗分分布是倒伽瑪瑪分布IΓ(,)。5）貝葉斯風(fēng)風(fēng)險定義：稱為決策函數(shù)數(shù)d(X)在給定先驗驗分布()下的貝葉斯風(fēng)險險，簡稱d(X)的貝葉斯風(fēng)風(fēng)險相當(dāng)于隨機損損失函數(shù)求兩兩次期望，一一次對后驗分布，一一次對X的邊緣分布6)貝葉斯斯點估計定義：設(shè)總體X的分布函數(shù)F(x,)中參數(shù)為隨機變量，，()為的先驗分布，，若在決策函函數(shù)類D中存在一個決決策函數(shù)d*(X)，使得對決決策函數(shù)類D中的任一決策策函數(shù)d(X)，均有則稱為d*(X)參數(shù)的貝葉斯估計計量定理3.2設(shè)的先驗分布為為()，損失函數(shù)為為L(,d)=(-d)2,則的貝葉斯估計計是其中h(|x)為參數(shù)的后驗密度。定理3.3——3.7，給給出了各種損損失函數(shù)下的的貝葉斯估計計，不證定理3.3設(shè)的先驗分布為為()，取損失函數(shù)數(shù)為加權(quán)平方方損失函數(shù)則的貝葉斯估計計為定理3.4設(shè)(1,2,…,p)T的先驗分布為為()，損失函數(shù)為為則的貝葉斯估計計為定義：設(shè)d=d(x)為任一決策策函數(shù)，損失失函數(shù)為L(,d)，則L(,d)對后驗分布h(|x)的數(shù)學(xué)期望稱稱為后驗風(fēng)險險，記作若存在一個決決策函數(shù)d*(x)使得則d*(x)稱為在后驗驗風(fēng)險準(zhǔn)則下下的最優(yōu)決策策函數(shù)定理3.5對給定的統(tǒng)計計決策問題（（包括先驗分分布）和決策策函數(shù)類D當(dāng)滿足則貝葉斯決策策函數(shù)d*(x)與貝葉斯后后驗型決策函函數(shù)d**(x)等價定理3.6設(shè)的先驗分布布為()，損失函數(shù)為為絕對值損失失則的貝葉斯估計計d*(x)為后驗分布h(|x)的中位數(shù)定理3.7設(shè)的先驗分布為為()，在線性損失失函數(shù)下,則的貝葉斯估計計d*(x)為后驗分布h(|x)的k1/(k0+k1)上側(cè)分位位數(shù)常用貝葉斯斯估計基于后驗分分布h(x)的貝葉斯估估計，常用用如下三種種：用后驗分布布的密度函函數(shù)最大值值作為的點估計，，稱為最大大后驗估計計；用后驗分布布的中位數(shù)數(shù)作為的點估計，，稱為后驗驗中位數(shù)估估計；用后驗分布布的均值作作為的點估計，，稱為后驗驗期望估計計。用得最最多的是后后驗期望估估計，簡稱稱為貝葉斯斯估計，記記為。。求貝葉斯估估計的一般般步驟1.根據(jù)據(jù)總體X的分布，求求得條件概概率q(x|)2.在已已知的先驗分布布()下，求得x與的聯(lián)合分布布密度f(x,)=()q(x|)3.求得得X的邊緣分布布m(x)4.計算算h(|x)=()q(x|)/m(x)5.求數(shù)數(shù)學(xué)期望6.求得得貝葉斯風(fēng)風(fēng)險（如果果需要的話話）例3.11設(shè)總體體X~B(1,p)，其中參參數(shù)p未知，且服服從[0,1]上的的均勻分布布，損失函函數(shù)取二次次損失函數(shù)數(shù)L(,d)=(-d)2，求參數(shù)p的貝葉斯估估計及貝葉葉斯風(fēng)險若在試驗前前對事件A沒有什么了了解，對其其發(fā)生的概概率也沒有任何何信息。貝貝葉斯本人人建議采用用“同等無無知”的原原則使用區(qū)區(qū)間（0,1））上的均勻分分布U(0,1)作為的先驗分布布，因為取?。?,1））上的每一點點的機會均均等。貝葉葉斯的這個個建議被后后人稱為貝貝葉斯假設(shè)設(shè)。某些場合，，貝葉斯估估計要比極極大似然估估計更合理理一點。比比如:““抽檢檢3個全是是合格品””與“抽檢檢10個全全是合格品品”，后者者的質(zhì)量比比前者更信信得過。這這種差別在在不合格品品率的極大大似然估計計中反映不不出來（兩者都為0）），而用貝貝葉斯估計計兩者分分別別是是0.2和和0.83。。由此此可可以以看看到到，，在在這這些些極極端端情情況況下下，，貝貝葉葉斯斯估估計計比比極極大大似似然然估估計計更更符符合合人人們們的的理理念念。。例設(shè)設(shè)總總體體X~N(,1)，其其中中未知知，，假假定定~N(0,1)，對對于于給給定定的的損損失失函函數(shù)數(shù)L(,d)=(-d)2，求求的貝葉葉斯斯估估計計量量例3.15X1,X2,…,Xn來自自正正態(tài)態(tài)分分布布N(,02)的一一個個樣樣本本，，其其中中02已知知，，未知知，，假假設(shè)設(shè)的先先驗驗分分布布為為正正態(tài)態(tài)分分布布N(,2)，其其中中先先驗驗均均值值和先先驗驗方方差差2均已已知知，，試試求求的貝貝葉葉斯斯估估計計。。解：：樣本本x的聯(lián)聯(lián)合合分分布布和和的先先驗驗分分布布分分別別為為由此此可可以以寫寫出出x與的聯(lián)聯(lián)合合分分布布其中中，，若記記則有有注意意到到A,B,C均與與無關(guān)關(guān)，，樣樣本本的的邊邊際際密密度度函函數(shù)數(shù)應(yīng)用用貝貝葉葉斯斯公公式式即即可可得得到到后后驗驗分分布布這說說明明在在樣樣本本給給定定后后，，的后后驗驗分分布布為為N(B/A,1/A)，即即|x~N(B/A,1/A)后驗驗均均值值即即為為其其貝貝葉葉斯斯估估計計：：它是是樣樣本本均均值值與與先先驗驗均均值值的加加權(quán)權(quán)平平均均。。貝葉葉斯斯估估計計的的誤誤差差貝葉葉斯斯區(qū)區(qū)間間估估計計兩種種區(qū)區(qū)間間估估計計的的區(qū)區(qū)別別1））構(gòu)構(gòu)造造一一個個統(tǒng)統(tǒng)計計量量，，并并求求得得其其概概率率分分布布2））利利用用參參數(shù)數(shù)的的后后驗驗分分布布區(qū)間間估估計計求求解解步步驟驟前面面同同貝貝葉葉斯斯點點估估計計；；求得得后后驗驗分分布布后后按按置置信信度度，，分分開開單單側(cè)側(cè)、、雙雙側(cè)側(cè)查查表表，，得得出出置置信信上上下下界界。。注意意：：貝貝葉葉斯斯區(qū)區(qū)間間估估計計的的置置信信區(qū)區(qū)間間較較短短；；貝葉葉斯斯點點估估計計不不再再要要求求無無偏偏性性。。例3.15x1,x2,…,xn來自自正正態(tài)態(tài)分分布布N(,02)的一一個個樣樣本本，，其其中中02已知知，，未知知，，假假設(shè)設(shè)的先先驗驗分分布布為為正正態(tài)態(tài)分分布布N(,2)，其其中中先先驗驗均均值值和先先驗驗方方差差2均已已知知，，試試求求的貝貝葉葉斯斯區(qū)區(qū)間間估估計計。。解：：由由貝貝葉葉斯斯點點估估計計知知例3.16對對某某一一兒兒童童做做智智力力測測驗驗x=115，，設(shè)設(shè)結(jié)結(jié)果果為為X~N(,100),為智智商商，，根據(jù)據(jù)經(jīng)經(jīng)驗驗~N(100,225)，求求該該兒兒童童智智商商的的0.95貝貝葉葉斯斯置置信信區(qū)區(qū)間間解：：由由上上題題結(jié)結(jié)論論知知，，的后后驗驗分分布布服服從從正正態(tài)態(tài)分分布布最大大最最小小估估計計（（極極大大極極小?。﹎inmax定義義：：設(shè)設(shè)D是決決策策函函數(shù)數(shù)的的集集合合，，若若有有d*(x)=d*(x1,x2,…xn),d*∈D，使得對任任意一個個決策函函數(shù)d(x1,x2,…xn)，總總有則稱d*為最大最最小決策策函數(shù)，，當(dāng)上界界能取到到時可記記為解題步驟驟（1）對對D中所有決決策函數(shù)數(shù)求最大大風(fēng)險（2）在在所有最最大風(fēng)險險值中選選取最小小值此最小值值所對應(yīng)應(yīng)的決策策函數(shù)就就是最大大最小決決策函數(shù)數(shù)。例設(shè)總體體X服從兩點點分布，，試求p的極大極極小估計計量，其其中L(p,d)d=0.25d=0.5P1=0.2514P2=0.532解：決策策空間為為A={0.25,0.5}，選選取容量量為1的的子樣，，x只能取0,1a只能取0.25，0.5，則則決策函函數(shù)d(x)有四個個：dxad1(x)d2(x)d3(x)d4(x)00.250.50.250.510.250.50.50.25風(fēng)險函數(shù)數(shù)R(p,d)R(p1,di)R(p2,di)maxR(pi,dj)d1133d2434d37/45/25/2d413/45/213/4min(maxR(pi,dj))=5/2則極大極極小估計計為R(p,d)計算舉舉例例：地質(zhì)質(zhì)學(xué)家把把地層狀狀態(tài)分為為0，1兩種，，并把當(dāng)當(dāng)?shù)責(zé)o石石油記為為0，有石油記記為1，分布規(guī)律律如下表表x010

（無油）0.60.41（有油）0.30.7決策空間間為A={a1,a2,a3}，其其中a1為鉆探探石油，，a2為出賣賣土地，，a3為開發(fā)發(fā)旅游。。損失函數(shù)數(shù)L(,a)取下表aa1a2a30（無油）12161（有油）0105決策函數(shù)數(shù)d(x)取下表表(取n=1)（（9個決決策函數(shù)數(shù)）x1d1d2d3d4d5d6d7d8d90a1a1a1a2a2a2a3a3a31a1a2a3a1a2a3a1a2a3風(fēng)險函數(shù)數(shù)R(i,dj)及最大值值表di(x1)d1d2d3d4d5d6d7d8d9R(