十貝葉斯統(tǒng)計(jì)

1、第十二章貝葉斯統(tǒng)計(jì)統(tǒng)計(jì)學(xué)中有兩個(gè)主要學(xué)派：頻率學(xué)派和貝葉斯學(xué)派。兩者間有著長(zhǎng)期的爭(zhēng)論，這對(duì)統(tǒng)計(jì) 學(xué)的發(fā)展起到了積極的促進(jìn)作用。本章主要討論貝葉斯統(tǒng)計(jì)的基本思想、理論進(jìn)展及應(yīng)用， 以期對(duì)貝葉斯統(tǒng)計(jì)形成初步的認(rèn)識(shí)。 12.1貝葉斯學(xué)派概述貝葉斯統(tǒng)計(jì)起源于英國(guó)學(xué)者貝葉斯的一篇論文論有關(guān)機(jī)遇問(wèn)題的求解”1763年發(fā)表)。 在這篇論文中，他提出了著名的貝葉斯公式。設(shè)參數(shù)已知時(shí)，樣本X的分布密度為f (x),0的先驗(yàn)密度為兀(6)，則已知樣本X后，參數(shù)0的后驗(yàn)密度為h( | x)二兀(0) f (x0)j 兀(0)f (x |0)d0(12.1.1)貝葉斯公式、參數(shù)0的后驗(yàn)密度公式(12.1.1)及貝葉斯

2、假設(shè)構(gòu)成了貝葉斯統(tǒng)計(jì)的起點(diǎn)。頻率學(xué)派進(jìn)行統(tǒng)計(jì)推斷時(shí)，依據(jù)兩種信息：一是總體信息，即統(tǒng)計(jì)總體服從何種概率分 布，例如總體服從正態(tài)分布。另一是樣本信息，即從總體抽取的樣本給我們提供的信息。貝 葉斯學(xué)派則除以上兩種信息之外，還必需利用先驗(yàn)信息，即在抽樣(試驗(yàn))之前有關(guān)總體分 布的未知參數(shù)的信息。貝葉斯學(xué)派受到的批評(píng)集中于以下兩點(diǎn)：將參數(shù)0看成是隨機(jī)變量是否合適；先 驗(yàn)分布是否存在，如何確定。貝葉斯統(tǒng)計(jì)在參數(shù)的點(diǎn)估計(jì)、區(qū)間估計(jì)及假設(shè)檢驗(yàn)方面形成了與頻率統(tǒng)計(jì)相平行的理論 方法，并賦予統(tǒng)計(jì)推斷以新的解釋，它在可靠性方面有著成功的應(yīng)用。貝葉斯分析與統(tǒng)計(jì)決 策論也是難以分開(kāi)的，貝葉斯統(tǒng)計(jì)具有簡(jiǎn)潔實(shí)用的特點(diǎn)。貝

3、葉斯方法的關(guān)鍵是先驗(yàn)分布的確 定。由于現(xiàn)實(shí)世界中的事物的發(fā)生常不具備大量可重復(fù)性，事件發(fā)生的概率較難具有頻率解 釋，而又面臨解決問(wèn)題，這就導(dǎo)致主觀概率、先驗(yàn)分布的提出，試圖通過(guò)科學(xué)的思維活動(dòng)來(lái) 彌補(bǔ)經(jīng)驗(yàn)的不足，再利用樣本X調(diào)整先驗(yàn)分布兀(0)為后驗(yàn)分布h(0 | X)，完成對(duì)參數(shù)0認(rèn) 識(shí)的再認(rèn)識(shí)。例12.1.一個(gè)人打靶，打了 n次，命中了,次，估計(jì)此人打靶命中的概率0。一般的估計(jì)方法是：0 =-。當(dāng)n = r = 1時(shí)，0 = 1 ；當(dāng)n = r = 100時(shí)，仍有0 =1。 n而實(shí)際上在這兩種情況下，反映出的此人的射擊水平是不一樣的。依貝葉斯方法，n次獨(dú)立 射擊，命中r次的概率為一 孚 (n

4、工 . f (r |0 ) =0 - (1 0) n-r ,Ir J當(dāng)對(duì)參數(shù)0 一無(wú)所知時(shí)，可設(shè)0服從0,1上的均勻分布，由(12.1.1)得h(Br)= r(5T,0o即嫡是表征信源的不定程度的總體特性的。信息獲得的可能性較小，則一旦獲得信息，所得 到的信息量也應(yīng)是較大的?？勺C明對(duì)離散型隨機(jī)變量，等概率狀態(tài)相應(yīng)的嫡最大。對(duì)連續(xù)信源X，可定義信源的信息嫡為H (X) = -j p (x) ln p (xx)dx,可證明在。,b上的均勻分布是嫡最大的分布。從而例12.1.1中0的最大嫡先驗(yàn)分布為0,1上的均勻分布。又設(shè)0是(-3, +3)上的隨機(jī)變量，假定它的一階矩為C，二階中心矩為b 2，T

5、則可推得0的最大嫡分布為N(T ,b 2)。T12.2.4共軛分布Raiffa和Schlaifer(1961)提出選擇自然共軛分布作為先驗(yàn)分布。定義：設(shè)樣本X的分布 密度f(wàn) (x|0)，若兀(0)決定的后驗(yàn)密度：h(0 |x)與兀(0)是同一類(lèi)型的，則稱先驗(yàn)分布 兀(0)為f (x|0)的共軛分布。再看例12.1.1若選取兀(0)為貝塔分布P (a,b)，則可推出：h(0 |r)仍服從貝塔分布P (a + r,n + b - r)，故貝塔分布是二項(xiàng)分布的共軛分布。此時(shí)，0的貝葉斯估計(jì)：0 =-。當(dāng)a = 1, b =1時(shí)，0的先驗(yàn)分布P (1,1)即為貝葉斯假設(shè)。共軛分布要求先驗(yàn) a + b

6、+ n分布兀(0)與經(jīng)樣本X調(diào)整后的后驗(yàn)分布h(0 |x)具有某種一致性，即要求具有對(duì)參數(shù)0的 基本認(rèn)識(shí)條件下，通過(guò)樣本調(diào)整，達(dá)到對(duì)參數(shù)0認(rèn)識(shí)的升華。12.2.5經(jīng)驗(yàn)貝葉斯估計(jì)經(jīng)驗(yàn)貝葉斯方法體現(xiàn)了頻率統(tǒng)計(jì)和貝葉斯統(tǒng)計(jì)的某種融合，其特點(diǎn)是利用歷史樣本的信 息。例12.2.1設(shè)X ，Xn是來(lái)自總體X服從N(Jb2)的樣本，b 2已知，目的先驗(yàn)分布選 為N(T,b2)，則可 T 推知：給定X = x,目的后驗(yàn)分布h(R |x)服從N(a,b2)，其中，aX b 2 +T b 21a =,b 2 1 b 2 + 1 b2 a 1 b 2 + 1 b2即H的先驗(yàn)分布N版,b2），為給定b2下總體分布N（

7、四,。2）的共軛分布（也是R的二階矩 T存在下的最大熵分布），在上式中參數(shù)匚,b 2是未知的。經(jīng)驗(yàn)貝葉斯方法是通過(guò)樣本 TX, , Xn去估計(jì)未知參數(shù)匚,b2。在前述假設(shè)下，可推知總體X的邊緣分布為N（t,b2+b?，進(jìn)而可得7,b2的極大似 然估計(jì)-1 EX，b 2 = D （X - X）2 - b 2 i=1 i=1由此確定出參數(shù)H的先驗(yàn)分布N（t，b2）。T 12.3貝葉斯統(tǒng)計(jì)的應(yīng)用與發(fā)展貝葉斯方法在可靠性分析中有著重要的應(yīng)用。數(shù)據(jù)少是可靠性分析的特點(diǎn)，由于可靠性 分析的對(duì)象大多是精密、貴重的儀器設(shè)備，試驗(yàn)費(fèi)用大，樣本量小到甚至只有一、二次的試 驗(yàn)結(jié)果，在這種情況下去分析設(shè)備的可靠性指標(biāo)

8、，須盡可能地搜集、綜合各種驗(yàn)前經(jīng)驗(yàn)，整 理、推導(dǎo)出參數(shù)的先驗(yàn)分布。由前述看到，先驗(yàn)分布的確定不是憑空捏造的，而是通過(guò)正常 的邏輯思維獲得的。先驗(yàn)分布的使用，成為驗(yàn)后樣本量不足的合理的補(bǔ)充。在決策分析中，考慮一種新產(chǎn)品的銷(xiāo)路，分暢銷(xiāo)、一般及滯銷(xiāo)三種情形，不同的人因?yàn)?各自經(jīng)驗(yàn)等方面的原因，對(duì)此會(huì)作出不同的估計(jì)，形成新產(chǎn)品銷(xiāo)路三種情形的主觀概率?？?見(jiàn)在人們現(xiàn)有知識(shí)、經(jīng)驗(yàn)條件下，主觀概率是人們帶有主觀成分的對(duì)事物盡可能的客觀性判 斷，它不等同唯心論。量子力學(xué)里最根本的概念就是用波函數(shù)中描述的概率幅，最基本的規(guī)律就是概率幅疊 加的規(guī)則，所謂微觀粒子的波粒二象性，就是由大量測(cè)量事件顯示出來(lái)的一種按甲|2的概 率分布。在對(duì)物質(zhì)世界的微觀領(lǐng)域的探索中，物理參數(shù)呈現(xiàn)出一定的隨機(jī)性，受科學(xué)實(shí)驗(yàn)的 制約及實(shí)驗(yàn)對(duì)實(shí)驗(yàn)對(duì)象的影響，以及微觀粒子的大量存在性，這為貝葉斯統(tǒng)計(jì)在物理參數(shù)估 計(jì)等方面提供了應(yīng)用空間。貝葉斯統(tǒng)計(jì)和頻率統(tǒng)計(jì)都服從柯?tīng)柲缏宸颍?933）年提出的概率公理體系，運(yùn)用概率 論知識(shí)進(jìn)行其理論推導(dǎo)。先驗(yàn)分布的確定體現(xiàn)了貝葉斯統(tǒng)計(jì)的特色，使貝葉斯統(tǒng)計(jì)成為處理 實(shí)際問(wèn)題的簡(jiǎn)明有效的方法。面向?qū)嶋H，突出實(shí)效也是貝葉斯統(tǒng)計(jì)生命力之所在。關(guān)