貝葉斯推理課件

Chp11：貝葉斯推斷內(nèi)容:

貝葉斯觀點(diǎn)和貝葉斯方法貝葉斯推斷vs.頻率推斷1Chp11：貝葉斯推斷內(nèi)容:1貝葉斯觀點(diǎn)和貝葉斯方法從頻率到信念2貝葉斯觀點(diǎn)和貝葉斯方法從頻率到信念2頻率學(xué)派的觀點(diǎn)到目前為止我們講述的都是頻率（經(jīng)典的）統(tǒng)計(jì)學(xué)概率指的是相對(duì)頻率，是真實(shí)世界的客觀屬性。參數(shù)是固定的未知常數(shù)。由于參數(shù)不會(huì)波動(dòng)，因此不能對(duì)其進(jìn)行概率描述。統(tǒng)計(jì)過(guò)程應(yīng)該具有定義良好的頻率穩(wěn)定性。如：一個(gè)95％的置信區(qū)間應(yīng)覆蓋參數(shù)真實(shí)值至少95％的頻率。統(tǒng)計(jì)學(xué)更多關(guān)注頻率推斷3頻率學(xué)派的觀點(diǎn)到目前為止我們講述的都是頻率（經(jīng)典的）統(tǒng)計(jì)學(xué)統(tǒng)貝葉斯學(xué)派的觀點(diǎn)貝葉斯推斷采取了另外一個(gè)不同的立場(chǎng)：概率描述的是主觀信念的程度，而不是頻率。這樣除了對(duì)從隨機(jī)變化產(chǎn)生的數(shù)據(jù)進(jìn)行概率描述外，我們還可以對(duì)其他事物進(jìn)行概率描述?？梢詫?duì)各個(gè)參數(shù)進(jìn)行概率描述，即使它們是固定的常數(shù)。為參數(shù)生成一個(gè)概率分布來(lái)對(duì)它們進(jìn)行推導(dǎo)，點(diǎn)估計(jì)和區(qū)間估計(jì)可以從這些分布得到機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘更偏愛(ài)貝葉斯推斷4貝葉斯學(xué)派的觀點(diǎn)貝葉斯推斷采取了另外一個(gè)不同的立場(chǎng)：機(jī)器學(xué)習(xí)貝葉斯方法貝葉斯推斷的基本步驟如下：選擇一個(gè)概率密度函數(shù)，用來(lái)表示在取得數(shù)據(jù)之前我們對(duì)某個(gè)參數(shù)的信念。我們稱之為先驗(yàn)分布。選擇一個(gè)模型（在參數(shù)推斷一章記為）來(lái)反映在給定參數(shù)情況下我們對(duì)x的信念。當(dāng)?shù)玫綌?shù)據(jù)X1,X2,…Xn

后，我們更新我們的信念并且計(jì)算后驗(yàn)分布。從后驗(yàn)分布中得到點(diǎn)估計(jì)和區(qū)間估計(jì)。5貝葉斯方法貝葉斯推斷的基本步驟如下：5回憶貝葉斯規(guī)則亦稱貝葉斯定理?xiàng)l件概率利用貝葉斯規(guī)則將數(shù)據(jù)和參數(shù)的分布聯(lián)合起來(lái)6回憶貝葉斯規(guī)則亦稱貝葉斯定理6似然函數(shù)假設(shè)我們有n個(gè)IID觀測(cè)，記為,產(chǎn)生的數(shù)據(jù)為，記為，我們用如下公式替代現(xiàn)在似然函數(shù)真正解釋為給定參數(shù)下數(shù)據(jù)的概率7似然函數(shù)假設(shè)我們有n個(gè)IID觀測(cè)后驗(yàn)概率因此后驗(yàn)概率為其中被稱為歸一化常數(shù)(normalizingconstant)。該常數(shù)經(jīng)常被忽略，因?yàn)槲覀冴P(guān)心的主要是參數(shù)的不同值之間的比較。所以也就是說(shuō)，后驗(yàn)和似然函數(shù)與先驗(yàn)的乘積成正比8后驗(yàn)概率因此后驗(yàn)概率為8貝葉斯點(diǎn)估計(jì)后驗(yàn)的均值是一個(gè)常用的點(diǎn)估計(jì)L2損失下的貝葉斯規(guī)則極大后驗(yàn)估計(jì)(maximumaposteriori，MAP)是使后驗(yàn)最大的的值：是另一個(gè)常用的點(diǎn)估計(jì)0-1損失下的貝葉斯規(guī)則9貝葉斯點(diǎn)估計(jì)后驗(yàn)的均值9貝葉斯置信區(qū)間估計(jì)為了得到貝葉斯區(qū)間估計(jì)，我們需找到a和b，使得令因此C稱為后驗(yàn)區(qū)間。注意：在多次試驗(yàn)中,并不保證θ在(1?α)100%的次數(shù)會(huì)落在后驗(yàn)區(qū)間內(nèi)。事實(shí)上，在復(fù)雜的高維模型中，當(dāng)樣本數(shù)很少時(shí)，覆蓋概率可能接近于0。注意：是隨機(jī)的10貝葉斯置信區(qū)間估計(jì)為了得到貝葉斯區(qū)間估計(jì)，我們需找到a和b，例：BernoulliI令，假設(shè)先驗(yàn)為均勻分布，根據(jù)貝葉斯公式，后驗(yàn)為其中為成功的次數(shù)。11例：BernoulliI令例：BernoulliI為了得到后驗(yàn)的均值，我們必須計(jì)算在這個(gè)例子中可以解析計(jì)算。后驗(yàn)恰好為Beta分布其中參數(shù)，，均值為12例：BernoulliI為了得到后驗(yàn)的均值，我們必須計(jì)算1例：BernoulliIp的極大似然估計(jì)為，為無(wú)偏估計(jì)。貝葉斯估計(jì)還可以寫成其中為先驗(yàn)的均值，13例：BernoulliIp的極大似然估計(jì)為例：BernoulliII現(xiàn)在假設(shè)先驗(yàn)不是均勻分布，而是則后驗(yàn)為Beta分布，參數(shù)為和，即后驗(yàn)的均值為其中為先驗(yàn)的均值。先驗(yàn)和后驗(yàn)為相同的分布族：共軛如例子中的Beta分布14例：BernoulliII現(xiàn)在假設(shè)先驗(yàn)不是均勻分布，而是例：正態(tài)分布令，為簡(jiǎn)單起見(jiàn)，假設(shè)已知，并假設(shè)先驗(yàn)為

對(duì)θ而言為常數(shù)對(duì)θ而言為常數(shù)15例：正態(tài)分布令例：正態(tài)分布將二者相乘，去掉一些常數(shù)項(xiàng)，最后得到一個(gè)正態(tài)分布形式的核最后，θ的后驗(yàn)為其中為MLE的標(biāo)準(zhǔn)誤差。16例：正態(tài)分布將二者相乘，去掉一些常數(shù)項(xiàng)，最后得到一個(gè)正態(tài)分布例：正態(tài)分布當(dāng)時(shí)，，當(dāng)n很大時(shí)，后驗(yàn)近似為當(dāng)n固定而時(shí)，對(duì)應(yīng)先驗(yàn)趨近于均勻分布，上述結(jié)論也成立17例：正態(tài)分布當(dāng)時(shí)，例：正態(tài)分布計(jì)算后驗(yàn)區(qū)間，使得所以且因此，由于，所以最后95%的貝葉斯后驗(yàn)區(qū)間為由于，，也可用近似，同頻率置信區(qū)間18例：正態(tài)分布計(jì)算后驗(yàn)區(qū)間參數(shù)的函數(shù)問(wèn)題：已知的貝葉斯后驗(yàn)分布為，求的后驗(yàn)分布兩種方法：利用CDF的定義，先求的CDF，然后求后驗(yàn)密度，其中CDF為

仿真/模擬方法19參數(shù)的函數(shù)問(wèn)題：已知的貝葉斯后驗(yàn)分布為仿真

(Simulation)可以通過(guò)仿真而不是解析計(jì)算來(lái)得到點(diǎn)估計(jì)和區(qū)間估計(jì)。假設(shè)我們抽取樣本則的直方圖可以近似后驗(yàn)密度后驗(yàn)的均值近似為后驗(yàn)的

置信區(qū)間為，其中為樣本的樣本分位數(shù)(quantile)一旦從中抽取樣本，令則為來(lái)自。這樣避免了解析計(jì)算但仿真可能很復(fù)雜/困難20仿真

(Simulation)可以通過(guò)仿真而不是解析計(jì)算來(lái)得例：Bernoullil

抽樣：令則為的IID，用直方圖方法可以估計(jì)21例：Bernoullil

抽樣：21MLE和貝葉斯令為的極大似然估計(jì)，標(biāo)準(zhǔn)誤差為在合適的正則條件下，后驗(yàn)均值的漸近分布為也就是說(shuō)，另外，若為漸近頻率的置信區(qū)間，則也是貝葉斯后驗(yàn)的區(qū)間：22MLE和貝葉斯令為的極大似然估計(jì)，標(biāo)準(zhǔn)誤差為2MLE和貝葉斯

定義則分別展開(kāi)23MLE和貝葉斯分別展開(kāi)23MLE和貝葉斯將先驗(yàn)也展開(kāi)I0為先驗(yàn)中θ的信息m0最大化f(θ)24MLE和貝葉斯將先驗(yàn)也展開(kāi)I0為先驗(yàn)中θ的信息24MLE和貝葉斯定義結(jié)合展開(kāi)，得到25MLE和貝葉斯定義25MLE和貝葉斯后驗(yàn)簡(jiǎn)化為結(jié)論：當(dāng)n相對(duì)參數(shù)數(shù)目很大時(shí)，如果先驗(yàn)符合真正的知識(shí)，則貝葉斯區(qū)間和頻率區(qū)間相同。當(dāng)數(shù)據(jù)越多時(shí)，先驗(yàn)的影響越弱。26MLE和貝葉斯后驗(yàn)簡(jiǎn)化為26先驗(yàn)知識(shí)從哪兒來(lái)呢？我們可能在觀測(cè)數(shù)據(jù)之前就有一些主觀觀點(diǎn)或真正的先驗(yàn)知識(shí)。但是，通常我們并沒(méi)有真正的先驗(yàn)知識(shí)或者我們?cè)谪惾~斯估計(jì)時(shí)想更客觀些，這時(shí)可以選擇無(wú)信息的先驗(yàn)(noninformativeprior)?；蛘呖梢詮臄?shù)據(jù)估計(jì)先驗(yàn)。這被稱為經(jīng)驗(yàn)貝葉斯(empiricalBayes)，有時(shí)亦稱第II類的極大似然(TypeIImaximumlikelihood)。27先驗(yàn)知識(shí)從哪兒來(lái)呢？我們可能在觀測(cè)數(shù)據(jù)之前就有一些主觀觀點(diǎn)或扁平先驗(yàn)(FlatPriors)考慮一個(gè)扁平的先驗(yàn)：其中c>0為常數(shù)。但是

，因此這不是一個(gè)pdf。我們稱之為非正常先驗(yàn)(improperprior)。通常非正常先驗(yàn)不是問(wèn)題，只要后驗(yàn)為一個(gè)定義良好的pdf即可。扁平先驗(yàn)有時(shí)為病態(tài)定義的，因?yàn)橐粋€(gè)參數(shù)的扁平先驗(yàn)并不意味參數(shù)的變換也是扁平先驗(yàn)。請(qǐng)參見(jiàn)書中的例子28扁平先驗(yàn)(FlatPriors)考慮一個(gè)扁平的先驗(yàn)：28通用先驗(yàn)一個(gè)流行的想法是使用通用先驗(yàn)，或在任何場(chǎng)合下都可用的缺省的先驗(yàn)分布。該先驗(yàn)通常從似然函數(shù)推導(dǎo)得到。例子包括最小描述長(zhǎng)度(minimumdescriptionlength,MDL)和Jeffrey先驗(yàn)。這些通常是完全無(wú)信息的。29通用先驗(yàn)一個(gè)流行的想法是使用通用先驗(yàn)，或在任何場(chǎng)合下都可用的Jeffrey先驗(yàn)Jeffrey提出的創(chuàng)建先驗(yàn)的規(guī)則：其中為Fisher信息。例：對(duì)，則Jeffrey先驗(yàn)為，即，與均勻分布很相近。30Jeffrey先驗(yàn)Jeffrey提出的創(chuàng)建先驗(yàn)的規(guī)則：30Jeffrey先驗(yàn)對(duì)于多元參數(shù)情況，Jeffrey先驗(yàn)為其中表示矩陣A的行列式，為Fisher信息矩陣。31Jeffrey先驗(yàn)對(duì)于多元參數(shù)情況，Jeffrey先驗(yàn)多元參數(shù)問(wèn)題對(duì)于多元參數(shù)的情況，原則上同處理單個(gè)參數(shù)相同。后驗(yàn)密度為：?jiǎn)栴}：如何對(duì)多個(gè)參數(shù)中的一個(gè)進(jìn)行推斷？計(jì)算感興趣參數(shù)的后驗(yàn)邊緣分布例如的邊緣分布為32多元參數(shù)問(wèn)題對(duì)于多元參數(shù)多元參數(shù)問(wèn)題通常計(jì)算是很困難的，可用模擬的方法近似。從后驗(yàn)分布隨機(jī)采樣：上標(biāo)表示不同的采樣，收集每個(gè)樣本中向量的第一個(gè)成分，得到為中的樣本，這樣可以避免積分運(yùn)算。33多元參數(shù)問(wèn)題通常計(jì)算33貝葉斯假設(shè)檢驗(yàn)從貝葉斯觀點(diǎn)看假設(shè)檢驗(yàn)時(shí)一個(gè)很復(fù)雜的問(wèn)題，我們只介紹其基本思想。34貝葉斯假設(shè)檢驗(yàn)從貝葉斯觀點(diǎn)看假設(shè)檢驗(yàn)時(shí)一個(gè)很復(fù)雜的問(wèn)題，我們貝葉斯假設(shè)檢驗(yàn)數(shù)據(jù)和模型：檢驗(yàn)：例：用X表示一個(gè)最近被污染區(qū)域中n個(gè)蛋中被孵出的蛋的數(shù)目，則，其中表示被孵出蛋的真正比例檢驗(yàn)：其中0為被孵出蛋比例的經(jīng)驗(yàn)值35貝葉斯假設(shè)檢驗(yàn)數(shù)據(jù)和模型：35先驗(yàn)分布令分別表示H0和H1的先驗(yàn)分布通常缺省為：在H1下，用表示關(guān)于位置的信息的先驗(yàn)密度對(duì)二項(xiàng)分布，通常缺省為：36先驗(yàn)分布令分別表示H給定數(shù)據(jù)，

H0

為真的后驗(yàn)概率根據(jù)貝葉斯公式，37給定數(shù)據(jù)，H0為真的后驗(yàn)概率根據(jù)貝葉斯公式，37給定數(shù)據(jù)，

H0

為真的后驗(yàn)概率對(duì)上例中的二項(xiàng)檢驗(yàn)問(wèn)題，38給定數(shù)據(jù)，H0為真的后驗(yàn)概率對(duì)上例中的二項(xiàng)檢驗(yàn)問(wèn)題，38貝葉斯因子有人更喜歡用H0對(duì)H1的貝葉斯因子(Bayesfactor)亦稱為加權(quán)似然比因?yàn)檫@樣不涉及Hi的先驗(yàn)例：假設(shè)在上例中則而經(jīng)典檢驗(yàn)給出的p值為0.0539貝葉斯因子有人更喜歡用H0對(duì)H1的貝葉斯因子(Bayesf貝葉斯假設(shè)檢驗(yàn)的優(yōu)點(diǎn)

反映了真正的期望錯(cuò)誤率：但p-values

不是。后驗(yàn)概率允許加入個(gè)人觀點(diǎn)，如果喜歡的話。后驗(yàn)概率可用于多模型檢驗(yàn)中：40貝葉斯假設(shè)檢驗(yàn)的優(yōu)點(diǎn)貝葉斯推理vs.頻率推理我們應(yīng)該信仰頻率學(xué)派還是貝葉斯學(xué)派？41貝葉斯推理vs.頻率推理我們應(yīng)該信仰頻率學(xué)派還是貝葉斯學(xué)貝葉斯學(xué)派的觀點(diǎn)先驗(yàn)信息：可以方便的結(jié)合先驗(yàn)信息，而且人們?cè)谧鐾茢鄷r(shí)也確實(shí)利用了先驗(yàn)信息，貝葉斯推斷使得這個(gè)過(guò)程顯式化提供了更多的結(jié)構(gòu)：對(duì)小樣本很有效簡(jiǎn)練：允許人們對(duì)參數(shù)進(jìn)行概率描述，使得似然函數(shù)與其邏輯結(jié)論一致，減小了數(shù)據(jù)和參數(shù)之間的區(qū)別統(tǒng)一：不必對(duì)點(diǎn)估計(jì)和區(qū)間估計(jì)各個(gè)解析推導(dǎo)42貝葉斯學(xué)派的觀點(diǎn)先驗(yàn)信息：可以方便的結(jié)合先驗(yàn)信息，而且人們?cè)诜磳?duì)貝葉斯學(xué)派的觀點(diǎn)不方便：后驗(yàn)區(qū)間不是真正的置信區(qū)間，估計(jì)通常都是有偏估計(jì)以參數(shù)為中心：在很多非參數(shù)情況下似然很脆弱計(jì)算強(qiáng)度大：積分/仿真或近似很難處理不必要的復(fù)雜：即使沒(méi)有先驗(yàn)信息也要有先驗(yàn)函數(shù)假設(shè)檢驗(yàn)：貝葉斯假設(shè)檢驗(yàn)對(duì)先驗(yàn)的選取很敏感43反對(duì)貝葉斯學(xué)派的觀點(diǎn)不方便：后驗(yàn)區(qū)間不是真正的置信區(qū)間，估計(jì)綜上所述在參數(shù)模型中，當(dāng)樣本數(shù)目很多時(shí)，貝葉斯方法和頻率方法得到的近似相同的推理。但通常二者的結(jié)果不同貝葉斯方法和頻率推理是為了解決不同的問(wèn)題結(jié)合先驗(yàn)知識(shí)和數(shù)據(jù)：貝葉斯方法構(gòu)造長(zhǎng)期穩(wěn)定的性能（如置信區(qū)間）：頻率方法44綜上所述在參數(shù)模型中，當(dāng)樣本數(shù)目很多時(shí)，貝葉斯方法和頻率方法綜上所述當(dāng)參數(shù)空間為高維時(shí)，通常采用貝葉斯方法但當(dāng)參數(shù)比數(shù)據(jù)還多時(shí)，沒(méi)有統(tǒng)計(jì)方法能跨越自然的本質(zhì)約束即使先驗(yàn)知識(shí)選擇得當(dāng)，也只能對(duì)“過(guò)去”預(yù)測(cè)很好，對(duì)將來(lái)不一定能預(yù)測(cè)很好Youcannotgetsomethingfornothing.Alittlebitofdata,willnothelpyoutolearnaboutamilliondimensional,complexproblem.45綜上所述當(dāng)參數(shù)空間為高維時(shí)，通常采用貝葉斯方法45下節(jié)課內(nèi)容作業(yè)：第11章第2、4題第三部分：統(tǒng)計(jì)學(xué)習(xí)基礎(chǔ)46下節(jié)課內(nèi)容作業(yè)：第11章第2、4題46Chp11：貝葉斯推斷內(nèi)容:

貝葉斯觀點(diǎn)和貝葉斯方法貝葉斯推斷vs.頻率推斷47Chp11：貝葉斯推斷內(nèi)容:1貝葉斯觀點(diǎn)和貝葉斯方法從頻率到信念48貝葉斯觀點(diǎn)和貝葉斯方法從頻率到信念2頻率學(xué)派的觀點(diǎn)到目前為止我們講述的都是頻率（經(jīng)典的）統(tǒng)計(jì)學(xué)概率指的是相對(duì)頻率，是真實(shí)世界的客觀屬性。參數(shù)是固定的未知常數(shù)。由于參數(shù)不會(huì)波動(dòng)，因此不能對(duì)其進(jìn)行概率描述。統(tǒng)計(jì)過(guò)程應(yīng)該具有定義良好的頻率穩(wěn)定性。如：一個(gè)95％的置信區(qū)間應(yīng)覆蓋參數(shù)真實(shí)值至少95％的頻率。統(tǒng)計(jì)學(xué)更多關(guān)注頻率推斷49頻率學(xué)派的觀點(diǎn)到目前為止我們講述的都是頻率（經(jīng)典的）統(tǒng)計(jì)學(xué)統(tǒng)貝葉斯學(xué)派的觀點(diǎn)貝葉斯推斷采取了另外一個(gè)不同的立場(chǎng)：概率描述的是主觀信念的程度，而不是頻率。這樣除了對(duì)從隨機(jī)變化產(chǎn)生的數(shù)據(jù)進(jìn)行概率描述外，我們還可以對(duì)其他事物進(jìn)行概率描述?？梢詫?duì)各個(gè)參數(shù)進(jìn)行概率描述，即使它們是固定的常數(shù)。為參數(shù)生成一個(gè)概率分布來(lái)對(duì)它們進(jìn)行推導(dǎo)，點(diǎn)估計(jì)和區(qū)間估計(jì)可以從這些分布得到機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘更偏愛(ài)貝葉斯推斷50貝葉斯學(xué)派的觀點(diǎn)貝葉斯推斷采取了另外一個(gè)不同的立場(chǎng)：機(jī)器學(xué)習(xí)貝葉斯方法貝葉斯推斷的基本步驟如下：選擇一個(gè)概率密度函數(shù)，用來(lái)表示在取得數(shù)據(jù)之前我們對(duì)某個(gè)參數(shù)的信念。我們稱之為先驗(yàn)分布。選擇一個(gè)模型（在參數(shù)推斷一章記為）來(lái)反映在給定參數(shù)情況下我們對(duì)x的信念。當(dāng)?shù)玫綌?shù)據(jù)X1,X2,…Xn

后，我們更新我們的信念并且計(jì)算后驗(yàn)分布。從后驗(yàn)分布中得到點(diǎn)估計(jì)和區(qū)間估計(jì)。51貝葉斯方法貝葉斯推斷的基本步驟如下：5回憶貝葉斯規(guī)則亦稱貝葉斯定理?xiàng)l件概率利用貝葉斯規(guī)則將數(shù)據(jù)和參數(shù)的分布聯(lián)合起來(lái)52回憶貝葉斯規(guī)則亦稱貝葉斯定理6似然函數(shù)假設(shè)我們有n個(gè)IID觀測(cè)，記為,產(chǎn)生的數(shù)據(jù)為，記為，我們用如下公式替代現(xiàn)在似然函數(shù)真正解釋為給定參數(shù)下數(shù)據(jù)的概率53似然函數(shù)假設(shè)我們有n個(gè)IID觀測(cè)后驗(yàn)概率因此后驗(yàn)概率為其中被稱為歸一化常數(shù)(normalizingconstant)。該常數(shù)經(jīng)常被忽略，因?yàn)槲覀冴P(guān)心的主要是參數(shù)的不同值之間的比較。所以也就是說(shuō)，后驗(yàn)和似然函數(shù)與先驗(yàn)的乘積成正比54后驗(yàn)概率因此后驗(yàn)概率為8貝葉斯點(diǎn)估計(jì)后驗(yàn)的均值是一個(gè)常用的點(diǎn)估計(jì)L2損失下的貝葉斯規(guī)則極大后驗(yàn)估計(jì)(maximumaposteriori，MAP)是使后驗(yàn)最大的的值：是另一個(gè)常用的點(diǎn)估計(jì)0-1損失下的貝葉斯規(guī)則55貝葉斯點(diǎn)估計(jì)后驗(yàn)的均值9貝葉斯置信區(qū)間估計(jì)為了得到貝葉斯區(qū)間估計(jì)，我們需找到a和b，使得令因此C稱為后驗(yàn)區(qū)間。注意：在多次試驗(yàn)中,并不保證θ在(1?α)100%的次數(shù)會(huì)落在后驗(yàn)區(qū)間內(nèi)。事實(shí)上，在復(fù)雜的高維模型中，當(dāng)樣本數(shù)很少時(shí)，覆蓋概率可能接近于0。注意：是隨機(jī)的56貝葉斯置信區(qū)間估計(jì)為了得到貝葉斯區(qū)間估計(jì)，我們需找到a和b，例：BernoulliI令，假設(shè)先驗(yàn)為均勻分布，根據(jù)貝葉斯公式，后驗(yàn)為其中為成功的次數(shù)。57例：BernoulliI令例：BernoulliI為了得到后驗(yàn)的均值，我們必須計(jì)算在這個(gè)例子中可以解析計(jì)算。后驗(yàn)恰好為Beta分布其中參數(shù)，，均值為58例：BernoulliI為了得到后驗(yàn)的均值，我們必須計(jì)算1例：BernoulliIp的極大似然估計(jì)為，為無(wú)偏估計(jì)。貝葉斯估計(jì)還可以寫成其中為先驗(yàn)的均值，59例：BernoulliIp的極大似然估計(jì)為例：BernoulliII現(xiàn)在假設(shè)先驗(yàn)不是均勻分布，而是則后驗(yàn)為Beta分布，參數(shù)為和，即后驗(yàn)的均值為其中為先驗(yàn)的均值。先驗(yàn)和后驗(yàn)為相同的分布族：共軛如例子中的Beta分布60例：BernoulliII現(xiàn)在假設(shè)先驗(yàn)不是均勻分布，而是例：正態(tài)分布令，為簡(jiǎn)單起見(jiàn)，假設(shè)已知，并假設(shè)先驗(yàn)為

對(duì)θ而言為常數(shù)對(duì)θ而言為常數(shù)61例：正態(tài)分布令例：正態(tài)分布將二者相乘，去掉一些常數(shù)項(xiàng)，最后得到一個(gè)正態(tài)分布形式的核最后，θ的后驗(yàn)為其中為MLE的標(biāo)準(zhǔn)誤差。62例：正態(tài)分布將二者相乘，去掉一些常數(shù)項(xiàng)，最后得到一個(gè)正態(tài)分布例：正態(tài)分布當(dāng)時(shí)，，當(dāng)n很大時(shí)，后驗(yàn)近似為當(dāng)n固定而時(shí)，對(duì)應(yīng)先驗(yàn)趨近于均勻分布，上述結(jié)論也成立63例：正態(tài)分布當(dāng)時(shí)，例：正態(tài)分布計(jì)算后驗(yàn)區(qū)間，使得所以且因此，由于，所以最后95%的貝葉斯后驗(yàn)區(qū)間為由于，，也可用近似，同頻率置信區(qū)間64例：正態(tài)分布計(jì)算后驗(yàn)區(qū)間參數(shù)的函數(shù)問(wèn)題：已知的貝葉斯后驗(yàn)分布為，求的后驗(yàn)分布兩種方法：利用CDF的定義，先求的CDF，然后求后驗(yàn)密度，其中CDF為

仿真/模擬方法65參數(shù)的函數(shù)問(wèn)題：已知的貝葉斯后驗(yàn)分布為仿真

(Simulation)可以通過(guò)仿真而不是解析計(jì)算來(lái)得到點(diǎn)估計(jì)和區(qū)間估計(jì)。假設(shè)我們抽取樣本則的直方圖可以近似后驗(yàn)密度后驗(yàn)的均值近似為后驗(yàn)的

置信區(qū)間為，其中為樣本的樣本分位數(shù)(quantile)一旦從中抽取樣本，令則為來(lái)自。這樣避免了解析計(jì)算但仿真可能很復(fù)雜/困難66仿真

(Simulation)可以通過(guò)仿真而不是解析計(jì)算來(lái)得例：Bernoullil

抽樣：令則為的IID，用直方圖方法可以估計(jì)67例：Bernoullil

抽樣：21MLE和貝葉斯令為的極大似然估計(jì)，標(biāo)準(zhǔn)誤差為在合適的正則條件下，后驗(yàn)均值的漸近分布為也就是說(shuō)，另外，若為漸近頻率的置信區(qū)間，則也是貝葉斯后驗(yàn)的區(qū)間：68MLE和貝葉斯令為的極大似然估計(jì)，標(biāo)準(zhǔn)誤差為2MLE和貝葉斯

定義則分別展開(kāi)69MLE和貝葉斯分別展開(kāi)23MLE和貝葉斯將先驗(yàn)也展開(kāi)I0為先驗(yàn)中θ的信息m0最大化f(θ)70MLE和貝葉斯將先驗(yàn)也展開(kāi)I0為先驗(yàn)中θ的信息24MLE和貝葉斯定義結(jié)合展開(kāi)，得到71MLE和貝葉斯定義25MLE和貝葉斯后驗(yàn)簡(jiǎn)化為結(jié)論：當(dāng)n相對(duì)參數(shù)數(shù)目很大時(shí)，如果先驗(yàn)符合真正的知識(shí)，則貝葉斯區(qū)間和頻率區(qū)間相同。當(dāng)數(shù)據(jù)越多時(shí)，先驗(yàn)的影響越弱。72MLE和貝葉斯后驗(yàn)簡(jiǎn)化為26先驗(yàn)知識(shí)從哪兒來(lái)呢？我們可能在觀測(cè)數(shù)據(jù)之前就有一些主觀觀點(diǎn)或真正的先驗(yàn)知識(shí)。但是，通常我們并沒(méi)有真正的先驗(yàn)知識(shí)或者我們?cè)谪惾~斯估計(jì)時(shí)想更客觀些，這時(shí)可以選擇無(wú)信息的先驗(yàn)(noninformativeprior)?；蛘呖梢詮臄?shù)據(jù)估計(jì)先驗(yàn)。這被稱為經(jīng)驗(yàn)貝葉斯(empiricalBayes)，有時(shí)亦稱第II類的極大似然(TypeIImaximumlikelihood)。73先驗(yàn)知識(shí)從哪兒來(lái)呢？我們可能在觀測(cè)數(shù)據(jù)之前就有一些主觀觀點(diǎn)或扁平先驗(yàn)(FlatPriors)考慮一個(gè)扁平的先驗(yàn)：其中c>0為常數(shù)。但是

，因此這不是一個(gè)pdf。我們稱之為非正常先驗(yàn)(improperprior)。通常非正常先驗(yàn)不是問(wèn)題，只要后驗(yàn)為一個(gè)定義良好的pdf即可。扁平先驗(yàn)有時(shí)為病態(tài)定義的，因?yàn)橐粋€(gè)參數(shù)的扁平先驗(yàn)并不意味參數(shù)的變換也是扁平先驗(yàn)。請(qǐng)參見(jiàn)書中的例子74扁平先驗(yàn)(FlatPriors)考慮一個(gè)扁平的先驗(yàn)：28通用先驗(yàn)一個(gè)流行的想法是使用通用先驗(yàn)，或在任何場(chǎng)合下都可用的缺省的先驗(yàn)分布。該先驗(yàn)通常從似然函數(shù)推導(dǎo)得到。例子包括最小描述長(zhǎng)度(minimumdescriptionlength,MDL)和Jeffrey先驗(yàn)。這些通常是完全無(wú)信息的。75通用先驗(yàn)一個(gè)流行的想法是使用通用先驗(yàn)，或在任何場(chǎng)合下都可用的Jeffrey先驗(yàn)Jeffrey提出的創(chuàng)建先驗(yàn)的規(guī)則：其中為Fisher信息。例：對(duì)，則Jeffrey先驗(yàn)為，即，與均勻分布很相近。76Jeffrey先驗(yàn)Jeffrey提出的創(chuàng)建先驗(yàn)的規(guī)則：30Jeffrey先驗(yàn)對(duì)于多元參數(shù)情況，Jeffrey先驗(yàn)為其中表示矩陣A的行列式，為Fisher信息矩陣。77Jeffrey先驗(yàn)對(duì)于多元參數(shù)情況，Jeffrey先驗(yàn)多元參數(shù)問(wèn)題對(duì)于多元參數(shù)的情況，原則上同處理單個(gè)參數(shù)相同。后驗(yàn)密度為：?jiǎn)栴}：如何對(duì)多個(gè)參數(shù)中的一個(gè)進(jìn)行推斷？計(jì)算感興趣參數(shù)的后驗(yàn)邊緣分布例如的邊緣分布為78多元參數(shù)問(wèn)題對(duì)于多元參數(shù)多元參數(shù)問(wèn)題通常計(jì)算是很困難的，可用模擬的方法近似。從后驗(yàn)分布隨機(jī)采樣：上標(biāo)表示不同的采樣，收集每個(gè)樣本中向量的第一個(gè)成分，得到為中的樣本，這樣可以避免積分運(yùn)算。79多元參數(shù)問(wèn)題通常計(jì)算33貝葉斯假設(shè)檢驗(yàn)從貝葉斯觀點(diǎn)看假設(shè)檢驗(yàn)時(shí)一個(gè)很復(fù)雜的問(wèn)題，我們只介紹其基本思想。80貝葉斯假設(shè)檢驗(yàn)從貝葉斯觀點(diǎn)看假設(shè)檢驗(yàn)時(shí)一個(gè)很復(fù)雜的問(wèn)題，我們貝葉斯假設(shè)檢驗(yàn)數(shù)據(jù)和模型：檢驗(yàn)：例：用X表示一個(gè)最近被污染區(qū)域中n個(gè)蛋中被孵出的蛋的數(shù)目，則，其中表示被孵出蛋的真正比例檢驗(yàn)：其中0為被孵出蛋比例的經(jīng)驗(yàn)值81貝葉斯假設(shè)檢驗(yàn)數(shù)據(jù)和模型：35先驗(yàn)分布令分別表示H0和H1的先驗(yàn)分布通常缺省為：在H1下，用