貝葉斯統(tǒng)計及其推斷課件

貝葉斯統(tǒng)計貝葉斯統(tǒng)計1貝葉斯中的信息三種信息：總體信息~可知r.v.的分布類型樣本信息~由此可推斷未知參數(shù)的信息先驗信息~由歷史經(jīng)驗得到的參數(shù)信息有一定的主觀性通常由專家給出貝葉斯中的信息三種信息：總體信息~可知r.v.的分布類型2經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計的區(qū)別反映在三個方面：參數(shù)的理解上概率的理解上先驗信息的有無利用上經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計的區(qū)別反映在三個方面3對參數(shù)的理解對參數(shù)的理解4例1估計某特定教師的年齡參數(shù)理解的例子例1估計某特定教師的年齡參數(shù)理解的例子5概率理解的不同設(shè)P(A)=0.9……(1)●經(jīng)典統(tǒng)計：(1)式意味著重復(fù)試驗n次，A發(fā)生的次數(shù)約為0.9n,故又稱為頻率學(xué)派●貝葉斯統(tǒng)計：認(rèn)為A發(fā)生的可能性為90%，試驗不一定會重復(fù)概率理解的不同設(shè)P(A)=0.9……(1)6例2概率理解的不同例2概率理解的不同7先驗信息的利用先驗信息的利用8貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別總之，貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別反映在：對參數(shù)、概率的理解上，先驗信息有無利用上貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別總之，貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別反9符號的改變符號的改變10邊緣密度和后驗密度邊緣密度和后驗密度11求解的例子求解的例子12計算的簡化核的定義，設(shè)r.v.x的概率密度（或分布列）函數(shù)為P(x)=c.h(x)則稱h(x)為P(x)的核計算的簡化核的定義，設(shè)r.v.x的概率密度（或分布列）13計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核14計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核15計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核16計算的簡化---后驗密度的核計算的簡化---后驗密度的核17計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核18計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核19共軛先驗分布---更多參見p19-p20及表1.共軛先驗分布---更多參見p19-p20及表1.20先驗分布的確定先驗分布的確定21先驗分布的確定2.利用先驗分位數(shù)先驗分布的確定2.利用先驗分位數(shù)22先驗分布的確定3.1和2的組合先驗分布的確定3.1和2的組合23多參數(shù)模型多參數(shù)模型24充分統(tǒng)計量充分統(tǒng)計量25充分統(tǒng)計量充分統(tǒng)計量26充分統(tǒng)計量充分統(tǒng)計量27充分統(tǒng)計量充分統(tǒng)計量28第二章貝葉斯推斷點估計，區(qū)間估計，假設(shè)檢驗，預(yù)測，似然原理第二章貝葉斯推斷點估計，區(qū)間估計，假設(shè)檢驗，預(yù)測，似然原理29點估計點估計30點估計2.貝葉斯點估計點估計2.貝葉斯點估計31貝葉斯點估計貝葉斯點估計32貝葉斯統(tǒng)計中的點估計設(shè)有三種信息貝葉斯統(tǒng)計中的點估計設(shè)有三種信息33貝葉斯統(tǒng)計中的點估計試驗號nx13000.2210000.08333310.84101010.917貝葉斯統(tǒng)計中的點估計試驗號nx13000.221000034估計的誤差度量注：在給定x下，后驗均方差及貝葉斯估計都是常數(shù)估計的誤差度量注：在給定x下，后驗均方差及貝葉斯估計都是常數(shù)35估計的誤差度量估計的誤差度量36貝葉斯區(qū)間估計貝葉斯區(qū)間估計37貝葉斯區(qū)間估計

——又稱可信區(qū)間貝葉斯區(qū)間估計

——又稱可信區(qū)間38可信區(qū)間——選擇標(biāo)準(zhǔn)可信區(qū)間——選擇標(biāo)準(zhǔn)39可信區(qū)間——選擇標(biāo)準(zhǔn)可信區(qū)間——選擇標(biāo)準(zhǔn)40可信區(qū)間——HPD可信區(qū)間——HPD41HPD的尋找HPD的尋找42HPD的尋找HPD的尋找43HPD的尋找HPD的尋找44貝葉斯統(tǒng)計貝葉斯統(tǒng)計45假設(shè)檢驗假設(shè)檢驗46假設(shè)檢驗假設(shè)檢驗47簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)48簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)49簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)50簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)51假設(shè)檢驗假設(shè)檢驗52假設(shè)檢驗假設(shè)檢驗53預(yù)測預(yù)測54貝葉斯統(tǒng)計貝葉斯統(tǒng)計55貝葉斯經(jīng)典預(yù)測貝葉斯經(jīng)典預(yù)測56貝葉斯預(yù)測貝葉斯預(yù)測57貝葉斯預(yù)測貝葉斯預(yù)測58似然原理似然原理59似然原理似然原理60似然原理似然原理61似然原理似然原理62似然原理似然原理63似然原理似然原理64似然原理似然原理65第三章先驗分布的確定第三章先驗分布的確定66貝葉斯統(tǒng)計及其推斷課件673.定分度法與變分度法3.定分度法與變分度法68混合分布抽樣混合分布抽樣69混合分布抽樣混合分布抽樣70混合分布抽樣注：混合分布也是一種一般意義上的分布?；旌戏植汲闃幼ⅲ夯旌戏植家彩且环N一般意義上的分布。71似然法選擇先驗似然法選擇先驗72ML-Ⅱ先驗ML-Ⅱ先驗73ML-Ⅱ先驗ML-Ⅱ先驗74ML-Ⅱ先驗ML-Ⅱ先驗75ML-Ⅱ先驗ML-Ⅱ先驗76ML-Ⅱ先驗ML-Ⅱ先驗77先驗選擇的矩方法先驗選擇的矩方法78先驗選擇的矩方法先驗選擇的矩方法79先驗選擇的矩方法先驗選擇的矩方法80無信息先驗分布無信息先驗分布81無信息先驗分布無信息先驗分布82均勻分布均勻分布83無信息先驗分布2.位置參數(shù)用均勻分布作無信息先驗合理無信息先驗分布2.位置參數(shù)用均勻分布作無信息先驗合理84無信息先驗分布無信息先驗分布85無信息先驗分布無信息先驗分布86無信息先驗5.Fisher信息陣確定Jeffreys先驗求Jeffreys先驗的步驟無信息先驗5.Fisher信息陣確定Jeffreys先驗求J87無信息先驗5.Fisher信息陣確定Jeffreys先驗無信息先驗5.Fisher信息陣確定Jeffreys先驗88無信息先驗5.Jeffreys先驗的例子無信息先驗5.Jeffreys先驗的例子89無信息先驗無信息先驗注：只需給出先驗分布的核即可，因為這樣已經(jīng)能求出后驗分布了。無信息先驗無信息先驗注：只需給出先驗分布的核即可，因為這樣已90Jeffreys先驗的缺點Jeffreys先驗的缺點91多層先驗多層先驗92多層先驗多層先驗93多層先驗多層先驗94多層先驗多層先驗95多層先驗多層先驗96多層先驗-多層模型多層先驗-多層模型97多層先驗-多層模型多層先驗-多層模型98多層先驗-多層模型多層先驗-多層模型99多層先驗-多層模型多層先驗-多層模型100多層先驗-多層模型多層先驗-多層模型101多層先驗-多層模型多層先驗-多層模型102多層先驗-多層模型多層先驗-多層模型103多層先驗-多層模型多層先驗-多層模型104多層先驗-多層模型多層先驗-多層模型105第四章決策中的收益、損失與效用51050第四章決策中的收益、損失與效用51050106決策中的收益、損失與效用2001000400-200決策中的收益、損失與效用2001000400-200107決策問題決策問題108決策問題-收益函數(shù)的計算決策問題-收益函數(shù)的計算109決策準(zhǔn)則2001000300400-200500決策準(zhǔn)則2001000300400-200500110弧度制

：單位符號：rad讀作弧度

定義：我們把長度等于半徑長的弧所對的圓心角叫做1弧度的角，即用弧度制度量時，這樣的圓心角等于1rad。ooAABCAOB=1radAOC=2rad

周角=2rad

弧度制：單位符號：rad讀作弧度定義：我們把長度等111貝葉斯統(tǒng)計及其推斷課件112貝葉斯統(tǒng)計及其推斷課件113貝葉斯統(tǒng)計及其推斷課件114貝葉斯統(tǒng)計及其推斷課件115正角的弧度數(shù)是正數(shù)，負(fù)角的弧度數(shù)是負(fù)數(shù)，零角的弧度數(shù)是0角的弧度數(shù)的絕對值

（用角度制和弧度制來度量零角，單位不同，但量數(shù)相同（都是0）用角度制和弧度制來度量任一非零角，單位不同，量數(shù)也不同。

*

以弧度作為單位來度量角的單位制，叫做弧度制

正角的弧度數(shù)是正數(shù)，負(fù)角的弧度數(shù)是負(fù)數(shù)，角116貝葉斯統(tǒng)計及其推斷課件117把角度換成弧度把弧度換成角度

例1把化為弧度，化為角度把角度換成弧度把弧度換成角度例1把化為弧118注意幾點：

1．度數(shù)與弧度數(shù)的換算也可借助“計算器”《中學(xué)數(shù)學(xué)用表》進(jìn)行

2．今后在具體運算時，“弧度”二字和單位符號“rad”可以省略如：3表示3radsin表示rad角的正弦3．一些特殊角的度數(shù)與弧度數(shù)的對應(yīng)值應(yīng)該記?。ㄒ娬n本P9表）4．應(yīng)確立如下的概念：角的概念推廣之后，無論用角度制還是弧度制都能在角的集合與實數(shù)的集合之間建立一種一一對應(yīng)的關(guān)系。注意幾點：1．度數(shù)與弧度數(shù)的換算也可借助“計算器”2．今后119例2用弧度制表示

（3）終邊在坐標(biāo)軸上的角的集合

練習(xí)（P11練習(xí)12）

例3已知四邊形的四個內(nèi)角之比是1：3：5：6，分別用角度制和弧度制將這些內(nèi)角的大小表示出來。例2用弧度制表示（3）終邊在坐標(biāo)軸上的角的集合練習(xí)（120練習(xí)：（1）5弧度的角所在的象限為（）

A.第一象限B.第二象限C.第三象限D(zhuǎn).第四象限D(zhuǎn)()B練習(xí)：（1）5弧度的角所在的象限為（）D121

作業(yè)：課本P12習(xí)題4.22、3、5、7作業(yè)：122貝葉斯統(tǒng)計貝葉斯統(tǒng)計123貝葉斯中的信息三種信息：總體信息~可知r.v.的分布類型樣本信息~由此可推斷未知參數(shù)的信息先驗信息~由歷史經(jīng)驗得到的參數(shù)信息有一定的主觀性通常由專家給出貝葉斯中的信息三種信息：總體信息~可知r.v.的分布類型124經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計的區(qū)別反映在三個方面：參數(shù)的理解上概率的理解上先驗信息的有無利用上經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計經(jīng)典統(tǒng)計與貝葉斯統(tǒng)計的區(qū)別反映在三個方面125對參數(shù)的理解對參數(shù)的理解126例1估計某特定教師的年齡參數(shù)理解的例子例1估計某特定教師的年齡參數(shù)理解的例子127概率理解的不同設(shè)P(A)=0.9……(1)●經(jīng)典統(tǒng)計：(1)式意味著重復(fù)試驗n次，A發(fā)生的次數(shù)約為0.9n,故又稱為頻率學(xué)派●貝葉斯統(tǒng)計：認(rèn)為A發(fā)生的可能性為90%，試驗不一定會重復(fù)概率理解的不同設(shè)P(A)=0.9……(1)128例2概率理解的不同例2概率理解的不同129先驗信息的利用先驗信息的利用130貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別總之，貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別反映在：對參數(shù)、概率的理解上，先驗信息有無利用上貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別總之，貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計的區(qū)別反131符號的改變符號的改變132邊緣密度和后驗密度邊緣密度和后驗密度133求解的例子求解的例子134計算的簡化核的定義，設(shè)r.v.x的概率密度（或分布列）函數(shù)為P(x)=c.h(x)則稱h(x)為P(x)的核計算的簡化核的定義，設(shè)r.v.x的概率密度（或分布列）135計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核136計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核137計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核138計算的簡化---后驗密度的核計算的簡化---后驗密度的核139計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核140計算的簡化---邊緣密度的核計算的簡化---邊緣密度的核141共軛先驗分布---更多參見p19-p20及表1.共軛先驗分布---更多參見p19-p20及表1.142先驗分布的確定先驗分布的確定143先驗分布的確定2.利用先驗分位數(shù)先驗分布的確定2.利用先驗分位數(shù)144先驗分布的確定3.1和2的組合先驗分布的確定3.1和2的組合145多參數(shù)模型多參數(shù)模型146充分統(tǒng)計量充分統(tǒng)計量147充分統(tǒng)計量充分統(tǒng)計量148充分統(tǒng)計量充分統(tǒng)計量149充分統(tǒng)計量充分統(tǒng)計量150第二章貝葉斯推斷點估計，區(qū)間估計，假設(shè)檢驗，預(yù)測，似然原理第二章貝葉斯推斷點估計，區(qū)間估計，假設(shè)檢驗，預(yù)測，似然原理151點估計點估計152點估計2.貝葉斯點估計點估計2.貝葉斯點估計153貝葉斯點估計貝葉斯點估計154貝葉斯統(tǒng)計中的點估計設(shè)有三種信息貝葉斯統(tǒng)計中的點估計設(shè)有三種信息155貝葉斯統(tǒng)計中的點估計試驗號nx13000.2210000.08333310.84101010.917貝葉斯統(tǒng)計中的點估計試驗號nx13000.2210000156估計的誤差度量注：在給定x下，后驗均方差及貝葉斯估計都是常數(shù)估計的誤差度量注：在給定x下，后驗均方差及貝葉斯估計都是常數(shù)157估計的誤差度量估計的誤差度量158貝葉斯區(qū)間估計貝葉斯區(qū)間估計159貝葉斯區(qū)間估計

——又稱可信區(qū)間貝葉斯區(qū)間估計

——又稱可信區(qū)間160可信區(qū)間——選擇標(biāo)準(zhǔn)可信區(qū)間——選擇標(biāo)準(zhǔn)161可信區(qū)間——選擇標(biāo)準(zhǔn)可信區(qū)間——選擇標(biāo)準(zhǔn)162可信區(qū)間——HPD可信區(qū)間——HPD163HPD的尋找HPD的尋找164HPD的尋找HPD的尋找165HPD的尋找HPD的尋找166貝葉斯統(tǒng)計貝葉斯統(tǒng)計167假設(shè)檢驗假設(shè)檢驗168假設(shè)檢驗假設(shè)檢驗169簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)170簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)171簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)172簡單原假設(shè)v復(fù)雜備擇假設(shè)簡單原假設(shè)v復(fù)雜備擇假設(shè)173假設(shè)檢驗假設(shè)檢驗174假設(shè)檢驗假設(shè)檢驗175預(yù)測預(yù)測176貝葉斯統(tǒng)計貝葉斯統(tǒng)計177貝葉斯經(jīng)典預(yù)測貝葉斯經(jīng)典預(yù)測178貝葉斯預(yù)測貝葉斯預(yù)測179貝葉斯預(yù)測貝葉斯預(yù)測180似然原理似然原理181似然原理似然原理182似然原理似然原理183似然原理似然原理184似然原理似然原理185似然原理似然原理186似然原理似然原理187第三章先驗分布的確定第三章先驗分布的確定188貝葉斯統(tǒng)計及其推斷課件1893.定分度法與變分度法3.定分度法與變分度法190混合分布抽樣混合分布抽樣191混合分布抽樣混合分布抽樣192混合分布抽樣注：混合分布也是一種一般意義上的分布?；旌戏植汲闃幼ⅲ夯旌戏植家彩且环N一般意義上的分布。193似然法選擇先驗似然法選擇先驗194ML-Ⅱ先驗ML-Ⅱ先驗195ML-Ⅱ先驗ML-Ⅱ先驗196ML-Ⅱ先驗ML-Ⅱ先驗197ML-Ⅱ先驗ML-Ⅱ先驗198ML-Ⅱ先驗ML-Ⅱ先驗199先驗選擇的矩方法先驗選擇的矩方法200先驗選擇的矩方法先驗選擇的矩方法201先驗選擇的矩方法先驗選擇的矩方法202無信息先驗分布無信息先驗分布203無信息先驗分布無信息先驗分布204均勻分布均勻分布205無信息先驗分布2.位置參數(shù)用均勻分布作無信息先驗合理無信息先驗分布2.位置參數(shù)用均勻分布作無信息先驗合理206無信息先驗分布無信息先驗分布207無信息先驗分布無信息先驗分布208無信息先驗5.Fisher信息陣確定Jeffreys先驗求Jeffreys先驗的步驟無信息先驗5.Fisher信息陣確定Jeffreys先驗求J209無信息先驗5.Fisher信息陣確定Jeffreys先驗無信息先驗5.Fisher信息陣確定Jeffreys先驗210無信息先驗5.Jeffreys先驗的例子無信息先驗5.Jeffreys先驗的例子211無信息先驗無信息先驗注：只需給出先驗分布的核即可，因為這樣已經(jīng)能求出后驗分布了。無信息先驗無信息先驗注：只需給出先驗分布的核即可，因為這樣已212Jeffreys先驗的缺點Jeffreys先驗的缺點213多層先驗多層先驗214多層先驗多層先驗215多層先驗多層先驗216多層先驗多層先驗217多層先驗多層先驗218多層先驗-多層模型多層先驗-多層模型219多層先驗-多層模型多層先驗-多層模型220多層先驗-多層模型多層先驗-多層模型221多層先驗-多層模型多層先驗-多層模型222多層先驗-多層模型多層先驗-多層模型223多層先驗-多層模型多層先驗-多層模型224多層先驗-多層模型多層先驗-多層模型225多層先驗-多層模型多層先驗-多層模型226多層先驗-多層模型多層先驗-多層模型227第四章決策中的收益、損失與效用51050第四章決策中的收益、損失與效用51050228決策中的收益、損失與效用2001000400-200決策中的收益、損失與效用2001000400-200229決策問題決策問題230決策問題-收益函數(shù)的計算決策問題-收益函數(shù)的計算231決策準(zhǔn)則2001000300400-200500決策準(zhǔn)則2001000300400-200500232弧度制

：單位符號：rad讀作弧度

定義：我們把長度等于半徑長的弧所對的圓心角叫做1弧度的角，即用弧度制度量時，這樣的圓心角等于1rad。ooAABCAOB=1radAOC=2rad

周角=2rad

弧度制：單位符號：rad讀作弧度定義：我們把長度等233貝葉斯統(tǒng)計及其推斷課件234貝葉斯統(tǒng)計及其推斷課件235貝葉斯統(tǒng)計及其推斷課件236貝葉斯統(tǒng)計及其推斷課件23