統(tǒng)計決策與貝葉斯估計.ppt

1、統(tǒng)計決策1、統(tǒng)計決策3要素1樣本空間和分布族集人口的分布函數(shù)x為F(x；)，這是一個未知參數(shù)，如果x1，xn是來自總體X的樣本，該樣本的所有可能值的集合被稱為樣本空間，其被記錄為X，2決策空間(決策空間)。對于任何參數(shù)估計，每個特定的估計都是一個答案，這被稱為決策。統(tǒng)計問題中所有可能的決策集合稱為決策空間，一個決策空間應(yīng)該至少有兩個決策。3損失函數(shù)統(tǒng)計決策的一個基本假設(shè)是，每一個決策都必須有一定的后果。統(tǒng)計決策是以定量的形式表達(dá)不同的決策。常見的損失函數(shù)包括：(1)線性損失函數(shù)絕對損失函數(shù)(2)平方損失函數(shù)(3)凸損失函數(shù)(4)多元二次損失函數(shù)(2)統(tǒng)計決策函數(shù)和風(fēng)險函數(shù)(1)統(tǒng)計決策函數(shù)定義(3.1):在樣本空間x上定義，在決策空間a取值的函數(shù)d(x)稱為統(tǒng)計決策函數(shù)。簡而言之，決策功能是一個行動計劃。如果用表達(dá)式處理，d(X)=d(X1，x2，xn)本質(zhì)上是一個統(tǒng)計數(shù)據(jù)。風(fēng)險函數(shù)決策函數(shù)d (x)完全取決于樣本。損失函數(shù)l(，d)也是樣本x的函數(shù)。當(dāng)樣本取不同的值x時，決策d (x)可能不同。因此，損失函數(shù)值L(，d)也是不同的，并且不可能判斷決策的質(zhì)量。一般來說，決策函數(shù)是從整體的角度進(jìn)行評估和比較的，并取平均損失。也就是說，風(fēng)險函數(shù)定義3.2設(shè)定了樣本空間，分布族是X，F(xiàn)*，決策空間是A，損失函數(shù)是L(，D)，d(X)是決策函數(shù)，而風(fēng)險函數(shù)的決策函數(shù)是D (x)，r(，D)，它表示平均損失(L(，D)是由決策引起的數(shù)學(xué)期望d(X)，以及卓越標(biāo)準(zhǔn)。定義3.3將d1和d2設(shè)置為統(tǒng)計問題中的兩個決策函數(shù)。如果風(fēng)險函數(shù)滿足不等式，則決策函數(shù)D1優(yōu)于D2。定義3.4將D=d(X)設(shè)置為在樣本空間X上定義并在決策空間A上采用的所有決策函數(shù)。如果存在決策函數(shù)d*(X)，則對于任何d(X)，可以說d*(X)是一致的最小風(fēng)險決策函數(shù)或一致的最優(yōu)決策函數(shù)。問題概述：1風(fēng)險函數(shù)是二元函數(shù)，極值通常不存在或不唯一。2在某個時間間隔內(nèi)逐點(diǎn)比較是不現(xiàn)實(shí)的(麻煩的)3對應(yīng)不同的參數(shù)。對于相同的決策函數(shù)，風(fēng)險值不相等。4統(tǒng)計規(guī)律的特點(diǎn)決定了點(diǎn)對點(diǎn)的比較是不可能的。5點(diǎn)對點(diǎn)比較必須由整體指數(shù)代替。2.貝葉斯估計，1)統(tǒng)計推斷的基礎(chǔ)，古典學(xué)派的觀點(diǎn)：統(tǒng)計推斷是根據(jù)樣本信息推斷人口分布或人口特征的數(shù)量，這里使用兩種信息：人口信息和樣本信息；貝葉斯學(xué)派的觀點(diǎn)：除了上述兩種信息，統(tǒng)計推斷還應(yīng)該使用第三種信息：先驗(yàn)信息。(1)一般信息：一般分發(fā)提供的信息。(2)樣本信息：由通過提取樣本獲得的觀察值提供的信息。(3)先驗(yàn)信息：人們總是對實(shí)驗(yàn)前要做的問題有所了解，既有經(jīng)驗(yàn)也有數(shù)據(jù)，這有助于統(tǒng)計推斷。先驗(yàn)信息是抽樣(測試)前關(guān)于統(tǒng)計問題的一些信息。一般來說，先驗(yàn)信息來自經(jīng)驗(yàn)和歷史數(shù)據(jù)。先驗(yàn)信息在日常生活和工作中非常重要。基于上述三種信息進(jìn)行統(tǒng)計推斷的統(tǒng)計稱為貝葉斯統(tǒng)計。它和經(jīng)典統(tǒng)計學(xué)的區(qū)別在于是否使用先驗(yàn)信息。貝葉斯統(tǒng)計注重先驗(yàn)信息的收集、挖掘和處理，同時利用總體信息和樣本信息對其進(jìn)行量化，形成先驗(yàn)分布，并參與統(tǒng)計推斷，以提高統(tǒng)計推斷的質(zhì)量。忽視使用先驗(yàn)信息有時是一種浪費(fèi)，有時會導(dǎo)致不合理的結(jié)論。貝葉斯學(xué)派的基本觀點(diǎn)是，任何未知量都可以視為隨機(jī)變量(1)參數(shù)是隨機(jī)的，但有一定的分布規(guī)律。(2)參數(shù)是常數(shù)，但目標(biāo)是未知的：充分利用參數(shù)的先驗(yàn)信息，對未知參數(shù)進(jìn)行更精確的估計。貝葉斯方法是一種將未知參數(shù)視為分布已知的隨機(jī)變量，將先驗(yàn)信息數(shù)字化并加以利用的方法。通常，先前的分配被標(biāo)記為()。3)將貝葉斯公式的密度函數(shù)形式(后驗(yàn)分布)設(shè)置為種群X的分布密度函數(shù)P(X)；在貝葉斯統(tǒng)計中，它被表示為p (x |)，當(dāng)隨機(jī)變量取給定值時，它代表總體的條件概率密度函數(shù)。p(x；)=p (x |)根據(jù)參數(shù)的先驗(yàn)信息確定先驗(yàn)分布()。樣本x1，x2，xn集成了該分布的總體信息和樣本信息；0未知，它是根據(jù)先驗(yàn)分布()生成的。為了整合先驗(yàn)信息，我們不僅要考慮0，還要考慮其他值出現(xiàn)的可能性。因此，我們需要使用()進(jìn)行集成。這樣，樣本x1的聯(lián)合分布，xn和參數(shù)為：f (x1，x2，xn)，)=q (x1，x2，xn)()，并簡單地表示為f (x)，)=q (x)()。這種聯(lián)合分布綜合了三種可用信息，即總體信息、樣本信息和先驗(yàn)信息。在樣本觀察值x1，x2，xn都得到了，這個推論應(yīng)該是根據(jù)f (x)作出的。因?yàn)閒 (x，)=h (x1，x2，xn) m (x1，x2，xn)，其中m (x1，x2，xn)是x1，x2，xn，這是無關(guān)緊要的。因此，只有條件分布h (x1，x2，xn)可用于進(jìn)行推斷。它的計算公式是，這種條件分布被稱為后驗(yàn)分布，它將所有相關(guān)信息集中在總體、樣本和先驗(yàn)中。后驗(yàn)分布h (x1，x2，xn)是由密度函數(shù)表示的貝葉斯公式。這是用總體和樣本調(diào)整先驗(yàn)分布()的結(jié)果。貝葉斯統(tǒng)計的所有推論都基于后驗(yàn)分布。4)共軛先驗(yàn)分布，定義：假設(shè)總體的分布密度x是p (x |)，F(xiàn)*是一個分布族，()是的任何先驗(yàn)分布，() F*，如果樣本的任何觀察值x的后驗(yàn)分布h p(x| x)仍在F*之內(nèi)，f *稱為關(guān)于分布密度p(x |)的共軛先驗(yàn)分布族，簡稱共軛族。共軛先驗(yàn)分布的計算方法如下：給定分布(似然函數(shù))q (x |)和先驗(yàn)分布()；根據(jù)貝葉斯公式，h (x |)=() q (x)/m(x)被重寫為h (x |) q (x)的異常密度函數(shù)，因?yàn)閙(x)是獨(dú)立的。它是h (x |)的主要部分，被稱為h (x |)的內(nèi)核。實(shí)施例8x1，x2，xn來自正態(tài)分布n(，2)的樣本，其中已知找到方差2的共軛先驗(yàn)分布。實(shí)施例9x1，x2，xn來自二項式分布b (n)的樣本，得到共軛先驗(yàn)分布，計算共軛先驗(yàn)分布的方法為1。h q(x|x)=()q (x |)/m (x)，m(x)不依賴于首先找到q(x | ),然后選擇與q(x |)形式相同的分布作為先驗(yàn)分布，即共軛分布2。當(dāng)參數(shù)有適當(dāng)?shù)慕y(tǒng)計量時，設(shè)x的分布密度為p (x |)，t (x)為充分統(tǒng)計量，然后由定理3.1得到共軛先驗(yàn)分布族。定理3.1將f()設(shè)置為滿足的任何固定函數(shù)。如果后驗(yàn)分布h (x)和()屬于同一分布族，則該分布族稱為共軛先驗(yàn)分布(族)。二項式分布b (n)中成功概率的共軛先驗(yàn)分布是分布be (a，b)；泊松分布中均值的共軛先驗(yàn)分布為分布；指數(shù)分布中均值倒數(shù)的共軛先驗(yàn)分布是分布(，當(dāng)方差已知時，正態(tài)均值的共軛先驗(yàn)分布是正態(tài)分布n(，2)；當(dāng)平均值已知時，正態(tài)方差2的共軛先驗(yàn)分布是逆分布i(，)。，5)貝葉斯風(fēng)險，定義：貝葉斯風(fēng)險在給定的先驗(yàn)分布下稱為決策函數(shù)d(X)，貝葉斯風(fēng)險簡稱為d(X)，相當(dāng)于一個尋找兩個期望的隨機(jī)損失函數(shù)，一個為后驗(yàn)分布，一個為X的邊緣分布，6)貝葉斯點(diǎn)估計，定義：假設(shè)分布函數(shù)中的參數(shù)是隨機(jī)變量，而分布函數(shù)中的參數(shù)是先驗(yàn)分布。如果在決策函數(shù)類d中有一個決策函數(shù)d*(X)，那么對于決策函數(shù)類d中的任何決策函數(shù)d(X)，都有一個稱為d*(X)參數(shù)的貝葉斯估計器，定理3.2中的先驗(yàn)分布集是()，損失函數(shù)是l(，d)=(-d) 2，那么貝葉斯估計器是后驗(yàn)密度，其中h (| x)是參數(shù)。定理3.3-3.7。給出了不同損失函數(shù)下的貝葉斯估計，但沒有得到證明。定理3.3將先驗(yàn)分布設(shè)置為()，并將損失函數(shù)作為加權(quán)平方損失函數(shù)。定理3.4設(shè)置了(1，2，假設(shè)d=d(x)是任何決策函數(shù)，損失函數(shù)為L(，d)，則后驗(yàn)分布H (| x)的數(shù)學(xué)期望為L(，(d)稱為后驗(yàn)風(fēng)險。有記錄表明，如果存在決策函數(shù)d*(x)，則d*(x)被稱為后驗(yàn)風(fēng)險標(biāo)準(zhǔn)下的最優(yōu)決策函數(shù)。定理3.5等價于給定統(tǒng)計決策問題(包括先驗(yàn)分布)和決策函數(shù)類D的貝葉斯后驗(yàn)決策函數(shù)d*(x)。定理3.6將先驗(yàn)分布設(shè)置為()，具有絕對損失函數(shù)的貝葉斯估計d*(x)是后驗(yàn)分布h (| x)的中值。定理3.7將先驗(yàn)分布設(shè)置為()，具有線性損失函數(shù)的貝葉斯估計d*(x)是后驗(yàn)分布h (| x)的k1/(k0 k1)的上分位數(shù)。通常使用基于后驗(yàn)分布h (x)的貝葉斯估計。常用的有以下三種：利用后驗(yàn)分布的最大密度函數(shù)的點(diǎn)估計稱為最大后驗(yàn)估計；使用后驗(yàn)分布中值的點(diǎn)估計稱為后驗(yàn)中值估計。使用后驗(yàn)分布均值的點(diǎn)估計稱為后驗(yàn)期望估計。最常用的是后驗(yàn)期望估計，簡稱貝葉斯估計，記錄為。根據(jù)總體x的分布，條件概率q (x |) 2。在已知的先驗(yàn)分布()下，聯(lián)合分布密度f (x，=)q(x |)3。邊緣分布m(x)4。計算h (| x)=() q (x |)/m (x) 5。數(shù)學(xué)期望。必要時的貝葉斯風(fēng)險。例3.11設(shè)置總體XB(1，p)，其中參數(shù)p是未知的，并服從0，1上的均勻分布。損失函數(shù)采用二次損失函數(shù)l(，d)=(-d) 2，并計算參數(shù)p的貝葉斯估計和貝葉斯風(fēng)險。如果在測試之前不知道事件a，則沒有關(guān)于其發(fā)生概率的信息。貝葉斯自己建議采用“相等無知”的原則，并使用區(qū)間(0，1)上的均勻分布U(0，1)作為先驗(yàn)分布，因?yàn)?0，1)上的每個點(diǎn)都有相等的機(jī)會。貝葉斯的這一提議被后人稱為貝葉斯假說。在某些情況下，貝葉斯估計比最大似然估計更合理。例如，“抽樣3所有合格產(chǎn)品”和“抽樣10所有合格產(chǎn)品”比前者更可靠。這種差異沒有反映在不合格品率的最大似然估計中(兩者均為0)，而貝葉斯估計分別為0.2和0.83。由此可見，在這些極端情況下，貝葉斯估計比最大似然估計更符合人們的想法。對于給定的損失函數(shù)l(，d)=(-d) 2，獲得貝葉斯估計，例如3.15x1，x2，xn來自正態(tài)分布n(，02)的樣本，其中02是已知和未知的，并且假設(shè)的先驗(yàn)分布是正態(tài)分布n(，2)，其中先驗(yàn)均值和先驗(yàn)方差2都是已知的，并且嘗試貝葉斯估計。解：樣本X的聯(lián)合分布和的先驗(yàn)分布分別是，因此X的聯(lián)合分布可以寫成。如果有，請注意，A、B和C是不相關(guān)的。樣本的邊緣密度函數(shù)可以應(yīng)用貝葉斯公式得到后驗(yàn)分布。這表明在給定樣本后，后驗(yàn)分布是N(B/A，1/A)，即| X N (B/A，1/A)。后驗(yàn)均值是它的貝葉斯估計：它是樣本均值和先驗(yàn)均值的加權(quán)平均值。貝葉斯估計的誤差，貝葉斯區(qū)間估計，兩個區(qū)間估計之間的差異1)構(gòu)造一個統(tǒng)計量并獲得其概率分布2)在步驟之前使用參數(shù)的后驗(yàn)分布區(qū)間估計來解決相同的貝葉斯點(diǎn)估計；在獲得后驗(yàn)分布后，根據(jù)置信水平，分離單邊和雙邊查找表以獲得置信的上界和下界。注：貝葉斯區(qū)間估計的置信區(qū)間較短；貝葉斯點(diǎn)估計不再需要無偏性。實(shí)施例3.15x1，x2，xn來自正態(tài)分布n(，02)的樣本，其中02是已知和未知的，假設(shè)的先驗(yàn)分布是正態(tài)分布n(，2)，其中先驗(yàn)均值和先驗(yàn)方差2都是已知的，嘗試貝葉斯區(qū)間估計。解決方案：根據(jù)貝葉斯點(diǎn)估計，在例3.16中，測試一個孩子的智力x=115，結(jié)果是x n(，100)，這是智商。根據(jù)經(jīng)驗(yàn) n (100，225)，得出兒童智商的0.95貝葉斯置信區(qū)間解：由以上結(jié)論，后驗(yàn)分布服從正態(tài)分布，最大和最小估計(最大和最小)最小。定義：D是一組決策函數(shù)。如果有d* (x)=d * (x1，x2，xn)，d * d，因此對于任何決策函數(shù)d (x1，x2，xn)中，總是有一個稱為d *的最大和最小決策函數(shù)，當(dāng)可以獲得上界時，可以記錄問題解決步驟(1)在d (2)中找到所有決策函數(shù)的最大風(fēng)險，從所有最大風(fēng)險值中選擇最小值，并且對應(yīng)于該最小值的決策函數(shù)是最大和最小決策函數(shù)。讓我們假設(shè)總體x服從兩點(diǎn)分布，并試圖找到p的極大極小估計，其中的解是：決策空間是A=0.25，0.5，選擇容量為1的子樣本，x只能取0，1a只能取0.25，0.5，那么決策函數(shù)d(x)有四個：風(fēng)險函數(shù)R(p，d)，min(maxR(pi，dj)=5/2，極大極小估計是R(p，d)例如，地質(zhì)學(xué)家將地層狀態(tài)分為兩種類型：0和1，并將局部非油記錄為0，油記錄為1。分配規(guī)則如下表所示。決策空間是A=a1，a2，a3，其中a1是鉆探石油，a2是出售土地，a3是發(fā)展旅游業(yè)。損失函數(shù)l(，a)記下表，決策函數(shù)d(x)記下表(n=1)(9個決策函數(shù))，風(fēng)險函數(shù)r (I，DJ)和最大值表。可以看出，min (maxr(，di)=5.4，并且其對應(yīng)的決策函數(shù)是d4，因此d4是這個統(tǒng)計決策問題的最大和最小決策函數(shù)。D4是：d4(0)=a2，d4(1)=a1，也就是說，當(dāng)?shù)刭|(zhì)學(xué)家斷定沒有石油時，賣掉土地，在有石油時鉆探石油。r(，d)計算的例子，定理3.8給出了一個統(tǒng)計決策問題，如果有先驗(yàn)分布的貝葉斯決策函數(shù)，風(fēng)險函數(shù)是一個常數(shù)，那么決策函數(shù)必須是統(tǒng)計問題的最大和最小決策函數(shù)。如果給定的統(tǒng)計決策問題是參數(shù)的點(diǎn)估計，在定理條件下，相應(yīng)的決策函數(shù)必須是參