Chp統(tǒng)計(jì)決策理論(共24張PPT)

Chp12：統(tǒng)計(jì)決策理論用不同方法可能得到多個(gè)不同的估計(jì)，哪個(gè)估計(jì)更好一些？統(tǒng)計(jì)決策理論：比較統(tǒng)計(jì)過(guò)程的形式化理論1第1頁(yè)，共24頁(yè)。損失函數(shù)損失函數(shù)：度量真值與估計(jì)之間的差異損失函數(shù)舉例平方誤差損失絕對(duì)誤差損失損失0-1損失Kullback-Leibler損失2第2頁(yè)，共24頁(yè)。風(fēng)險(xiǎn)函數(shù)注意：估計(jì)是數(shù)據(jù)的函數(shù)，有時(shí)記為風(fēng)險(xiǎn)函數(shù)：平均損失估計(jì)的風(fēng)險(xiǎn)定義為對(duì)平方誤差損失，風(fēng)險(xiǎn)為MSE風(fēng)險(xiǎn)是的函數(shù)比較不同的估計(jì)，轉(zhuǎn)化為比較不同估計(jì)的風(fēng)險(xiǎn)但并不能清楚地回答哪個(gè)估計(jì)更好3第3頁(yè)，共24頁(yè)。風(fēng)險(xiǎn)比較例12.3：令，損失函數(shù)：平方誤差損失估計(jì)1：極大斯然估計(jì)：偏差bias=0，所以4第4頁(yè)，共24頁(yè)。風(fēng)險(xiǎn)比較例12.3（續(xù)）:估計(jì)2：貝葉斯估計(jì)，先驗(yàn)為，則估計(jì)為風(fēng)險(xiǎn)為當(dāng)時(shí)，，其中5第5頁(yè)，共24頁(yè)。風(fēng)險(xiǎn)比較沒(méi)有一個(gè)估計(jì)的風(fēng)險(xiǎn)在所有的p值都超過(guò)另外一個(gè)6第6頁(yè)，共24頁(yè)。風(fēng)險(xiǎn)比較風(fēng)險(xiǎn)函數(shù)的兩個(gè)單值概述最大風(fēng)險(xiǎn)貝葉斯風(fēng)險(xiǎn)其中為θ的先驗(yàn)。7第7頁(yè)，共24頁(yè)。風(fēng)險(xiǎn)比較例12.5：最大風(fēng)險(xiǎn)函數(shù)：，所以根據(jù)最小最大風(fēng)險(xiǎn)，更好一些8第8頁(yè)，共24頁(yè)。風(fēng)險(xiǎn)比較例12.5：貝葉斯風(fēng)險(xiǎn)：先驗(yàn)為當(dāng)時(shí)，所以根據(jù)最小貝葉斯風(fēng)險(xiǎn)，更好一些問(wèn)題：需要先驗(yàn)，尤其對(duì)復(fù)雜問(wèn)題的話，確定先驗(yàn)可能很困難9第9頁(yè)，共24頁(yè)。決策規(guī)則

(DecisionRules)決策規(guī)則是估計(jì)的別名最小化貝葉斯風(fēng)險(xiǎn)的決策規(guī)則稱為貝葉斯規(guī)則或貝葉斯估計(jì)，即為對(duì)應(yīng)先驗(yàn)f的貝葉斯估計(jì)其中下界是對(duì)所有的估計(jì)計(jì)算最小化最大風(fēng)險(xiǎn)的估計(jì)稱為最小最大規(guī)則其中下界是對(duì)所有的估計(jì)計(jì)算10第10頁(yè)，共24頁(yè)。貝葉斯估計(jì)估計(jì)的后驗(yàn)風(fēng)險(xiǎn)：貝葉斯風(fēng)險(xiǎn)與后驗(yàn)風(fēng)險(xiǎn)：其中為X的邊緣分布

為最小化后驗(yàn)風(fēng)險(xiǎn)的θ的值則為貝葉斯估計(jì)給定一個(gè)模型（先驗(yàn)和似然）和損失函數(shù)，就可以找到貝葉斯規(guī)則11第11頁(yè)，共24頁(yè)。證明：12第12頁(yè)，共24頁(yè)。貝葉斯估計(jì)一些簡(jiǎn)單損失函數(shù)對(duì)應(yīng)的貝葉斯規(guī)則若，則貝葉斯規(guī)則為后驗(yàn)均值若，則貝葉斯規(guī)則為后驗(yàn)中值若為0-1損失，則貝葉斯規(guī)則為后驗(yàn)眾數(shù)(MAP)13第13頁(yè)，共24頁(yè)。損失函數(shù)：度量真值與估計(jì)之間的差異決策規(guī)則

(DecisionRules)多正態(tài)均值

(ManyNormalMeans)其中下界是對(duì)所有的估計(jì)計(jì)算20：令，在均方誤差損失下，是可接受的。注意：估計(jì)是數(shù)據(jù)的函數(shù)，有時(shí)記為用不同方法可能得到多個(gè)不同的估計(jì)，哪個(gè)估計(jì)更好一些？沒(méi)有一個(gè)估計(jì)的風(fēng)險(xiǎn)在所有的p值都超過(guò)另外一個(gè)14：令，比較不同的估計(jì)，轉(zhuǎn)化為比較不同估計(jì)的風(fēng)險(xiǎn)沒(méi)有一個(gè)估計(jì)的風(fēng)險(xiǎn)在所有的p值都超過(guò)另外一個(gè)貝葉斯風(fēng)險(xiǎn)與后驗(yàn)風(fēng)險(xiǎn)：，所以根據(jù)最小最大風(fēng)險(xiǎn)，更好一些其中為X的邊緣分布且這是唯一有此性質(zhì)的估計(jì)最小最大規(guī)則找最小最大規(guī)則、或者證明一個(gè)估計(jì)是最小最大估計(jì)是一件很困難的事情。本節(jié)主要講述一個(gè)簡(jiǎn)單的方法：有些貝葉斯估計(jì)（風(fēng)險(xiǎn)為常數(shù)）是最小最大估計(jì)令對(duì)應(yīng)先驗(yàn)f的貝葉斯估計(jì)：假設(shè)則

為最小最大估計(jì)，且f

稱為最小受歡迎先驗(yàn)(leastfavorableprior)。上述結(jié)論一個(gè)簡(jiǎn)單的結(jié)論：如果一個(gè)貝葉斯規(guī)則的風(fēng)險(xiǎn)為常數(shù)，則它是最小最大估計(jì)。14第14頁(yè)，共24頁(yè)。正態(tài)分布的最小最大規(guī)則定理12.14：令，則是關(guān)于任意損失函數(shù)的最小最大規(guī)則且這是唯一有此性質(zhì)的估計(jì)15第15頁(yè)，共24頁(yè)。MLE為近似最小最大估計(jì)對(duì)滿足弱正則條件的參數(shù)模型，極大似然估計(jì)近似為最小最大估計(jì)。對(duì)均方誤差損失，通常根據(jù)Cramer-Rao不等式，這是所有無(wú)偏估計(jì)的方差的下界。16第16頁(yè)，共24頁(yè)。MLE為近似最小最大估計(jì)因此對(duì)所有估計(jì)，有對(duì)大數(shù)n，MLE為近似最小最大估計(jì)。因此，對(duì)大多數(shù)參數(shù)模型，當(dāng)有大量樣本時(shí)，MLE近似為最小最大估計(jì)和貝葉斯估計(jì)。ManyNormalMeans情況不成立（不是大樣本）17第17頁(yè)，共24頁(yè)?？山邮苄?/p>

(Admissibility)一個(gè)估計(jì)如果在θ所有值上都比其它估計(jì)的風(fēng)險(xiǎn)大，則該估計(jì)不是我們所希望的。如果存在一個(gè)其它的規(guī)則，使得則該估計(jì)是不可接受的。否則，是可接受的。18第18頁(yè)，共24頁(yè)。貝葉斯規(guī)則是可接受性可接受性是與其他表示估計(jì)好壞的方法有何關(guān)系？在一些正則條件下，如果為貝葉斯規(guī)則且有有限風(fēng)險(xiǎn)，則它是可接受的。定理12.20：令，在均方誤差損失下，是可接受的。風(fēng)險(xiǎn)為19第19頁(yè)，共24頁(yè)。用不同方法可能得到多個(gè)不同的估計(jì)，哪個(gè)估計(jì)更好一些？MLE為，損失函數(shù)為因此，對(duì)大多數(shù)參數(shù)模型，當(dāng)有大量樣本時(shí)，MLE近似為最小最大估計(jì)和貝葉斯估計(jì)。令，表示數(shù)據(jù)，表示未知參數(shù)，3（續(xù)）:估計(jì)2：貝葉斯估計(jì)，先驗(yàn)為，則估計(jì)為但并不能清楚地回答哪個(gè)估計(jì)更好估計(jì)的風(fēng)險(xiǎn)定義為且這是唯一有此性質(zhì)的估計(jì)表示未知參數(shù)，一個(gè)估計(jì)如果在θ所有值上都比其它估計(jì)的風(fēng)險(xiǎn)大，則該估計(jì)不是我們所希望的。注意：估計(jì)是數(shù)據(jù)的函數(shù)，有時(shí)記為正態(tài)分布的最小最大規(guī)則可接受性如果的風(fēng)險(xiǎn)為常數(shù)且是可接受的，則它是最小最大估計(jì)。定理12.22：令，在均方誤差損失下，是最小最大估計(jì)。風(fēng)險(xiǎn)為雖然最小最大估計(jì)不能保證是可接受的，但它是“接近可接受的”。20第20頁(yè)，共24頁(yè)。多正態(tài)均值

(ManyNormalMeans)ManyNormalMeans是一個(gè)原型問(wèn)題，與一般的非參數(shù)估計(jì)問(wèn)題等價(jià)。對(duì)這個(gè)問(wèn)題，以前許多關(guān)于極大似然估計(jì)的正面的結(jié)論都不再滿足。令，表示數(shù)據(jù)，表示未知參數(shù)，c>0，這里參數(shù)的數(shù)目與觀測(cè)數(shù)據(jù)的數(shù)目一樣多21第21頁(yè)，共24頁(yè)。ManyNormalMeansMLE為，損失函數(shù)為MLE的風(fēng)險(xiǎn)為最小最大估計(jì)的風(fēng)險(xiǎn)近似為，且存在這樣一個(gè)估計(jì)

能達(dá)到該風(fēng)險(xiǎn)。

存在風(fēng)險(xiǎn)比MLE更小的估計(jì)，因此MLE是不可接受的。因此對(duì)高維問(wèn)題或非參數(shù)問(wèn)題，MLE并不是最優(yōu)估計(jì)。另外在非參數(shù)場(chǎng)合，MLE的魯棒性也不是很好。