貝氏決策理論

第二章貝氏決策理論Sec.2.1簡(jiǎn)介1.決策問(wèn)題的基本結(jié)構(gòu)行動(dòng)→本性狀況→結(jié)果行動(dòng)：決策時(shí)可採(cǎi)取的策略，通常以a表之，令為行動(dòng)空間(actionspace)。本性狀況：決策時(shí)可能面臨的情況，通常以參數(shù)表之。令為參數(shù)空間(parameterspace)。結(jié)果：決策在所面臨的實(shí)際情況下，所產(chǎn)生的後果，常以支付(收益、損失、成本)或悔惜表之。2.決策時(shí)可引用的資訊(1)行動(dòng)所導(dǎo)致的結(jié)果指相關(guān)的支付(收益、損失、成本)與悔惜，本章將以損失函數(shù)為主。(2)本性狀況的資訊指各種本性狀況的發(fā)生率，這常會(huì)涉及某些參數(shù)。如果參數(shù)有未知的情況時(shí)，我們可能須利用樣本，以取得相關(guān)訊息。(3)樣本的訊息為增加決策的客觀性，我們會(huì)透過(guò)抽樣(或?qū)嶒?yàn))取得樣本，再利用樣本的資訊來(lái)形成決策。(4)決策者的經(jīng)驗(yàn)指決策者對(duì)參數(shù)的看法。引用決策者對(duì)參數(shù)的看法的決策方法，稱之為貝氏方法(Bayesapproach)。在貝氏決策模式中，通常把相關(guān)參數(shù)視為隨機(jī)變數(shù)，亦即決策者對(duì)參數(shù)的分布有一定的看法。也就是說(shuō)，認(rèn)為參數(shù)的分布是已知的，而參數(shù)的分布稱之為事前分布(priordistribution)。例1：藥商欲決定新藥是否要上市？有兩個(gè)量數(shù)是重要考量：(1)藥的效能，及(2)市場(chǎng)接受度。(1)行動(dòng)空間，其中表上市；表不上市。(2)參數(shù)空間。(3)根據(jù)及之值，可算出行動(dòng)及之支付(或悔惜)值。(4)由於二量數(shù)及是未知的，我們必須取得相關(guān)樣本資訊。(a)透過(guò)臨床實(shí)驗(yàn)→取得樣本→猜測(cè)之值。(b)透過(guò)市場(chǎng)調(diào)查→取得樣本→猜測(cè)之值。(5)根據(jù)藥商多年經(jīng)營(yíng)的經(jīng)驗(yàn)，或許對(duì)及有相關(guān)的看法，而可提供決策參考?！鶄鹘y(tǒng)統(tǒng)計(jì)決策理論：引用樣本資訊及行動(dòng)之結(jié)果的資訊作決策?！愂蠜Q策理論：除了引用樣本資訊及行動(dòng)之結(jié)果的資訊外，尚引用決策者的經(jīng)驗(yàn)(指對(duì)參數(shù)的看法)作決策。3.損失函數(shù)(1)當(dāng)實(shí)際狀況為時(shí)，而採(cǎi)取行動(dòng)a所受的處罰，記為，即為損失函數(shù)(lossfunction)。(2)通常規(guī)定。例1：(續(xù))藥商欲依市場(chǎng)接受度決定新藥是否要上市？(1)行動(dòng)空間，其中表上市；表不上市。(2)參數(shù)空間。(3)損失函數(shù)(4)抽樣：實(shí)際隨機(jī)抽出n個(gè)人，設(shè)其中有X個(gè)人表示認(rèn)同，則。(5)藥商根據(jù)過(guò)往的經(jīng)驗(yàn)，新藥推出的市場(chǎng)接受度不會(huì)太高，而其事前分布應(yīng)為布於[0.10.2]上之均勻分布(uniformdistribution)，i.e.。Sec.2.2期望損失、決策規(guī)則及風(fēng)險(xiǎn)1.期望損失定義1.設(shè)參數(shù)之事前分布為，則行動(dòng)a之貝氏期望損失(Bayesianexpectedloss)為。例1：(續(xù))損失函數(shù)之事前分布為，(i.e.均勻分布)，則貝氏期望損失為例2：投資者有兩種投資選擇：為投資具風(fēng)險(xiǎn)債券；為投資無(wú)風(fēng)險(xiǎn)債券。其面臨兩種可能狀況：表”nodefaultoccurs”；表”adefaultoccurs”。相關(guān)損失函數(shù)為-5001,000-300-300又之prior為。試求貝氏期望損失？Sol：2.FrequentistRisk未引用貝氏方法之統(tǒng)計(jì)決策理論稱之為frequentistschool(或classicalschool)。定義2.設(shè)表樣本空間，表行動(dòng)空間。一決策規(guī)則(decisionrule)乃由映至之函數(shù)。當(dāng)樣本觀測(cè)值為x時(shí)，即為所採(cǎi)取之行動(dòng)。對(duì)二決策規(guī)則與而言，若，則稱與為等價(jià)(equivalent)。例3：一公司當(dāng)其訂貨(如零件)送達(dá)時(shí)，其須驗(yàn)貨以決定是否接受該批貨物？今隨機(jī)抽驗(yàn)n件貨品，設(shè)X表n件貨品中不良品的個(gè)數(shù)，則，其中為不良率。樣本空間。參數(shù)空間。行動(dòng)空間，其中表接受該貨物；表退回該貨物。決策規(guī)則我們常以來(lái)估計(jì)之值，故可定義如下：定義3.決策規(guī)則之風(fēng)險(xiǎn)函數(shù)(riskfunction)為?！?dāng)樣本資料時(shí)，。定義4.(1)當(dāng)，則稱isR-betterthan。(2)當(dāng)，則稱與為R-equivalent。定義5.(1)對(duì)決策規(guī)則而言，若不存在任何R-better之決策規(guī)則，則稱為可取的(admissible)。(2)對(duì)決策規(guī)則而言，若存在使得，且與並非R-equivalent，則稱為不可取的(inadmissible)。例4：設(shè)，現(xiàn)以a估計(jì)，其損失函數(shù)為。令決策規(guī)則為，試求風(fēng)險(xiǎn)函數(shù)？Sol：Case1：c>1故isR-betterthan所以是不可取的。Case2：時(shí)，與難分高下。例5：一決策問(wèn)題相關(guān)之損失矩陣如下：134-1550-1-1在無(wú)樣本資料之情況下，試比較三個(gè)行動(dòng)之優(yōu)劣？Sol：因無(wú)樣本資料，故。(1)因，且，故為inadmissible。(2)與均為admissible。定義6.設(shè)之prior為，則決策規(guī)則之貝氏風(fēng)險(xiǎn)(Bayesrisk)為。例4：(續(xù))設(shè)之prior為，試求之貝氏風(fēng)險(xiǎn)？Sol：由前例，已知。Sec.2.3隨機(jī)化決策規(guī)則1.當(dāng)一決策問(wèn)題會(huì)遭遇聰明的對(duì)手，引用隨機(jī)化決策規(guī)則(randomizeddecisionrule)是有其必要的。2.使用隨機(jī)化決策規(guī)則旨在降低風(fēng)險(xiǎn)，提高決策之效力(power)。3.在Sec.2.2中所介紹的策規(guī)則稱之為非隨機(jī)化決策規(guī)則(nonrandomizeddecisionrule)。例6：(Matchingpennies)一遊戲是這樣的：當(dāng)你和你的對(duì)手同時(shí)打開(kāi)兩個(gè)銅板，若二者相同，則你贏1元；又若二者不同，則你輸1元。(1)本性狀況：表對(duì)手出正面；表對(duì)手出反面。(2)行動(dòng)：表對(duì)手出正面；表對(duì)手出反面。(3)損失矩陣：-111-1(4)明顯的，與均為admissible。如果你一直採(cǎi)用(或)，則聰明的對(duì)手很快就會(huì)發(fā)覺(jué)，而改採(cǎi)(或)。(5)為了解決這種困境，你可以在出牌前，先投擲一的銅板。當(dāng)銅板出現(xiàn)正面時(shí)，則出正面；反之，出反面。換言之，有p的機(jī)會(huì)出正面；有1-p的機(jī)會(huì)出反面(p是該銅板出現(xiàn)正面的機(jī)率)。定義7.隨機(jī)化決策規(guī)則是定義於行動(dòng)空間A上之一機(jī)率分布，以說(shuō)明各行動(dòng)a被採(cǎi)用之發(fā)生率?！碛^測(cè)到x時(shí)，採(cǎi)行動(dòng)a之機(jī)率。※表觀測(cè)到x時(shí)，採(cǎi)行動(dòng)落在中之機(jī)率。※非隨機(jī)化決策規(guī)則可視為一種特別的隨機(jī)化決策規(guī)則?！请S機(jī)化決策規(guī)則可表為如今型式之隨機(jī)化決策規(guī)則：例6：(續(xù))隨機(jī)化決策規(guī)則可訂為。對(duì)傳統(tǒng)統(tǒng)計(jì)推論而言，所謂最佳檢定規(guī)則乃在固定的顯著水準(zhǔn)下，其檢定效力為最大者。在這種情況下，通常最佳檢定規(guī)則其犯第一型錯(cuò)誤的機(jī)率(即-risk)會(huì)與相同。但當(dāng)變數(shù)為間斷型時(shí)，最佳檢定規(guī)則其犯第一型錯(cuò)誤的機(jī)率通常會(huì)低於。換言之，此檢定真正的顯著水準(zhǔn)應(yīng)小於。為增加檢定的效力可引用隨機(jī)化決策規(guī)則。例7：投擲一銅板n次，設(shè)X表n次中正面出現(xiàn)的次數(shù)，則，其中為不良率，而樣本空間為。今欲在顯著水準(zhǔn)準(zhǔn)為之情況下，檢定，棄卻域的型式為。行動(dòng)空間，其中表接受；表?xiàng)墔s。，通常等號(hào)不會(huì)成立。定義8.設(shè)為一隨機(jī)化決策規(guī)則，則其損失函數(shù)為上述期望值是針對(duì)a做的。又之風(fēng)險(xiǎn)函數(shù)為。例6：(續(xù)Matchingpennies)因?yàn)闊o(wú)樣本資料。故當(dāng)時(shí)，。例7：(續(xù))(1)樣本空間為(2)統(tǒng)計(jì)假設(shè)(3)行動(dòng)空間，其中表接受；表?xiàng)墔s。(4)隨機(jī)化決策規(guī)則為而。(5)損失函數(shù)為(6)風(fēng)險(xiǎn)函數(shù)為定義9.對(duì)隨機(jī)化決策規(guī)則而言，我們?nèi)砸燥L(fēng)險(xiǎn)函數(shù)來(lái)衡量?jī)?yōu)劣，故先前定義之R-better及admissible一體適用。例7：(續(xù))當(dāng)統(tǒng)計(jì)假設(shè)，在顯著水準(zhǔn)為0.05下，試求最佳隨機(jī)化檢定規(guī)則？(提示：即決定p及j之值)Sec.2.4決策原則1.TheconditionalBayesdecisionprinciple設(shè)一決策問(wèn)題之行動(dòng)空間為，參數(shù)空間為，而參數(shù)之prior為，行動(dòng)a之貝氏期望損失為。若，則稱為貝氏行動(dòng)(Bayesaction)。貝氏行動(dòng)即在TheconditionalBayesdecisionprinciple下之最佳行動(dòng)。TheconditionalBayesdecisionprinciple適用在無(wú)樣本資料之情況。例1：(續(xù))由前例已算得貝氏期望損失為當(dāng)。當(dāng)。當(dāng)。由(1),(2)及(3)，故貝氏行動(dòng)為。例3：(續(xù))由前例已算得貝氏期望損失為，，故貝氏行動(dòng)為。2.Frequentistdecisionprinciple(1)以風(fēng)險(xiǎn)函數(shù)來(lái)衡量決策規(guī)則之優(yōu)劣，固然有R-better,admissible等性質(zhì)，但滿足admissilbe的決策規(guī)則可能不只一個(gè)(往往不勝枚舉)，那要如何比較它們的優(yōu)劣？(這種困難源自風(fēng)險(xiǎn)函數(shù)含有未知參數(shù))應(yīng)引進(jìn)新的概念！(2)在傳統(tǒng)統(tǒng)計(jì)推論中引進(jìn)了以下概念：(a)maximumlikelihood(b)unbiasedness(c)minimumvariance(d)leastsquare(3)在決策理論中引進(jìn)了以下概念：(a)theBayesriskprinciple(b)theminimaxprinciple(c)theinverseprinciple2.1TheBayesriskprinciple(1)重要的概念：引進(jìn)專家的經(jīng)驗(yàn)，認(rèn)為參數(shù)應(yīng)為隨機(jī)變數(shù)，而有其服從的機(jī)率分布。在這樣概念下，可以求得貝氏風(fēng)險(xiǎn)。※貝氏風(fēng)險(xiǎn)之值與無(wú)關(guān)。(2)原則(a)若，則稱優(yōu)於(i.e.偏好)。(b)若，則為適當(dāng)?shù)?optimal)，而稱為貝氏規(guī)則(Bayesrule)。令，稱之為相對(duì)於之貝氏風(fēng)險(xiǎn)(即最小貝氏風(fēng)險(xiǎn))。例4：(續(xù))，prior：，lossfunction：，decisionrule：，求得之Bayesrisk為。試求貝氏決策規(guī)則及相對(duì)prior之貝氏風(fēng)險(xiǎn)？(1)，其中。(2)貝氏決策規(guī)則。2.2Theminimaxprinciple(1)概念：最小最大原則乃在最壞的情況下，求最好的結(jié)果。(2)原則(a)若，則稱優(yōu)於(i.e.偏好)。(b)若，則稱為最小最大決策規(guī)則(minimaxdecisionrule)。例4：(續(xù))，lossfunction：，decisionrule：，求得之riskfunction為。Case1：當(dāng)，。Case2：當(dāng)。由Case1及2，故minimaxdecisionrule為。例3：(續(xù)riskyinvestment)損失矩陣為-5001,000-300-300試求minimaxdecisionrule？故minimaxdecisionrule為。例6：(續(xù)matchingpennies)隨機(jī)化決策規(guī)則為。同理，故minimaxdecisionrule為。2.3Theinverseprinciple(1)概念：當(dāng)兩個(gè)決策問(wèn)題有相同結(jié)構(gòu)時(shí)，在相同之決策準(zhǔn)則下，所求得之(最佳)決策規(guī)則應(yīng)對(duì)應(yīng)相等。(2)inverseprinciple主要用於決策問(wèn)題的轉(zhuǎn)換上。Sec.2.5Foundations1.傳統(tǒng)統(tǒng)計(jì)推論之誤用(1)未考量：(a)prior：指經(jīng)驗(yàn)。(b)損失的資訊：指估計(jì)誤差的大小所造成損失的差異。(2)過(guò)於強(qiáng)調(diào)統(tǒng)計(jì)顯著性，而忽略實(shí)際的應(yīng)用價(jià)值。2.Thefrequentistperspective(1)以global的眼光來(lái)看問(wèn)題。(2)以長(zhǎng)期執(zhí)行情形之平均結(jié)果來(lái)衡量?jī)?yōu)劣。例10：設(shè)是取自，其中為未知，。之信賴區(qū)間為令損失函數(shù)為例11：設(shè)是取自，其中為已知，?，F(xiàn)欲檢定之值？(1)(2)(3)Under(4)Decisionrule：在決策問(wèn)題中：(1)行動(dòng)：表接受；表?xiàng)墔s。(2)損失函數(shù)為(3)決策規(guī)則為(4)風(fēng)險(xiǎn)函數(shù)為(i)(ii)同理，。3.Theconditionalperspective(1)會(huì)參酌局部的資料，做進(jìn)一步的判斷。(2)決策時(shí)，會(huì)加上決策者的經(jīng)驗(yàn)(與prior不同)。例12：設(shè)為取自pdf為之二獨(dú)立隨機(jī)樣本。而?，F(xiàn)欲估計(jì)之值？(1)因?yàn)?，傳統(tǒng)上我們以估計(jì)。其猜對(duì)的機(jī)率為0.5。結(jié)果×ＯＯ×(2)引用，定義如下。其猜對(duì)的機(jī)率為0.75。結(jié)果×ＯＯＯ例13：設(shè)隨機(jī)變數(shù)X之分布如下，欲檢定參數(shù)之值？x1230.0050.0050.990.00510.98490.01(1)(2)(3)Decisionrule為(4)討論：(i)當(dāng)。但，二者幾無(wú)差別，故上述結(jié)論有可議之處。(ii)當(dāng)。但，二者差異甚大，故上述結(jié)論合理。4.Thelikelihoodprinciple定義11.設(shè)是取自pdf為之n個(gè)獨(dú)立隨機(jī)樣本，其中為參數(shù)。設(shè)樣本觀測(cè)值為。定義，則稱為相對(duì)於觀測(cè)值之概似函數(shù)(likelihoodfunction)。※看起來(lái)概似函數(shù)與聯(lián)合機(jī)率密度函數(shù)是一樣的，但實(shí)際上卻不相同。因?yàn)楦潘坪瘮?shù)是參數(shù)之函數(shù)(樣本觀測(cè)值為是已知的)；而聯(lián)合機(jī)率密度函數(shù)是樣本觀測(cè)值為的函數(shù)(參數(shù)為常數(shù))。Thelikelihoodprinciple：(1)當(dāng)觀測(cè)到x之後，在推論參數(shù)之值時(shí)，其所有相關(guān)的實(shí)驗(yàn)資訊(experimentalinformation)全在概似函數(shù)中。(2)若二概似函數(shù)成比例(常數(shù)倍)，則二者所涵蓋的實(shí)驗(yàn)資訊是相同的。例15：欲檢定一銅板是否公正？即檢定。(設(shè))(1)實(shí)驗(yàn)一：將此銅板投擲12次，設(shè)X表正面出現(xiàn)的次數(shù)。當(dāng)x=9。(2)實(shí)驗(yàn)二：將此銅板反覆投擲，設(shè)X表第9次出現(xiàn)正面時(shí)，反面出現(xiàn)的次數(shù)。當(dāng)x=9。由(1)及(2)為常數(shù)。根據(jù)Thelikelihoodprinciple與擁有相同相關(guān)於參數(shù)之實(shí)驗(yàn)資訊。(1)。(2)。※既然說(shuō)與有相同的實(shí)驗(yàn)資訊，為何檢定的結(jié)果卻大不相同？(i)likelihoodfunction僅包含實(shí)驗(yàn)資訊，而非全部的資訊。(ii)對(duì)與而言，其相關(guān)的參數(shù)必須是相同的(如同一銅板)。例16：二實(shí)驗(yàn)與有相同之樣本空間及相同的參數(shù)空間。兩者之pdf及，說(shuō)明如下：(1)實(shí)驗(yàn)1230.900.050.050.090.0550.855(2)實(shí)驗(yàn)1230.260.730.010.0260.8030.171因?yàn)?，，二者相等，根?jù)Thelikelihoodprinciple當(dāng)時(shí)，與具有相同之實(shí)驗(yàn)資訊。假設(shè)與之觀測(cè)值都是1，而欲據(jù)以檢定()。其檢定結(jié)果如下：(1)對(duì)而言，檢定的結(jié)果為reject。(2)對(duì)而言，檢定的結(jié)果為accept。如此矛盾的結(jié)果，再次說(shuō)明實(shí)驗(yàn)資訊，而非全部的資訊。Sec.2.6充分統(tǒng)計(jì)量【問(wèn)題】設(shè)是取自pdf為之n個(gè)獨(dú)立隨機(jī)樣本，我們想利用樣本觀測(cè)值來(lái)推論參數(shù)的值？1.全依觀測(cè)值來(lái)估計(jì)，亦即以來(lái)估計(jì)?！@樣做好像太麻煩！2.是否可由粹取出之所有資訊t，亦即中所有有關(guān)之所有資訊，全部濃縮在t中。如此，便可以t來(lái)估計(jì)，亦即以來(lái)估計(jì)?！绱藢⒋蟠蠛?jiǎn)化推論的工作！定義12.設(shè)之jpdf為，其中為參數(shù)，而。若給定時(shí)，之條件機(jī)率密度函數(shù)與無(wú)關(guān)，則稱T為之充分統(tǒng)計(jì)量?！纸舛ɡ?FactorizationTheorem).設(shè)是取自pdf為之n個(gè)獨(dú)立隨機(jī)樣本，。若，則T為之充分統(tǒng)計(jì)量。定義13.設(shè)為取自某母體之n個(gè)樣本，，而為一統(tǒng)計(jì)量，且T之值域?yàn)椋渲袨闃颖究臻g。則透過(guò)T可得到樣本空間之一分割。定義14.根據(jù)充分統(tǒng)計(jì)量，可將樣本空間分成一個(gè)充分分割(sufficientpartition)。定理1.設(shè)為取自某母體之n個(gè)獨(dú)立隨機(jī)樣本，，為相關(guān)參數(shù)。為之充分統(tǒng)計(jì)量。設(shè)為一隨機(jī)化決策規(guī)則，則存在一隨機(jī)化決策規(guī)則使得。Sec.2.7Convexity定義15.設(shè)，若，則稱為凸集合(convexset)。定義16.設(shè)為中之點(diǎn)所成的序列(sequence)。設(shè)，，且，則稱為之凸組合(convexcombination)。定義17.設(shè)為凸集合，為定義於上之一實(shí)數(shù)值函數(shù)。(1)若，可推得，則稱為凸函數(shù)(convexfunction)。(2)若上述(1)中不等式之等號(hào)不