主觀概率和先驗分布

1、第二章 主觀概率和先驗分布Subjective Probability and Prior Distribution 本章主要參考文獻：60，52，上帝怎樣擲骰子 2-1 基本概念 一、概率（probability） 1. 頻率 fn(A)=Na/N P (A)= fn(A) 古典概率的定義2. Laplace在概率的理論分析(1812)中的定義 P(A)=k/N 式中，k為A所含基本事件數(shù)， N為 基本事件總數(shù) 適用條件 1.基本事件有限 2.每個基本事件等可能 3.公理化定義 E是隨機試驗,S是E的樣本空間,對E的每一事件A,對應有確定實數(shù)P(A),若滿足: 非負性：0P(A)1 規(guī)范性：

2、 P(S)=1 可列可加性：對兩兩不相容事件Ak (k=1,2) (Ai Aj=) P(Ak)=P(Ak) 則稱P(A)為事件A發(fā)生的概率 二、主觀概率(subjective probability, likelihood) 1. 為什么引入主觀概率 。有的自然狀態(tài)無法重復試驗 如：明天是否下雨 新產品銷路如何 明年國民經濟增長率如何 能否考上博士生 。試驗費用過于昂貴、代價過大 例：洲導彈命中率 戰(zhàn)爭中對敵方下一步行動的估計 2.主觀概率定義：合理的信念的測度 某人對特定事件會發(fā)生的可能的度量。 即他相信(認為)事件將會發(fā)生的可能性大小的程度。 這種相信的程度是一種信念，是主觀的，但又是根據(jù)

3、經驗、各方而后知識，對客觀情況的了解進行分析、推理、綜合判斷而設定(Assignment)的，與主觀臆測不同。 例：考博士生、擲硬幣、拋圖釘三、概率的數(shù)學定義對非空集，元素，即=，F(xiàn)是的子集A所構成的-域(即F； 若AF則AF； 若AiF i=1,2,則AiF) 若P(A)是定在F上的實值集函數(shù)，它滿足 非負性 P(A)0 規(guī)范性 P()=1 可列可加性 則稱P(A)為直的(主以或客觀)概率測度，簡稱概率 為基本事件 A為事件 三元總體(，F(xiàn)，P)稱為概率空間 注意：主觀概率和客觀概率（objective probability）有相同的定義 四、主客觀概率的比較(一) 基本屬性： O：系統(tǒng)的

4、固有的客觀性質，在相同條件下重復試驗時頻經的極限 S：概率是觀察者而非系統(tǒng)的性質，是觀察者對對系統(tǒng)處于某狀態(tài)的信任程度 (二)拋硬幣：正面向上概率為 O：只要硬幣均勻，拋法類似，次數(shù)足夠多，正面向上的概率就是，這是簡單的定義。 S：這確是定義，DMer認為硬幣是均勻的，正、反面出現(xiàn)的可能性(似然率)相同，是個主觀的量。 (三)下次拋硬幣出現(xiàn)正面的概率是 O：這種說法不對，不重復試驗就談不上概率 S：對DMer來說，下次出現(xiàn)正、反是等可能的。但是他不是說硬幣本身是公正的，它可能會有偏差，就他現(xiàn)有知識而言，沒有理由預言一面出現(xiàn)的可能會大于另一面，但多次拋擲的觀察結果可以改變他的信念。 O、S：下次

5、拋硬幣出現(xiàn)正面還是反面不能確定，但知道： 要么是正面，要么是反面。 2-2 先驗分布(Prior distribution)及其設定 在決策分析中，尚未通過試驗收集狀態(tài)信息時所具有的信息叫先驗信息，由先驗信息所確定的概率分布叫先驗分布。 設定先驗分布是Bayesean分析的需要.一、設定先驗分布時的幾點假設 1.連通性(Connectivity)，又稱可比性 即事件A和B發(fā)生的似然性likelihood是可以比較的： AL B或A L B或BL A 必有一種也僅有一種成立. * AL B讀作 A 發(fā)生的似然性大于B 發(fā)生的似然性, A L B 讀作 A 發(fā)生的似然性與B 發(fā)生的似然性相當。 2

6、.傳遞性(Transitivity) 若對事件A，B，C , A L B， B L C 則A L C 3. 部分小于全體：若AB則BL A 例：設定明年國民經濟增長率時：A：811% B：1215% C：1520% 若 A L B， B L C ， 則 A L C A：811% D：810% 必有D L A 二、離散型隨機變量先驗分布的設定1.對各事件加以比較確定相對似然率 例1. 考博士生 E：考取 E：考不取 若P(E)=2P(E) 則P(E)=2/3 P(E)=1/3 例2。某地氣候狀況：正常年景1，旱2，澇3 正常與災年之比：32 則P（1)=0.6 水旱災之比11 P(2)=P(3)

7、=0.2 該法適用于狀態(tài)數(shù)較少的場合2.打賭法設 事件E發(fā)生時收入P，（0 P 1） 且 Ec(1P)調整P，使決策人感到兩者無差異為止, 則：P(E)=P三、連續(xù)型RV的先驗分布的設定1.直方圖法該法適用于取值是實軸的的某個區(qū)間的情況步驟：,將區(qū)間劃分子區(qū)間i離散化 設定每個子區(qū)間的似然率(i)賦值 變換成概率密度曲線例如：明年國民經濟的增長率缺點：子區(qū)間的劃分沒有標準 賦值不易 尾部誤差過大2.相對似然率法適用范圍：同1 步驟：離散化 賦值：給出各區(qū)間似然的相對比值 規(guī)范化： 例如：同1A. 相對似然率R 似然率(A) 子區(qū)間89% 10 10R 78 9 9R 910 7.5 7.5RB

8、. 決策者給出每二個狀態(tài)似然率的比例關系 aij= pi/pj (1)應有 aij= 1/aji (2) aij=aik.akj (3)在(3)式不滿足時，可用最小二乘法估計決策人心目中真正的主觀概率分布Pi i=1,，n即求規(guī)劃問題 min(aijpj - pi) s.t. pi= 1 , pi0*用拉格朗日乘數(shù)法,構造拉格朗日函數(shù) L 上式對 ，i=1,2n求偏導數(shù)，并令其為0，得： l=1,2,n. 與 聯(lián)列，構成n+1階齊次方程組，求得Pi, i=1,，n3.區(qū)間對分法適用范圍：可以是開區(qū)間步驟：求中位 確定上、下四分位點(quartile fractile) 由于誤差積累,最多確定八

9、分位點(Eighth fractile) 例：產品銷售量(預計明年) 缺點：精度差4.與給定形式的分布函數(shù)相匹配 這是最常用，且常常被濫用的方法步驟：選擇一個與先驗信息匹配得最好的函數(shù) 如正態(tài)，泊松，e-Cauchy分布等例：a)在單位時間以恒常的平均比率入出現(xiàn)，則在T單位長度時間內該事件出現(xiàn)的次數(shù)服從Poisson分布 2-4 b)若影響某一隨機變量的因素很多而每一因素的作用均不顯著，則該變量服從正態(tài)分布。例如，測量誤差，彈落點，人的生理特征的度量，農作物產量等均服從正態(tài)分布。 c)事件A出現(xiàn)的概率為P，n次獨立試驗出現(xiàn)r次A的概率b(p,r,n)= . 即服從二項分布。 參數(shù)估計： A.矩

10、法：N(,) Be(，) 缺點：尾部估計不準，但對矩的影響卻很大 B.分位數(shù)：利用幾個分位點和現(xiàn)成的概率密度 函數(shù)分位數(shù)表，估計參數(shù)并檢驗。5. 概率盤法(dart) 用園盤中的扇形區(qū)表示抽獎事件, 透用于西方管理人員注意：狀態(tài)的概率或概率分布不是也不應富由決策分析人員來設定，而應當由決策人和有關問題專家提供基本信息。 理由：2-3 無信息先驗分布一、為什么要研究無信息先驗Bayesean法需要有先驗分布，貝葉斯法的簡明性使人在無信息時也想用它。二、如何設定無信息先驗分布1.位置參數(shù) 隨機變量X的概率密度函數(shù)形如f(x-)時 稱為位置參數(shù) 其無信息先驗 ()必為一常數(shù)2.標度參數(shù) X的密度函數(shù)為1/f(x/)稱為標度密度稱為標度參數(shù) 其無信息先驗()=1/2.4 利用過去的數(shù)據(jù)設定先驗分布一、有的統(tǒng)計數(shù)據(jù) 為能獲得的觀察值i i=1,n的數(shù)據(jù)，則可： 通過直方圖勾劃出先驗分