第二章貝葉斯決策理論和關于風險概念的進一步討論

第2章貝葉斯決策理論

2.0基本概念2.1最小錯誤概率的Bayes決策

2.2最小風險的Bayes決策2.3Neyman-Pearson決策2.4Bayes估計和Bayes學習2.5正態(tài)分布時的Bayes決策法則2.6離散情況的Bayes決策5/27/2023兩個條件：各類別總體的概率分布是已知的要決策的類別數(shù)是一定的待識別對象有d種特征測量值，每種特征值都是一個隨機變量，組成d維隨機向量d種特征的所有取值范圍構成d維特征空間2.0基本概念5/27/2023把樣本x分到哪一類最合理？解決該問題的理論基礎之一是統(tǒng)計決策理論決策：是從樣本空間S，到?jīng)Q策空間Θ的一個映射，表示為D:S-->Θ評價決策有多種標準，對于同一個問題，采用不同的標準會得到不同意義下“最優(yōu)”的決策。Bayes決策常用的準則最小錯誤率準則最小風險準則在限定一類錯誤率條件下使另一類錯誤率為最小的準則最小最大決策準則5/27/2023先驗概率：根據(jù)大量統(tǒng)計確定某類事物出現(xiàn)的比例，類條件概率密度函數(shù)：同一類事物的各個屬性都有一定的變化范圍，在這些變化范圍內(nèi)的分布概率用一種函數(shù)形式表示，則稱為類條件概率密度函數(shù)。這種分布密度只對同一類事物而言，與其它類事物沒有關系。為了強調(diào)是同一類事物內(nèi)部，因此這種分布密度函數(shù)往往表示成條件概率的形式。如P(X|男生)，P(X|女生)。5/27/2023后驗概率：一個具體事物屬于某種類別的概率，例如一個學生用特征向量x表示，它是男性或女性的概率表示成P(男生|x)和P(女生|x)，這就是后驗概率。由于一個學生只可能為兩個性別之一，因此有P(男生|x)+P(女生|x)=1的約束，這一點是與類分布密度函數(shù)不同的。后驗概率與先驗概率也不同，后驗概率涉及一個具體事物，而先驗概率是泛指一類事物，因此P(男生|x)和P(男生)是兩個不同的概念。貝葉斯公式：

5/27/20232.1最小錯誤概率的Bayes決策在模式識別問題中，感興趣的往往是盡量減小分類錯誤的概率。為此，我們可以建立一個能得到最小錯誤率的決策方法?？匆粋€簡單的例子。假設某工廠生產(chǎn)兩種大小，外形都相同的螺絲釘，一種是銅的，一種是鐵的。兩種產(chǎn)品混在一起，要求對它們自動分類。分兩種情況討論：（1）先驗概率已知；（2）先驗概率和條件概率密度函數(shù)均已知。5/27/2023先驗概率已知鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率——它們反映了我們在下一個樣品出現(xiàn)前對它的類別可能性的先驗知識，稱這種先于事件的概率為先驗概率。合理的決策規(guī)則：決策錯誤的概率：5/27/2023先驗概率和條件概率密度函數(shù)均已知鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率——鐵螺絲出現(xiàn)的概率——銅螺絲出現(xiàn)的概率————螺絲背光源照射后反射光的亮度特征求取后驗概率：5/27/2023對待分類模式的特征我們得到一個觀察值，合理的決策規(guī)則：決策錯誤的條件概率（隨機變量的函數(shù)）：模式特征是一個隨機變量，在應用Bayes法則時，每當觀察到一個模式時，得到特征，就可利用后驗概率作出分類的決策，同時也會帶來一定的錯誤概率。若觀察到大量的模式，對它們作出決策的平均錯誤概率應是的數(shù)學期望。5/27/2023平均錯誤概率從式可知，如果對每次觀察到的特征值，是盡可能小的話，則上式的積分必定是盡可能小的這就證實了最小錯誤率的Bayes決策法則。下面從理論上給予證明。以兩類模式為例。5/27/2023把分類器看做將特征空間分割成決策區(qū)域的裝置5/27/20235/27/20232.2最小風險的Bayes決策在上一節(jié)我們介紹了最小錯誤率的Bayes決策，并且證明了應用這種決策法則時，平均錯誤概率是最小的。但實際上有時需要考慮一個比錯誤率更為廣泛的概念——風險，舉例說明。毋庸置疑，任何風險都會帶來一定損失?？匆粋€一般的決策表。5/27/2023——觀察或測量到的d維模式特征向量；——狀態(tài)或模式類空間——決策空間——損失函數(shù)，表示真實狀態(tài)為而所采取的決策為時所帶來的某種損失。根據(jù)Bayes公式，后驗概率為：5/27/2023對于剛才的決策表考慮如下的一個條件期望損失，即給定，我們采取決策情況下的條件期望損失（條件風險）：采取那種決策呢？

最小風險Bayes決策規(guī)則：5/27/2023綜上，可知該規(guī)則的進行步驟為：（1）根據(jù)已知，計算出后驗概率；（2）利用計算出的后驗概率及決策表（專家根據(jù)經(jīng)驗確定），計算條件風險（3）最小風險決策5/27/2023這樣按最小風險的Bayes決策規(guī)則，采取的決策將隨的取值而定，引入函數(shù)，表示對的決策。對整個特征空間上所有的取值采取相應的決策所帶來的平均風險顯然，我們對連續(xù)的隨機模式向量按最小風險Bayes決策規(guī)則采取的一系列決策行動可以使平均風險最小。到此為止，我們已經(jīng)分析了兩種分別使錯誤率和風險達到最小的Bayes決策規(guī)則，下面分析一下兩種決策規(guī)則的關系。5/27/2023兩類情況下的最小風險Bayes決策5/27/2023在兩類問題中，若有，決策規(guī)則變?yōu)檫@時最小風險的Bayes決策和最小錯誤率的Bayes決策規(guī)則是一致的。5/27/2023一般的多類問題中，設損失函數(shù)為0-1損失函數(shù)5/27/2023說明什么問題？5/27/2023第2章貝葉斯決策理論

2.0基本概念2.1最小錯誤概率的Bayes決策

2.2最小風險的Bayes決策2.3Neyman-Pearson決策2.4Bayes估計和Bayes學習2.5正態(tài)分布時的Bayes決策法則2.6離散情況的Bayes決策5/27/20232.3Neyman—Pearson決策Neyman—Pearson決策即限定一類錯誤率條件下使另一類錯誤率為最小的兩類別決策。5/27/2023用Lagrange乘子法建立其數(shù)學模型5/27/20235/27/20235/27/2023取得極小值的邊界條件與最小錯誤率的Bayes決策的比較5/27/20232.4Bayes估計和Bayes學習返回本章首頁1Bayes估計這里我們先回顧一下前面講述的最小風險Bayes決策?！^察或測量到的d維模式特征向量；——狀態(tài)空間——決策空間——損失函數(shù)，表示真實狀態(tài)為而所采取的決策為時所帶來的某種損失。5/27/2023返回本章首頁給定，我們采取決策情況下的條件期望損失：是特征空間中取任意值的隨機變量，條件風險的期望表示采取決策總的平均損失。稱為Bayes風險，使最小的決策稱為Bayes決策。5/27/2023返回本章首頁Bayes決策確定的真實狀態(tài)（模式類）Bayes估計根據(jù)一個樣本集，找出估計量，估計所屬總體分布的某個真實參數(shù)使帶來的Bayes風險最小Bayes決策問題Bayes估計問題樣本樣本集決策估計量真實狀態(tài)真實參數(shù)狀態(tài)空間是離散空間參數(shù)空間是連續(xù)空間先驗概率參數(shù)的先驗分布5/27/2023返回本章首頁令為代替所造成的損失，對于一個觀測矢量集合，當用作為的估計時，在觀測條件下的條件期望損失為考慮到的各種取值，我們應求在空間中的期望，。5/27/2023返回本章首頁Bayes估計的基本思想：所求得的的估計值應使估計損失的期望最小，這種使或等價地使取最小值的的估計值稱為的Bayes估計。對于不同的，可得到不同的最佳Bayes估計。這里假定損失函數(shù)為平方誤差，即5/27/2023返回本章首頁5/27/2023返回本章首頁5/27/2023返回本章首頁由于是關于的二次函數(shù)，確使或最小。上式表明，的最小方差Bayes估計是在觀測條件下的的條件期望。在許多情況下，最小方差Bayes估計是最理想的Bayes最優(yōu)估計器。對平方誤差損失函數(shù)情況求解Bayes估計量的步驟如下：（1）確定的先驗分布；（2）由樣本集求出樣本聯(lián)合分布（3）求的后驗分布（4）5/27/2023返回本章首頁2Bayes學習Bayes學習與Bayes估計的前提條件是相同的，Bayes學習不是進行概率的參數(shù)估計，而是進行總體概率的推斷以獲得，因此，它們具有某些相同的計算內(nèi)容，也有不同的計算目標。它們的前三步都是相同的，只是最后一步有所不同，Bayes學習最后一步為在已知的條件下，H對已不具有什么信息5/27/2023返回本章首頁下面我們看一下最大似然估計與Bayes解的關系。5/27/2023返回本章首頁最大似然估計近似等于Bayes解（條件是在有尖銳的凸峰）5/27/2023返回本章首頁下面給出在具有遞推收斂的性質下Bayes學習收斂的一般性陳述，下看以下的推到公式5/27/2023返回本章首頁我們把以上的方法稱為遞推Bayes估計，密度序列收斂于以真實參數(shù)為中心的函數(shù)稱的過程稱為Bayes學習。如果分布具有Bayes學習性質，那么當樣本數(shù)時，就有5/27/2023第2章貝葉斯決策理論

2.0基本概念2.1最小錯誤概率的Bayes決策2.2最小風險的Bayes決策2.3Neyman-Pearson決策2.4Bayes估計和Bayes學習2.5正態(tài)分布時的Bayes決策法則2.6離散情況的Bayes決策5/27/20232.5正態(tài)分布時的Bayes決策法則在前面我們提到設計Bayes分類器的兩個先決已知條件：（1）先驗概率；（2）條件概率密度函數(shù)。先驗概率的估計并不困難，關鍵是條件概率密度函數(shù)。這里我們以正態(tài)分布概率密度函數(shù)為主進行討論，因為Ⅰ在實際問題中，大量的隨機變量都服從或近似地服從正態(tài)分布；Ⅱ即使統(tǒng)計總體不服從正態(tài)分布，但是它的許多重要的樣本特征可能是漸進正態(tài)分布的；Ⅲ正態(tài)分布分析起來比較方便。5/27/2023正態(tài)分布概率密度函數(shù)的定義及性質（1）單變量正態(tài)分布單變量正態(tài)分布概率密度函數(shù)，有兩個參數(shù)和完全決定，常簡記為。期望方差5/27/2023（2）多維變量正態(tài)分布均值向量協(xié)方差矩陣5/27/2023多維變量正態(tài)分布密度函數(shù)的性質（1）多維變量正態(tài)分布密度函數(shù)由均值向量和協(xié)方差矩陣完全確定，包含的參數(shù)個數(shù)為。

（2）等密度點的軌跡為一超橢球面，且它的主軸方向由陣的特征向量所確定，主軸的長度與相應的協(xié)方差矩陣的本征值成正比。5/27/20235/27/2023設在超橢球上，到超橢球中心的距離為，求主軸長度即是求其條件極值，構造Lagrange函數(shù)5/27/2023所以，第i個主軸的長度與的第i個特征值的平方根成正比，如圖所示。定義為向量到均值向量的馬氏距離。等概率密度點的軌跡是一個到均值向量的馬氏距離為常數(shù)的超球體。（3）

不相關性等價于獨立性。（4）邊緣分布和條件分布的正態(tài)性。（5）線性變換的正態(tài)性。（6）線性組合的正態(tài)性。5/27/2023多維變量正態(tài)概率型下的最小錯誤率Bayes判別函數(shù)和決策面5/27/2023下面根據(jù)上式對以下三種情況進行討論。…決策面方程5/27/2023（1），即每類的協(xié)方差矩陣都相等，而且類內(nèi)各特征間相互獨立，具有相等的方差Ⅰ如果先驗概率不等，那么平方距離（歐氏距離）必須通過方差進行歸一化，并通過增加進行修正。5/27/2023Ⅱ如果先驗概率相等稱其為最小距離分類器。對以上兩類情況進行化簡5/27/2023下面來看線性分類器的決策面方程5/27/2023對其，我們用一個二維二類模式例子，設先驗概率相等，從幾何上表示其關系（不相等的情況請參照教材P32）5/27/2023（2），即各類的協(xié)方差矩陣都相等如果先驗概率相等，只要計算到各類的均值點的馬氏距離平方，然后把歸于距離平方最小的類別。5/27/2023對以上兩類情況進行化簡5/27/2023決策面方程5/27/2023對其，我們用一個二維二類模式例子，設先驗概率相等，從幾何上表示其關系5/27/2023（2）各類的協(xié)方差矩陣不相等5/27/20235/27/2023前面我們我們介紹都是連續(xù)情況的Bayes決策理論，這里我們看一下的離散情況。設x是離散型隨機變量，從而Bayes決策法則就是：這時Bayes決策規(guī)則仍然不變，最小錯誤概率的Bayes決策法則仍為：2.6離散情況的Bayes決策5/27/2023最小風險的Bayes決策法則仍為：這里著重討論最小錯誤率的Bayes決策法則。等價的判別函數(shù)有以下幾種形式：對二類模式的分類問題，判別函數(shù)可采用以下的形式：5/27/2023設模式特征向量為且各特征相互獨立。并令：5/27/2023從而似然比：將其改寫為線性判別函數(shù)的形式：5/27/2023式中：可將其任意分類，或拒絕5/27/2023第十四章關于風險概念的進一步討論

本章我們將指出上述風險的定義中的問題，提出風險的各種不同的定義方法，研究投資者對待風險的態(tài)度，進一步討論回報率與風險的關系。這些討論，對于把握難以捉摸的風險概念是至關重要的。齊寅峰公司財務學經(jīng)濟科學出版社第一節(jié)風險定義的問題一、“E－σ”分析失效的情形二、風險的其他定義齊寅峰公司財務學經(jīng)濟科學出版社一、“E－σ”分析失效的情形傳統(tǒng)的投資組合分析中，每一備選方案都用兩個數(shù)據(jù)來衡量：回報率的期望值E和回報率的均方差σ，并且假定投資者都偏好于大的期望回報率和小的均方差。

每個投資者都偏好于大的回報率期望值是一種理性的選擇假設，任何情況下都不會發(fā)生懷疑。齊寅峰公司財務學經(jīng)濟科學出版社一、“E－σ”分析失效的情形（續(xù)）但是說投資者都是避免風險的，卻值得懷疑。如果風險是指日常用語是指壞事而非好事，這倒也沒錯。但事實上用均方差定義風險，它表示回報率與期望值偏差的平方的期望值的方根，因此只是表明回報率的離散程度，而這