模式識別 課件 第2章 貝葉斯決策

第2章貝葉斯決策主要內(nèi)容2.1貝葉斯決策的基本概念2.2最小錯誤率貝葉斯決策2.3最小風險貝葉斯決策2.4樸素貝葉斯分類器2.5Neyman-Pearson決策規(guī)則2.6判別函數(shù)和決策面2.7正態(tài)分布模式的貝葉斯決策2.8貝葉斯決策的實例2.1貝葉斯決策的基本概念各類別總體的概率分布是已知的；要決策的類別數(shù)是一定的。原理用概率統(tǒng)計的方法研究隨機模式的決策問題。前提條件2.1貝葉斯決策的基本概念預先已知的、或者可以估計的模式識別系統(tǒng)位于某種類型的概率。先驗概率

不能根據(jù)先驗概率的取值判斷某個樣本屬于哪一類。2.1貝葉斯決策的基本概念系統(tǒng)位于某種類型條件下模式樣本x出現(xiàn)的概率。類條件概率

不同類別中有可能出現(xiàn)相同的數(shù)據(jù)，當獲得某個樣本x時，不能判斷其屬于哪一類。2.1貝葉斯決策的基本概念系統(tǒng)在某個具體的模式樣本x條件下位于某種類型的概率。后驗概率

若獲得樣本x屬于不同類的后驗概率，擇其一，自然將其歸為概率大的一類。2.1貝葉斯決策的基本概念貝葉斯公式貝葉斯決策

2.2最小錯誤率貝葉斯決策希望在決策中盡量減少分類錯誤的概率，因此根據(jù)貝葉斯公式建立的使錯誤率最小的分類規(guī)則，稱之為最小錯誤率貝葉斯決策。（1）癌細胞識別實例分析有要進行識別的細胞，已經(jīng)經(jīng)過了預處理，抽取了n個表示細胞的特征，構(gòu)成n維向量x，判斷該細胞為正常或異常細胞。2.2最小錯誤率貝葉斯決策根據(jù)先驗的統(tǒng)計知識做出估計，如某一個地區(qū)癌癥的發(fā)病率為5‰，即：

只說明是正常細胞的可能性大，不能作為正?；虍惓５呐袚?jù)。

數(shù)學表示以往的統(tǒng)計數(shù)據(jù)

2.2最小錯誤率貝葉斯決策

根據(jù)統(tǒng)計資料判斷兩類中x出現(xiàn)的概率。

以往的統(tǒng)計數(shù)據(jù)貝葉斯決策2.2最小錯誤率貝葉斯決策

分析實際中僅這個結(jié)論不能確診的，需要更有效的化驗。

（2）最小錯誤率貝葉斯決策規(guī)則2.2最小錯誤率貝葉斯決策（3）例題2.2最小錯誤率貝葉斯決策

解：

信道分類器輸入{0,1}噪聲判別結(jié)果x一般認為x<0.5判為0，x>0.5判為1

2.2最小錯誤率貝葉斯決策2.2最小錯誤率貝葉斯決策

假設(shè)P(0)=P(1)，則決策變?yōu)椋?/p>

2.2最小錯誤率貝葉斯決策解：先驗概率相等，簡化決策規(guī)則：

0-112341

2.2最小錯誤率貝葉斯決策（4）驗證錯分概率對于所有的x值所進行的判斷，錯誤率為最小，從而保證平均錯誤率P(e)也達到最小。錯誤率：兩類情況：多類情況：2.2最小錯誤率貝葉斯決策（5）仿真實現(xiàn)

按照最小錯誤率貝葉斯決策規(guī)則，獲取訓練數(shù)據(jù)，估算其先驗概率，因服從正態(tài)分布，估算其類條件概率函數(shù)參數(shù)，計算后驗概率并決策。設(shè)計思路2.2最小錯誤率貝葉斯決策clc,clear;%訓練數(shù)據(jù)及其類別training=[00;20;22;02;44;64;66;46];[N,n]=size(training);species={'one';'one';'one';'one';'two';'two';'two';'two'};%估算先驗概率sta=tabulate(species);[c,k]=size(sta);priorp=zeros(c,1);fori=1:cpriorp(i)=cell2mat(sta(i,k))/100;end程序%估算類條件概率參數(shù)cpmean=zeros(c,n);cpcov=zeros(n,n,c);fori=1:ccpmean(i,:)=mean(training(strmatch(char(sta(i,1)),species,'exact'),:));cpcov(:,:,i)=cov(training(strmatch(char(sta(i,1)),species,'exact'),:))*(N*priorp(i)-1)/(N*priorp(i));end%數(shù)據(jù)[31]的后驗概率x=[31];postp=zeros(c,1);2.2最小錯誤率貝葉斯決策fori=1:cpostp(i)=priorp(i)*exp(-(x-cpmean(i,:))*inv(cpcov(:,:,i))*(x-cpmean(i,:))'/2)/((2*pi)^(n/2)*det(cpcov(:,:,i)));end[~,i]=max(postp(:));%找最大后驗概率result=sta(i,1)2.2最小錯誤率貝葉斯決策將在命令窗口輸出：result=1×1cell數(shù)組{'one'}

2.3最小風險貝葉斯決策作出任何決策都有風險，都會帶來一定的后果，錯誤率最小不一定風險也最小，因此，考慮分類錯誤引起的損失而產(chǎn)生最小風險的貝葉斯決策方法。（1）問題表述樣本x為n維向量：狀態(tài)空間由c個可能狀態(tài)（類別）組成：對x可能采取的決策：

2.3最小風險貝葉斯決策（2）風險定義決策表經(jīng)過分析研究統(tǒng)計得出?！惾~斯決策2.3最小風險貝葉斯決策（2）風險定義

條件風險2.3最小風險貝葉斯決策（2）風險定義期望風險

全概率步驟

2.3最小風險貝葉斯決策（3）決策規(guī)則規(guī)則2.3最小風險貝葉斯決策（4）例題

0160解：后驗概率

損失系數(shù)

2.3最小風險貝葉斯決策

條件風險2.3最小風險貝葉斯決策（5）最小錯誤率和最小風險兩種決策的關(guān)系

正好為求最小條件錯誤概率最小錯誤率貝葉斯決策是在0-1損失函數(shù)條件下的最小風險貝葉斯決策，即前者是后者的特例。0-1損失函數(shù)

條件風險

2.3最小風險貝葉斯決策（6）驗證錯分風險

2.4樸素貝葉斯分類器（1）原理

貝葉斯決策中存在的問題對已知類別，假設(shè)所有屬性相互獨立。屬性條件獨立性假設(shè)基于屬性條件獨立性假設(shè)，按最大后驗概率決策。樸素貝葉斯分類器2.4樸素貝葉斯分類器（2）決策規(guī)則

若則決策規(guī)則為：2.4樸素貝葉斯分類器（3）仿真實現(xiàn)

獲取訓練數(shù)據(jù)后，采用MATLAB提供的fitcnb函數(shù)訓練樸素貝葉斯分類器，并predict函數(shù)進行分類決策2.4樸素貝葉斯分類器程序clc,clear,closeall;training=[00;20;22;02;44;64;66;46];[N,n]=size(training);species={'one';'one';'one';'one';'two';'two';'two';'two'};ObjBayes=fitcnb(training,species);X=[31];[label,posterior,cost]=predict(ObjBayes,X)figure,gscatter(training(:,1),training(:,2),species);holdonplot(X(:,1),X(:,2),'k*','MarkerSize',10);holdoff2.4樸素貝葉斯分類器仿真結(jié)果將在命令窗口輸出：label=

1×1cell數(shù)組

{'one'}posterior=0.99750.0025cost=0.00250.99752.5Neyman-Pearson決策規(guī)則（1）原理固定一類錯誤率使另一類錯誤率最小的判別準則。

2.5Neyman-Pearson決策規(guī)則拉格朗日函數(shù)：概率密度函數(shù)的性質(zhì)：拉格朗日函數(shù)：

2.5Neyman-Pearson決策規(guī)則拉格朗日函數(shù)：

同理，拉格朗日函數(shù)：2.5Neyman-Pearson決策規(guī)則決策規(guī)則

2.5Neyman-Pearson決策規(guī)則

解：由題意可知Neyman-Pearson決策規(guī)則為：

簡化為：

2.5Neyman-Pearson決策規(guī)則

第一類的錯誤率為：

2.6判別函數(shù)和決策面用數(shù)學形式描述分類規(guī)則（1）判別函數(shù)和決策面的概念把特征空間分成若干個決策域（類別區(qū)域），劃分這些區(qū)域的邊界面稱為決策面，用數(shù)學解析式表達稱為決策面方程。決策面判別函數(shù)表達決策規(guī)則的某種函數(shù)。（2）兩類情況下的判別函數(shù)和決策面方程最小錯誤率貝葉斯決策的判別函數(shù)2.6判別函數(shù)和決策面最小錯誤率貝葉斯決策的決策面方程最小風險貝葉斯決策的決策面方程最小風險貝葉斯決策的判別函數(shù)2.6判別函數(shù)和決策面（2）兩類情況下的判別函數(shù)和決策面方程兩類分類問題的推廣，定義一組判別函數(shù)2.6判別函數(shù)和決策面

（3）多類情況下的判別函數(shù)和決策面方程最小錯誤率貝葉斯決策多類問題的判別函數(shù)最小風險貝葉斯決策的判別函數(shù)2.6判別函數(shù)和決策面（3）多類情況下的判別函數(shù)和決策面方程2.7正態(tài)分布模式的貝葉斯決策實際中的許多數(shù)據(jù)集可以用正態(tài)分布來近似，而且，正態(tài)分布有利于作數(shù)學分析，所以，單獨對正態(tài)分布時貝葉斯決策作一討論。（1）單變量正態(tài)分布的定義概率密度函數(shù)：參數(shù)：

2.7正態(tài)分布模式的貝葉斯決策（2）多元正態(tài)分布的定義概率密度函數(shù)參數(shù)

2.7正態(tài)分布模式的貝葉斯決策（3）例題

2.7正態(tài)分布模式的貝葉斯決策解：多類別問題，采用如下判別規(guī)則：2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策（4）多元正態(tài)分布的性質(zhì)參數(shù)μ、Σ對分布具有決定性等密度點的軌跡為一超橢球面不相關(guān)性等價于獨立性線性變換的正態(tài)性線性組合的正態(tài)性Mahalanobis距離

2.7正態(tài)分布模式的貝葉斯決策（4）多元正態(tài)分布的性質(zhì)2.7正態(tài)分布模式的貝葉斯決策（4）多元正態(tài)分布的性質(zhì)馬氏距離和歐氏距離的關(guān)系距離在模式識別中是一種很重要的概念，一般認為同一類模式間的距離小，不同類模式間的距離大。歐氏距離最常用。兩個向量之間的歐氏距離的定義：當Σ為單位陣時，兩種距離相同。2.7正態(tài)分布模式的貝葉斯決策（5）仿真實現(xiàn)例2-9：設(shè)定參數(shù)，生成服從單變量正態(tài)分布的樣本集，并繪制概率密度函數(shù)圖。設(shè)定先驗概率、類條件概率密度函數(shù)參數(shù)后，采用MATLAB提供的normrnd函數(shù)生成樣本，計算各點對應的概率密度函數(shù)取值并繪制概率密度函數(shù)圖。同理，可以使用mvnrnd函數(shù)生成服從多元正態(tài)分布的樣本集設(shè)計思路2.7正態(tài)分布模式的貝葉斯決策程序clc,clear,closeall;P=[0.40.20.4];N=500;

mu1=1;mu2=7;mu3=15;sigma1=0.5;sigma2=0.1;sigma3=2;num1=floor(N*P(1));num2=floor(N*P(2));num3=floor(N*P(3));

rng('default')R1=normrnd(mu1,sqrt(sigma1),1,num1);R2=normrnd(mu2,sqrt(sigma2),1,num2);R3=normrnd(mu3,sqrt(sigma3),1,num3);p1=exp(-0.5*(R1-mu1).^2/sigma1)/sqrt(2*pi*sigma1);p2=exp(-0.5*(R2-mu2).^2/sigma2)/sqrt(2*pi*sigma2);p3=exp(-0.5*(R3-mu3).^2/sigma3)/sqrt(2*pi*sigma3);

holdonplot(R1,p1,'bo');plot(R2,p2,'r.');plot(R3,p3,'g+');legend('1','2','3');boxon;xlabel('x'),ylabel('p(x)'),title('單變量正態(tài)分布');holdoff2.7正態(tài)分布模式的貝葉斯決策程序2.7正態(tài)分布模式的貝葉斯決策結(jié)果圖（5）正態(tài)概率模型下的最小錯誤率貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策判別函數(shù)決策面方程

每一類的協(xié)方差矩陣相等，類內(nèi)各特征間相互獨立（各協(xié)方差為0），具有相等的方差。2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策最小歐氏距離分類器

關(guān)于x的線性函數(shù)2.7正態(tài)分布模式的貝葉斯決策例2-10：二維的兩類分類問題，先驗概率相等，求最小錯誤率的貝葉斯判別函數(shù)和決策面方程。解：模式呈正態(tài)分布，且判別函數(shù)為：決策面方程為：

2.7正態(tài)分布模式的貝葉斯決策

關(guān)于x的線性函數(shù)最小馬氏距離分類器

2.7正態(tài)分布模式的貝葉斯決策解：參數(shù)計算2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策2.7正態(tài)分布模式的貝葉斯決策

去掉與類別j無關(guān)的第一項可化簡為x的二次型，決策面為超二次曲面2.7正態(tài)分布模式的貝葉斯決策

解：2.7正態(tài)分布模式的貝葉斯決策2.8貝葉斯決策的實例例2-16：不同字體數(shù)字的圖像構(gòu)成的圖像集，實現(xiàn)基于樸素貝葉斯分類器的數(shù)字識別。2.8貝葉斯決策的實例設(shè)計思路反色：目標變?yōu)榘咨祷簩D像變?yōu)榍熬昂捅尘矮@取外接矩形：截取數(shù)字所在區(qū)域歸一化：16×16的子圖像預處理2.8貝葉斯決策的實例設(shè)計思路由于各個數(shù)字上中下寬度不一樣，所以統(tǒng)計圖像每一行數(shù)字所占寬度，生成1×16的向量作為訓練樣本。提取特征僅適用于不同字體的數(shù)字2.8貝葉斯決策的實例設(shè)計思路利用訓練樣本訓練樸素貝葉斯分類器，并對測試樣本進行分類決策。分類器設(shè)計和分類決策程序2.8貝葉斯決策的實例clc;clear;closeall;fmt={'*.jpg','JPEGimage(*.jpg)';'*.*','AllFiles(*.*)'};[FileName,FilePath]=uigetfile(fmt,'選擇訓練圖片','*.jpg','MultiSelect','on');if~isequal([FileName,FilePath],[0,0])FileFullName=strcat(FilePath,FileName);else

returnendN=length(FileFullName);n=16;Image=zeros(50);training=zeros(1,n);labeltrain=[];準備工作初始化2.8貝葉斯決策的實例forj=1:NImage=rgb2gray(imread(FileFullName{j}));Image=255-Image;Image=imbinarize(Image,0.2);[