模式識別實驗一(最小貝葉斯決策及ROC曲線)概要

1、實驗一實驗原理1. 最小錯誤率貝葉斯決策規(guī)則：對于兩類問題，最小錯誤率貝葉斯決策有如下判決規(guī)則：P( 11 X)P( 21 X),則X 1；反之，則 X2。由于先驗概率P( i)可以確定，與當前樣本X無關，所以決策規(guī)則也可整理成下面的形式：若l(x)X|B ") ，則X -1,否則X -20P(X®2) P®1)2. 平均錯誤率決策邊界把X軸分割成兩個區(qū)域，分別稱為第一類和第二類 的決策區(qū)域.樣本在中但屬于第二類的錯誤概率和樣本在中但屬于第一類的錯誤概率就是出現(xiàn)錯誤的概率，再考慮到樣 本自身的分布后就是平均錯誤率：t:P(e)二 J-P( 21 x) p(x)dx

2、 t P( 1 |x) p(x)dxt:=p(x| 2)P('2)dx t P(X| 1)P( Jdx3此實驗中的判決門限和平均錯誤率(1) 判決門限假設隨機脈沖信號f中0的概率為,高斯噪聲信號n服 從，信號疊加時的放大倍數(shù)為a，疊加后的信號為s 二 f * a n。由最小錯誤率貝葉斯決策可得：ffP(1)P(X| 1). P(，2)P(X| 2)22化簡計算得：t _ a2沁一2匚(lnU P。)np0)2a(2) 平均錯誤率由上述積分式可計算。二、實驗內(nèi)容1、已知均值和方差，產(chǎn)生高斯噪聲信號，計算其統(tǒng)計特性實驗中利用MATLAB產(chǎn)生均值為0,方差為1的高斯噪聲信號，信號 統(tǒng)計分布的

3、程序和結(jié)果如下：瀘生高斯噪聲并統(tǒng)計其特性x=0;%均值為0y=1;%方差為1n=normrnd(x,y,1 1000000);%產(chǎn)生均值為0,方差為1的高斯噪聲 m仁m ea n(n)%高斯噪聲的均值v1=var( n); %高斯噪聲的方差figure(1)plot(n(1:400); title('均值為0,方差為1的高斯噪聲');figure(2)hist(n,10000); title('高斯噪聲的統(tǒng)計特性');得到 m1= -4.6534e-005 ； v1= 0.9971。高斯噪聲的統(tǒng)計特性2已知隨機脈沖信號中0和1的出現(xiàn)概率，產(chǎn)生該隨機脈沖信號，分析

4、其統(tǒng)計特性實驗中利用MATLAB產(chǎn)生隨機脈沖信號，信號統(tǒng)計分布的特性程序 及結(jié)果如下：%隨機脈沖信號及其統(tǒng)計特性p=u nidrnd(10000,1,1000000)%產(chǎn)生1至U 100000之間均勻分布的隨機序列 p0=0.4;f=p>(p0*10000);%設置門限，此時0的概率為0.4,1的概率為0.6m2=mea n(f);v2=var(f);figure©);stairs(f(1:400);title('隨機脈沖信號');axis(0 400 -0.2 1.2);figure(4)hist(f,-0.2:0.01:1.2);title('隨機脈

5、沖序列的統(tǒng)計特性');得到：m2=0.5995;V2=0.2401隨機脈沖信號050100150 2即 290300350400隨機脈沖序列的統(tǒng)計特性f|IIIII iIIIIII-0 44)2002040.60.811.2143在隨機脈沖信號中疊加高斯噪聲信號， 在不同的參數(shù)設置下分析其 統(tǒng)計特性用MATLAB將兩個信號疊加，并分析其統(tǒng)計特性，具體程序及結(jié)果如下：%隨機脈沖信號疊加高斯噪聲信號及其統(tǒng)計特性 a=5;%取隨機信號的幅度為5s=f*a+n;%對高斯噪聲信號和隨機脈沖序列進行疊加m3=mea n( s)%信號的均值v3=var(s); %信號的方差subplot(2,1,1

6、);stairs(s(1:400)%繪制部分疊加信號title('疊加后的信號');subplot(2,1,2);hist(s,1000)%繪圖分析疊加后信號的統(tǒng)計特性title('疊加后信號的統(tǒng)計特性')得到 m3=2.9994;v3二 6.9964;10g .I|11 蠡加后信號的統(tǒng)計特性05010015020025D3003504004000300020001000°505104依據(jù)最小錯誤概率貝葉斯決策原理，確定判決門限，完成信號檢測，計算兩類錯誤率設判決門限為t,平均錯誤率為e,利用MATLAB計算t和e,具體程序和結(jié)果如下：%確定判決門限，

7、完成信號檢測，計算兩類錯誤率a=5;p0=0.4%第一類先驗概率為0.4t=(aA2 -2*v1*(log(1-p0)-log(p0)/(2*a); %利用貝葉斯決策計算判別門限 s1=s>t%執(zhí)行判決e仁 sum(f-s1)=-1)/(1000000*p0);% 計算虛警率 e2=sum(f-s1)=1)/(1000000*(1-p0);% 計算漏檢率 e=e1*p0+e2*(1-p0);%計算平均錯誤率得到：判決門限t=2.4189,平均錯誤率e=0.0060。5改變判決門限，繪制ROC曲線在MATLAB中調(diào)用ROC函數(shù)，程序及繪制的曲線如下所示:(1)利用貝葉斯最小錯誤概率繪制RO

8、C曲線Smi n=min (si);Smax=max(s1);o=(s1-Smin)/(Smax-Smin);%對 s 進行歸一化處理 tpr,fpr,thresholds=roc(f,o);%調(diào)用 roc 函數(shù) plotroc(f,o); %繪制 ROC 曲線title('ROC 曲線')oROC曲線0 10.20 30.4 OS 0 60.70 啟 0 91False Positive Rate8- o7- o.6- oamDC世>一1一5©1一 pn3 o.2 O-(2)改變判決門限，令t=1.8, 2.0, 2.2, 2.4, 2.6, 2.8得到的平均

9、錯誤概率分別為 e=0.0148,0.0099,0.0071, 0.0060,0.0068, 0.0068 數(shù)據(jù)表明，貝葉斯決策平均錯誤率理論上是最小錯誤概率。6改變隨機脈沖信號與高斯噪聲的參數(shù)，重復以上實驗(1)其他條件不變，改變高斯噪聲的均值，取均值 =2,方差=14504003503002502001501005003-2-1 D 12345 B 7高斯嗓聲的統(tǒng)計特性播加后的信號15II1i'III|訂:WWOWWIMEIIIIII'050100150200250300350400蟲抑后信號的統(tǒng)計特性篇Ct2>話口 亠(D己一均值為鮎方差為1的ROC曲線0 10.2

10、0.3040.50.60.70.80.91False Positive Rate由上例得到：均值為1,方差為2時，t= 2.4188 , e=0.1353。當其他條件不變時，高斯白噪聲均值判決門限，從而決定平均錯誤率 由此可看出，高斯噪聲的均值對最小錯誤率貝葉斯決策的判決門限有 影響，均值越大，判決門限越大，對平均錯誤率影響越大。(2)其他條件不變，改變高斯噪聲的方差，分別取方差=05、2,用matlab繪制ROC曲線如下圖所示：awu a>一一 sod養(yǎng)加后的信號101 1 1 1 1 1 050100150200250300350400歪加后信號的統(tǒng)計特性600040002000均值

11、為0,方差為0.5的ROC曲線0.1U.20.3U.40.50.6 U.Z 0.80.91False Positive Rate300020001000均值為0,方差為2的ROC曲線0 1020.3040 506070 8091False Positive Rate當方差=0.5時，判決門限t=2.4797基本不變，平均錯誤率e幾乎接近 于0;當方差=2時，判決門限t=2.1760,變化不大，但平均錯誤率 e=0.1028,明顯大大增大。由此可看出，高斯噪聲的方差對最小錯誤 率貝葉斯決策的判決門限影響較小， 對平均錯誤率的影響很大，方差 越大，平均錯誤率也越大。(3) 其他條件不變，改變隨機脈

12、沖中 01的概率，分別取P0=O3,09得到的ROC曲線如下圖所示：P0=03時：蠢加后的信號050100150200260300350400蠡加后信號的統(tǒng)計特性4000300020001000此時，判決門限t=2.3303,平均錯誤率e=0.0056pO=O3的ROC曲線a-e-'EH<DZ一一Qd 卷2 18 7 fi- O.QOL5o.0.1Q IIIIIIII100.10 20.3040 50 60 70.B091False Positive RateP0=0.9 時:蠡加后信號的統(tǒng)計特性6000 I1l此時，判決門限t=2.9401,平均錯誤率e=0.0035po=o.

13、&的尺oc曲線0.10.20.30.40 60 607 Q.B 0.91Falsa Positiva Rata&017 6 5 4 3 o.O 00.O.皿一啊住衛(wèi)工一七如Bd en先驗概率對判決門限和平均錯誤率均有影響。(4 )其他條件不變，改變信號疊加時的放大倍數(shù)，分別取放大倍數(shù) 得到的ROC曲線如下圖所示：9o.5O-.3.201020.40.50.6070.30.91False Positive Rate滬呂的RO匚曲線7O.4o0.10.20.30.40.50.60.70.80.91False Positive Rate當a =2時，判決門限變t=0.7969,平均錯誤率e=0.1539;當a=8時, 判決門限t= 3.9492,平均錯誤率e= 3.7000e-005由此可看出，放大倍 數(shù)對判決門限和平均錯誤率均有影響， 且放大倍數(shù)越大，判決門限越 大，平均錯誤率越小。三、誤差分析由實驗原理中的平均錯誤率積分式可得理論上的平均錯誤率，下面 通過matlab計算理論上的平均錯誤率。程序和結(jié)果如所示：%誤差分析t=(-10