Matlab筆記——數(shù)據(jù)預(yù)處理——剔除異常值及平滑處理

1、012.數(shù)據(jù)預(yù)處理（1）剔除異常值及平滑處理測(cè)量數(shù)據(jù)在其采集與傳輸過程中，由于環(huán)境干擾或人為因素有可 能造成個(gè)別數(shù)據(jù)不切合實(shí)際或丟失， 這種數(shù)據(jù)稱為異常值。為了恢復(fù) 數(shù)據(jù)的客觀真實(shí)性以便將來得到更好的分析結(jié)果， 有必要先對(duì)原始數(shù) 據(jù)（1）剔除異常值；另外，無論是人工觀測(cè)的數(shù)據(jù)還是由數(shù)據(jù)采集系統(tǒng)獲取的數(shù)據(jù)， 都不可避免疊加上“噪聲”干擾（反映在曲線圖形上就是一些“毛刺 和尖峰”）。為了提高數(shù)據(jù)的質(zhì)量，必須對(duì)數(shù)據(jù)進(jìn)行（2）平滑處理（去 噪聲干擾）；（一）剔除異常值。注：若是有空缺值，或?qū)?Matlab數(shù)據(jù)顯示為“ NaN”（非數(shù)）， 需要忽略整條空缺值數(shù)據(jù)，或者填上空缺值。填空缺值的方法，通常有

2、兩種：A.使用樣本平均值填充；B.使 用判定樹或貝葉斯分類等方法推導(dǎo)最可能的值填充（略）。一、基本思想：規(guī)定一個(gè)置信水平，確定一個(gè)置信限度，凡是超過該限度的誤差, 就認(rèn)為它是異常值，從而予以剔除二、常用方法：拉依達(dá)方法、肖維勒方法、一階差分法注意：這些方法都是假設(shè)數(shù)據(jù)依正態(tài)分布為前提的1.拉依達(dá)方法（非等置信概率）如果某測(cè)量值與平均值之差大于標(biāo)準(zhǔn)偏差的三倍，則予以剔除。X x 3sx1 nn2其中，X 1為為樣本均值，Sx ' （Xi X）2為樣本的標(biāo)準(zhǔn)偏 n i 1n 1 i i差。注：適合大樣本數(shù)據(jù)，建議測(cè)量次數(shù)A 50次。代碼實(shí)例（略）。2.肖維勒方法（等置信概率）在n次測(cè)量結(jié)果

3、中，如果某誤差可能出現(xiàn)的次數(shù)小于半次時(shí)， 就予以剔除。這實(shí)質(zhì)上是規(guī)定了置信概率為1-1/2n,根據(jù)這一置信概率，可計(jì) 算出肖維勒系數(shù)，也可從表中查出，當(dāng)要求不很嚴(yán)格時(shí)，還可按下列 近似公式計(jì)算：1 0.4ln(n)Tabi.肖維勒系數(shù)表n34567891011123nn13141520304050100200500GJn如果某測(cè)量值與平均值之差的絕對(duì)值大于標(biāo)準(zhǔn)偏差與肖維勒系 數(shù)之積，則該測(cè)量值被剔除。xi x n Sx例1.利用肖維勒方法對(duì)下列數(shù)據(jù)的異常值（）進(jìn)行剔除：上述數(shù)據(jù)保存于文件代碼：x=load(”)； n=length(x); subplot(2,1,1);plot(x,'

4、o');title(' 原始數(shù)據(jù)')axis(0,n+1,min(x)-1,max(x)+1);w=1+*log(n);yichang = abs(x-mean(x) > w*std(x);%若用拉依達(dá)方法，把w改成3即可，但本組數(shù)據(jù)將不能成功剔除異常值。x(yichang尸口； save x -ASCII subplot(2,1,2);plot(x,'rs');title('異常值剔除后數(shù)據(jù));axis(0,n+1,min(x)-1,max(x)+1);運(yùn)行結(jié)果：x =y =原始數(shù)據(jù)3.5 rr111yi2.5 -Q2 -15 - o o

5、 o o oo o o o1 -Q e LIIII02A6810異常值期除后數(shù)據(jù)3,5!IIr- 1.5 - 口 n n 1 -r L02A68103. 一階差分法（預(yù)估比較法）用前兩個(gè)測(cè)量值來預(yù)估新的測(cè)量值，然后用預(yù)估值與實(shí)際測(cè)量值 比較，若大于事先給定的允許差限值，則剔除該測(cè)量值。預(yù)估值xn 1(xn 1xn 2)比較判別：Xn ?n W注：該方法的特點(diǎn)是(1)適合于實(shí)時(shí)數(shù)據(jù)采集與處理過程；(2)精度除了與允許誤差限的大小有關(guān)外， 還與前兩點(diǎn)測(cè)量值的 精確度有關(guān)；(3)若被測(cè)物理量的變化規(guī)律不是單調(diào)遞增或單調(diào)遞減函數(shù)，這一方法將在函數(shù)的拐點(diǎn)處產(chǎn)生較大的誤差，嚴(yán)重時(shí)將無法使用。(二)數(shù)據(jù)的平

6、滑處理對(duì)于一組測(cè)量數(shù)據(jù)(xi, yi) i=1,n,不要直接就想著求出的擬 合多項(xiàng)式的線性參數(shù)，而是要先平滑處理去掉“噪聲”。平滑處理在 科學(xué)研究中廣泛使用，它可以減少測(cè)量中統(tǒng)計(jì)誤差帶來的影響，尤其被用于無法利用多次重復(fù)測(cè)量來得到其平均值的情況和當(dāng)yi隨xi有徒然變化的那些測(cè)量段。1. “(2n+1點(diǎn))單純移動(dòng)平均”平滑濾波取出以yi為中心的前后各n 個(gè)數(shù)據(jù)(yi-n,yi-1,y yi+n)求平均值代替yi,即V2n-lk nyi優(yōu)點(diǎn)：方法簡(jiǎn)單，計(jì)算方便。缺點(diǎn)：方法產(chǎn)生誤差會(huì)造成信號(hào)失真；前后各n個(gè)數(shù)據(jù)無法平滑。適用性：適用于變化緩慢的數(shù)據(jù)。注：n越大平滑效果越好，但失真也越大。例2.“9點(diǎn)

7、單純移動(dòng)平均”平滑濾波代碼：%建立“ n點(diǎn)單純移動(dòng)平均”的濾波函數(shù)%注意函數(shù)要單獨(dú)保存為與函數(shù)名同名的.m文件function Y=smooth_data(y,n) m=length(y);j=1;for i=(n-1)/2+1:(m-(n-1)/2)p=i-(n-1)/2;q=i+(n-1)/2;Y(j)=sum(y(p:q)/n;j=j+1;endend%主程序clccleart=-15二15;n=length(t);Y=5./(1+tA2); % 原始測(cè)試數(shù)據(jù)y=Y+(1,n); % 給測(cè)試數(shù)據(jù)加上噪聲干擾y1=smooth_data(y,9); % 調(diào)用函數(shù)作9點(diǎn)濾波處理plot(1:

8、n,Y,1:n,y,'-o',5:n-4,y1,'-*');legend(' 無噪聲,含噪聲,'9點(diǎn)平滑后')；運(yùn)行結(jié)果:2. “加權(quán)移動(dòng)平均”平滑濾波加權(quán)的基本思想：作平均的區(qū)間內(nèi)中心處數(shù)據(jù)的權(quán)值最大，愈遠(yuǎn)離中心處 的數(shù)據(jù)權(quán)值越小小。這樣就減小了對(duì)真實(shí)信號(hào)本身的平滑作 用。權(quán)重系數(shù)可以采用最小二乘原理，使平滑后的數(shù)據(jù)以最 小均方差逼近原始數(shù)據(jù)。即令/ '、2min (yik yi k)通常采用“五點(diǎn)二次平滑”(n=5,k=-2,-1,0,1,2)2(yi k A Ak A2k2) 0k 222(yi k Ao Aik A2k )

9、k 0k 2222(yi k Ao Ak A2k2)k2 0k 2五點(diǎn)二次平滑權(quán)重系數(shù)表:歸一系數(shù)y-2y-1V。y1y2y-235319-3-53，y-135913126-5，V。35-3121712-3，y135-5612139，y2353-5-39311yo 3y 2 12y i 17y0 12y1 3y2 353.用“smooth函數(shù)”平滑濾波調(diào)用格式：Z = smooth(Y span, method)說明：Z:平滑后的數(shù)據(jù)向量Y:被平滑的數(shù)據(jù)向量span：平滑點(diǎn)數(shù)，缺省為5點(diǎn)method :平滑方法，缺省為移動(dòng)平滑，其它還有'moving'Moving averag

10、e (default)W屯移動(dòng)平均'lowess'Lowess (linear f讓渡性力口權(quán)平滑'loess'Loess (quadratic 計(jì)二次力口權(quán)平滑'sgolay'Savitzky-Golay'rlowess'Robust Lowess (linear fit)'rloess'Robust Loess (quadratic fit)例3.用matlab自帶的平滑函數(shù)作平滑濾波實(shí)例。代碼：t=-10:10;n=length(t);y=5./(1+tA2); %原始測(cè)試數(shù)據(jù)y1=y+*(1,n); %給測(cè)

11、試數(shù)據(jù)加上噪聲干擾%調(diào)用多個(gè)濾波函數(shù)作濾波處理y2=smooth(y1,3); y3=smooth(y1,9);y4=smooth(y1,3,'lowess'); y5=smooth(y1,9,'lowess');y6=smooth(y1,3,'loess'); y7=smooth(y1,9,'loess');y8=smooth(y1,3,'rloess'); y9=smooth(y1,9,'rloess');figure(1); %第一張圖subplot(3,2,1);plot(t,y); axi

12、s(-10 10 -1 6); grid ontitle(' 無噪聲信號(hào)');subplot(3,2,2);plot(t,y1,'-*'); axis(-10 10 -1 6); grid ontitle(' 含噪聲信號(hào)');subplot(3,2,3);plot(t,y2,'-*'); axis(-10 10 -1 6); grid ontitle('3點(diǎn)單純移動(dòng)平均);subplot(3,2,4);plot(t,y3,'-*'); axis(-10 10 -1 6); grid ontitle('

13、;9 點(diǎn)單純移動(dòng)平均');subplot(3,2,5);plot(t,y4,'-*'); axis(-10 10 -1 6); grid ontitle('3點(diǎn)線性加權(quán)平滑');subplot(3,2,6);plot(t,y5,'-*'); axis(-10 10 -1 6); grid ontitle('9點(diǎn)線性加權(quán)平滑');figure(2); %第二張圖subplot(3,2,1);plot(t,y); axis(-10 10 -1 6); grid ontitle(' 無噪聲信號(hào)');subplot

14、(3,2,2);plot(t,y1,'-*'); axis(-10 10 -1 6); grid ontitle('含噪聲信號(hào)');subplot(3,2,3);plot(t,y6,'-*'); axis(-10 10 -1 6); grid ontitle('3點(diǎn)二次加權(quán)平滑');subplot(3,2,4);plot(t,y7,'-*'); axis(-10 10 -1 6); grid ontitle('9點(diǎn)二次加權(quán)平滑');subplot(3,2,5);plot(t,y8,'-*&#

15、39;); axis(-10 10 -1 6); grid ontitle('3 點(diǎn) rloess 平滑')；subplot(3,2,6);plot(t,y9,'-*'); axis(-10 10 -1 6); grid ontitle('9 點(diǎn) rloess 平滑')；運(yùn)行結(jié)果：而陣聲信號(hào)含噪聲信號(hào)3點(diǎn)單細(xì)移動(dòng)平均-1C-50510Figure 1無碟聲信號(hào)含噪聲信號(hào)-I0-5051。9點(diǎn)I。際平捐4,用“smoothts函數(shù)”（盒子法、高斯窗法、指數(shù)法）平滑濾波調(diào)用格式:output = smoothts(input)output = smo

16、othts(input, ' b' , wsize) % 盒子法output = smoothts(input, 'g' , wsize, stdev) %高斯窗方法output = smoothts(input, 'e' , n) % 指數(shù)法例4.讀取股市數(shù)據(jù)，對(duì)開盤價(jià)的240條數(shù)據(jù)，調(diào)用smoothts函數(shù)進(jìn) 行平滑處理。代碼：x=xlsread('D:Program FilesMATLABMyWorks'); %讀取數(shù)據(jù)文件 p0=x(1:240,1)' %用開盤價(jià)所在列的前240條數(shù)據(jù)%注意若不轉(zhuǎn)置可能導(dǎo)致后面處理

17、結(jié)果異常subplot(2,2,1);plot(p0,'k','LineWidth',;%繪制平滑后曲線圖，黑色實(shí)線，線寬xlabel('觀測(cè)序號(hào)');ylabel('股市日開盤價(jià)');axis(0 250 1000 1400);pl = smoothts(p0,'b',30); %用盒子法平滑數(shù)據(jù)，窗寬為 30subplot(2,2,2);可以改變點(diǎn)的大小plot(p0,'.'); %繪制日開盤價(jià)散點(diǎn)圖plot(p0,'.','markersize',3);hold

18、 onplot(p1,'k','LineWidth',;xlabel('觀測(cè)序號(hào))；ylabel('盒子法')；legend('原始散點(diǎn)','平滑曲線','location','northwest');axis(0 250 1000 1400);p2 = smoothts(p0,'g',30);%高斯窗方法，窗寬為30,標(biāo)準(zhǔn)差為默認(rèn)值subplot(2,2,3);plot(p0,'.');hold onplot(p2,'k',&

19、#39;LineWidth',;xlabel('觀測(cè)序號(hào)');ylabel(' 高斯窗方法);legend('原始散點(diǎn)','平滑曲線','location','northwest');axis(0 250 1000 1400);p3 = smoothts(p0,'e',30);%用指數(shù)法平滑數(shù)據(jù)，窗寬為 30subplot(2,2,4);plot(p0,'.');hold onplot(p3,'k','LineWidth',;xlabe

20、l(' 觀測(cè)序號(hào)');ylabel('指數(shù)方法);legend('原始散點(diǎn)','平滑曲線','location','northwest');axis(0 250 1000 1400);grid ontitle('9 點(diǎn) rloess 平滑')；運(yùn)行結(jié)果:100150200250.現(xiàn)冽斤玲005000500050004 3 3 22- 1 11111111 年色rrL尸卷1叱01DOO 050100150200觀冽.序號(hào)()05000S0煙一4 3 3 2 2JI d1 1*原始散戶 一千幫曲觀物片號(hào)501001502002504 3 3 2 2 1 1