粗大誤差四種判別準(zhǔn)則的比較之歐陽(yáng)語(yǔ)創(chuàng)編

粗大誤差四種判別準(zhǔn)則的比較時(shí)間：2021.03.01創(chuàng)作：歐陽(yáng)語(yǔ)粗大誤差是指在測(cè)量過(guò)程中，偶爾產(chǎn)生的某些不應(yīng)有的反常因素造成的測(cè)量數(shù)值超出正常測(cè)量誤差范圍的小概率誤差。含有粗大誤差的數(shù)據(jù)會(huì)干擾對(duì)實(shí)驗(yàn)結(jié)果的分析，甚至歪曲實(shí)驗(yàn)結(jié)果。若不按統(tǒng)計(jì)的原理剔除異常值，而把一些包含較大正常誤差但不屬于異常值的數(shù)據(jù)舍棄或保留一些包含較小粗大誤差的異常值，就會(huì)錯(cuò)估了儀器的精確等級(jí)。因此，系統(tǒng)檢驗(yàn)測(cè)量數(shù)據(jù)是否含有粗大誤差是保證原始數(shù)據(jù)的可靠及其有關(guān)計(jì)算的準(zhǔn)確的前提。排除異常數(shù)據(jù)有四種較常用的準(zhǔn)則，分別是拉伊達(dá)準(zhǔn)則、格拉布斯準(zhǔn)則、肖維勒準(zhǔn)則和狄克遜準(zhǔn)則。每種判別準(zhǔn)則都有其處理方法，導(dǎo)致用不同準(zhǔn)則對(duì)異常值判別的結(jié)果有時(shí)會(huì)不一致。目前異常值的剔除還沒(méi)有統(tǒng)一的準(zhǔn)則，本文綜合判別粗大誤差四種方法的特點(diǎn)，系統(tǒng)歸納各種準(zhǔn)則的應(yīng)用似便更好地發(fā)現(xiàn)和判別含有粗大誤差的數(shù)據(jù)。1.四種判別粗大誤差準(zhǔn)則的特點(diǎn)1.1拉伊達(dá)準(zhǔn)則拉伊達(dá)準(zhǔn)則［4］是以三倍測(cè)量列的標(biāo)準(zhǔn)偏差為極限取舍標(biāo)準(zhǔn),其給定的置信概率為99.73%,該準(zhǔn)則適用于測(cè)量次數(shù)n>10或預(yù)先經(jīng)大量重復(fù)測(cè)量已統(tǒng)計(jì)出其標(biāo)準(zhǔn)誤差。的情況。Xi為服從正態(tài)分布的等精度測(cè)量值，可先求得它們的算術(shù)平均值人殘差vi和標(biāo)準(zhǔn)偏差。。若|Xi-X|>3o,則可疑值Xi含有粗大誤差，應(yīng)舍棄；若|Xi-X|<3o,則可疑值Xi為正常值，應(yīng)保留。把可疑值舍棄后再重新算出除去這個(gè)值的其他測(cè)量值的平均值和標(biāo)準(zhǔn)偏差，然后繼續(xù)使用判別依據(jù)判斷，依此類推。1.2格拉布斯準(zhǔn)則格拉布斯準(zhǔn)則適用于測(cè)量次數(shù)較少的情況(n<100),通常取置信概率為95%,對(duì)樣本中僅混入一個(gè)異常值的情況判別效率最高。其判別方法如下：先將呈正態(tài)分布的等精度多次測(cè)量的樣本按從小到大排列，統(tǒng)計(jì)臨界系數(shù)G(a,n)的值為G0,然后分別計(jì)算出G1、Gn:G1=(X-X1)/o,Gn=(Xn-X)/o⑴若G1>Gn且G1>G0,則X1應(yīng)予以剔除；若Gn>G1且Gn>G0,則Xn應(yīng)予以剔除若G1<G0且Gn<G0,則不存在“壞值〃。然后用剩下的測(cè)量值重新計(jì)算平均值和標(biāo)準(zhǔn)偏差，還有G1、Gn和G0,重復(fù)上述步驟繼續(xù)進(jìn)行判斷，依此類推。1.3肖維勒準(zhǔn)則肖維勒準(zhǔn)則是建立在頻率p=m/n趨近于概率P(|Xi-X|>Zc。｝的前提下的(其中m是絕對(duì)值大于Ec。的誤差出現(xiàn)次數(shù),P是置信概率)。設(shè)等精度且呈正態(tài)分布的測(cè)量值為Xi,若其殘差vizZc。則Xi可視為含有粗大誤差,此時(shí)把讀數(shù)Xi應(yīng)舍棄。把可疑值舍棄后再重新計(jì)算和繼續(xù)使用判別依據(jù)判斷，依此類推。1.4狄克遜準(zhǔn)則狄克遜準(zhǔn)則是一種用極差比雙側(cè)檢驗(yàn)來(lái)判別粗大誤差的準(zhǔn)則。它從測(cè)量數(shù)據(jù)的最值入手，一般取顯著性水平a為0.01.此準(zhǔn)則的特點(diǎn)是把測(cè)量數(shù)據(jù)劃分為四個(gè)組，每個(gè)組都有相應(yīng)的極端異常值統(tǒng)計(jì)量R1、R2的計(jì)算方法,再根據(jù)測(cè)量次數(shù)n和所對(duì)應(yīng)的統(tǒng)計(jì)臨界系數(shù)D(a,n)按照以下方法來(lái)判別：若R1>R2,R1>D(a,n),則判別X1為異常值應(yīng)舍棄；若R2>R1,R2>D(a,n),則應(yīng)舍棄Xn;若R1<D(a,n)且R2<D(a,n),則沒(méi)有異常值。2.四種判別粗大誤差準(zhǔn)則的比較2.1四種判別粗大誤差準(zhǔn)則的歸納實(shí)際上教學(xué)實(shí)驗(yàn)中的測(cè)量樣本大多比較小，四種準(zhǔn)則所要求的正態(tài)分布前提不容易滿足，標(biāo)準(zhǔn)偏差會(huì)由于偏離正態(tài)分布而不準(zhǔn)確。若不考慮具體的臨界系數(shù)與置信水平，這四種準(zhǔn)則的思維方法都可歸納為：首先計(jì)算某組測(cè)量值X1,X2,X3……Xn的平均值幺殘差vi和標(biāo)準(zhǔn)偏差。。對(duì)于第i次測(cè)量值，如果vi>k。(2)則可判別為含有粗大誤差,其中歐陽(yáng)語(yǔ)創(chuàng)編k為統(tǒng)計(jì)臨界系數(shù)。狄克遜準(zhǔn)則是用極差比來(lái)檢測(cè)異常值的,它的統(tǒng)計(jì)臨界系數(shù)與其他準(zhǔn)則不具有可比性。圖1拉—準(zhǔn)則、格拉布斯?準(zhǔn)則和肖維勒淮則在E30時(shí)的統(tǒng)計(jì)臨界.系數(shù)值對(duì)比除狄克遜準(zhǔn)則外,作拉伊達(dá)準(zhǔn)則、格拉布斯準(zhǔn)則和肖維勒準(zhǔn)則在測(cè)量次數(shù)3<n<250的曲線關(guān)系，見(jiàn)圖1。2.2四種判別粗大誤差準(zhǔn)則的比較討論拉伊達(dá)準(zhǔn)則、格拉布斯準(zhǔn)則和肖維勒準(zhǔn)則的對(duì)比曲線可以看出:對(duì)應(yīng)于相同的測(cè)量次數(shù)，各判別準(zhǔn)則的統(tǒng)計(jì)臨界系數(shù)各不相同，以拉伊達(dá)準(zhǔn)則的統(tǒng)計(jì)臨界系數(shù)3為線索，當(dāng)n=25時(shí)格拉布斯準(zhǔn)則(a=0.01)的統(tǒng)計(jì)臨界系數(shù)剛好到達(dá)3以上，而當(dāng)n=185時(shí),肖維勒準(zhǔn)則的統(tǒng)計(jì)臨界系數(shù)剛好也到達(dá)3。因此可把總范圍分為以下三個(gè)小范圍。(1)在3<n<25這個(gè)范圍內(nèi)，建議用狄克遜準(zhǔn)則或格拉布斯準(zhǔn)則(a=0.01)來(lái)判別可疑數(shù)據(jù)。在少量樣品時(shí)，拉伊達(dá)準(zhǔn)則的統(tǒng)計(jì)臨界系數(shù)相對(duì)比較大，不易及時(shí)發(fā)現(xiàn)異常數(shù)據(jù)，使用它會(huì)比較苛刻。而肖維勒準(zhǔn)則的統(tǒng)計(jì)臨界系數(shù)太小，容易剔除僅含有較大正常誤差的測(cè)量值。因此用可一次性剔除多個(gè)異常值且無(wú)需求出樣本平均值乂、殘差vi和標(biāo)準(zhǔn)偏差。的狄克遜準(zhǔn)則或格拉布斯準(zhǔn)則(a=0.01)來(lái)判別可疑數(shù)據(jù)是合適的。⑵在25<n<185的范圍內(nèi)建議用格拉布斯準(zhǔn)則(a=0.05域肖維勒準(zhǔn)則來(lái)判別可疑數(shù)據(jù)。統(tǒng)計(jì)臨界系數(shù)最大的是格拉布斯準(zhǔn)則(a=0.01),雖然肖維勒準(zhǔn)則的統(tǒng)計(jì)臨界系數(shù)偏小，但在這一范圍內(nèi)肖維勒準(zhǔn)則可以補(bǔ)充拉伊達(dá)準(zhǔn)則的不足，因此判別數(shù)據(jù)時(shí)采用格拉布斯準(zhǔn)則(a=0.05)或肖維勒準(zhǔn)則比較合適。⑶在測(cè)量次數(shù)n>185時(shí),建議采用拉伊達(dá)準(zhǔn)則。因?yàn)榇藭r(shí)肖維勒準(zhǔn)則的統(tǒng)計(jì)臨界系數(shù)偏大，在剔除異常值時(shí)容易把含有較小粗大誤差的數(shù)據(jù)遺漏掉。因此，為了更好地對(duì)測(cè)量數(shù)據(jù)作出確切的判斷且盡量避免讓被剔除的數(shù)據(jù)丟失總體信息,可以采用以下方法：判別前最好先按照從小到大排列測(cè)量數(shù)據(jù)。首先懷疑最值，如果最值不是異常值則其他值也就不會(huì)含有粗大誤差了。對(duì)此四種準(zhǔn)則的綜合判別方法，見(jiàn)表1。表1綜合判別方法結(jié)論綜上所述,測(cè)量次數(shù)范圍建議使用的準(zhǔn)則由于3Wn<25狄克遜準(zhǔn)則，格拉布斯準(zhǔn)則(a=0.01)—四種25WnW185格拉布斯準(zhǔn)則(a=0.05),肖維勒準(zhǔn)則判別n>185拉伊達(dá)準(zhǔn)則d準(zhǔn)則在理論上剔除異常值是各自相對(duì)于某個(gè)精度而言的，它們的檢驗(yàn)范圍和判別效果不同，在不同的情況下應(yīng)用不同的準(zhǔn)則的嚴(yán)格程度不同，但不加比較隨便使用某一種準(zhǔn)則來(lái)判別測(cè)量值是否含有粗大誤差，這樣有時(shí)會(huì)得到相對(duì)不準(zhǔn)確的結(jié)論，可能把僅包含正常誤差的可疑值剔除了，或者保留了含有粗大誤差的異常值。本文中的圖1直觀明了、使用方便，因此采用本文建議的綜合歸納方法可以使在數(shù)據(jù)處理中判別粗大誤差有據(jù)可依,