試驗(yàn)數(shù)據(jù)異常值的檢驗(yàn)及剔除方法

1、目錄摘要 . .關(guān)鍵詞 .1 引言 . .2 異常值的判別方法 .檢驗(yàn)（ 3S）準(zhǔn)則 . .狄克松（ Dixon ）準(zhǔn)則 . .格拉布斯（ Grubbs）準(zhǔn)則 .指數(shù)分布時(shí)異常值檢驗(yàn).萊茵達(dá)準(zhǔn)則（ PanTa） . .肖維勒準(zhǔn)則（ Chauvenet） .3實(shí)驗(yàn)異常數(shù)據(jù)的處理.4結(jié)束語(yǔ) .參考文獻(xiàn).錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。錯(cuò)誤 ! 未定義書(shū)簽。試驗(yàn)數(shù)據(jù)異常值

2、的檢驗(yàn)及剔除方法摘要：在實(shí)驗(yàn)中不可避免會(huì)存在一些異常數(shù)據(jù)，而異常數(shù)據(jù)的存在會(huì)掩蓋研究對(duì)象的變化規(guī)律和對(duì)分析結(jié)果產(chǎn)生重要的影響，異常值的檢驗(yàn)與正確處理是保證原始數(shù)據(jù)可靠性、平均值與標(biāo)準(zhǔn)差計(jì)算準(zhǔn)確性的前提 . 本文簡(jiǎn)述判別測(cè)量值異常的幾種統(tǒng)計(jì)學(xué)方法，并利用DPS軟件檢驗(yàn)及剔除實(shí)驗(yàn)數(shù)據(jù)中異常值，此方法簡(jiǎn)單、直觀、快捷，適合實(shí)驗(yàn)者用于實(shí)驗(yàn)的數(shù)據(jù)處理和分析.關(guān)鍵詞： 異常值檢驗(yàn)；異常值剔除；DPS；測(cè)量數(shù)據(jù)1 引言在實(shí)驗(yàn)中，由于測(cè)量產(chǎn)生誤差， 從而導(dǎo)致個(gè)別數(shù)據(jù)出現(xiàn)異常，往往導(dǎo)致結(jié)果產(chǎn)生較大的誤差，即出現(xiàn)數(shù)據(jù)的異常. 而異常數(shù)據(jù)的出現(xiàn)會(huì)掩蓋實(shí)驗(yàn)數(shù)據(jù)的變化規(guī)律，以致使研究對(duì)象變化規(guī)律異常，得出錯(cuò)誤結(jié)論. 因

3、此，正確分析并剔除異常值有助于提高實(shí)驗(yàn)精度.判別實(shí)驗(yàn)數(shù)據(jù)中異常值的步驟是先要檢驗(yàn)和分析原始數(shù)據(jù)的記錄、操作方法、實(shí)驗(yàn)條件等過(guò)程，找出異常值出現(xiàn)的原因并予以剔除.1利用計(jì)算機(jī)剔除異常值的方法許多專(zhuān)家做了詳細(xì)的文獻(xiàn)報(bào)告 . 如王鑫，吳先球，用 Origin 剔除線(xiàn)形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值；嚴(yán)昌順用計(jì)算機(jī)快速剔除含粗大誤差的“環(huán)值” ；運(yùn)用了統(tǒng)計(jì)學(xué)中各種判別異常值的準(zhǔn)則，各種準(zhǔn)則的優(yōu)劣程度將體現(xiàn)在下文 .2 異常值的判別方法判別異常值的準(zhǔn)則很多， 常用的有 t 檢驗(yàn)（3S）準(zhǔn)則、狄克松（Dixon ）準(zhǔn)則、格拉布斯（ Grubbs）準(zhǔn)則等準(zhǔn)則 . 下面將一一簡(jiǎn)要介紹 .2.1檢驗(yàn)（ 3S）準(zhǔn)則t 檢

4、驗(yàn)準(zhǔn)則又稱(chēng)羅曼諾夫斯基準(zhǔn)則，它是按 t 分布的實(shí)際誤差分布范圍來(lái)判別異常值，對(duì)重復(fù)測(cè)量次數(shù)較少的情況比較合理.基本思想：首先剔除一個(gè)可疑值，然后安t 分布來(lái)檢驗(yàn)被剔除的值是否為異常值 .設(shè)樣本數(shù)據(jù)為 x1 , x2 , x3 Lxn ，若認(rèn) xj 為可疑值 . 計(jì)算余下 n1 個(gè)數(shù)據(jù)平均值1n1n1 )2xn 1 及標(biāo)準(zhǔn)差 sn 1，即 xn 11 i 1,ixi , sn 1( xi xnnjn2 i 1, i j.然后，按 t 分布來(lái)判別被剔除的值xj 是否為異常值 .若xjx(, )，則x j為異常值，應(yīng)予剔除，否則為正常值，應(yīng)予以保n 1留 . 其中： a 為顯著水平； n 數(shù)據(jù)個(gè)數(shù)；

5、 k(n, a) 為檢驗(yàn)系數(shù)，可通過(guò)查表得到.2.2狄克松（ Dixon ）準(zhǔn)則設(shè)有一組測(cè)量數(shù)據(jù)x1x2x3L xn ，且為正態(tài)分布，則可能為異常值的測(cè)量數(shù)據(jù)必然出現(xiàn)在兩端，即x1 或 xn .狄克松給出了不同樣本數(shù)量 n 時(shí)檢驗(yàn)統(tǒng)計(jì)量的計(jì)算公式（見(jiàn)表 1）. 當(dāng)顯著水平 a 為 1%或 5%時(shí)，狄克松給出了其臨界值 D1 a(n ) . 如果測(cè)量數(shù)據(jù)的檢驗(yàn)統(tǒng)計(jì)量DD1 a ( n ) ，則 x1 為異常值，如果測(cè)量數(shù)據(jù)的檢驗(yàn)統(tǒng)計(jì)量D 'D1 a (n) ，則 xn 為異常值 .表 1 狄克松檢驗(yàn)統(tǒng)計(jì)量計(jì)算公式為統(tǒng)計(jì)量 D數(shù)據(jù)個(gè)數(shù) nx1 為可疑值 Dxn 為可疑值 D'3n

6、7(x2x1) / (xnx1)( xnxn 1 ) / ( xnx1)8n 10( x2x1 ) / ( xn 1x1 )(xnxn 1) / (xnx2 )11n 13( x3x1) / ( xn 1x1 )( xnxn 2 ) / (xnx2 )14n 30( x3x1 ) / ( xn 2x1 )(xnxn 2 ) / (xnx3 )2.3格拉布斯（ Grubbs）準(zhǔn)則設(shè)有一組測(cè)量數(shù)據(jù)為正態(tài)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即 x1 x2 x3 L xn ，可能為異常值的測(cè)量數(shù)據(jù)一定出現(xiàn)在最大或最小的數(shù)據(jù)中 .若最小值 x1是可疑的，則檢驗(yàn)統(tǒng)計(jì)量 G (x x1)

7、 / s . 式中 x 是均值、 s 是標(biāo)準(zhǔn)差，即 x1 nxsi,1n( xi x )2 .n i1n1 i 1對(duì)于檢驗(yàn)統(tǒng)計(jì)量 G ，格拉布斯導(dǎo)出了其統(tǒng)計(jì)分布， 并給出了當(dāng)顯著水平 a 為1%或 5%時(shí)的臨界值 G(1n ) ( n) . G(1n) (n) 稱(chēng)格拉布斯系數(shù)，可通過(guò)抽查表得到. 當(dāng)最小值 x1 或最大值 xn 對(duì)應(yīng)的檢驗(yàn)統(tǒng)計(jì)量 G 大于臨界值時(shí)，則認(rèn)為與之對(duì)應(yīng)的x1 或xn 為可疑異常值，應(yīng)予以剔除 .2.4指數(shù)分布時(shí)異常值檢驗(yàn)設(shè)一組測(cè)量數(shù)據(jù)為指數(shù)分布，為了檢驗(yàn)數(shù)據(jù)中是否存在異常值，將其按大小順序排列，即 x1 x2 x3 L xn . 檢驗(yàn)最小值或最大值是否為異常值的檢驗(yàn)方

8、法如下：nn當(dāng)樣本量 n 100 時(shí)，計(jì)算統(tǒng)計(jì)量 Tn(n )xn /xi及 Tn (1)x1 /xii 1i 1對(duì)于給定的顯著水平 a（通常?。┖蜆颖緮?shù)量 n ，通過(guò)查表得到 Tn (n) 及 Tn(1) 分別對(duì)應(yīng)的臨界值 Tn( n ) (1 a) 和 Tn(1) (a) . 若 Tn( n)Tn (n) (1a) 時(shí)，認(rèn)為 xn 為異常值；若Tn (1)Tn(1) ( a) 時(shí)，認(rèn)為 x1 為異常值 .當(dāng)樣本容量 n100 時(shí)，計(jì)算統(tǒng)計(jì)量nEn()n(n1)(xnxn 1 ) / (xixn 1 ) 及i 1nEn (1)n(n1) x1 / (xi nx1 ) .i11對(duì)于給定顯著水平

9、 a 和樣本數(shù)量 n ，若 En()nF2,2 n2,1 a(n1)(an 11) ，則1判斷 xn 為異常值；若 En (1) F2,22n , a (n 1)(1) an 11 ，則判斷 x1 為異常值 .2.5萊茵達(dá)準(zhǔn)則（ PanTa）n對(duì)于實(shí)驗(yàn)數(shù)據(jù)測(cè)出值 x1, x2 , x3,L , xn ，求取其算術(shù)平均值 x1/ nxi及剩余i 1誤差值 vixix ，然后求出其均方根偏差(vi2/ n 1)1/2 .判別依據(jù)（假設(shè) v 服從正態(tài)分布）：xix3，則 xi 相對(duì)而言誤差較大，應(yīng)舍去；xix3， xi 為正常數(shù)據(jù)，應(yīng)該保留 .有概率論統(tǒng)計(jì)可知，如果誤差服從正要分布，誤差大于3的觀測(cè)

10、數(shù)據(jù)出現(xiàn)的概率小于，相當(dāng)大于300 次觀測(cè)中有一次出現(xiàn)的可能. 萊茵達(dá)準(zhǔn)則只是進(jìn)行粗略的剔除，取舍的概率較小，可能將不合理的異常值保留.2.6肖維勒準(zhǔn)則（ Chauvenet）次準(zhǔn)則也是建立在實(shí)驗(yàn)數(shù)據(jù)服從正態(tài)分布數(shù)據(jù)的參與誤差viZc，則剔除該數(shù)據(jù) . 其中. 假設(shè)多次測(cè)量的21/2(vi / n1)n 個(gè)測(cè)量值中，樣品容量為 n時(shí)的判別系數(shù)Zc3 ，彌補(bǔ)了萊茵達(dá)準(zhǔn)則的不足，故此準(zhǔn)則優(yōu)勝于萊茵達(dá)準(zhǔn)則，但條件更為苛刻.3 實(shí)驗(yàn)異常數(shù)據(jù)的處理對(duì)于測(cè)定中異常數(shù)據(jù)的處理，必須慎重考慮，不能憑預(yù)感任意刪除或添加.應(yīng)該從所學(xué)知識(shí)上考慮， 異常值有時(shí)能反映試驗(yàn)中的某些新現(xiàn)象. 這類(lèi)“異常值”正深化人們對(duì)客觀

11、事物的認(rèn)識(shí)，如果隨意刪除它， 可能深入了解和發(fā)現(xiàn)新事物的一次機(jī)會(huì)，那么對(duì)學(xué)者深入研究非?？上? 所以對(duì)任何異常數(shù)據(jù)都因首先在技術(shù)上尋找原因，如果在技術(shù)上發(fā)現(xiàn)原因，理應(yīng)舍去. 如在技術(shù)上無(wú)法作出判斷，卻可在上述準(zhǔn)則中發(fā)現(xiàn)其高度異常，也因舍棄.其中，運(yùn)用 DPS軟件進(jìn)行異常數(shù)據(jù)的檢驗(yàn)與剔除特別方便，而且不許編寫(xiě)程序，它融合了 SPSS表格和 EXCELL表格，操作簡(jiǎn)單，實(shí)用性強(qiáng) . 如圖一下為DPS數(shù)據(jù)處理系統(tǒng)對(duì)話(huà)框 .圖一 數(shù)據(jù)處理系統(tǒng)對(duì)話(huà)框只要執(zhí)行菜單命令下的“數(shù)據(jù)分析異常值檢驗(yàn)”彈出如圖二下圖的窗口，然后進(jìn)行選擇檢驗(yàn)分析方法及顯著水平，點(diǎn)擊確定即可 .圖二 用戶(hù)對(duì)話(huà)框在測(cè)定中，有時(shí)發(fā)現(xiàn)個(gè)別數(shù)據(jù)離群嚴(yán)重，上述檢驗(yàn)原則為異常值，但它與其他測(cè)定值的差異在儀器的精度范圍內(nèi)，這種數(shù)據(jù)不應(yīng)舍去，應(yīng)予保留.而對(duì)于一些分析而言，需要估計(jì)總體參數(shù)，異常數(shù)據(jù)一般都要舍去 . 對(duì)于不同的之心度應(yīng)作相應(yīng)的處理，則要據(jù)實(shí)際情況而定 .4 結(jié)束語(yǔ)由上述可知，用DPS軟件進(jìn)行異常值檢驗(yàn)和剔除的過(guò)程簡(jiǎn)單、直觀、快捷，適用于大眾學(xué)生進(jìn)行各實(shí)驗(yàn)數(shù)據(jù)的處理和分析. 將此軟件運(yùn)用于實(shí)驗(yàn)教學(xué)，可以使學(xué)生快速準(zhǔn)確判斷實(shí)驗(yàn)結(jié)果，也可以提高教學(xué)質(zhì)量.參考文獻(xiàn)1 王鑫，吳先球用 Origin 剔除線(xiàn)形擬合中實(shí)驗(yàn)數(shù)據(jù)的異常值 J 山西師范大學(xué)學(xué)報(bào)，