補充異常值的識別與處理

異常值的識別與處理箱式圖亦稱盒形圖（boxplot)，箱須圖(box-whiskerplot)，統(tǒng)計圖表一章中已討論。利用中位數(shù)、上下四分位數(shù)來描述數(shù)據(jù)分布的中心位置和分布范圍。

。如果分布是對稱的，上下四分位數(shù)與中位數(shù)的距離（空間）應(yīng)相等；如果上四分位數(shù)比下四分位數(shù)離中位數(shù)更遠(yuǎn)，則此分布是正偏；反之，負(fù)偏。箱圖(boxplot)也稱箱須圖(box-whiskerplot)，用于反映一組或多組連續(xù)型定量數(shù)據(jù)分布的中心位置和分布范圍。

異常值（outlyingvalue，outlier)定義：一個觀察值x如屬于下面情形之一，則為異常值。若一個觀察值x屬于下面情形之一，則稱為極端異常值（extremeoutlyingvalue)。對于箱式圖在樣本中從上四分位數(shù)到最大的非異常值之間畫一垂直的條形；在樣本中從下四分位數(shù)到最小的非異常值之間畫一垂直的條形；在樣本箱式圖中識別異常值和極端異常值，并分別用“0”及“＊”表示。抽樣誤差用上述方法識別異常值是描述性的，它對樣本大小很敏感，即大樣本時可能有更多的“異常值”被檢查出來；因此，識別異常值的最好應(yīng)建立在假設(shè)檢驗的基礎(chǔ)上。異常值的認(rèn)識前面定性描述了可能存在異常值，實際上某些異常值有時會對研究結(jié)論產(chǎn)生重要影響。識別異常值并將其排除在外，或至少作出有無異常值的統(tǒng)計結(jié)論。異常值的定量描述常用方法是以遠(yuǎn)離均數(shù)的標(biāo)準(zhǔn)差倍數(shù)的多少倍來描述。在一個樣本中把這個統(tǒng)計量應(yīng)用于最極端的觀察值時稱為極端學(xué)生化偏差（extremestudentizeddeviate,ESD)。EDS應(yīng)取多大才能列為異常值？回答是與樣本含量n有關(guān)。對于樣本含量為n的正態(tài)分布，建立在ESD統(tǒng)計量上的抽樣分布的臨界值由B.Rosner(1983)給出，列于表10。記住：此界值依賴于n及你定義的第p個百分位點，因此該統(tǒng)計量的分界點記為ESDn,p。單個異常值的判斷：若ESD＞該界值，則認(rèn)為該觀察值是異常值；反之不認(rèn)為存在異常值。異常值的定量描述多個異常值的判斷設(shè)x1,…,xn中大多數(shù)數(shù)據(jù)呈正態(tài)分布，但我們懷疑有k個異常點，此處k=min([n/10],5)

其中[n/10]是一個不超過n/10的最大整數(shù)。H0:沒有異常值；H1:至少有1個但不超過k個異常值。用下面的法則去識別異常值：識別多個異常值的法則記x(n)點上達(dá)到ESD，其值為ESD(n)；移去x(n)，再重新計算均數(shù)、標(biāo)準(zhǔn)差、ESD等，在樣本點x(n-1)達(dá)到ESD，其值為ESD(n-1)；類推，直到有k個ESD值:ESD(n),ESD(n-1),…，ESD(n-k+1)。與其對應(yīng)的原始數(shù)據(jù)為x(n),x(n-1),…,

x(n-k+1)。從附表10找出每一個ESD對應(yīng)的界值，分別判斷之。除非我們很有把握知道只可能有一個異常值，一般情況下應(yīng)按多個異常值來處理。若發(fā)現(xiàn)有異常值，又該怎么辦？異常值的處理方法一，將有異常值與刪去異常值情形下去分析數(shù)據(jù)以便比較；也可以不刪去異常值，但將它們在數(shù)據(jù)分析中的作用盡量減少：①秩轉(zhuǎn)換非參數(shù)統(tǒng)計分析；②穩(wěn)健