數(shù)據(jù)清洗“衡水杯”一等獎(jiǎng)

數(shù)據(jù)清洗數(shù)據(jù)清洗定義數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識(shí)別的錯(cuò)誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。數(shù)據(jù)清洗臟數(shù)據(jù)臟數(shù)據(jù)指粗糙數(shù)據(jù)中由于缺少信息而造成的數(shù)據(jù)的聚類、分組、刪失或截?cái)喾椒ㄓ缅e(cuò)或者其它原因?qū)е劣?jì)算錯(cuò)誤，阻止信息返回正確值缺失值錯(cuò)誤值重復(fù)值出現(xiàn)完全相同的數(shù)據(jù)數(shù)據(jù)清洗原理數(shù)據(jù)清洗原理：利用有關(guān)技術(shù)如數(shù)理統(tǒng)計(jì)、數(shù)據(jù)挖掘或預(yù)定義的清理規(guī)則將臟數(shù)據(jù)轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量要求的數(shù)據(jù)同一值的不同表示臟數(shù)據(jù)數(shù)據(jù)清洗策略、規(guī)則滿足要求的數(shù)據(jù)不合法值空值拼寫錯(cuò)誤命名習(xí)慣統(tǒng)計(jì)技術(shù)挖掘技術(shù)重復(fù)值異常檢查數(shù)據(jù)清洗處理流程數(shù)據(jù)清洗2.去除/補(bǔ)全缺失值3.去除/修改內(nèi)容錯(cuò)誤數(shù)據(jù)1.數(shù)據(jù)預(yù)處理6.關(guān)聯(lián)性驗(yàn)證5.去除不需要的數(shù)據(jù)4.去除/修改邏輯錯(cuò)誤數(shù)據(jù)數(shù)據(jù)清洗具體處理缺失值處理：大多數(shù)情況下，缺失的值必須手工填入（即手工清理）。當(dāng)然，某些缺失值可以從本數(shù)據(jù)源或其它數(shù)據(jù)源推導(dǎo)出來，這就可以用平均值、最大值、最小值或更為復(fù)雜的概率估計(jì)代替缺失的值，從而達(dá)到清理的目的錯(cuò)誤值的檢測及處理：用統(tǒng)計(jì)分析的方法識(shí)別可能的錯(cuò)誤值或異常值，如偏差分析、識(shí)別不遵守分布或回歸方程的值，也可以用簡單規(guī)則庫（常識(shí)性規(guī)則、業(yè)務(wù)特定規(guī)則等）檢查數(shù)據(jù)值，或使用不同屬性間的約束、外部的數(shù)據(jù)來檢測和清理數(shù)據(jù)。數(shù)據(jù)清洗具體處理重復(fù)值的檢測及處理：數(shù)據(jù)庫中屬性值相同的記錄被認(rèn)為是重復(fù)記錄，通過判斷記錄間的屬性值是否相等來檢測記錄是否相等，相等的記錄合并為一條記錄（即合并/清除)。合并/清除是消重的基本方法。不一致性的檢測及處理：從多數(shù)據(jù)源集成的數(shù)據(jù)可能有語義沖突，可定義完整性約束用于檢測不一致性，也可通過分析數(shù)據(jù)發(fā)現(xiàn)聯(lián)系，從而使得數(shù)據(jù)保持一致。數(shù)據(jù)清洗數(shù)據(jù)清洗工具工具數(shù)據(jù)遷移工具允許指定簡單的轉(zhuǎn)換規(guī)則數(shù)