數(shù)據(jù)的清洗電子

數(shù)據(jù)的清洗目錄數(shù)據(jù)的質(zhì)量2數(shù)據(jù)清洗的作用數(shù)據(jù)清洗的方法一、數(shù)據(jù)的質(zhì)量數(shù)據(jù)清洗在匯聚多個維度、多個來源、多種結(jié)構(gòu)的數(shù)據(jù)之后，就可以對數(shù)據(jù)進行抽取、轉(zhuǎn)換和集成加載。在這個過程中，除了更正、修復系統(tǒng)中的一些錯誤數(shù)據(jù)之外，更多的是對數(shù)據(jù)進行歸并整理，并儲存到新的存儲介質(zhì)中。分清和掌握數(shù)據(jù)的質(zhì)量至關(guān)重要31.完整性指數(shù)據(jù)記錄和數(shù)據(jù)信息是否完整，是否存在缺失。2.完整性是對數(shù)據(jù)質(zhì)量最基本的要求。1.數(shù)據(jù)的一致性主要包括數(shù)據(jù)記錄的規(guī)范和數(shù)據(jù)邏輯的一致性。1.數(shù)據(jù)的準確性關(guān)注的是記錄中存在的錯誤，可能存在于個別記錄，也可能存在于整個數(shù)據(jù)集1.指數(shù)據(jù)刷新、修改和提取的及時性和快速性數(shù)據(jù)質(zhì)量的四大要素一、數(shù)據(jù)的質(zhì)量4二、數(shù)據(jù)清洗的作用數(shù)據(jù)清洗從名字上也看的出就是把“臟”的數(shù)據(jù)給“洗掉”，指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別的錯誤，包括檢查數(shù)據(jù)一致性，處理無效值和缺失值等。數(shù)據(jù)清洗的作用就是將數(shù)據(jù)中的臟數(shù)據(jù)去掉，過濾掉不符合要求的數(shù)據(jù)，使之成為符合要求的數(shù)據(jù)源。數(shù)據(jù)清洗是影響數(shù)據(jù)分析準確性的關(guān)鍵因素。5三、數(shù)據(jù)清洗的方法和過程1：手工實現(xiàn)，通過人工檢查2：通過專門編寫的應用程序3：針對特定應用領(lǐng)域的數(shù)據(jù)清理4：針對與特定應用領(lǐng)域無關(guān)的數(shù)據(jù)清理數(shù)據(jù)清洗的方法：數(shù)據(jù)清洗的過程：01數(shù)據(jù)分析，定義錯誤類型02搜索、識別錯誤記錄03修正錯誤6數(shù)據(jù)清洗的實例游戲下載時長數(shù)據(jù)如果直接計算其游戲平均下載時長，得到的結(jié)果為23062.57秒，約6.4小時，與實際情況嚴重不符，說明這一數(shù)據(jù)集受到顯著的噪聲數(shù)據(jù)的影響。數(shù)據(jù)集中區(qū)域?qū)?shù)據(jù)集做異常值識別及剔除，將數(shù)據(jù)集等分為240300個區(qū)間，找到數(shù)據(jù)集中域[0,3266.376],對此區(qū)間的數(shù)據(jù)做箱型圖分析，對新數(shù)據(jù)組剔除離群值，得到非離群數(shù)據(jù)組[Q_1-3IQR,Q_3+3IQR]，再取非異常數(shù)據(jù)組[Q_1-1.5IQR,Q_3+1.5IQR]最后計算目標數(shù)據(jù)源的平均下載時長為192.93秒，約3.22分，符合游戲運營實