電子商務數(shù)據(jù)分析 課件070.數(shù)據(jù)處理與加工清洗

數(shù)據(jù)處理與加工清洗數(shù)據(jù)處理數(shù)據(jù)處理是根據(jù)數(shù)據(jù)分析目的，將收集到的數(shù)據(jù)，用適當?shù)奶幚矸椒ㄟM行加工、整理，形成適合數(shù)據(jù)分析的要求樣式，它是數(shù)據(jù)分析前必不可少的工作，并且在整個數(shù)據(jù)分析工作量中占據(jù)了大部分比例。數(shù)據(jù)處理包括數(shù)據(jù)清洗、數(shù)據(jù)抽取、數(shù)據(jù)合并、數(shù)據(jù)計算、數(shù)據(jù)分組等加工操作。

數(shù)據(jù)清洗數(shù)據(jù)清洗是指發(fā)現(xiàn)并糾正數(shù)據(jù)文件中可識別錯誤的最后一道程序，包括檢查數(shù)據(jù)一致性，處理重復值、無效值和缺失值、錯誤值等。數(shù)據(jù)清洗還涉及數(shù)據(jù)脫敏處理,對涉及隱私及敏感信息的數(shù)據(jù)，要先行將隱私及敏感數(shù)據(jù)刪除或模糊轉(zhuǎn)化，再交付使用，如客戶隱私數(shù)據(jù)、生意參謀中將訂單數(shù)轉(zhuǎn)換為訂單交易指數(shù)等數(shù)據(jù)一致性處理通過統(tǒng)計調(diào)查收集上來的數(shù)據(jù)，經(jīng)常會出現(xiàn)同一字段的數(shù)據(jù)格式不一致的問題，這會直接影響后續(xù)的數(shù)據(jù)分析，所以必須對數(shù)據(jù)的格式做出一致性處理數(shù)據(jù)脫敏處理重復值查找排序、篩選條件格式比較函數(shù)等方式缺失值處理缺失值是指數(shù)據(jù)集中數(shù)據(jù)不完整或某些屬性缺失，缺失值最常見的表現(xiàn)形式就是空值或錯誤標識符（N/A）缺失值產(chǎn)生主要有機械原因和人為原因，機械原因是由于數(shù)據(jù)收集或保存失敗造成的數(shù)據(jù)缺失，人為原因是由于人的主觀失誤、歷史局限或有意隱瞞造成的數(shù)據(jù)缺失缺失值處理數(shù)據(jù)錯誤數(shù)據(jù)錯誤的兩種常見方式：被調(diào)查者輸入的選項不符合要求錄入錯誤數(shù)據(jù)加工由于現(xiàn)有的數(shù)據(jù)字段不能滿足我們的數(shù)據(jù)分析要求，所以要對現(xiàn)有字段進行抽取、計算或轉(zhuǎn)換，形成需要的一系列新數(shù)據(jù)字段數(shù)據(jù)加工類型：數(shù)據(jù)抽取、數(shù)據(jù)計算、數(shù)據(jù)分組、數(shù)據(jù)轉(zhuǎn)換等數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)抽取是指利用原數(shù)據(jù)清單中某些字段的部分信息得到一個新字段。常用的數(shù)據(jù)抽取函數(shù)有l(wèi)eft()、right()、mid()、year()、month()、day()、weekday()。數(shù)據(jù)抽取數(shù)據(jù)抽取-字段匹配字段匹配就是將原數(shù)據(jù)清單中沒有但其他數(shù)據(jù)清單中有的字段匹配過來。例如，全校名單工作表是某校2015級全體學生的基本信息，四級名單工作表是2015級學生中報考了英語四級的學生名單，先需要將身份證信息匹配到四級名單學生中全校名單工作表四級名單工作表數(shù)據(jù)抽取-字段匹配vlookup函數(shù)的參數(shù)設置

匹配結(jié)果應用vlookup函數(shù)進行數(shù)據(jù)匹配處理數(shù)據(jù)計算數(shù)