DB5120-T 19.3-2023 數(shù)據(jù)資源體系技術(shù)指南 第3部分：數(shù)據(jù)清洗加工規(guī)范

35.040

DB5120

數(shù)據(jù)資源體系技術(shù)指南第

3

部分：數(shù)據(jù)清洗加工規(guī)范

-

-

發(fā)布

-

-

實(shí)施資陽市市場監(jiān)督管理局 發(fā)

布

本文件按照

1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則

第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定

36625.3、

）數(shù)據(jù)類型和數(shù)據(jù)值檢核：數(shù)據(jù)類型和值應(yīng)能支持后續(xù)數(shù)據(jù)轉(zhuǎn)換過程，如后續(xù)根據(jù)定義規(guī)則需要

注：重要性高指該數(shù)據(jù)如果殘缺了會(huì)導(dǎo)致業(yè)務(wù)中斷；缺失率按數(shù)據(jù)質(zhì)量指標(biāo)要求應(yīng)小于

，因

）不同指標(biāo)的計(jì)算結(jié)果填充：通過數(shù)據(jù)項(xiàng)與數(shù)據(jù)項(xiàng)之間的邏輯聯(lián)系，采取一定的列拆分、列計(jì)算）同一指標(biāo)的計(jì)算結(jié)果填充：采取均值、中位數(shù)、眾數(shù)等方式進(jìn)行填充，如時(shí)間序列缺失，可使

）重新獲?。簩?duì)缺失率高且非常重要的數(shù)據(jù)項(xiàng)，應(yīng)采取重新抽取不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行關(guān)聯(lián)對(duì)比

）全角、半角處理：通過正則表達(dá)式將全角、半角符號(hào)按照事先定義的規(guī)則進(jìn)行全角、半角符號(hào)）有不該存在的字符：以自動(dòng)校驗(yàn)結(jié)合人工方式來找出存在的問題，自動(dòng)去除不需要的字符，將）內(nèi)容與字段不匹配：詳細(xì)識(shí)別問題類型，如人工填寫錯(cuò)誤、前端沒有校驗(yàn)、導(dǎo)入數(shù)據(jù)時(shí)部分或

）了解數(shù)據(jù)潛在的邏輯規(guī)則，采取邏輯推理法，過濾掉一些使用簡單邏輯推理即可發(fā)現(xiàn)的問題數(shù)）對(duì)于不重要的、不合理的數(shù)據(jù)可直接刪除，對(duì)于重要的、不合理值應(yīng)進(jìn)行人工干預(yù)或引入更多）通過字段間相互驗(yàn)證的方法修正矛盾內(nèi)容，如根據(jù)字段的數(shù)據(jù)來源，判定哪個(gè)字段提供的信息）通過分箱、聚類、回歸等方法識(shí)別離群值（異常值），按照經(jīng)驗(yàn)和業(yè)務(wù)流程判斷其合理性，若

）設(shè)定判定規(guī)則：設(shè)定強(qiáng)制合規(guī)條件，不在規(guī)則范圍內(nèi)的，強(qiáng)制設(shè)置最大值或最小值，剔除或判

）通過數(shù)據(jù)主鍵或?qū)ふ蚁嚓P(guān)信息識(shí)別重復(fù)數(shù)據(jù)的含義，不是相同含義的數(shù)據(jù)不能界定為重復(fù)數(shù)據(jù)）查詢到確定的重復(fù)數(shù)據(jù)，根據(jù)權(quán)威性和應(yīng)用場合，選擇最恰當(dāng)渠道來源的數(shù)據(jù)，或在不影響數(shù)

）非法代碼、非法值：檢查個(gè)別字段出現(xiàn)的異常信息，包括非法代碼、代碼與數(shù)據(jù)標(biāo)準(zhǔn)不一致、）業(yè)務(wù)約束：應(yīng)從業(yè)務(wù)的角度考慮數(shù)據(jù)的正確性、一致性、有效性等，如建檔日期、入學(xué)日期、

）準(zhǔn)確性：數(shù)據(jù)所指內(nèi)容對(duì)數(shù)據(jù)所指對(duì)象的反應(yīng)、表現(xiàn)應(yīng)準(zhǔn)確，數(shù)據(jù)形式對(duì)數(shù)據(jù)內(nèi)容的表述、表）時(shí)效性：不同類型的應(yīng)用對(duì)數(shù)據(jù)的時(shí)間特性有不同的要求，數(shù)據(jù)的時(shí)間特性應(yīng)滿足業(yè)務(wù)應(yīng)用的

將各類事件日期統(tǒng)一為十四位的字符時(shí)間日期，如YYYYMMDDhhmmss，符

將人員的性別數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為標(biāo)準(zhǔn)信息代碼（0-未知的性別，1-男性，

將人員的婚姻登記情況統(tǒng)一轉(zhuǎn)換為標(biāo)準(zhǔn)的婚姻狀況代碼（10-未婚，20-已婚，21-初婚，22-再婚，23-復(fù)婚，30-喪偶，40-離婚，90-未說明的

2261.2-2003。

11643-19