DB37T 4646.2-2023公共數(shù)據(jù) 數(shù)據(jù)治理規(guī)范 第2部分：數(shù)據(jù)清洗比對

37Publicdata—Datagovernancespecification—Part2:Datacleaning 請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責任。東省先后印發(fā)《山東省“十四五”數(shù)字強省建設(shè)規(guī)劃》（魯政字〔2021〕128號）等一系列政策文件，數(shù)據(jù)清洗比對、數(shù)據(jù)返還、資源服務目錄等工作存在的普遍問題，制定DB37/T4646《治理規(guī)范》系列標準。DB37/T4646擬由以下四公共數(shù)據(jù)數(shù)據(jù)治理規(guī)范第2部分：數(shù)據(jù)清洗比對GB/T22239—2019信息安全技術(shù)網(wǎng)絡安全等級保護基本要求GB/T35273—2020信息安全技術(shù)個人信息安全GB/T36344—2018信息技術(shù)數(shù)據(jù)質(zhì)量評價DB37/T4646.1—2023界定的以及下列術(shù)語和定義適用于本文件。4概述和數(shù)據(jù)轉(zhuǎn)換，提升數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗比對流程應符合6.1.2數(shù)據(jù)質(zhì)量檢查規(guī)則應基于業(yè)務特征和數(shù)據(jù)特點制定，并同步至數(shù)據(jù)質(zhì)量檢查規(guī)則庫，數(shù)據(jù)質(zhì)量6.1.3數(shù)據(jù)質(zhì)量檢查規(guī)則應通過數(shù)據(jù)質(zhì)量檢查規(guī)則庫統(tǒng)籌管理并進行動態(tài)更新維a)對于存在字段缺失、記錄缺失和數(shù)值缺失的數(shù)據(jù)應選擇合適的缺失值修正方法，主要包括刪b)對于存在邏輯、格式、值域等問題的數(shù)據(jù)應選擇合適的違規(guī)值修正方法，主要包括刪除處理c)對于存在字段重復和記錄重復的數(shù)據(jù)應選擇合適的重復值修正方法，主要包括字段排重、依a)某條記錄的一個或多個關(guān)鍵字段空缺；可對空缺值進行常量填充，即使用一個常量填充該字段所a)字段類型為數(shù)值型時，可使用非空缺值的平均值、最大值、最小值、眾數(shù)、某分位數(shù)等進行b)字段類型為日期型和日期時間型時，可使用非空缺值的平均日期或時間、最近日期或時間、c)字段類型為字符型時，可對非空缺值分類并統(tǒng)計出各類別的數(shù)量和占比，根據(jù)各類別數(shù)量或a)關(guān)聯(lián)分析：使用關(guān)聯(lián)分析的挖掘方法，尋找出強關(guān)聯(lián)的字段，根據(jù)強關(guān)聯(lián)字段關(guān)聯(lián)情況尋找b)聚類分析：使用聚類分析的挖掘方法，將非空數(shù)據(jù)記錄聚類成若干簇，根據(jù)簇如人的性別名稱為缺失值，性別代碼為1，按照GB/T2261.1—2003規(guī)則，對應填充a)關(guān)鍵字段存在違規(guī)值，且無法恢復，如自然人身份證件號碼為“330******1420”，無b)編碼錯誤導致大量違規(guī)值存在，且無法恢復，如因編碼錯誤導致行駛證中車牌a)模糊匹配：新增規(guī)則字典，設(shè)置匹配規(guī)則后做模糊對應，如行政區(qū)劃“濟南市”；而待修正數(shù)據(jù)單位為厘米，可通過數(shù)值轉(zhuǎn)換的方式，對待修正數(shù)據(jù)除以100。數(shù)值轉(zhuǎn)換一般需人工分析a)近似填充：通過考察相近的值平衡違規(guī)值，可將違規(guī)值修改為離違規(guī)值最近的正常值，或修改為離違規(guī)值較近的若干個正常值的平均值等，如幼兒園兒童入學年齡數(shù)據(jù)中，有一條數(shù)據(jù)b)回歸分析：通過回歸函數(shù)擬合數(shù)據(jù)，光滑違規(guī)值，如幼兒園兒童入學年齡數(shù)據(jù)中，有一條數(shù)b)條件保留：設(shè)置條件規(guī)則和約束字段，比如按日期型或日期時間型字段保留離當前日期最近b)不完全重復：設(shè)置對比字段的值，保留一條和對比字段的值完全一致的記錄。9數(shù)據(jù)安全9.1應記錄數(shù)據(jù)探查時間、數(shù)據(jù)質(zhì)量檢查時間、數(shù)據(jù)質(zhì)量檢查內(nèi)容、數(shù)據(jù)質(zhì)量檢查結(jié)果、數(shù)據(jù)轉(zhuǎn)換結(jié)存在問題存在問題數(shù)據(jù)歸集數(shù)據(jù)探查檢查規(guī)則制定質(zhì)量檢查實施質(zhì)量檢查實施不存在問題數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)探查清單包括數(shù)據(jù)表探查清單和數(shù)據(jù)字段探查清單。數(shù)據(jù)表探查清單示例見表B.1是是增0否是否否 0否否是是0、10檢查數(shù)據(jù)是否存在邏輯或常識性錯誤，如幼兒園入學年檢查數(shù)據(jù)是否存在格式錯誤，如身份證件號碼長度稱12012將各類時間型數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為符合GB/T7408—2005的時間型數(shù)