DB21-T 3893-2023 工業(yè)數(shù)據(jù)流通 數(shù)據(jù)清洗規(guī)范

ICS25.040.40CCSL7021遼寧省市場(chǎng)監(jiān)督管理局發(fā)布IDB21/T3893—2023前言 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4縮略語(yǔ) 5清洗目的 6清洗范圍 7過(guò)程要求 7.1清洗流程 7.2數(shù)據(jù)抽取 7.3定義規(guī)則 7.4數(shù)據(jù)過(guò)濾 7.5數(shù)據(jù)校驗(yàn) 7.6錯(cuò)誤標(biāo)識(shí) 7.7修正處理 7.8數(shù)據(jù)轉(zhuǎn)換 7.9結(jié)果檢驗(yàn) 7.10數(shù)據(jù)加載 8環(huán)境要求 8.1數(shù)據(jù)脫敏 8.2數(shù)據(jù)安全 8.3人員能力 9質(zhì)量要求 參考文獻(xiàn) DB21/T3893—2023本文件按照GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由遼寧省工業(yè)和信息化廳提出并歸口。本文件起草單位：沈陽(yáng)華睿博信息技術(shù)有限公司、國(guó)家計(jì)算機(jī)網(wǎng)絡(luò)應(yīng)急技術(shù)處理協(xié)調(diào)中心遼寧分中心、遼寧艾特斯智能交通技術(shù)有限公司、遼寧職業(yè)學(xué)院、東北大學(xué)、上海數(shù)據(jù)交易所、遼寧省大數(shù)據(jù)管理中心、北京賽迪時(shí)代信息產(chǎn)業(yè)股份有限公司、遼寧省先進(jìn)裝備制造業(yè)基地建設(shè)工程中心。本文件主要起草人：邵華、李凱、黃書(shū)鵬、王宇飛、宋憲輝、王義剛、申翔宇、譚振華、楊成實(shí)、張翔宇、魏國(guó)偉、劉洋。本文件發(fā)布實(shí)施后，任何單位和個(gè)人如有問(wèn)題和意見(jiàn)建議，均可以通過(guò)來(lái)電和來(lái)函等方式進(jìn)行反饋，我們將及時(shí)答復(fù)并認(rèn)真處理，根據(jù)實(shí)際情況依法進(jìn)行評(píng)估及復(fù)審。歸口管理部門(mén)通信地址：沈陽(yáng)市遼寧省沈陽(yáng)市皇姑區(qū)北陵大街45-2號(hào)。歸口管理部門(mén)聯(lián)系電話(huà)文件起草單位通訊地址：遼寧省沈陽(yáng)市和平區(qū)青年大街386號(hào)華陽(yáng)國(guó)際大廈2396。文件起草單位聯(lián)系電話(huà)1DB21/T3893—2023工業(yè)數(shù)據(jù)流通數(shù)據(jù)清洗規(guī)范本文件規(guī)定了工業(yè)數(shù)據(jù)清洗的過(guò)程要求、環(huán)境要求和質(zhì)量要求。本文件適用于數(shù)據(jù)流通中的工業(yè)數(shù)據(jù)清洗。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T22239-2019信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)基本要求GB/T35274-2017信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求GB/T35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)GB/T37973-2019信息安全技術(shù)大數(shù)據(jù)安全管理指南GB/T39477-2020信息安全技術(shù)政務(wù)信息共享數(shù)據(jù)安全技術(shù)要求GB/T42128-2022智能制造工業(yè)數(shù)據(jù)分類(lèi)原則DA/T82-2019基于文檔型非關(guān)系型數(shù)據(jù)庫(kù)的檔案數(shù)據(jù)存儲(chǔ)規(guī)范3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1數(shù)據(jù)清洗datacleaning運(yùn)用一定方法識(shí)別并修正數(shù)據(jù)問(wèn)題，提高數(shù)據(jù)質(zhì)量的過(guò)程。3.2工業(yè)數(shù)據(jù)industrialdata在工業(yè)領(lǐng)域中，涉及企業(yè)的所有生產(chǎn)活動(dòng)和服務(wù)所產(chǎn)生的數(shù)據(jù)。[來(lái)源:GB/T42128-2022，3.1.1]3.3結(jié)構(gòu)化數(shù)據(jù)structureddata一種數(shù)據(jù)表示形式，按此種形式，由數(shù)據(jù)元素匯集而成的每個(gè)記錄的結(jié)構(gòu)都是一致的并且可以使用關(guān)系模型予以有效描述。[來(lái)源:GB/T35295-2017，2.2.13]3.4非結(jié)構(gòu)化數(shù)據(jù)unstructureddata不具有預(yù)定義模型或未以預(yù)定義方式組織的數(shù)據(jù)。[來(lái)源:GB/T35295-2017，2.1.25]2DB21/T3893—20233.5半結(jié)構(gòu)化數(shù)據(jù)semi-structureddata具有結(jié)構(gòu)性，但結(jié)構(gòu)變化大，且難以用結(jié)構(gòu)化數(shù)據(jù)的處理方法將其放進(jìn)二維表的數(shù)據(jù)。[來(lái)源:DA/T82-2019，2.8]3.6表結(jié)構(gòu)tablestructure為主體層內(nèi)容提供表示語(yǔ)義的一種存儲(chǔ)范例。[來(lái)源:GB/T35295-2017，2.2.14]3.7敏感數(shù)據(jù)sensitivedata由權(quán)威機(jī)構(gòu)確定的受保護(hù)的信息數(shù)據(jù)。[來(lái)源:GB/T35295-2017，2.2.14]4縮略語(yǔ)下列縮略語(yǔ)適用于本文件。ETL：數(shù)據(jù)的抽取、轉(zhuǎn)換、加載（ExtractTransformLoad）5清洗目的工業(yè)數(shù)據(jù)涉及到各種傳感器、監(jiān)測(cè)設(shè)備和生產(chǎn)設(shè)備，具有多樣性和異構(gòu)性，由于傳感器和設(shè)備的不穩(wěn)定性、及環(huán)境變化等因素影響，工業(yè)數(shù)據(jù)中存在大量錯(cuò)誤數(shù)據(jù)、缺失數(shù)據(jù)和異常數(shù)據(jù)。工業(yè)數(shù)據(jù)清洗目的是清除或修正錯(cuò)誤數(shù)據(jù)、缺失數(shù)據(jù)、異常數(shù)據(jù)或其他有問(wèn)題的數(shù)據(jù)，提高工業(yè)數(shù)據(jù)在建模分析、應(yīng)用開(kāi)發(fā)、資源調(diào)度和監(jiān)測(cè)管理等方面的應(yīng)用價(jià)值，保障流通的工業(yè)數(shù)據(jù)質(zhì)量。6清洗范圍清洗范圍涵蓋工業(yè)領(lǐng)域產(chǎn)品和服務(wù)全生命周期產(chǎn)生和應(yīng)用的數(shù)據(jù)，包括但不限于工業(yè)企業(yè)在研發(fā)設(shè)計(jì)、生產(chǎn)制造、供應(yīng)鏈物流、營(yíng)銷(xiāo)、運(yùn)維、管理及金融等環(huán)節(jié)中生成和使用的數(shù)據(jù)，以及工業(yè)互聯(lián)網(wǎng)平臺(tái)企業(yè)在設(shè)備接入、平臺(tái)運(yùn)行、工業(yè)應(yīng)用程序使用等過(guò)程中生成和使用的數(shù)據(jù)。各類(lèi)型數(shù)據(jù)說(shuō)明如下：a）研發(fā)設(shè)計(jì)數(shù)據(jù)：包括研發(fā)設(shè)計(jì)數(shù)據(jù)、開(kāi)發(fā)測(cè)試數(shù)據(jù)等；b）生產(chǎn)制造數(shù)據(jù)：包括控制信息、工況狀態(tài)、工藝參數(shù)、系統(tǒng)日志、生產(chǎn)質(zhì)量數(shù)據(jù)、生產(chǎn)實(shí)績(jī)數(shù)據(jù)c）供應(yīng)鏈物流數(shù)據(jù)：包括供需計(jì)劃數(shù)據(jù)、倉(cāng)儲(chǔ)物流數(shù)據(jù)等；d）營(yíng)銷(xiāo)數(shù)據(jù)：包括投標(biāo)次數(shù)、訂單數(shù)量、交易金融、客戶(hù)異議數(shù)據(jù)等；e）運(yùn)維數(shù)據(jù)：包括產(chǎn)品運(yùn)行狀況數(shù)據(jù)、產(chǎn)品售后服務(wù)數(shù)據(jù)等；f）管理數(shù)據(jù)：包括客戶(hù)基本信息、業(yè)務(wù)合作數(shù)據(jù)、人事財(cái)務(wù)數(shù)據(jù)、系統(tǒng)設(shè)備資產(chǎn)信息、產(chǎn)品基本信息、項(xiàng)目進(jìn)度數(shù)據(jù)、業(yè)務(wù)統(tǒng)計(jì)數(shù)據(jù)（如資源量數(shù)據(jù)、能耗監(jiān)測(cè)數(shù)據(jù)等g）金融數(shù)據(jù)：包括信貸數(shù)據(jù)、融資租賃數(shù)據(jù)、征信數(shù)據(jù)等；3DB21/T3893—2023h）平臺(tái)運(yùn)營(yíng)數(shù)據(jù)：接入的設(shè)備數(shù)據(jù)、工業(yè)模型數(shù)據(jù)、工業(yè)應(yīng)用程序數(shù)據(jù)、平臺(tái)運(yùn)行數(shù)據(jù)等。7過(guò)程要求7.1清洗流程工業(yè)數(shù)據(jù)清洗流程包括數(shù)據(jù)抽取、定義規(guī)則、數(shù)據(jù)過(guò)濾、數(shù)據(jù)校驗(yàn)、錯(cuò)誤標(biāo)識(shí)、修正處理、數(shù)據(jù)轉(zhuǎn)換、結(jié)果檢驗(yàn)及數(shù)據(jù)加載等環(huán)節(jié)。工業(yè)數(shù)據(jù)清洗可采取ETL流程。工業(yè)數(shù)據(jù)清洗ETL流程圖見(jiàn)圖1。圖1工業(yè)數(shù)據(jù)清洗ETL流程圖7.2數(shù)據(jù)抽取數(shù)據(jù)抽取應(yīng)符合以下要求：a）應(yīng)具備全量抽取和增量抽取兩種方式；b）數(shù)據(jù)抽取來(lái)源應(yīng)能支撐抽取操作，使用生產(chǎn)庫(kù)，或通過(guò)前置庫(kù)等方式進(jìn)行抽??；c）應(yīng)支持結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)等不同類(lèi)型數(shù)據(jù)的抽取；d）數(shù)據(jù)抽取目的地的存儲(chǔ)容量應(yīng)能支持?jǐn)?shù)據(jù)抽取來(lái)源的數(shù)據(jù)總量，數(shù)據(jù)抽取目的地的表結(jié)構(gòu)應(yīng)與數(shù)據(jù)抽取來(lái)源的表結(jié)構(gòu)保持一致；e）增量抽取應(yīng)確定增量更新的方式，抽取的數(shù)據(jù)應(yīng)有字段可區(qū)分，如更新時(shí)間等。7.3定義規(guī)則4DB21/T3893—2023應(yīng)分析抽取目標(biāo)數(shù)據(jù)的范圍、體量、類(lèi)型、內(nèi)容、關(guān)系、質(zhì)量等信息，全面認(rèn)識(shí)數(shù)據(jù)情況。數(shù)據(jù)清洗針對(duì)的對(duì)象主要有缺失值、異常值、重復(fù)值和無(wú)用值，針對(duì)不同對(duì)象的不同形式，結(jié)合應(yīng)用需求，確定數(shù)據(jù)清洗目標(biāo)和規(guī)則，從而得到期望的數(shù)據(jù)。針對(duì)不同的清洗對(duì)象，清洗規(guī)則包括：a）缺失值清洗：按照缺失比例和缺失字段重要性，制定清洗策略；b）異常值清洗：針對(duì)取值錯(cuò)誤、格式錯(cuò)誤和邏輯錯(cuò)誤制定不同的清洗策略；c）重復(fù)值：重復(fù)數(shù)據(jù)可以去重或作出標(biāo)記；d）無(wú)用值：無(wú)用數(shù)據(jù)字段可以直接進(jìn)行刪除。但在進(jìn)行該過(guò)程的時(shí)候，要注意備份原始數(shù)據(jù)。7.4數(shù)據(jù)過(guò)濾數(shù)據(jù)過(guò)濾應(yīng)包括以下操作：a）將非結(jié)構(gòu)化數(shù)據(jù)和半結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為結(jié)構(gòu)化數(shù)據(jù)；b）對(duì)噪聲數(shù)據(jù)進(jìn)行刪除；c）對(duì)業(yè)務(wù)數(shù)據(jù)中不符合應(yīng)用規(guī)則的數(shù)據(jù)進(jìn)行刪除；d）過(guò)濾刪除掉的數(shù)據(jù)應(yīng)存入問(wèn)題數(shù)據(jù)庫(kù)表，便于后續(xù)查證或重新使用。7.5數(shù)據(jù)校驗(yàn)7.5.1基本要求應(yīng)對(duì)工業(yè)數(shù)據(jù)進(jìn)行非空校驗(yàn)、長(zhǎng)度校驗(yàn)、數(shù)據(jù)量校驗(yàn)、數(shù)據(jù)類(lèi)型和值校驗(yàn)。當(dāng)不滿(mǎn)足校驗(yàn)要求時(shí)，應(yīng)進(jìn)行數(shù)據(jù)錯(cuò)誤標(biāo)識(shí)；當(dāng)滿(mǎn)足校驗(yàn)要求時(shí)，直接進(jìn)行數(shù)據(jù)轉(zhuǎn)換。7.5.2非空校驗(yàn)應(yīng)在字段為非空的情況下，對(duì)該字段數(shù)據(jù)進(jìn)行校驗(yàn)，數(shù)據(jù)不能為空值。7.5.3長(zhǎng)度校驗(yàn)數(shù)據(jù)長(zhǎng)度應(yīng)滿(mǎn)足轉(zhuǎn)換要求的字段長(zhǎng)度。7.5.4數(shù)據(jù)量校驗(yàn)過(guò)濾后的數(shù)據(jù)總量應(yīng)與原始抽取的數(shù)據(jù)總量吻合。7.5.5數(shù)據(jù)類(lèi)型和值校驗(yàn)數(shù)據(jù)類(lèi)型和值應(yīng)能支持后續(xù)數(shù)據(jù)轉(zhuǎn)換過(guò)程，如后續(xù)根據(jù)定義規(guī)則需要將時(shí)間字符串?dāng)?shù)據(jù)轉(zhuǎn)換成時(shí)間類(lèi)型時(shí)，還需檢驗(yàn)時(shí)間字符串類(lèi)型的數(shù)據(jù)是否符合時(shí)間格式。7.6錯(cuò)誤標(biāo)識(shí)7.6.1錯(cuò)誤類(lèi)型工業(yè)數(shù)據(jù)的錯(cuò)誤類(lèi)型包括但不限于：a）殘缺數(shù)據(jù)：缺一些記錄，或一條記錄里缺一些值（空值），或兩者都缺；b）錯(cuò)誤數(shù)據(jù)：數(shù)據(jù)沒(méi)有嚴(yán)格按照規(guī)范記錄，包括格式內(nèi)容錯(cuò)誤、邏輯錯(cuò)誤、不合規(guī)等；c）重復(fù)數(shù)據(jù)：相同的記錄出現(xiàn)多條或多條記錄代表同一實(shí)體。7.6.2識(shí)別方法5DB21/T3893—2023可采用統(tǒng)計(jì)學(xué)方法、數(shù)據(jù)挖掘、基于聚類(lèi)的方法、基于距離的方法、基于分類(lèi)的方法、基于關(guān)聯(lián)規(guī)則的方法、業(yè)務(wù)區(qū)分等方式分析數(shù)據(jù)，從而識(shí)別出數(shù)據(jù)的錯(cuò)誤類(lèi)型。7.6.3標(biāo)識(shí)步驟錯(cuò)誤標(biāo)識(shí)步驟如下：a）按7.6.2推薦的識(shí)別方法，分析篩選出工業(yè)數(shù)據(jù)資源中存在的數(shù)據(jù)問(wèn)題；b）按7.6.1給出的錯(cuò)誤類(lèi)型，對(duì)數(shù)據(jù)問(wèn)題進(jìn)行分類(lèi)，標(biāo)識(shí)錯(cuò)誤。7.7修正處理7.7.1殘缺數(shù)據(jù)處理7.7.1.1處理策略殘缺數(shù)據(jù)按照字段缺失率和字段重要性，分別制定處理策略。殘缺數(shù)據(jù)處理策略制定應(yīng)滿(mǎn)足以下內(nèi)容：a）重要性高、缺失率低：通過(guò)計(jì)算進(jìn)行填充；通過(guò)經(jīng)驗(yàn)或業(yè)務(wù)知識(shí)估計(jì)；b）重要性高、缺失率高：嘗試從其他渠道取數(shù)補(bǔ)全；使用其他字段通過(guò)計(jì)算獲?。蝗コ侄尾⒃诮Y(jié)果中標(biāo)明；c）重要性低、缺失率低：不做處理或簡(jiǎn)單填充；d）重要性低、缺失率高：去除該字段。7.7.1.2去除字段處理數(shù)據(jù)中如有多余字段，應(yīng)備份當(dāng)前數(shù)據(jù)，直接刪除掉不需要的字段。7.7.1.3填充缺失內(nèi)容處理應(yīng)采用以下方式填充缺失內(nèi)容：a）同指標(biāo)的計(jì)算結(jié)果填充：通過(guò)數(shù)據(jù)項(xiàng)與數(shù)據(jù)項(xiàng)之間的邏輯聯(lián)系，采取一定的列項(xiàng)拆分、列計(jì)算等方式得到缺失內(nèi)容；b）同一指標(biāo)的計(jì)算結(jié)果填充：采取均值、中位數(shù)、眾數(shù)等方式進(jìn)行填充；c）重新獲取：當(dāng)缺失率高且非常重要的數(shù)據(jù)項(xiàng)，應(yīng)采取重新抽取不同數(shù)據(jù)源的數(shù)據(jù)進(jìn)行關(guān)聯(lián)對(duì)比填7.7.1.4取數(shù)補(bǔ)全處理應(yīng)通過(guò)線(xiàn)下收集、業(yè)務(wù)知識(shí)或經(jīng)驗(yàn)推測(cè)補(bǔ)全缺失值。7.7.2錯(cuò)誤數(shù)據(jù)處理7.7.2.1格式內(nèi)容問(wèn)題處理格式內(nèi)容問(wèn)題數(shù)據(jù)處理應(yīng)采用以下方法：a）全、半角處理：通過(guò)正則表達(dá)式將全、半角符號(hào)按照事先定義的規(guī)則進(jìn)行全、半角符號(hào)統(tǒng)一；b）有不該存在的字符：以半自動(dòng)校驗(yàn)結(jié)合半人工方式來(lái)找出存在的問(wèn)題，自動(dòng)去除不需要的字符，將數(shù)據(jù)自動(dòng)化統(tǒng)一或人工修正為正確字符；c）內(nèi)容與字段不匹配：詳細(xì)識(shí)別問(wèn)題類(lèi)型，如人工填寫(xiě)錯(cuò)誤、前端沒(méi)有校驗(yàn)、導(dǎo)入數(shù)據(jù)時(shí)部分或全部存在列沒(méi)有對(duì)齊、數(shù)據(jù)源端業(yè)務(wù)系統(tǒng)缺陷等，不能直接刪除，應(yīng)按照清洗規(guī)則，采取加入更多數(shù)據(jù)源進(jìn)行數(shù)據(jù)關(guān)聯(lián)，找到匹配的相應(yīng)字段進(jìn)行填補(bǔ)。7.7.2.2邏輯問(wèn)題處理6DB21/T3893—2023邏輯問(wèn)題數(shù)據(jù)處理應(yīng)采用以下方法：a）了解數(shù)據(jù)潛在的邏輯規(guī)則，采取邏輯推理法，直接去掉一些使用簡(jiǎn)單邏輯推理即可發(fā)現(xiàn)問(wèn)題的數(shù)據(jù)；b）對(duì)于不重要的不合理數(shù)據(jù)應(yīng)過(guò)濾，形成錯(cuò)誤數(shù)據(jù)集由數(shù)源部門(mén)進(jìn)行確認(rèn)是否可刪除；c）通過(guò)字段間相互驗(yàn)證的方法修正矛盾內(nèi)容，如根據(jù)字段的數(shù)據(jù)來(lái)源，判定哪個(gè)字段提供的信息更可靠，去除或重構(gòu)不可靠字段；d）通過(guò)分箱、聚類(lèi)、回歸等方法識(shí)別離群值（異常值），按照經(jīng)驗(yàn)和業(yè)務(wù)流程判斷其合理性，若合理，則保留該數(shù)值；若不合理，對(duì)重要性較高而無(wú)法重新采集的數(shù)值，按缺失數(shù)據(jù)處理，對(duì)重要性較低的數(shù)值，可直接刪除；e）對(duì)于復(fù)雜邏輯數(shù)據(jù)問(wèn)題應(yīng)咨詢(xún)了解該數(shù)據(jù)的產(chǎn)生原因，按照協(xié)商的清洗加工規(guī)則進(jìn)行處理。7.7.2.3不合規(guī)問(wèn)題處理不合規(guī)問(wèn)題數(shù)據(jù)處理應(yīng)采用以下方法：a）設(shè)定判定規(guī)則：設(shè)定強(qiáng)制合規(guī)條件，對(duì)于不在規(guī)則范圍內(nèi)的數(shù)據(jù)，應(yīng)強(qiáng)制設(shè)置最大值及最小值，或剔除、判斷為無(wú)效字段；b）設(shè)定警告規(guī)則：對(duì)于不在規(guī)則范圍內(nèi)的數(shù)據(jù)，應(yīng)進(jìn)行警告及人工處理。7.7.3重復(fù)數(shù)據(jù)處理重復(fù)數(shù)據(jù)處理步驟如下：a）通過(guò)元數(shù)據(jù)血緣關(guān)系查詢(xún)到重復(fù)數(shù)據(jù)的各個(gè)來(lái)源；b）通過(guò)數(shù)據(jù)主鍵或?qū)ふ蚁嚓P(guān)信息識(shí)別重復(fù)數(shù)據(jù)的含義，不是相同含義的數(shù)據(jù)不能界定為重復(fù)數(shù)據(jù)進(jìn)行去重處理，應(yīng)分別保留；c）查詢(xún)到確定的重復(fù)數(shù)據(jù)，根據(jù)權(quán)威性和應(yīng)用場(chǎng)合，選擇最恰當(dāng)渠道來(lái)源的數(shù)據(jù)，或在不影響數(shù)據(jù)保真度和完整性的情況下進(jìn)行合并處理。7.8數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換應(yīng)符合以下要求：a）數(shù)據(jù)轉(zhuǎn)換應(yīng)在數(shù)據(jù)校驗(yàn)通過(guò)后開(kāi)始；b）數(shù)據(jù)轉(zhuǎn)換開(kāi)始前應(yīng)檢查需要轉(zhuǎn)換的數(shù)據(jù)規(guī)則和字段是否一致；c）應(yīng)實(shí)現(xiàn)對(duì)數(shù)據(jù)的格式、信息代碼、值的沖突進(jìn)行轉(zhuǎn)換；1）將各類(lèi)日期統(tǒng)一轉(zhuǎn)換為八位的字符日期，如YYYYMMDD。2）將各類(lèi)時(shí)間統(tǒng)一轉(zhuǎn)換為六位的字符時(shí)間，如HHMMSS。3）將各類(lèi)時(shí)序數(shù)據(jù)的時(shí)間日期統(tǒng)一轉(zhuǎn)換為十四位的字符時(shí)間日期，如YYYYMMDDHHMMSS。1）將人員性別數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為國(guó)際性別信息代碼。2）將組織地址數(shù)據(jù)統(tǒng)一轉(zhuǎn)換為行政區(qū)劃代碼。3）將組織名稱(chēng)統(tǒng)一轉(zhuǎn)換為統(tǒng)一社會(huì)信用代碼。d）轉(zhuǎn)換后的數(shù)據(jù)結(jié)構(gòu)應(yīng)與目標(biāo)數(shù)據(jù)庫(kù)的結(jié)構(gòu)相兼容；e）數(shù)據(jù)向目標(biāo)移動(dòng)時(shí)，將其從源數(shù)據(jù)中移除，或數(shù)據(jù)復(fù)制到多個(gè)目標(biāo)中；f）轉(zhuǎn)換失敗應(yīng)立即停止，開(kāi)始查找問(wèn)題；g）長(zhǎng)時(shí)間未轉(zhuǎn)換結(jié)束，需仔細(xì)核查數(shù)據(jù)量、規(guī)則和字段是否一致，如有問(wèn)題應(yīng)立即停止；h）應(yīng)在解決查找到的問(wèn)題后再開(kāi)始數(shù)據(jù)轉(zhuǎn)換。7.9結(jié)果檢驗(yàn)7DB21/T3893—20237.9.1檢驗(yàn)內(nèi)容檢驗(yàn)內(nèi)容應(yīng)包括：a）主鍵重復(fù)：檢驗(yàn)多個(gè)業(yè)務(wù)系統(tǒng)中同類(lèi)數(shù)據(jù)經(jīng)過(guò)清洗后，在統(tǒng)一保存時(shí)，主鍵的唯一性；b）非法代碼、非法值：檢查個(gè)別字段出現(xiàn)的異常信息，包括非法代碼、代碼與數(shù)據(jù)標(biāo)準(zhǔn)不一致、取值錯(cuò)誤、格式錯(cuò)誤、多余字符、亂碼等；c）數(shù)據(jù)格式：檢驗(yàn)表中屬性值的格式是否正確，衡量其準(zhǔn)確性，如時(shí)間格式、幣種格式、業(yè)務(wù)部門(mén)格式、物料格式等；d）記錄數(shù)：檢驗(yàn)各個(gè)系統(tǒng)相關(guān)數(shù)據(jù)之間的數(shù)據(jù)總數(shù)或檢驗(yàn)數(shù)據(jù)表中每日數(shù)據(jù)量的波動(dòng)；e）業(yè)務(wù)約束：應(yīng)從業(yè)務(wù)的角度檢驗(yàn)數(shù)據(jù)的正確性、一致性、有效性等，如出（入）庫(kù)日期、客戶(hù)（供應(yīng)商）基本信息、設(shè)備運(yùn)行信息等；f）標(biāo)準(zhǔn)約束：對(duì)照系統(tǒng)數(shù)據(jù)應(yīng)符合的標(biāo)準(zhǔn)進(jìn)行校驗(yàn)。7.9.2結(jié)果要求7.9.2.1規(guī)范性數(shù)據(jù)的質(zhì)量及存儲(chǔ)標(biāo)準(zhǔn)應(yīng)統(tǒng)一，源數(shù)據(jù)應(yīng)在源頭或備份表中能找到，數(shù)據(jù)在字段、記錄內(nèi)容或數(shù)據(jù)集內(nèi)不應(yīng)有重復(fù)值。7.9.2.2完整性數(shù)據(jù)集合中應(yīng)包含足夠的數(shù)據(jù)來(lái)響應(yīng)各種查詢(xún)和支持各種計(jì)算。數(shù)據(jù)完整性體現(xiàn)在以下方面：a）元數(shù)據(jù)的完整性，例如：唯一性約束完整性、參照完整性等；b）數(shù)據(jù)條目完整性，例如：數(shù)據(jù)記錄丟失或不可用會(huì)影響數(shù)據(jù)的完整性等；c）數(shù)據(jù)屬性完整性，例如：數(shù)據(jù)屬性空值情況等。7.9.2.3準(zhǔn)確性數(shù)據(jù)所指內(nèi)容對(duì)數(shù)據(jù)所指對(duì)象的反應(yīng)、表現(xiàn)應(yīng)準(zhǔn)確，數(shù)據(jù)形式對(duì)數(shù)據(jù)內(nèi)容的表述、表達(dá)應(yīng)準(zhǔn)確。7.9.2.4一致性數(shù)據(jù)一致性應(yīng)符合以下要求：a）同一個(gè)數(shù)據(jù)在同一時(shí)刻在不同數(shù)據(jù)庫(kù)、應(yīng)用和系統(tǒng)中應(yīng)只有一個(gè)值；b）數(shù)據(jù)字段內(nèi)數(shù)據(jù)應(yīng)與字段描述一致；c）最終結(jié)果數(shù)據(jù)的統(tǒng)計(jì)量應(yīng)與預(yù)測(cè)一致；d）數(shù)據(jù)項(xiàng)應(yīng)在取值范圍、單位、精度等方面保持一致。7.9.2.5時(shí)效性不同類(lèi)型的應(yīng)用對(duì)數(shù)據(jù)的時(shí)間特性有不同的要求，數(shù)據(jù)的時(shí)間特性應(yīng)滿(mǎn)足業(yè)務(wù)應(yīng)用的要求，數(shù)據(jù)記錄應(yīng)根據(jù)時(shí)間特性及時(shí)更新。7.9.2.6可訪(fǎng)問(wèn)性數(shù)據(jù)來(lái)源穩(wěn)定，數(shù)據(jù)結(jié)果應(yīng)支撐后續(xù)業(yè)務(wù)。7.9.3檢驗(yàn)步驟結(jié)果檢驗(yàn)應(yīng)包括以下步驟：a）按7.9.1規(guī)定檢驗(yàn)清洗加工后的數(shù)據(jù)資源情況；8DB21/T3893—2023b）按7.9.2要求核對(duì)數(shù)據(jù)資源達(dá)標(biāo)情況；c）當(dāng)數(shù)據(jù)資源未達(dá)到7.9.2要求，應(yīng)返回再次進(jìn)行數(shù)據(jù)轉(zhuǎn)換；d）當(dāng)數(shù)據(jù)資源達(dá)到7.9.2要求，應(yīng)進(jìn)行數(shù)據(jù)加載或結(jié)束數(shù)據(jù)清洗。7.10數(shù)據(jù)加載數(shù)據(jù)加載應(yīng)滿(mǎn)足以下要求：a）數(shù)據(jù)價(jià)值方式應(yīng)匹配數(shù)據(jù)抽取方式，包含全量加載、增量加載，如海量數(shù)據(jù)、數(shù)據(jù)變化比較規(guī)律、變化數(shù)據(jù)相對(duì)總量較小、業(yè)務(wù)系統(tǒng)能直接提供增量數(shù)據(jù)時(shí)，宜使用增量加載；b）數(shù)據(jù)加載環(huán)境應(yīng)能支撐相應(yīng)數(shù)據(jù)；c）數(shù)據(jù)加載工具具有高效的加載性能，應(yīng)能至少滿(mǎn)足業(yè)務(wù)需求；d）數(shù)據(jù)加載策略應(yīng)考慮數(shù)據(jù)加載周期和數(shù)據(jù)追加策略；e）數(shù)據(jù)加載應(yīng)記錄日志，并按相關(guān)規(guī)定留存日志文件；f）數(shù)據(jù)加載過(guò)程可根據(jù)實(shí)際操作情況，在定義規(guī)則過(guò)程前進(jìn)行。8環(huán)境要求8.1數(shù)據(jù)脫敏8.1.1脫敏流程應(yīng)在保證敏感信息不被泄露的環(huán)境下進(jìn)行工業(yè)數(shù)據(jù)清洗，工業(yè)數(shù)據(jù)脫敏工作流程包括發(fā)現(xiàn)敏感數(shù)據(jù)、標(biāo)識(shí)敏感數(shù)據(jù)、確定脫敏方法、定義脫敏規(guī)則、執(zhí)行脫敏操作和評(píng)估脫敏效果等環(huán)節(jié)。8.1.2發(fā)現(xiàn)敏感數(shù)據(jù)基于工業(yè)數(shù)據(jù)分類(lèi)分級(jí)制度，在完整的數(shù)據(jù)范圍內(nèi)查找并發(fā)現(xiàn)敏感數(shù)據(jù)，并明確敏感數(shù)據(jù)結(jié)構(gòu)化或非結(jié)構(gòu)化的數(shù)據(jù)表現(xiàn)形態(tài)，如敏感數(shù)據(jù)固定的字段格式。在發(fā)現(xiàn)敏感數(shù)據(jù)過(guò)程中，應(yīng)滿(mǎn)足以下內(nèi)容：a）定義數(shù)據(jù)脫敏工作執(zhí)行的范圍，應(yīng)在該范圍內(nèi)執(zhí)行敏感數(shù)據(jù)的發(fā)現(xiàn)工作；b）應(yīng)通過(guò)對(duì)數(shù)據(jù)表名稱(chēng)、字段名稱(chēng)、數(shù)據(jù)記錄內(nèi)容、數(shù)據(jù)表備注、數(shù)據(jù)文件內(nèi)容等直接匹配或正則表達(dá)式匹配發(fā)現(xiàn)敏感數(shù)據(jù)；c）宜考慮數(shù)據(jù)引用的完整性，如保證數(shù)據(jù)庫(kù)的引用完整性約束；d）數(shù)據(jù)發(fā)現(xiàn)手段應(yīng)支持主流的數(shù)據(jù)庫(kù)系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)、文件系統(tǒng)，同時(shí)應(yīng)支持云計(jì)算環(huán)境下的主流新型存儲(chǔ)系統(tǒng)；e）宜利用自動(dòng)識(shí)別工具執(zhí)行數(shù)據(jù)發(fā)現(xiàn)工作，并降低該過(guò)程對(duì)生產(chǎn)系統(tǒng)的影響；f）數(shù)據(jù)發(fā)現(xiàn)工具應(yīng)具有擴(kuò)展機(jī)制，可根據(jù)業(yè)務(wù)需要自定義敏感數(shù)據(jù)的發(fā)現(xiàn)邏輯；g）應(yīng)固化常用的敏感數(shù)據(jù)發(fā)現(xiàn)規(guī)則，例如身份證號(hào)、手機(jī)號(hào)等敏感數(shù)據(jù)的發(fā)現(xiàn)規(guī)則，避免重復(fù)定義數(shù)據(jù)發(fā)現(xiàn)規(guī)則。8.1.3標(biāo)識(shí)敏感數(shù)據(jù)在發(fā)現(xiàn)敏感數(shù)據(jù)后，應(yīng)對(duì)敏感數(shù)據(jù)進(jìn)行標(biāo)識(shí)，包括標(biāo)識(shí)敏感數(shù)據(jù)的位置、敏感數(shù)據(jù)的格式等信息。敏感數(shù)據(jù)的標(biāo)識(shí)方法應(yīng)確保敏感數(shù)據(jù)標(biāo)識(shí)信息能夠隨敏感數(shù)據(jù)一起流動(dòng)，并不易于刪除和篡改，從而可以對(duì)敏感數(shù)據(jù)的訪(fǎng)問(wèn)、傳輸和處理進(jìn)行跟蹤和監(jiān)督，以確保敏感數(shù)據(jù)的安全合規(guī)性。在標(biāo)識(shí)敏感數(shù)據(jù)時(shí)，應(yīng)滿(mǎn)足以下內(nèi)容：a）應(yīng)盡早在數(shù)據(jù)的收集階段就對(duì)敏感數(shù)據(jù)進(jìn)行識(shí)別和標(biāo)識(shí)，這樣便于在數(shù)據(jù)的整個(gè)生命周期階段對(duì)敏感數(shù)據(jù)進(jìn)行有效管理；9DB21/T3893—2023b）敏感數(shù)據(jù)的標(biāo)識(shí)方法應(yīng)考慮便捷性和安全性，使得標(biāo)識(shí)后的數(shù)據(jù)很容易被識(shí)別，同時(shí)，要確保敏感數(shù)據(jù)標(biāo)識(shí)信息不容易被惡意攻擊者刪除和篡改；c）敏感數(shù)據(jù)的標(biāo)識(shí)方法應(yīng)支持靜態(tài)數(shù)據(jù)的敏感標(biāo)識(shí)及動(dòng)態(tài)流數(shù)據(jù)的敏感標(biāo)識(shí)。8.1.4確定脫敏方法可選的數(shù)據(jù)脫敏方法包括靜態(tài)數(shù)據(jù)脫敏和動(dòng)態(tài)數(shù)據(jù)脫敏。不同的數(shù)據(jù)脫敏方法對(duì)數(shù)據(jù)源的影響不同，脫敏的時(shí)效性也不一樣。脫敏方法確定后，可選擇對(duì)應(yīng)的數(shù)據(jù)脫敏工具。在確定數(shù)據(jù)脫敏方案時(shí)，應(yīng)滿(mǎn)足以下內(nèi)容：a）靜態(tài)數(shù)據(jù)脫敏方法是對(duì)原始數(shù)據(jù)進(jìn)行一次脫敏，脫敏后的結(jié)果數(shù)據(jù)可以多次使用，適合使用場(chǎng)景比較單一的場(chǎng)合；b）動(dòng)態(tài)數(shù)據(jù)脫敏方法是在敏感數(shù)據(jù)顯示時(shí)，針對(duì)不同用戶(hù)需求，對(duì)顯示數(shù)據(jù)進(jìn)行屏蔽處理的數(shù)據(jù)脫敏方式，它要求系統(tǒng)有安全措施確保用戶(hù)不能夠繞過(guò)數(shù)據(jù)脫敏層次直接接觸敏感數(shù)據(jù)。動(dòng)態(tài)數(shù)據(jù)脫敏適合用戶(hù)需求不確定、使用場(chǎng)景復(fù)雜的情形。8.1.5定義脫敏規(guī)則在敏感數(shù)據(jù)生命周期識(shí)別的基礎(chǔ)上，應(yīng)明確存在數(shù)據(jù)脫敏需求的業(yè)務(wù)場(chǎng)景，并結(jié)合行業(yè)法規(guī)的要求和業(yè)務(wù)場(chǎng)景的需求，制定相應(yīng)業(yè)務(wù)場(chǎng)景下有效的數(shù)據(jù)脫敏規(guī)則。在定義脫敏規(guī)則過(guò)程中，應(yīng)滿(mǎn)足以下內(nèi)容：a）應(yīng)遵循的個(gè)人隱私保護(hù)、數(shù)據(jù)安全保護(hù)等關(guān)鍵領(lǐng)域的國(guó)內(nèi)外法規(guī)、行業(yè)監(jiān)管規(guī)范或標(biāo)準(zhǔn)，以此作為數(shù)據(jù)脫敏規(guī)則必須遵循的原則；b）對(duì)已識(shí)別出的敏感數(shù)據(jù)執(zhí)行全生命周期（產(chǎn)生、采集、使用、交換、銷(xiāo)毀）流程的梳理，應(yīng)明確在全生命周期各階段，用戶(hù)對(duì)數(shù)據(jù)的訪(fǎng)問(wèn)需求和當(dāng)前的權(quán)限設(shè)置情況，分析整理出存在數(shù)據(jù)脫敏需求的業(yè)務(wù)場(chǎng)景。例如，在梳理過(guò)程中，會(huì)發(fā)現(xiàn)存在對(duì)敏感數(shù)據(jù)的訪(fǎng)問(wèn)需求和訪(fǎng)問(wèn)權(quán)限不匹配的情況（用戶(hù)僅需獲取敏感數(shù)據(jù)中部分內(nèi)容即可，但卻擁有對(duì)敏感數(shù)據(jù)內(nèi)容全部的訪(fǎng)權(quán)限），因此該業(yè)務(wù)場(chǎng)景存在敏感數(shù)據(jù)的脫敏需求；c）分析存在數(shù)據(jù)脫敏需求的業(yè)務(wù)場(chǎng)景，在“最小夠用”的原則下明確待脫敏的數(shù)據(jù)內(nèi)容、符合業(yè)務(wù)需求的脫敏方式，以及該業(yè)務(wù)的服務(wù)水平方面的要求，以便于脫敏規(guī)則的制定；d）數(shù)據(jù)脫敏工具應(yīng)提供擴(kuò)展機(jī)制，從而讓用戶(hù)可根據(jù)需求自定義脫敏的方法；e）通過(guò)數(shù)據(jù)脫敏工具選擇數(shù)據(jù)脫敏方法時(shí)，脫敏工具中應(yīng)對(duì)各類(lèi)方法的使用進(jìn)行詳細(xì)的說(shuō)明，說(shuō)明應(yīng)包括但不限于規(guī)則的實(shí)現(xiàn)原理、數(shù)據(jù)引用完整性影響、數(shù)據(jù)語(yǔ)義完整性影響、數(shù)據(jù)分布頻率影響、約束和限制等，以支撐脫敏工具的使用者在選擇脫敏方式時(shí)做出正確的選擇；f）應(yīng)固化常用的敏感數(shù)據(jù)脫敏規(guī)則，例如身份證號(hào)、手機(jī)號(hào)等的常用脫敏規(guī)則，避免數(shù)據(jù)脫敏項(xiàng)目實(shí)施過(guò)程中重復(fù)定義數(shù)據(jù)脫敏規(guī)則。8.1.6執(zhí)行脫敏操作數(shù)據(jù)脫敏操作可包括條數(shù)據(jù)脫敏和塊數(shù)據(jù)脫敏。條數(shù)據(jù)脫敏是對(duì)單條數(shù)據(jù)根據(jù)脫敏規(guī)則實(shí)施脫敏，塊數(shù)據(jù)脫敏是對(duì)聚合數(shù)據(jù)實(shí)施脫敏。在日常的脫敏工作中，監(jiān)控分析數(shù)據(jù)脫敏過(guò)程的穩(wěn)定性、以及對(duì)業(yè)務(wù)的影響性，同時(shí)對(duì)脫敏工作開(kāi)展定期的安全審計(jì)，已發(fā)現(xiàn)脫敏工作中存在的安全風(fēng)險(xiǎn)。在執(zhí)行脫敏操作過(guò)程中，應(yīng)滿(mǎn)足以下內(nèi)容：a）支持從數(shù)據(jù)源克隆數(shù)據(jù)到新環(huán)境（例如從生產(chǎn)環(huán)境、備份庫(kù)克隆數(shù)據(jù)到新環(huán)境），并在新環(huán)境中進(jìn)行脫敏過(guò)程的執(zhí)行，也支持在數(shù)據(jù)源端直接進(jìn)行脫敏；b）對(duì)脫敏任務(wù)的管理，宜考慮采用自動(dòng)化管理的方式提升任務(wù)管理效率，例如定時(shí)、條件設(shè)置的方式觸發(fā)脫敏任務(wù)的執(zhí)行；c）執(zhí)行對(duì)脫敏任務(wù)的運(yùn)行監(jiān)控，宜考慮任務(wù)執(zhí)行的穩(wěn)定性以及脫敏任務(wù)對(duì)業(yè)務(wù)的影響；10DB21/T3893—2023d）設(shè)置專(zhuān)人定期對(duì)數(shù)據(jù)脫敏的相關(guān)日志記錄進(jìn)行安全審計(jì)，發(fā)布審計(jì)報(bào)告，并跟進(jìn)審計(jì)中發(fā)現(xiàn)的例外和異常，審計(jì)應(yīng)重點(diǎn)關(guān)注高權(quán)限賬號(hào)的操作日志和脫敏工作的記錄日志。8.1.7評(píng)估脫敏效果通過(guò)收集、整理數(shù)據(jù)脫敏工作執(zhí)行的數(shù)據(jù)，例如相關(guān)監(jiān)控?cái)?shù)據(jù)、審計(jì)數(shù)據(jù)，對(duì)數(shù)據(jù)脫敏的前期工作開(kāi)展情況進(jìn)行反饋，從而優(yōu)化相關(guān)規(guī)程，明確數(shù)據(jù)脫敏過(guò)程中應(yīng)滿(mǎn)足的內(nèi)容。在評(píng)估脫敏效果過(guò)程中，應(yīng)滿(mǎn)足以下內(nèi)容：a）利用測(cè)試工具評(píng)估脫敏后數(shù)據(jù)對(duì)應(yīng)用系統(tǒng)的功能、性能影響，從而明確對(duì)整體業(yè)務(wù)服務(wù)水平的影響，測(cè)試負(fù)載宜盡量保證與生產(chǎn)環(huán)境一致，宜盡量提供從生產(chǎn)環(huán)境克隆數(shù)據(jù)訪(fǎng)問(wèn)負(fù)載到脫敏系統(tǒng)進(jìn)行回放測(cè)試的功能；b）應(yīng)根據(jù)組織業(yè)務(wù)發(fā)展的情況和脫敏工作執(zhí)行的反饋，優(yōu)化數(shù)據(jù)脫敏工作開(kāi)展的規(guī)程。8.2數(shù)據(jù)安全應(yīng)在與互聯(lián)網(wǎng)隔絕的安全環(huán)境下清洗工業(yè)數(shù)據(jù)，環(huán)境應(yīng)支持?jǐn)?shù)據(jù)可存儲(chǔ)、可轉(zhuǎn)化，工業(yè)數(shù)據(jù)清洗應(yīng)符合GB/T22239-2019、GB/T35274-2017和GB/T37973-2019的相關(guān)要求，確保工業(yè)數(shù)據(jù)的保密性和完整性。8.3人員能力工業(yè)數(shù)據(jù)清洗人員應(yīng)經(jīng)過(guò)相應(yīng)的技術(shù)和安全培訓(xùn)，具有數(shù)據(jù)清洗的能力，取得相關(guān)業(yè)務(wù)領(lǐng)域的數(shù)據(jù)管理認(rèn)證資格，并能按照數(shù)據(jù)安全管理相關(guān)制度完成工業(yè)數(shù)據(jù)清洗工作。9質(zhì)量要求清洗后的工業(yè)數(shù)據(jù)應(yīng)符合數(shù)據(jù)流通的質(zhì)量管理要求，工業(yè)數(shù)據(jù)質(zhì)量特性包括：規(guī)范性、完整性、準(zhǔn)確性、一致性、時(shí)效性及