(高清版)DB5227∕T 112-2022 智慧黔南 數(shù)據(jù)質(zhì)量評(píng)價(jià)規(guī)范

ICS35.240.01CCSL705227IDB5227/T112—2022前言 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4數(shù)據(jù)質(zhì)量評(píng)價(jià)總體流程 25數(shù)據(jù)質(zhì)量評(píng)價(jià)要求 35.1確定業(yè)務(wù)目標(biāo)和要求 35.2剖析待評(píng)價(jià)數(shù)據(jù) 45.3明確數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo) 55.4設(shè)計(jì)質(zhì)量校驗(yàn)規(guī)則 55.5配置質(zhì)量校驗(yàn)規(guī)則 95.6評(píng)估數(shù)據(jù)質(zhì)量并輸出報(bào)告 96整改問(wèn)題數(shù)據(jù) 7數(shù)據(jù)共享開(kāi)放工作流程 附錄A（資料性）表級(jí)計(jì)算得分示例 12附錄B（資料性）部門(mén)級(jí)計(jì)算得分示例 13附錄C（資料性）數(shù)據(jù)質(zhì)量報(bào)告樣例 14C.1數(shù)據(jù)質(zhì)量情況分析 C.2數(shù)據(jù)質(zhì)量得分及排名對(duì)比 C.3數(shù)據(jù)異常響應(yīng)問(wèn)題變化趨勢(shì) C.4問(wèn)題數(shù)據(jù)整改建議 附錄D（規(guī)范性）黔南州數(shù)據(jù)共享開(kāi)放工作流程 17參考文獻(xiàn) DB5227/T112—2022本文件按照GB/T1.12020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任本文件由黔南州大數(shù)據(jù)發(fā)展管理局提出。本文件由黔南州大數(shù)據(jù)發(fā)展管理局歸口。本文件起草單位：黔南州大數(shù)據(jù)發(fā)展管理局、黔南州市場(chǎng)監(jiān)督管理局、都勻市大數(shù)據(jù)發(fā)展服務(wù)中心、廣西大學(xué)計(jì)算機(jī)與電子信息學(xué)院、黔南民族師范學(xué)院、北京東方國(guó)信科技股份有限公司、中國(guó)電信股份有限公司黔南分公司。本文件主要起草人：潘志刊、楊宗俊、顏家遠(yuǎn)、劉超、黃子吉、何曉慧、陳文濤、宋俊、李怡青、董婧、殷文輝、左為、韋廣柱、劉峻、李明江、周錦程、張永麗、胡嘉斌、宋佳南、楊森、傳洪波。1DB5227/T112—2022智慧黔南數(shù)據(jù)質(zhì)量評(píng)價(jià)規(guī)范本文件規(guī)定了智慧黔南數(shù)據(jù)質(zhì)量評(píng)價(jià)規(guī)范的全流程，包括數(shù)據(jù)質(zhì)量評(píng)價(jià)總體流程、數(shù)據(jù)質(zhì)量評(píng)價(jià)要求、整改問(wèn)題數(shù)據(jù)、數(shù)據(jù)共享開(kāi)放工作流程。本文件適用于智慧黔南數(shù)據(jù)質(zhì)量評(píng)價(jià)規(guī)范的具體實(shí)施工作，為各行業(yè)各部門(mén)評(píng)價(jià)數(shù)據(jù)質(zhì)量提供參考。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.1信息技術(shù)詞匯第1部分：基本術(shù)語(yǔ)GB/T5271.17信息技術(shù)詞匯第17部分：數(shù)據(jù)庫(kù)GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)3術(shù)語(yǔ)和定義GB/T5271、GB/T36344界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1數(shù)據(jù)關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述），以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪(fǎng)問(wèn)權(quán)和數(shù)據(jù)易變性的數(shù)據(jù)。[來(lái)源：GB/T5271.17—2010，17.06.05]3.2元數(shù)據(jù)關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述），以及關(guān)于數(shù)據(jù)擁有權(quán)、存取路徑、訪(fǎng)問(wèn)權(quán)和數(shù)據(jù)易變性的數(shù)據(jù)。[來(lái)源：GB/T5271.17—2010，17.06.05]3.3數(shù)據(jù)質(zhì)量在指定條件下使用時(shí)，數(shù)據(jù)的特性滿(mǎn)足明確的和隱含的要求的程度。[來(lái)源：GB/T36344—2018，2.3]3.4原始數(shù)據(jù)終端用戶(hù)所存儲(chǔ)使用的各種未經(jīng)過(guò)處理或簡(jiǎn)化的數(shù)據(jù)。[來(lái)源：GB/T36344—2018，2.4]2DB5227/T112—20223.5數(shù)據(jù)集具有一定主題，可以標(biāo)識(shí)并可以被計(jì)算機(jī)化處理的數(shù)據(jù)集合。[來(lái)源：GB/T36344—2018，2.6]3.6數(shù)據(jù)質(zhì)量校驗(yàn)對(duì)數(shù)據(jù)質(zhì)量進(jìn)行校對(duì)、核查的過(guò)程。3.7數(shù)據(jù)質(zhì)量評(píng)價(jià)指以原始數(shù)據(jù)為基礎(chǔ)，充分考慮數(shù)據(jù)之間的相關(guān)性、匹配性、邏輯性，采用科學(xué)方法對(duì)數(shù)據(jù)的規(guī)范性、完整性、準(zhǔn)確性、一致性、時(shí)效性、可訪(fǎng)問(wèn)性進(jìn)行判斷和分析，對(duì)可能存在的數(shù)據(jù)質(zhì)量問(wèn)題進(jìn)行追溯和核實(shí)，對(duì)數(shù)據(jù)進(jìn)行確認(rèn)的過(guò)程。3.8數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)的命名、定義、結(jié)構(gòu)和取值范圍方面的規(guī)則和基準(zhǔn)。[來(lái)源：GB/T36344—2018，2.8]3.9數(shù)據(jù)剖析用適當(dāng)?shù)慕y(tǒng)計(jì)、分析等方法對(duì)原始數(shù)據(jù)進(jìn)行分析，對(duì)其特征加以匯總和理解，以求最大化地開(kāi)發(fā)數(shù)據(jù)的功能，發(fā)揮數(shù)據(jù)的作用。4數(shù)據(jù)質(zhì)量評(píng)價(jià)總體流程數(shù)據(jù)質(zhì)量評(píng)價(jià)流程可保證數(shù)據(jù)質(zhì)量評(píng)價(jià)整個(gè)過(guò)程的有序及有效進(jìn)行，具體流程如圖1所示：3DB5227/T112—2022圖1數(shù)據(jù)質(zhì)量評(píng)價(jià)流程5數(shù)據(jù)質(zhì)量評(píng)價(jià)要求5.1確定業(yè)務(wù)目標(biāo)和要求內(nèi)容包括但不限于：——項(xiàng)目的背景、計(jì)劃和目標(biāo)；——數(shù)據(jù)存在的具體問(wèn)題；——問(wèn)題數(shù)據(jù)的產(chǎn)生，例如流程、組織、技術(shù)等；4DB5227/T112—2022——問(wèn)題數(shù)據(jù)解決的優(yōu)先次序。5.2剖析待評(píng)價(jià)數(shù)據(jù)內(nèi)容包括但不限于：——數(shù)據(jù)的元數(shù)據(jù)信息，例如數(shù)據(jù)名稱(chēng)、數(shù)據(jù)格式、數(shù)據(jù)類(lèi)型、數(shù)據(jù)精度等?！獢?shù)據(jù)值的分布信息，例如主鍵唯一性、缺失值、取值范圍、異常符號(hào)等?！O(shè)定字段的級(jí)別，按業(yè)務(wù)重要性程度和數(shù)據(jù)問(wèn)題的嚴(yán)重性程度對(duì)原始數(shù)據(jù)進(jìn)行業(yè)務(wù)影響分級(jí)，分為一級(jí)、二級(jí)、三級(jí)。三級(jí)級(jí)別最高，重要程度分類(lèi)方式如下：三級(jí)：業(yè)務(wù)主鍵；二級(jí)：數(shù)值型、日期型、文本類(lèi)表示的日期字段，短文本類(lèi)字段(如名稱(chēng)、地址、代碼、類(lèi)型等特征字段)，權(quán)威數(shù)據(jù)來(lái)源字段；5DB5227/T112—2022一級(jí)：空值率大于80%、其他類(lèi)型字段，如：源業(yè)務(wù)系統(tǒng)字段、長(zhǎng)文本描述類(lèi)型字段。5.3明確數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)數(shù)據(jù)質(zhì)量評(píng)價(jià)指標(biāo)劃分為：完整性、一致性、準(zhǔn)確性、合理性、唯一性與及時(shí)性六個(gè)維度。其中，完整性、一致性、準(zhǔn)確性應(yīng)符合GB/T36344的規(guī)定。5.4設(shè)計(jì)質(zhì)量校驗(yàn)規(guī)則5.4.1制定校驗(yàn)規(guī)則概述根據(jù)質(zhì)量評(píng)價(jià)指標(biāo)制定12項(xiàng)質(zhì)量校驗(yàn)規(guī)則，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行計(jì)算、評(píng)分，質(zhì)量評(píng)價(jià)指標(biāo)和校驗(yàn)規(guī)則的對(duì)應(yīng)關(guān)系見(jiàn)表1。表1質(zhì)量評(píng)價(jià)指標(biāo)對(duì)應(yīng)的質(zhì)量校驗(yàn)規(guī)則表123456789完整性6DB5227/T112—2022按照數(shù)據(jù)規(guī)則要求，數(shù)據(jù)元素被賦予數(shù)值的程度，包括數(shù)據(jù)元素的完整性和數(shù)據(jù)記錄的完整性。對(duì)應(yīng)的規(guī)則為：字段完整性校驗(yàn)、空值校驗(yàn)、記錄數(shù)校驗(yàn)、參照校驗(yàn)-雙向校驗(yàn)，完整性評(píng)價(jià)指標(biāo)見(jiàn)表2。表2完整性校驗(yàn)規(guī)則1234A=數(shù)據(jù)內(nèi)容與參照數(shù)據(jù)相互不包含的數(shù)據(jù)數(shù)注：X代表數(shù)據(jù)質(zhì)量評(píng)價(jià)值一致性數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無(wú)矛盾的程度，包括相同數(shù)據(jù)一致性和關(guān)聯(lián)數(shù)據(jù)一致性。對(duì)應(yīng)的規(guī)則為一致性校驗(yàn)，一致性評(píng)價(jià)指標(biāo)見(jiàn)表3。表3一致性校驗(yàn)規(guī)則1對(duì)分布在不同庫(kù)表中的相同數(shù)據(jù)A=校驗(yàn)列中與參照列中數(shù)據(jù)內(nèi)容不一致的數(shù)據(jù)記單表匯總校驗(yàn)：校驗(yàn)列數(shù)據(jù)匯總值和參照列數(shù)據(jù)雙表匯總校驗(yàn)：校驗(yàn)表與參照表關(guān)聯(lián)后校驗(yàn)列數(shù)A=校驗(yàn)表與參照表關(guān)聯(lián)后校驗(yàn)列數(shù)據(jù)和參照列數(shù)7DB5227/T112—2022注：X代表數(shù)據(jù)質(zhì)量評(píng)價(jià)值準(zhǔn)確性數(shù)據(jù)準(zhǔn)確性表示其所描述的真實(shí)實(shí)體（實(shí)際對(duì)象）真實(shí)值的程度，包括數(shù)據(jù)內(nèi)容正確性、數(shù)據(jù)格式合規(guī)性、臟數(shù)據(jù)出現(xiàn)率。對(duì)應(yīng)的規(guī)則為：值域校驗(yàn)、格式校驗(yàn)、參照校驗(yàn)-單向校驗(yàn)，準(zhǔn)確性評(píng)價(jià)指標(biāo)見(jiàn)表4。表4準(zhǔn)確性校驗(yàn)規(guī)則1校驗(yàn)數(shù)據(jù)的值是否在預(yù)設(shè)的范圍2YYYY-MM-DDHH:MI:SS電話(huà)格3校驗(yàn)數(shù)據(jù)在參照數(shù)據(jù)中的包含程A=數(shù)據(jù)內(nèi)容不包含在參照數(shù)據(jù)的范圍內(nèi)的數(shù)據(jù)記注：X代表數(shù)據(jù)質(zhì)量評(píng)價(jià)值合理性根據(jù)數(shù)據(jù)之間的業(yè)務(wù)邏輯合理的程度，對(duì)應(yīng)的規(guī)則為：邏輯校驗(yàn)、波動(dòng)性校驗(yàn)、關(guān)系校驗(yàn)，合理性評(píng)價(jià)指標(biāo)見(jiàn)表5。表5合理性校驗(yàn)規(guī)則1邏輯校驗(yàn)檢查數(shù)據(jù)是否滿(mǎn)足一定條邏輯校驗(yàn)檢查數(shù)據(jù)是否滿(mǎn)足一定條件的要求。分為單行邏輯、維度匯維度匯總統(tǒng)計(jì)校驗(yàn)：維度匯總結(jié)果存在得滿(mǎn)分8DB5227/T112—20222驗(yàn)波動(dòng)校驗(yàn)通過(guò)對(duì)兩段不同時(shí)期數(shù)據(jù)的比較，檢驗(yàn)數(shù)據(jù)波動(dòng)情況是否合理。波動(dòng)校驗(yàn)分同比校驗(yàn)、環(huán)比校當(dāng)C超出預(yù)先設(shè)定的閾值得0分，未超出得滿(mǎn)分當(dāng)C超出預(yù)先設(shè)定的閾值得0分，未超出得滿(mǎn)分統(tǒng)計(jì)周期與本文件第章節(jié)“同比校驗(yàn)”當(dāng)C超出預(yù)先設(shè)定的閾值得0分，未超出得滿(mǎn)分統(tǒng)計(jì)周期與本文件第章節(jié)“同比校驗(yàn)”3A=校驗(yàn)列數(shù)據(jù)不符合參照列數(shù)據(jù)兩者關(guān)聯(lián)關(guān)系注：X代表數(shù)據(jù)質(zhì)量評(píng)價(jià)值唯一性9DB5227/T112—2022特定字段、記錄、文件或數(shù)據(jù)集唯一性的度量。對(duì)應(yīng)的規(guī)則為：重復(fù)校驗(yàn)，唯一性評(píng)價(jià)指標(biāo)見(jiàn)表6。表6唯一性校驗(yàn)規(guī)則1校驗(yàn)?zāi)骋换蚨鄠€(gè)校驗(yàn)列數(shù)據(jù)是否有注：X代表數(shù)據(jù)質(zhì)量評(píng)價(jià)值及時(shí)性數(shù)據(jù)的加工是否滿(mǎn)足時(shí)效性要求。對(duì)應(yīng)的規(guī)則為：記錄數(shù)校驗(yàn)，及時(shí)性評(píng)價(jià)指標(biāo)見(jiàn)表7。表7及時(shí)性校驗(yàn)規(guī)則1校驗(yàn)?zāi)骋桓轮芷趦?nèi)數(shù)據(jù)量是否5.4.2定義規(guī)則權(quán)重定義規(guī)則權(quán)重根據(jù)數(shù)據(jù)剖析階段確定的字段的重要程度來(lái)定，由高到低分別為3、2、1，重要程度越高的字段權(quán)重越高，即三級(jí)字段權(quán)重為3，二級(jí)字段權(quán)重為2，一級(jí)字段權(quán)重為1。其中，同一字段的所有規(guī)則的權(quán)重都相同，如果是多個(gè)字段關(guān)聯(lián)的規(guī)則取權(quán)重低的作為此規(guī)則的權(quán)重。5.5配置質(zhì)量校驗(yàn)規(guī)則將三級(jí)和二級(jí)字段與已有的數(shù)據(jù)標(biāo)準(zhǔn)進(jìn)行映射，查看是否有對(duì)應(yīng)的標(biāo)準(zhǔn)：——對(duì)已有數(shù)據(jù)標(biāo)準(zhǔn)的字段，按標(biāo)準(zhǔn)配置稽核規(guī)則；——對(duì)沒(méi)有數(shù)據(jù)標(biāo)準(zhǔn)的字段，根據(jù)剖析階段得出的字段的數(shù)據(jù)特征設(shè)計(jì)稽核規(guī)則。將校驗(yàn)規(guī)則配置至系統(tǒng)平臺(tái)中，其中應(yīng)注意：——宜對(duì)數(shù)據(jù)清洗前和數(shù)據(jù)清洗后的數(shù)據(jù)表配置校驗(yàn)規(guī)則，以便通過(guò)對(duì)清洗前后校驗(yàn)結(jié)果進(jìn)行分析和改進(jìn)；——當(dāng)有多個(gè)校驗(yàn)規(guī)則時(shí)，每一個(gè)字段配置一個(gè)校驗(yàn)規(guī)則；——通過(guò)設(shè)置權(quán)重，優(yōu)化校驗(yàn)結(jié)果；——在時(shí)間充足的情況下，宜配置規(guī)則說(shuō)明。5.6評(píng)估數(shù)據(jù)質(zhì)量并輸出報(bào)告5.6.1概述數(shù)據(jù)質(zhì)量評(píng)價(jià)分3個(gè)層次：規(guī)則級(jí)、表級(jí)、部門(mén)級(jí)。5.6.2制定評(píng)分規(guī)則DB5227/T112—2022規(guī)則級(jí)計(jì)算公式各類(lèi)數(shù)據(jù)質(zhì)量校驗(yàn)規(guī)則得分的計(jì)算公式，應(yīng)符合5.4.1的規(guī)定。表級(jí)計(jì)算公式表級(jí)得分均遵循下列計(jì)算公式進(jìn)行計(jì)算得出：式中：i——第i個(gè)Wsum——總權(quán)重。表級(jí)計(jì)算得分的示例,見(jiàn)附錄A。部門(mén)級(jí)計(jì)算公式部門(mén)級(jí)得分均遵循下列計(jì)算公式進(jìn)行計(jì)算得出：式中：部門(mén)級(jí)計(jì)算得分的示例，見(jiàn)附錄B。5.6.3評(píng)定質(zhì)量等級(jí)數(shù)據(jù)質(zhì)量等級(jí)按照數(shù)據(jù)質(zhì)量評(píng)分區(qū)間劃分三個(gè)等級(jí)，由高至低分別為質(zhì)優(yōu)、質(zhì)中、質(zhì)差，等級(jí)的評(píng)價(jià)分值如下：——質(zhì)優(yōu)：80≤質(zhì)量得分≤100；——質(zhì)中：60≤質(zhì)量得分<80；——質(zhì)差：質(zhì)量得分<60。5.6.4輸出數(shù)據(jù)質(zhì)量報(bào)告DB5227/T112—2022數(shù)據(jù)質(zhì)量報(bào)告的樣例見(jiàn)附錄C。6整改問(wèn)題數(shù)據(jù)系統(tǒng)平臺(tái)根據(jù)校驗(yàn)規(guī)則對(duì)原始數(shù)據(jù)進(jìn)行校驗(yàn)，生成數(shù)據(jù)質(zhì)量報(bào)告，并將問(wèn)題數(shù)據(jù)推送至數(shù)據(jù)提供方，由數(shù)據(jù)提供方對(duì)問(wèn)題數(shù)據(jù)進(jìn)行整改，處理后的數(shù)據(jù)重新接入，并進(jìn)行數(shù)據(jù)校驗(yàn)，生成新的數(shù)據(jù)質(zhì)量報(bào)告，可重復(fù)執(zhí)行以上步驟直至整改到?jīng)]有問(wèn)題數(shù)據(jù)。整改問(wèn)題數(shù)據(jù)的流程見(jiàn)圖2。圖2問(wèn)題數(shù)據(jù)整改流程7數(shù)據(jù)共享開(kāi)放工作流程各部門(mén)開(kāi)展數(shù)據(jù)共享開(kāi)放工作，應(yīng)符合附錄D的規(guī)定。DB5227/T112—2022表級(jí)計(jì)算得分示例表A.1某表的得分3322根據(jù)表A列出的某表各字段的規(guī)則得分，計(jì)算該表的得分。根據(jù)給出的計(jì)算公式，計(jì)算過(guò)程如下：即：該表的數(shù)據(jù)質(zhì)量評(píng)價(jià)得分為92.06。DB5227/T112—2022部門(mén)級(jí)計(jì)算得分示例表B.1部門(mén)的各表得分根據(jù)表B列出的各表的得分，計(jì)算該部門(mén)的得分。根據(jù)給出的計(jì)算公式，計(jì)算過(guò)程如下：即：該部門(mén)的數(shù)據(jù)質(zhì)量評(píng)價(jià)得分為86.08。DB5227/T112—2022（資料性）數(shù)據(jù)質(zhì)量報(bào)告樣例黔南州XXX局XXXX年XX月數(shù)據(jù)質(zhì)量報(bào)告C.1數(shù)據(jù)質(zhì)量情況分析截至202X年X月X日，黔南州XXX局?jǐn)?shù)據(jù)質(zhì)量得分為63分，質(zhì)量為中等。共檢測(cè)了XX表、XX表、XX表共X個(gè)；其中質(zhì)優(yōu)表對(duì)象X個(gè)，質(zhì)中表對(duì)象X個(gè)，質(zhì)差表對(duì)象X個(gè)。涉及X個(gè)質(zhì)量評(píng)估維度，其中，完整性得分XX，一致性得分XX，準(zhǔn)確性得分XX,合理性得分XX，唯一性得分XX，及時(shí)性得分XX。C.2數(shù)據(jù)質(zhì)量得分及排名對(duì)比C.2.1黔南州XXX局?jǐn)?shù)據(jù)質(zhì)量得分變化趨勢(shì)：C.2.2各表數(shù)據(jù)質(zhì)量得分排名：DB5227/T112—2022C.3數(shù)據(jù)異常響應(yīng)問(wèn)題變化趨勢(shì)將質(zhì)量稽核規(guī)則分為六大類(lèi)進(jìn)行問(wèn)題率的統(tǒng)計(jì)，下圖是黔南州XXX局涉及的數(shù)據(jù)準(zhǔn)確性、完整性問(wèn)題率變化趨勢(shì)圖：C.4問(wèn)題數(shù)據(jù)整改建議黔南州XX局的數(shù)據(jù)存在以下問(wèn)題，建議整改：1)XX表：名稱(chēng)不規(guī)范的有XX%，日期格式不對(duì)的有XX%，手機(jī)號(hào)碼長(zhǎng)度不對(duì)的有XX%……。DB5227/T112—20222)XX部門(mén)：XX表數(shù)據(jù)出現(xiàn)完整性問(wèn)題，建議自行恢復(fù)數(shù)據(jù)，人工恢復(fù)得XX分