DB11T 2317-2024 政務(wù)數(shù)據(jù)質(zhì)量評(píng)估規(guī)范

ICS35.240.99CCSA00

DB11北 京 市 地 方 標(biāo) 準(zhǔn)DB11/T2317—2024政務(wù)數(shù)據(jù)質(zhì)量評(píng)估規(guī)范Specificationforgovernmentdataqualityevaluation2024-09-23發(fā)布 2025-01-01實(shí)施北京市市場(chǎng)監(jiān)督管理局 發(fā)布DB11/T2317—2024目 次前言 II范圍 1規(guī)性用1術(shù)和1數(shù)質(zhì)六評(píng)估 2數(shù)質(zhì)五評(píng)級(jí) 5數(shù)質(zhì)評(píng)程序 7參考9IDB11/T2317—2024前 言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件由北京市經(jīng)濟(jì)和信息化局提出。本文件由北京市政務(wù)服務(wù)和數(shù)據(jù)管理局歸口并組織實(shí)施。IIDB11/T2317—2024政務(wù)數(shù)據(jù)質(zhì)量評(píng)估規(guī)范范圍本文件規(guī)定了政務(wù)數(shù)據(jù)質(zhì)量“五級(jí)六性”評(píng)估模型、評(píng)估指標(biāo)、評(píng)級(jí)方法、評(píng)估程序等內(nèi)容。本文件適用于政務(wù)數(shù)據(jù)匯聚、治理、共享過(guò)程中對(duì)數(shù)據(jù)質(zhì)量的評(píng)估管理。本文件沒(méi)有規(guī)范性引用文件。下列術(shù)語(yǔ)和定義適用于本文件。3.1政務(wù)據(jù) governmentdata數(shù)據(jù)各級(jí)政務(wù)部門及其支撐單位在履行職責(zé)過(guò)程中依法采集、生成、存儲(chǔ)、管理的各類數(shù)據(jù)資源。[來(lái)源：GB/T38664.1—2020,3.1，有修改]3.2據(jù)量 dataquality基于對(duì)數(shù)據(jù)使用的預(yù)期，在指定條件下使用時(shí)，數(shù)據(jù)的特性滿足明確的和隱含的要求的程度。[來(lái)源：GB/T36344-2018,2.3，有修改]3.3核表 auditfrom通過(guò)數(shù)據(jù)質(zhì)量稽核后存儲(chǔ)的數(shù)據(jù)庫(kù)表，表中有數(shù)據(jù)質(zhì)量稽核的結(jié)果。數(shù)據(jù)質(zhì)量六性評(píng)估模型主要從數(shù)據(jù)規(guī)范性、完整性、準(zhǔn)確性、一致性、及時(shí)性和可用性6個(gè)維度進(jìn)行了定義，評(píng)估模型見(jiàn)圖1。1DB11/T2317—2024圖1 數(shù)據(jù)量性估數(shù)據(jù)質(zhì)量評(píng)估管理，包括數(shù)據(jù)規(guī)范性、完整性、準(zhǔn)確性、一致性、及時(shí)性和可用性6個(gè)維度。數(shù)據(jù)規(guī)范性：描述數(shù)據(jù)內(nèi)容、值域、格式等符合標(biāo)準(zhǔn)數(shù)據(jù)元的情況，衡量數(shù)據(jù)標(biāo)準(zhǔn)、規(guī)范程度。數(shù)據(jù)完整性：描述數(shù)據(jù)的描述性要素、要素屬性及要素關(guān)系的完整情況，衡量數(shù)據(jù)在存儲(chǔ)、傳輸和處理過(guò)程中的完整程度。數(shù)據(jù)準(zhǔn)確性：描述數(shù)據(jù)與其對(duì)應(yīng)的客觀實(shí)體的特征相一致的情況，衡量數(shù)據(jù)符合實(shí)際情況的程度。指標(biāo)編碼是政務(wù)數(shù)據(jù)質(zhì)量評(píng)估的唯一性編碼，由一級(jí)指標(biāo)、二級(jí)指標(biāo)共4位數(shù)字組成，編碼規(guī)則見(jiàn)圖2。圖2 數(shù)據(jù)量性估標(biāo)碼規(guī)則一級(jí)指標(biāo)由2位數(shù)字組成，01代表數(shù)據(jù)規(guī)范性指標(biāo)、02代表數(shù)據(jù)完整性指標(biāo)、03代表數(shù)據(jù)準(zhǔn)確性指標(biāo)、04代表數(shù)據(jù)一致性指標(biāo)、05代表數(shù)據(jù)及時(shí)性指標(biāo)、06代表數(shù)據(jù)可用性指標(biāo)。二級(jí)指標(biāo)由2位數(shù)字組成順序碼，范圍為01-99。數(shù)據(jù)規(guī)范性指標(biāo)定義及評(píng)分方式見(jiàn)表1。2DB11/T2317—2024表1 數(shù)據(jù)量性估據(jù)范性指標(biāo)編號(hào)指標(biāo)名稱指標(biāo)描述示例評(píng)分方式評(píng)分標(biāo)準(zhǔn)0101格式校驗(yàn)數(shù)據(jù)屬性值應(yīng)滿足數(shù)據(jù)標(biāo)準(zhǔn)或數(shù)據(jù)字典中定義的展現(xiàn)格式約束示例：日期字段定義為日期類的格式定量評(píng)分稽核表指定稽核列在限定范圍內(nèi)的不符合格式的數(shù)據(jù)數(shù)量為B，稽核表限定范圍內(nèi)總條數(shù)為A，則該資源得分X（1-B/A）×100。0102參照性校校驗(yàn)稽核數(shù)據(jù)與參照數(shù)據(jù)進(jìn)行比較校驗(yàn)，判斷指定稽核列中不符合參照列內(nèi)數(shù)據(jù)的情況示例：在人口登記信息表中，稽核數(shù)據(jù)是人口登記性別數(shù)據(jù)，參照數(shù)據(jù)是性別碼表，性別為：未知的性別0、男性1、女性2、未說(shuō)明的性別9，參照性校驗(yàn)，即人口登記數(shù)據(jù)的性別必須為0、1、2、9，不應(yīng)出現(xiàn)其他代碼。定量評(píng)分稽核表指定稽核列在限定范圍內(nèi)的不符合參照數(shù)據(jù)的數(shù)量為B，稽核表限定范圍內(nèi)總條數(shù)為A，則該資源得分X（1-B/A）×100。0103參照性校驗(yàn)-雙向校驗(yàn)稽核數(shù)據(jù)與參照數(shù)據(jù)進(jìn)行比較校驗(yàn)，判斷指定稽核列中不符合參照列內(nèi)數(shù)據(jù)的情況示例：在人口登記信息表中，稽核數(shù)據(jù)是人口登記性別數(shù)據(jù)，參照數(shù)據(jù)是性別碼表，性別為：未知的性別0、男性1、女性2、未說(shuō)明的性別9，要求人口登記數(shù)據(jù)的性別既有男性又有女性，若性別中只有1或只有2是錯(cuò)誤的。定性評(píng)分1、結(jié)果正確，則該資源得分X=100；2、結(jié)果錯(cuò)誤，則該數(shù)據(jù)資源得分X=0。0104業(yè)務(wù)規(guī)則校驗(yàn)稽核數(shù)據(jù)符合業(yè)務(wù)規(guī)則的程度示例：身份證號(hào)字段要符合身份證的編碼規(guī)則。定量評(píng)分稽核表指定稽核列在限定范圍內(nèi)的不符合業(yè)務(wù)規(guī)則的數(shù)據(jù)質(zhì)量為B，稽核表限定范圍內(nèi)總條數(shù)為A，則該資源得分X=（1-B/A）×100。數(shù)據(jù)完整性指標(biāo)定義及評(píng)分方式見(jiàn)表2。表2 數(shù)據(jù)量性估據(jù)整性指標(biāo)編號(hào)指標(biāo)名稱指標(biāo)描述示例評(píng)分方式評(píng)分標(biāo)準(zhǔn)0201字段完整性描述實(shí)際匯聚數(shù)據(jù)資源的字段是否與資源目錄注冊(cè)的字段數(shù)量、描述保持一致。定性評(píng)分1、若保持一致，則該資源得分X=100；2、若不一致，則該數(shù)據(jù)資源得分X=0。0202空值校驗(yàn)業(yè)務(wù)主鍵或重要字段等必填項(xiàng)的數(shù)據(jù)值不能為空值。示例：涉人數(shù)據(jù)資源的姓名、身份證號(hào)等重要字段數(shù)據(jù)值不能為空。定量評(píng)分稽核表指定稽核列在限定范圍內(nèi)的空值數(shù)量為B，該稽核表限定范圍內(nèi)總條數(shù)為A，則該資源得分X=（1-B/A）×100。3DB11/T2317—2024表2 數(shù)質(zhì)六評(píng)數(shù)據(jù)整指（）指標(biāo)編號(hào)指標(biāo)名稱指標(biāo)描述示例評(píng)分方式評(píng)分標(biāo)準(zhǔn)0203數(shù)據(jù)記錄完按照業(yè)務(wù)規(guī)則要求，示例：某數(shù)據(jù)資源定性評(píng)分1、若滿足，則該資源得分整性校驗(yàn)驗(yàn)證當(dāng)前稽核表中滿實(shí)際業(yè)務(wù)產(chǎn)生時(shí)間X=100；足過(guò)濾條件的數(shù)據(jù)記為1966年，而實(shí)際2、若不滿足，則該數(shù)據(jù)資源得錄數(shù)范圍是否滿足預(yù)匯聚數(shù)據(jù)只有2000分X=0。先設(shè)定規(guī)則，包括時(shí)年后的數(shù)據(jù)，那此間維度和空間維度。數(shù)據(jù)資源不滿足數(shù)據(jù)記錄完整性要求0204核心字段完數(shù)據(jù)的核心關(guān)鍵字段示例：涉人數(shù)據(jù)中定量評(píng)分稽核表中指定稽核列在限定范整性內(nèi)容應(yīng)完整有效。證件號(hào)碼、涉企數(shù)圍內(nèi)核心字段內(nèi)容缺失的數(shù)據(jù)據(jù)中統(tǒng)一社會(huì)信用數(shù)量為B，稽核表限定范圍內(nèi)總代碼等唯一標(biāo)識(shí)字條數(shù)為A，則該資源得分X=（1-段數(shù)據(jù)內(nèi)容應(yīng)完B/A）×100。整。數(shù)據(jù)準(zhǔn)確性指標(biāo)定義及評(píng)分方式見(jiàn)表3。表3 數(shù)據(jù)量性估據(jù)確性指標(biāo)編號(hào)指標(biāo)名稱指標(biāo)描述示例評(píng)分方式評(píng)分標(biāo)準(zhǔn)0301重復(fù)校驗(yàn)檢查單列或者多列數(shù)據(jù)組合是否存在重復(fù)記錄。示例：一個(gè)身份證號(hào)碼只能對(duì)應(yīng)唯一的一個(gè)自然人。定量評(píng)分稽核表指定稽核列在限定范圍內(nèi)的重復(fù)數(shù)量為B，稽核表限定范圍內(nèi)總條數(shù)為A，則該資源得分X=（1-B/A）×100。0302值域校驗(yàn)描述數(shù)據(jù)是否與其對(duì)應(yīng)的客觀實(shí)示例：年齡的取值范圍應(yīng)該在0-200歲之間。定量評(píng)分稽核表指定稽核列在限定范圍內(nèi)的不符合值域范圍數(shù)量為B，稽核表限定范圍內(nèi)總條數(shù)為A，則該資源得分X=（1-B/A）×100。0303數(shù)據(jù)內(nèi)容可靠性校驗(yàn)描述數(shù)據(jù)內(nèi)容是否真實(shí)可靠，是否為無(wú)效的數(shù)據(jù)。示例：企業(yè)注冊(cè)資金為-100萬(wàn)，因注冊(cè)資金不能為負(fù)值，此項(xiàng)數(shù)據(jù)內(nèi)容無(wú)效。定量評(píng)分稽核表指定稽核列在限定范圍內(nèi)的數(shù)據(jù)內(nèi)容為無(wú)效的數(shù)量為B，稽核表限定范AB/A）×100。數(shù)據(jù)一致性指標(biāo)定義及評(píng)分方式見(jiàn)表4。表4 數(shù)據(jù)量性估據(jù)致性指標(biāo)編號(hào)指標(biāo)名稱指標(biāo)描述示例評(píng)分方式評(píng)分標(biāo)準(zhǔn)0401邏輯校驗(yàn)檢驗(yàn)稽核表中數(shù)據(jù)的邏輯性或邏輯關(guān)系。示例：入學(xué)時(shí)間應(yīng)當(dāng)早于畢業(yè)時(shí)間。定量評(píng)分稽核表指定稽核列中不符合邏輯關(guān)系的數(shù)量為B，稽核表限定范圍內(nèi)總條數(shù)為A，則該資源得分為X=（1-B/A）×100。0402一致性?；吮韮?nèi)數(shù)示例1：?jiǎn)伪韱涡校矸葑C定量評(píng)分稽核表指定稽核列中不符合一致驗(yàn)據(jù)，或表間數(shù)號(hào)碼的7—14位要與出生日性約束記錄數(shù)量為B，稽核表限據(jù)是否相等。期一致；定范圍內(nèi)總條數(shù)為A，則該資源示例2：雙表單行，同一個(gè)得分X=（1-B/A）×100。身份證號(hào)碼在多個(gè)表中對(duì)應(yīng)的姓名要一致。4DB11/T2317—2024數(shù)據(jù)及時(shí)性指標(biāo)定義及評(píng)分方式見(jiàn)表5。表5 數(shù)據(jù)量性估據(jù)時(shí)性指標(biāo)編號(hào)指標(biāo)名稱指標(biāo)描述示例評(píng)分方式評(píng)分標(biāo)準(zhǔn)0501更新周期描述數(shù)據(jù)資源的更示例：門診定性評(píng)分根據(jù)數(shù)據(jù)的業(yè)務(wù)屬性來(lái)判定數(shù)據(jù)更新周期是合理性新周期是否符合數(shù)就診記錄數(shù)否合理。據(jù)實(shí)際產(chǎn)生周期情據(jù)更新周期1、若數(shù)據(jù)更新周期合理，該數(shù)據(jù)資源得分況。規(guī)范政務(wù)部門為1天。年為X=100；把數(shù)據(jù)更新周期設(shè)報(bào)類數(shù)據(jù)的2、若數(shù)據(jù)更新周期不合理，該數(shù)據(jù)資源得置在合理的范圍。更新周期應(yīng)分X=0。為1年。0502更新及時(shí)描述數(shù)據(jù)資源是否示例：政務(wù)定性評(píng)分根據(jù)數(shù)據(jù)是否及時(shí)按照更新周期合理，來(lái)判率按照業(yè)務(wù)上數(shù)據(jù)實(shí)部門設(shè)置資斷數(shù)據(jù)是否及時(shí)更新。際產(chǎn)生的更新周期源數(shù)據(jù)更新1、若數(shù)據(jù)是按時(shí)更新或未到更新時(shí)間，該進(jìn)行更新。規(guī)范政為1月，則數(shù)據(jù)資源得分X=100；務(wù)部門能夠按時(shí)進(jìn)需要每月更2、若數(shù)據(jù)未按時(shí)更新或無(wú)法判斷是否更行數(shù)據(jù)的更新。新數(shù)據(jù)新，該數(shù)據(jù)資源得分X=0。數(shù)據(jù)可用性指標(biāo)定義及評(píng)分方式見(jiàn)表6。表6 數(shù)據(jù)量性估據(jù)用性指標(biāo)編號(hào)指標(biāo)名稱指標(biāo)描述示例評(píng)分方式評(píng)分標(biāo)準(zhǔn)0601可直接利描述數(shù)據(jù)資源的示例：源端是數(shù)據(jù)定性評(píng)分1、若原始數(shù)據(jù)為庫(kù)表格式的結(jié)構(gòu)化數(shù)用性可直接使用程庫(kù)表直接通過(guò)數(shù)據(jù)據(jù)，則該數(shù)據(jù)資源得分X=100；度。如果源端是庫(kù)表對(duì)接實(shí)現(xiàn)。2、若原始數(shù)據(jù)為非結(jié)構(gòu)化數(shù)據(jù)或者未入數(shù)據(jù)庫(kù)類型，可庫(kù)的數(shù)據(jù)，則該數(shù)據(jù)資源得分X=0。直接通過(guò)數(shù)據(jù)庫(kù)表的方式共享，增強(qiáng)數(shù)據(jù)的可用性。0602數(shù)據(jù)可理指數(shù)據(jù)庫(kù)表中的示例：通過(guò)數(shù)據(jù)碼定量評(píng)分?jǐn)?shù)據(jù)庫(kù)表中字段對(duì)應(yīng)的描述不準(zhǔn)確或缺解性（數(shù)字段應(yīng)有對(duì)應(yīng)的表，將數(shù)據(jù)庫(kù)表字失的數(shù)量為B，數(shù)據(jù)庫(kù)表中字段總數(shù)為據(jù)描述文描述文檔（如數(shù)段CSRQ與“出生日A，則該資源得分X=（1-B/A）×100。檔）期”相對(duì)應(yīng)。等），描述需準(zhǔn)確，便于更好的理解數(shù)據(jù)。：15%；：20%；：20%；5DB11/T2317—2024：15%；：15%；：15%。1) 30%；：20%；20%；30%。1) ：25%；2) 25%；：20%；：30%。1) 2) 3) ：30%。1) ：50%；2) 50%。：50%；：50%。：50%；（）：50%。100展。.......................................（1）式中：X——數(shù)據(jù)一級(jí)指標(biāo)得分；xi——數(shù)據(jù)二級(jí)指標(biāo)得分；wi——數(shù)據(jù)二級(jí)指標(biāo)權(quán)重。注1：不同數(shù)據(jù)資源適用評(píng)估指標(biāo)不同，各部門根據(jù)業(yè)務(wù)數(shù)據(jù)實(shí)際使用場(chǎng)景設(shè)定數(shù)據(jù)指標(biāo)權(quán)重。同的權(quán)重。數(shù)據(jù)是否準(zhǔn)確、完整，能否被有效使用，是數(shù)據(jù)應(yīng)用的基礎(chǔ)，因此，數(shù)據(jù)的準(zhǔn)確性評(píng)分和6DB11/T2317—2024完整性評(píng)分需配置較高的權(quán)重。如若在某些特定場(chǎng)景需求下對(duì)數(shù)據(jù)時(shí)效性要求高，則應(yīng)當(dāng)將數(shù)據(jù)及時(shí)性評(píng)分配置較高的權(quán)重。............... （2）.式中：X1——數(shù)據(jù)規(guī)范性得分；X2——數(shù)據(jù)完整性得分；X3——數(shù)據(jù)準(zhǔn)確性得分；X4——數(shù)據(jù)一致性得分；X5——數(shù)據(jù)及時(shí)性得分；X6——數(shù)據(jù)可用性得分；W1——數(shù)據(jù)規(guī)范性權(quán)重；W2——數(shù)據(jù)完整性權(quán)重；W3——數(shù)據(jù)準(zhǔn)確性權(quán)重；W4——數(shù)據(jù)一致性權(quán)重；W5——數(shù)據(jù)及時(shí)性權(quán)重；W6——數(shù)據(jù)可用性權(quán)重。A、BC、、EABCDE7。表7 數(shù)據(jù)量級(jí)級(jí)級(jí)述及應(yīng)情況質(zhì)量等級(jí)數(shù)據(jù)質(zhì)量等級(jí)描述及可應(yīng)用情況分值參考范圍A數(shù)據(jù)質(zhì)量高，可直接使用數(shù)據(jù)S＞85B數(shù)據(jù)質(zhì)量較高，經(jīng)過(guò)基礎(chǔ)處理后可使用80＜S≤85C數(shù)據(jù)質(zhì)量存在輕微問(wèn)題，經(jīng)過(guò)數(shù)據(jù)共性清洗后可使用75＜S≤80D數(shù)據(jù)質(zhì)量存在一般問(wèn)題，進(jìn)行針對(duì)性的數(shù)據(jù)清洗后可使用60＜S≤75E數(shù)據(jù)質(zhì)量存在重大問(wèn)題，須從源頭進(jìn)行數(shù)據(jù)整改S