DB2301T 113-2022公共數(shù)據(jù)采集規(guī)范

ICS35.020CCSL70DB2301黑龍江省哈爾濱市地方標(biāo)準(zhǔn)DBT2022Specificationsforpublicdataacquisition2022-11-14發(fā)布2022-12-13實(shí)施哈爾濱市市場監(jiān)督管理局發(fā)布IDB2301/T113—2022 A 0 DB2301/T113—2022前言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由哈爾濱市大數(shù)據(jù)中心提出并歸口。本文件起草單位：哈爾濱市大數(shù)據(jù)中心。本文件主要起草人：張文程、劉承啟、張茁、顧鳴聲、姜榮昌、劉桓、國曉宇、蔣彤影、吳瓊、裴偉明、蔣月英、張長龍、楊拓。1DB2301/T113—2022公共數(shù)據(jù)采集規(guī)范1范圍本文件規(guī)定了公共數(shù)據(jù)采集的術(shù)語和定義、總體要求、數(shù)據(jù)采集準(zhǔn)備、數(shù)據(jù)采集方法、數(shù)據(jù)映射關(guān)系、數(shù)據(jù)采集方式、數(shù)據(jù)質(zhì)量控制、績效評價。本文件適用于規(guī)范哈爾濱市公共數(shù)據(jù)開放平臺的數(shù)據(jù)采集工作。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。GB/T22239-2008信息安全技術(shù)信息系統(tǒng)安全等級保護(hù)基本要求GB/T35274信息安全技術(shù)大數(shù)據(jù)服務(wù)安全能力要求GB/T38888數(shù)據(jù)采集軟件的性能及校準(zhǔn)方法DB2301/T91公共數(shù)據(jù)資源目錄工作規(guī)范3術(shù)語和定義下列術(shù)語和定義適用于本文件。3.1公共數(shù)據(jù)commondata國家機(jī)關(guān)和法律、法規(guī)授權(quán)的具有管理公共事務(wù)職能的組織以及供水、供電、供氣、供熱、通訊、公共交通等公共服務(wù)運(yùn)營單位(以下統(tǒng)稱公共管理和服務(wù)機(jī)構(gòu))在依法履職或者提供公共管理和服務(wù)過程中收集、產(chǎn)生的，以一定形式記錄、保存的各類數(shù)據(jù)及其衍生數(shù)據(jù)。注：包含政務(wù)、公益事業(yè)單位數(shù)據(jù)和公用企業(yè)數(shù)據(jù)。3.2公共數(shù)據(jù)平臺commondataplatform統(tǒng)一規(guī)劃、統(tǒng)籌建設(shè)，用于承載市級大數(shù)據(jù)業(yè)務(wù)的平臺。3.3數(shù)據(jù)采集dataacquisition將特定原始數(shù)據(jù)收集進(jìn)入公共數(shù)據(jù)平臺的過程。3.4數(shù)據(jù)協(xié)議方dataprotocolparty通過公共數(shù)據(jù)平臺提供資源的公共管理和服務(wù)機(jī)構(gòu)。4總體要求2DB2301/T113—20224.1公共數(shù)據(jù)平臺方應(yīng)建立統(tǒng)一的采集管理制度，滿足公共數(shù)據(jù)管理總體框架的要求，并配備系統(tǒng)管理員，實(shí)行逐級授權(quán)管理，實(shí)現(xiàn)管理角色的劃分。4.2公共數(shù)據(jù)平臺方應(yīng)制定具體操作流程，按流程進(jìn)行數(shù)據(jù)采集，保障公共數(shù)據(jù)平臺能正確執(zhí)行數(shù)據(jù)采集任務(wù)。4.3公共數(shù)據(jù)平臺方應(yīng)保證采集數(shù)據(jù)運(yùn)行環(huán)境的安全，公共數(shù)據(jù)平臺安全等級保護(hù)基本要求滿足GB/T22239三級的規(guī)定。4.4公共數(shù)據(jù)平臺方通過對數(shù)據(jù)協(xié)議方的數(shù)據(jù)及數(shù)據(jù)接口進(jìn)行分析，優(yōu)化數(shù)據(jù)采集方案，確定數(shù)據(jù)采集方式。4.5數(shù)據(jù)協(xié)議方應(yīng)遵守公共數(shù)據(jù)平臺方制定的管理制度和操作流程。4.6數(shù)據(jù)協(xié)議方應(yīng)梳理其公共數(shù)據(jù)資源目錄，明確公共數(shù)據(jù)更新頻率。4.7數(shù)據(jù)協(xié)議方應(yīng)配備部門操作員，負(fù)責(zé)數(shù)據(jù)采集對接工作，按公共數(shù)據(jù)平臺數(shù)據(jù)采集流程采集、上傳數(shù)據(jù)。5數(shù)據(jù)采集準(zhǔn)備5.1注冊和變更公共管理和服務(wù)機(jī)構(gòu)應(yīng)在公共數(shù)據(jù)管理平臺用戶注冊信息，并填寫附錄A中表A.1《平臺用戶申請表》，將申請材料提交至公共數(shù)據(jù)管理部門，由公共數(shù)據(jù)管理部門按圖1的流程，對申請表內(nèi)容進(jìn)行審核。填寫內(nèi)容完整、清晰的，審核予以通過。若審核未通過，應(yīng)告知公共管理和服務(wù)機(jī)構(gòu)未通過的原因，由公共管理和服務(wù)機(jī)構(gòu)修改后重新提交，完成申請后，成為數(shù)據(jù)協(xié)議方，并按照公共數(shù)據(jù)平臺方的要求進(jìn)行管理與授權(quán)。3DB2301/T113—2022圖1平臺用戶注冊流程圖5.1.1數(shù)據(jù)協(xié)議方如需要變更用戶信息，應(yīng)在公共數(shù)據(jù)管理平臺填寫附錄A中表A.2《平臺用戶變更申請表》，將申請材料提交至公共數(shù)據(jù)管理部門，由公共數(shù)據(jù)管理部門按圖2的流程變更用戶信息及權(quán)4DB2301/T113—2022圖2平臺變更用戶流程5.2數(shù)據(jù)資源目錄管理5.2.1數(shù)據(jù)協(xié)議方應(yīng)分析本單位涉及的公共數(shù)據(jù)，按照DB2301/T91的規(guī)則，編制本單位公共數(shù)據(jù)資源目錄，按圖3的流程在公共數(shù)據(jù)平臺注冊。公共數(shù)據(jù)平臺方對注冊的公共數(shù)據(jù)資源目錄進(jìn)行審核，符合DB2301/T91的要求，審核予以通過。若審核不通過，應(yīng)告知原因。數(shù)據(jù)協(xié)議方修改后，需重新提交審核。5DB2301/T113—2022圖3公共資源目錄注冊流程注：數(shù)據(jù)協(xié)議方在完成公共數(shù)據(jù)資源目錄申請后，由公共數(shù)據(jù)平臺方對公共數(shù)據(jù)資源目錄對應(yīng)的數(shù)據(jù)庫表類信息資源、文件類信息資源、接口類信息資源進(jìn)行審核。5.2.2如發(fā)生機(jī)構(gòu)改革或者法定職責(zé)調(diào)整，數(shù)據(jù)協(xié)議方應(yīng)在有關(guān)法律法規(guī)作出修訂或行政職能發(fā)生變更之日起，按圖4的流程，對相應(yīng)的公共數(shù)據(jù)資源目錄名稱、信息項(xiàng)、描述等內(nèi)容進(jìn)行變更，確保公共數(shù)據(jù)資源目錄與實(shí)際情況的一致。公共數(shù)據(jù)平臺方對變更的公共數(shù)據(jù)資源目錄進(jìn)行審核，符合DB2301/T91的要求，審核予以通過。若審核不通過，應(yīng)告知原因。數(shù)據(jù)協(xié)議方修改后，需重新提交審核。6DB2301/T113—2022圖4公共資源目錄變更流程注：數(shù)據(jù)協(xié)議方在完成公共數(shù)據(jù)資源目錄變更申請后，應(yīng)保證數(shù)據(jù)庫表資源隨目錄變更的生效同步完成變更。5.3數(shù)據(jù)安全保障5.3.1公共數(shù)據(jù)平臺方應(yīng)建立公共數(shù)據(jù)資源安全管理制度，分級管理、按流程申請、按流程修改。確保數(shù)據(jù)來源的合法性、正當(dāng)性、可定位溯源性，滿足公共數(shù)據(jù)資源采集審計(jì)及監(jiān)測的要求。5.3.2公共數(shù)據(jù)平臺方應(yīng)建立數(shù)據(jù)訪問權(quán)限管理制度，明確公共數(shù)據(jù)平臺方和數(shù)據(jù)協(xié)議方分級權(quán)限安全管理職責(zé)分工和工作要求，對數(shù)據(jù)采集環(huán)境、設(shè)施和技術(shù)采取安全管控措施，數(shù)據(jù)在整個采集、轉(zhuǎn)化、傳輸過程中應(yīng)依據(jù)授權(quán)使用，不被非法冒充、竊取、篡改、抵賴。5.3.3公共數(shù)據(jù)平臺方應(yīng)建立公共數(shù)據(jù)安全監(jiān)測、安全審計(jì)、數(shù)字簽名、數(shù)據(jù)加密等技術(shù)或手段，對不同數(shù)據(jù)進(jìn)行分類并標(biāo)識.采用安全技術(shù)進(jìn)行安全維護(hù)。5.3.4公共數(shù)據(jù)平臺方應(yīng)建立應(yīng)急事件響應(yīng)機(jī)制，編制應(yīng)急預(yù)案，開展應(yīng)急演練，編制應(yīng)急演練報告，持續(xù)優(yōu)化應(yīng)急預(yù)案等。5.3.5公共數(shù)據(jù)平臺方數(shù)據(jù)服務(wù)安全能力應(yīng)符合GB/T35274的規(guī)定，定期對公共數(shù)據(jù)采集的安全性進(jìn)行風(fēng)險評估，并據(jù)此制定相應(yīng)的風(fēng)險處理計(jì)劃，及時排查安全漏洞、加固安全技術(shù)。7DB2301/T113—20225.3.6公共數(shù)據(jù)平臺方應(yīng)開展公共數(shù)據(jù)管理安全培訓(xùn)，編制公共數(shù)據(jù)安全培訓(xùn)規(guī)劃，培訓(xùn)公共數(shù)據(jù)專業(yè)知識，開展公共數(shù)據(jù)安全工作經(jīng)驗(yàn)交流，宣傳公共數(shù)據(jù)安全知識等。5.3.7公共數(shù)據(jù)平臺方應(yīng)明確數(shù)據(jù)采集過程中個人信息和重要數(shù)據(jù)的知悉范圍和安全管控措施。并采取必要的技術(shù)手段和管理措施保證數(shù)據(jù)不被泄露。5.3.8數(shù)據(jù)協(xié)議方應(yīng)梳理接入應(yīng)用系統(tǒng)和終端的公共數(shù)據(jù)，確定接入終端數(shù)量、網(wǎng)絡(luò)帶寬和接入地點(diǎn)等信息，制定接入實(shí)施方案，明確訪問控制、接入認(rèn)證和審計(jì)等安全措施。6數(shù)據(jù)采集方案6.1采集方案應(yīng)包括采集內(nèi)容、采集頻率、采集方式等。6.2采集內(nèi)容由數(shù)據(jù)協(xié)議方填報，分類、分項(xiàng)符合DB2301/T91的規(guī)定。6.3公共數(shù)據(jù)平臺應(yīng)支持增量更新、全量更新、定時更新、事件觸發(fā)更新和手動更新等方式。6.4公共數(shù)據(jù)平臺提供多種標(biāo)準(zhǔn)協(xié)議的服務(wù)接入方式，包括但不限于數(shù)據(jù)庫抽取、服務(wù)網(wǎng)關(guān)、消息隊(duì)列、文件傳輸、直報系統(tǒng)、標(biāo)準(zhǔn)協(xié)議接口。6.5公共數(shù)據(jù)采集實(shí)時性要求低的數(shù)據(jù)可采用定時批量采集的方式，實(shí)時性要求高的數(shù)據(jù)應(yīng)采用實(shí)時采集的方式。6.6公共數(shù)據(jù)量較大、單批量采集可能會造成系統(tǒng)故障的，應(yīng)使用分批采集。6.7宜使用數(shù)據(jù)協(xié)議方系統(tǒng)的備份庫作為采集對象，使用備份庫時應(yīng)保證數(shù)據(jù)一致性和可用性。對于海量數(shù)據(jù)，宜支持分批或增量讀取，宜采用分布式方式對數(shù)據(jù)源進(jìn)行讀取。7數(shù)據(jù)映射關(guān)系7.1數(shù)據(jù)協(xié)議方通過數(shù)據(jù)庫表方式向公共數(shù)據(jù)平臺提供數(shù)據(jù)時，應(yīng)建立數(shù)據(jù)協(xié)議方數(shù)據(jù)庫表與平臺數(shù)據(jù)庫表之間的存儲結(jié)構(gòu)映射關(guān)系，通過數(shù)據(jù)庫表對接。7.2數(shù)據(jù)協(xié)議方以接口方式向公共數(shù)據(jù)平臺提供數(shù)據(jù)時，如返回數(shù)據(jù)為結(jié)構(gòu)化或半結(jié)構(gòu)化的接口類型，應(yīng)建立接口返回數(shù)據(jù)結(jié)構(gòu)與目標(biāo)數(shù)據(jù)庫之間存儲結(jié)構(gòu)映射關(guān)系，通過接口進(jìn)行數(shù)據(jù)采集。7.3數(shù)據(jù)協(xié)議方以接口方式向公共數(shù)據(jù)平臺提供數(shù)據(jù)時，如返回數(shù)據(jù)為非結(jié)構(gòu)化的接口類型，可將文件通過接口上傳后建立文件映射關(guān)系表。8數(shù)據(jù)采集方式8.1數(shù)據(jù)采集方式分類數(shù)據(jù)采集方式包括在線數(shù)據(jù)采集和離線數(shù)據(jù)提交。8.2獲取公共數(shù)據(jù)采集權(quán)限確定公共數(shù)據(jù)采集方案，獲取公共數(shù)據(jù)的采集權(quán)限，包括但不限于：——數(shù)據(jù)量；——數(shù)據(jù)范圍；——采集時間；——采集區(qū)間；——數(shù)據(jù)使用權(quán)限。3DB2301/T113—20228.3在線數(shù)據(jù)采集8.3.1在線數(shù)據(jù)采集符合圖5的流程。圖5線數(shù)據(jù)采集流程8.3.2確定數(shù)據(jù)項(xiàng)間的邏輯關(guān)系，通過數(shù)據(jù)服務(wù)接口協(xié)議進(jìn)行數(shù)據(jù)傳輸，實(shí)現(xiàn)對接采集。8.3.3數(shù)據(jù)協(xié)議方如發(fā)生數(shù)據(jù)變更，可根據(jù)業(yè)務(wù)需要申請?jiān)黾訑?shù)據(jù)信息項(xiàng)目，由公共數(shù)據(jù)平臺方依申請負(fù)責(zé)創(chuàng)建數(shù)據(jù)項(xiàng)。8.3.4公共數(shù)據(jù)平臺方應(yīng)維護(hù)數(shù)據(jù)采集的業(yè)務(wù)管理規(guī)范，可以查詢、查看采集數(shù)據(jù)信息，但不能新增、刪除數(shù)據(jù)信息。8.3.5公共數(shù)據(jù)平臺方應(yīng)確認(rèn)寫入數(shù)據(jù)與讀取數(shù)據(jù)數(shù)量一致。判定一致后，按流程將數(shù)據(jù)入庫待治理；發(fā)現(xiàn)數(shù)據(jù)存在差異，聯(lián)系數(shù)據(jù)協(xié)議方重新獲取加載信息，并將修改和原始記錄都存儲下來，以供校驗(yàn)，獲取差異數(shù)據(jù)應(yīng)符合GB/T38888的規(guī)定。8.4提交離線數(shù)據(jù)8.4.1離線數(shù)據(jù)可由表格數(shù)據(jù)、文件材料、信息掃描錄入，通過移動介質(zhì)提交，保證數(shù)據(jù)的完整性和準(zhǔn)確性。89DB2301/T113—20228.4.2離線數(shù)據(jù)文件采集應(yīng)與公共數(shù)據(jù)平臺的數(shù)據(jù)庫表結(jié)構(gòu)一一對應(yīng)，確定數(shù)據(jù)分類和格式，實(shí)現(xiàn)數(shù)據(jù)分類入庫存儲。8.5數(shù)據(jù)清洗管理8.5.1對原始數(shù)據(jù)開展數(shù)據(jù)清洗管理，定義清洗規(guī)則，分析、檢查和處理數(shù)據(jù)源存在的質(zhì)量問題。對定義的清洗方法的正確性和效率進(jìn)行驗(yàn)證與評估，對不滿足清洗要求的清洗方法進(jìn)行調(diào)整和改進(jìn)。8.5.2數(shù)據(jù)轉(zhuǎn)換應(yīng)對數(shù)據(jù)的標(biāo)準(zhǔn)代碼、格式、類型等進(jìn)行轉(zhuǎn)換。必要時，可建立數(shù)據(jù)轉(zhuǎn)換規(guī)則表。9數(shù)據(jù)質(zhì)量控制對采集的原始數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換、分析等處理，確保數(shù)據(jù)的完整性、準(zhǔn)確性、一致性、可訪問性、時效性?！暾裕簯?yīng)包含數(shù)據(jù)規(guī)則要求的數(shù)據(jù)的必要元素；——準(zhǔn)確性：應(yīng)真實(shí)反映數(shù)據(jù)所描述的實(shí)體；——一致性：應(yīng)保證數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾；——時效性：應(yīng)保證數(shù)據(jù)發(fā)生變化后及時被更新；——可訪問性：應(yīng)保證數(shù)據(jù)在需要時能被安全訪問；——可追性：應(yīng)保證數(shù)據(jù)能夠被跟蹤和管理。10績效評價10.1總體要求10.1.1應(yīng)通過數(shù)據(jù)的逐年積累，各績效指標(biāo)各年度數(shù)據(jù)的對比分析，建立標(biāo)準(zhǔn)統(tǒng)一、數(shù)據(jù)準(zhǔn)確、普遍認(rèn)可的績效指標(biāo)體系和評分標(biāo)準(zhǔn)。10.1.2績效評價指標(biāo)設(shè)計(jì)應(yīng)能反映數(shù)據(jù)協(xié)議方提供數(shù)據(jù)的基本情況。10.1.3績效評價指標(biāo)設(shè)計(jì)支持自動生成數(shù)據(jù)報表模式。10.1.4可實(shí)行指標(biāo)庫動態(tài)化管理，應(yīng)用于數(shù)據(jù)采集評價。10.1.5績效評價數(shù)據(jù)統(tǒng)計(jì)方式，宜具備易用性和易見性，實(shí)現(xiàn)數(shù)據(jù)易于展示和調(diào)取，操作步驟簡潔合10.2績效指標(biāo)10.2.1按數(shù)據(jù)協(xié)議方注冊的數(shù)據(jù)資源目錄內(nèi)容，分為共性績效指標(biāo)和個性績效指標(biāo)，見附錄B。10.2.2績效指標(biāo)分為三級，包括一級指標(biāo)、二級指標(biāo)、三級指標(biāo)，見附錄B。10.3績效指標(biāo)管理指標(biāo)庫的維護(hù)是指數(shù)據(jù)采集績效指標(biāo)的入庫、調(diào)整、退庫等操作，應(yīng)在既定管理規(guī)則約束下實(shí)施：——對共性績效指標(biāo)，由平臺進(jìn)行維護(hù)；——對個性績效指標(biāo)，由數(shù)據(jù)協(xié)議方提出申請，填報需要新增、調(diào)整或刪除的數(shù)據(jù)采集績效指標(biāo)信息，同時提供相關(guān)的理由或文件依據(jù)，經(jīng)平臺審核，不合格返回數(shù)據(jù)協(xié)議方，合格后進(jìn)行調(diào)整更新。DB2301/T113—2022附錄A(規(guī)范性)數(shù)據(jù)協(xié)議方申請/變更表A.1平臺用戶申請表A.1為平臺用戶申請表。表A.1平臺用戶申請表申請單位名稱統(tǒng)一社會信用代碼單位性質(zhì)單位經(jīng)濟(jì)類型單位所屬行業(yè)單位隸屬關(guān)系單位地址單位負(fù)責(zé)人聯(lián)系方式單位電子郵箱單位郵編聯(lián)絡(luò)人職務(wù)及姓名聯(lián)系方式類別角色所在處室姓名手機(jī)號碼箱部門管理員部門操作員.單位負(fù)責(zé)人意見：單位負(fù)責(zé)人簽字：(公章)DB2301/T113—2022A.2平臺用戶變更申請表表A.2為平臺用戶變更申請表。表A.2平臺用戶變更申請表申請單位名稱統(tǒng)一社會信用代碼單位性質(zhì)單位經(jīng)濟(jì)類型單位所屬行業(yè)單位隸屬關(guān)系單位地址單位負(fù)責(zé)人聯(lián)系方式單位電子郵箱單位郵編變更事項(xiàng)變更理由聯(lián)絡(luò)人職務(wù)及姓名聯(lián)系方式類別角色所在處室姓名手機(jī)號碼箱部門管理員部門操作員.單位負(fù)責(zé)人意見：單位負(fù)責(zé)人簽字：(公章)DB2301/T113—2022附錄B(資料性)數(shù)據(jù)采集績效考核表B.1績效考核指標(biāo)分為共性績效指標(biāo)和個性績效指標(biāo)?！残钥冃е笜?biāo)是適用于所有績效管理對象、常規(guī)性工作的績效指標(biāo)；——個性績效指標(biāo)是適用于不同業(yè)務(wù)主管部門或行業(yè)領(lǐng)域、專業(yè)性較強(qiáng)的指標(biāo)，主要根據(jù)業(yè)務(wù)主管部門或行業(yè)特點(diǎn)設(shè)定。B.2績效指標(biāo)分為三級，一級指標(biāo)為最上級，下級指標(biāo)從屬于上級指標(biāo)：——一級指標(biāo)為采集數(shù)據(jù)項(xiàng)；——二級指標(biāo)對應(yīng)一級指標(biāo)分為支持自動采集數(shù)量指標(biāo)、人工采集通過指標(biāo)、時效指標(biāo)；——三級指標(biāo)由數(shù)據(jù)協(xié)議方申請?jiān)O(shè)置，由平臺收錄，包括針對性強(qiáng)的績效指標(biāo)。B.3公共數(shù)據(jù)平臺方對數(shù)據(jù)協(xié)議方開展數(shù)據(jù)采集的績效評價，見表B.1。一級指標(biāo)二級指標(biāo)三級指標(biāo)分值得分采集數(shù)據(jù)項(xiàng)支持自動采集數(shù)量指標(biāo) 超出數(shù)據(jù)協(xié)議方申請自動采集數(shù)量40完成自動采集數(shù)量達(dá)到90%25完成自動采集數(shù)量達(dá)到80%人工采集通過指標(biāo)(30分)占自動采集小于等于2%30占自動采集小于等于5%20占自動采集小于等于10%時效指標(biāo)(30分)實(shí)時采集大于等于80%30實(shí)時采集大于等于60%20實(shí)時采集大于等于40%總分表B.1數(shù)據(jù)采集績效考核表DB2301/T113—2022參考文