(高清版)GBT 36625.3-2021 智慧城市 數(shù)據(jù)融合 第3部分：數(shù)據(jù)采集規(guī)范

ICS35.240.01智慧城市數(shù)據(jù)融合第3部分：數(shù)據(jù)采集規(guī)范國家市場監(jiān)督管理總局國家標(biāo)準(zhǔn)化管理委員會IGB/T36625.3—2021 12規(guī)范性引用文件 1 1 15數(shù)據(jù)采集過程 26數(shù)據(jù)采集內(nèi)容 37數(shù)據(jù)采集技術(shù) 37.1數(shù)據(jù)采集技術(shù)要求 37.2數(shù)據(jù)采集方法 3 48.1數(shù)據(jù)質(zhì)量控制原則 48.2數(shù)據(jù)質(zhì)量控制方式 48.3數(shù)據(jù)質(zhì)量評價方法 4………………………9.2安全控制方法…………………………5ⅢGB/T36625.3—2021——第1部分：概念模型；——第5部分：市政基礎(chǔ)設(shè)施數(shù)據(jù)元素。本部分為GB/T36625的第3部分。本部分按照GB/T1.1—2009給出的規(guī)則起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別這些專利的責(zé)任。本部分由中華人民共和國工業(yè)和信息化部提出。本部分由全國通信標(biāo)準(zhǔn)化技術(shù)委員會(SAC/TC485)歸口。1GB/T36625.3—2021智慧城市數(shù)據(jù)融合第3部分：數(shù)據(jù)采集規(guī)范GB/T36625的本部分規(guī)定了智慧城市數(shù)據(jù)融合過程中數(shù)據(jù)采集過程、數(shù)據(jù)采使用。2規(guī)范性引用文件下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文GB/T5271.1信息技術(shù)詞匯第1部分：基本術(shù)語GB/T22239信息安全技術(shù)網(wǎng)絡(luò)安全等級保護(hù)基本要求GB/T31916.1—2015信息技術(shù)云數(shù)據(jù)存儲和管理第1部分：總則GB/T36625.1—2018智慧城市數(shù)據(jù)融合第1部分：概念模型GB/T5271.1、GB/T36625.1—2018界定的以及下列術(shù)語和定義適用于本文件。為了便于使用，以下重復(fù)列出了GB/T36625.1—2018中的某些術(shù)語和定義。數(shù)據(jù)融合datafusion集成多個數(shù)據(jù)源以產(chǎn)生比任何單獨的數(shù)據(jù)源更有價值信息的過程。[GB/T36625.1—2018,定義3.1]3.24縮略語下列縮略語適用于本文件。CCKS:組合誠信密鑰系統(tǒng)(CombinedCreditKeySystem)CPK:組合公鑰(CombinedPublicKey)FTP:文件傳輸協(xié)議(FileTransferProtocol)HTTP:超文本傳輸協(xié)議(HyperTextTransferProtocol)HTTPS:超文本傳輸安全協(xié)議(HyperTextTransferSafeProtocol)JDBC:Java數(shù)據(jù)庫連接(JavaDataBaseConnectivity)2GB/T36625.3—2021ODBC:開放數(shù)據(jù)庫互連(OpenDatabaseConnectivity)OPC:對象連接和嵌入技術(shù)在過程控制規(guī)范(ObjectLinkingandEmbeddingforProcessControl)PKI:公鑰基礎(chǔ)設(shè)施(PublicKeyInfraPDA:數(shù)據(jù)采集器(PersonalDigitalAssistant)REST:表述性狀態(tài)轉(zhuǎn)移(RepresentatioTCP:傳輸控制協(xié)議(TransmissionControlProtocol)UDP:用戶數(shù)據(jù)報協(xié)議(UserDatagramProtVPN:虛擬專用網(wǎng)絡(luò)(VirtualPrivateNetwork)連接通訊連接人工(填報/導(dǎo)入)人工(填報/導(dǎo)入)(白動)轉(zhuǎn)換標(biāo)準(zhǔn)化轉(zhuǎn)換標(biāo)準(zhǔn)化清洗去重/校驗有效性數(shù)據(jù)存儲目標(biāo)源連接數(shù)據(jù)融合庫3GB/T36625.3—20216數(shù)據(jù)采集內(nèi)容從智慧城市建設(shè)與管理需求及我國智慧城市實踐經(jīng)驗角度，智慧城市數(shù)據(jù)采集內(nèi)容包括但不限于場監(jiān)管等眾多領(lǐng)域的業(yè)務(wù)數(shù)據(jù)；7數(shù)據(jù)采集技術(shù)7.1數(shù)據(jù)采集技術(shù)要求數(shù)據(jù)采集技術(shù)應(yīng)具備復(fù)雜網(wǎng)絡(luò)環(huán)境下、不同異構(gòu)數(shù)據(jù)源之間高速、穩(wěn)定、彈性伸縮的數(shù)據(jù)移動及同步能力。采集技術(shù)包括但不限于：——針對結(jié)構(gòu)單一、數(shù)據(jù)量相對較小的結(jié)構(gòu)化數(shù)據(jù)，可通過數(shù)據(jù)庫表、文件、網(wǎng)絡(luò)服務(wù)(WebService)、REST、HTTP/HTTPS、消息訂閱/發(fā)布等技術(shù)進(jìn)行數(shù)據(jù)采集；布式系統(tǒng)接口、分布式流數(shù)據(jù)收集、網(wǎng)絡(luò)爬蟲等技術(shù)進(jìn)行數(shù)據(jù)采集；化后進(jìn)行數(shù)據(jù)采集；進(jìn)行數(shù)據(jù)采集。7.2數(shù)據(jù)采集方法通過人工填報、人工導(dǎo)入等方式獲得數(shù)據(jù)。通過系統(tǒng)自動錄入等方式獲得數(shù)據(jù)，并應(yīng)滿足下列要求：——支持全量、歷史數(shù)據(jù)采集：應(yīng)提供數(shù)據(jù)傳輸服務(wù)、高并發(fā)的離線數(shù)據(jù)上傳下載服務(wù)，支持TB/PB級別的數(shù)據(jù)導(dǎo)入(全量數(shù)據(jù)或歷史數(shù)據(jù)的批量導(dǎo)入)及導(dǎo)出； ——支持?jǐn)?shù)據(jù)建模：提供基于不同業(yè)務(wù)需求進(jìn)行數(shù)據(jù)建模功能。4GB/T36625.3—20218數(shù)據(jù)采集質(zhì)量控制8.1數(shù)據(jù)質(zhì)量控制原則對數(shù)據(jù)的質(zhì)量控制應(yīng)貫穿整個采集過程，遵循但不限于以下原則：a)完整性：應(yīng)包含數(shù)據(jù)規(guī)則要求的數(shù)據(jù)的必要元素；b)準(zhǔn)確性：應(yīng)真實反映數(shù)據(jù)所描述的實體；c)一致性：應(yīng)保證數(shù)據(jù)與其他特定上下文中使用的數(shù)據(jù)無矛盾；d)時效性：應(yīng)保證數(shù)據(jù)發(fā)生變化后及時被更新；e)可訪問性：應(yīng)保證數(shù)據(jù)在需要時能被安全訪問；f)可追溯性：應(yīng)保證數(shù)據(jù)能夠被跟蹤和管理。8.2數(shù)據(jù)質(zhì)量控制方式數(shù)據(jù)清洗過程管理應(yīng)包括但不限于：a)數(shù)據(jù)分析：應(yīng)對數(shù)據(jù)源進(jìn)行分析，及時發(fā)現(xiàn)數(shù)據(jù)源存在的質(zhì)量問題；重復(fù)記錄的檢測和處理等；d)清洗結(jié)果驗證：數(shù)據(jù)清洗方應(yīng)對定義的清洗方法的正確性和效率進(jìn)行驗證與評估，對不滿足清洗要求的清洗方法進(jìn)行調(diào)整和改進(jìn)。數(shù)據(jù)清洗過程宜多次迭代并進(jìn)行分析、設(shè)計和驗證。8.3數(shù)據(jù)質(zhì)量評價方法數(shù)據(jù)質(zhì)量評價方法可分為定性評價法和定量評價法：a)定性評價法可根據(jù)事先確定的評價指標(biāo)，對數(shù)據(jù)的安全性、目的、用途、b)定量評價法可采用數(shù)據(jù)質(zhì)量檢測軟件檢查數(shù)據(jù)質(zhì)量，也可通過輔助工具結(jié)合人工識別分析方法進(jìn)行人工檢查。一般可分為全數(shù)檢查和抽樣檢查：1)針對國家強制要求、特殊要求、其他可能導(dǎo)致