TGDIOT 004-2024 城域窄帶物聯(lián)感知平臺(tái)數(shù)據(jù)管理標(biāo)準(zhǔn)

ICS35.020CCSI6532TheDataManagementStandardforMetropolitanAreIT/GDIOT004—2024 2規(guī)范性引用文件 3術(shù)語(yǔ)和定義 4縮略語(yǔ) 5數(shù)據(jù)管理架構(gòu) 6數(shù)據(jù)管理總體要求 7數(shù)據(jù)匯聚 8數(shù)據(jù)存儲(chǔ) 9數(shù)據(jù)維護(hù) T/GDIOT004-2024本文件依據(jù)GB/T1.1-2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由廣東省物聯(lián)網(wǎng)協(xié)會(huì)歸口。本標(biāo)準(zhǔn)起草單位：廣州技象科技有限公司、海珠區(qū)政務(wù)服務(wù)數(shù)據(jù)管理局、海珠區(qū)數(shù)字政府運(yùn)營(yíng)中心、智慧城市物聯(lián)網(wǎng)國(guó)家重點(diǎn)實(shí)驗(yàn)室（澳門(mén)大學(xué)）、中山大學(xué)、香港科技大學(xué)（廣州）、技象科技（南京）有限公司、航科廣軟（廣州）數(shù)字科技有限公司、中電科普天科技股份有限公司、廣州智慧城市投資運(yùn)營(yíng)有限公司、中國(guó)鐵塔股份有限公司廣東省分公司、科學(xué)城（廣州）信息科技集團(tuán)有限公司、廣州智投能源科技有限公司。（排名不分先后）本標(biāo)準(zhǔn)主要起草人：吳瑤、閔鐵銳、劉丹丹、劉毅、黃津、王惠杰、孔冬冬、張嘉誠(chéng)、陶勇、張藝輝、馬少丹、夏明華、江明、崔穎、鞏紫君、張宇、梁輝、莫峰華、柳謙、楊翼、涂梓珺、周碩源、林亞波、熊旭東、張銳群、林海。1T/GDIOT004-2024城域窄帶物聯(lián)感知平臺(tái)數(shù)據(jù)管理標(biāo)準(zhǔn)本文件提出了城域窄帶物聯(lián)感知平臺(tái)（以下簡(jiǎn)稱(chēng)“平臺(tái)”）數(shù)據(jù)管理整體框架，給出了面向城域窄帶物聯(lián)網(wǎng)感知終端設(shè)備數(shù)據(jù)采集、存儲(chǔ)、治理和應(yīng)用的各項(xiàng)技術(shù)要求，使其他系統(tǒng)或部門(mén)的異地、異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)可以進(jìn)行匯聚整合，形成更全面的數(shù)據(jù)庫(kù)來(lái)支撐物聯(lián)感知數(shù)據(jù)的挖掘、分析及共享。本文件適用于城域窄帶物聯(lián)感知平臺(tái)關(guān)于城域窄帶物聯(lián)感知終端的數(shù)據(jù)采集和存儲(chǔ)系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)、測(cè)試、評(píng)估、運(yùn)維、管理等。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件：不注日期的引用文件，其最新版本(包括所有的修改單)適用于本文件。《GB/T20273-2019信息安全技術(shù)數(shù)據(jù)庫(kù)管理系統(tǒng)安全技術(shù)要求》《GB/T33474-2016物聯(lián)網(wǎng)參考體系結(jié)構(gòu)》《GBT35295-2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)》《GB/T38637.2-2020物聯(lián)網(wǎng)感知控制設(shè)備接入》第2部分：數(shù)據(jù)管理要求《GB/T52711-2000信息技術(shù)詞匯》第1部分：基本術(shù)語(yǔ)《GB/T33745-2017物聯(lián)網(wǎng)術(shù)語(yǔ)》定義2.5.4《GB/T37025-2018信息安全技術(shù)物聯(lián)網(wǎng)數(shù)據(jù)傳輸安全技術(shù)要求》《T/GDIOT005-2022城域窄帶物聯(lián)感知平臺(tái)軟件參考架構(gòu)》3術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本文件。3.1數(shù)據(jù)管理datamanagement在數(shù)據(jù)處理系統(tǒng)中，提供對(duì)數(shù)據(jù)的訪問(wèn)，執(zhí)行或監(jiān)視數(shù)據(jù)的存儲(chǔ)，以及控制輸入輸出操作等功能。[來(lái)源：GB/T5271.1-2000.定義01.08.02]3.2數(shù)據(jù)治理datagovernance對(duì)數(shù)據(jù)進(jìn)行處置、格式化和規(guī)范化的過(guò)程。注1：數(shù)據(jù)治理是數(shù)據(jù)和數(shù)據(jù)系統(tǒng)管理的基本要素；注2：數(shù)據(jù)治理涉及數(shù)據(jù)全生存周期管理，無(wú)論數(shù)據(jù)是處于靜態(tài)、動(dòng)態(tài)、未完成狀態(tài)還是交易狀態(tài)。[來(lái)源：GB/T35295-2017，定義2.1.43]3.3感知數(shù)據(jù)sensingdata通過(guò)數(shù)據(jù)采集獲取的原始數(shù)據(jù)或在此基礎(chǔ)上進(jìn)行加工處理的表征對(duì)象信息的數(shù)據(jù)統(tǒng)稱(chēng)。[來(lái)源：GB/T33474-2016，定義3.11]24縮略語(yǔ)數(shù)據(jù)存儲(chǔ)分類(lèi)存儲(chǔ)分3T/GDIOT004-2024城域窄帶物聯(lián)感知平臺(tái)數(shù)據(jù)管理實(shí)現(xiàn)對(duì)接入到平臺(tái)的感知數(shù)據(jù)進(jìn)行規(guī)范化管理，包括數(shù)據(jù)匯聚、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)維護(hù)三個(gè)部分：a)數(shù)據(jù)匯聚：實(shí)現(xiàn)多數(shù)據(jù)源的數(shù)據(jù)匯聚接入，功能包括數(shù)據(jù)對(duì)接、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分類(lèi)；b)數(shù)據(jù)存儲(chǔ)：應(yīng)實(shí)現(xiàn)對(duì)感知數(shù)據(jù)存儲(chǔ)方式的規(guī)范管理，包括分類(lèi)存儲(chǔ)、分層存儲(chǔ)、存儲(chǔ)管理、存儲(chǔ)備份等；c)數(shù)據(jù)維護(hù)：應(yīng)實(shí)現(xiàn)對(duì)平臺(tái)數(shù)據(jù)進(jìn)行一系列維護(hù)活動(dòng)和程序，確保數(shù)據(jù)的質(zhì)量和可信度，包括數(shù)據(jù)合規(guī)性檢查、數(shù)據(jù)清洗、數(shù)據(jù)治理、數(shù)據(jù)安全、數(shù)據(jù)監(jiān)控、數(shù)據(jù)優(yōu)化等管理。6數(shù)據(jù)管理總體要求6.1功能要求數(shù)據(jù)管理功能要求如下：a)依托子標(biāo)準(zhǔn)《城域窄帶物聯(lián)感知平臺(tái)數(shù)據(jù)匯聚接入標(biāo)準(zhǔn)》，實(shí)現(xiàn)數(shù)據(jù)對(duì)接、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分類(lèi)的管理；b)應(yīng)提供高效、可靠的數(shù)據(jù)存儲(chǔ)解決方案，以保存大量的時(shí)序數(shù)據(jù)；存儲(chǔ)功能應(yīng)支持?jǐn)?shù)據(jù)的快速檢索、查詢和備份，并確保數(shù)據(jù)的安全性和完整性；c)應(yīng)對(duì)收集的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和預(yù)處理，以便進(jìn)一步的分析和應(yīng)用；d)應(yīng)實(shí)施強(qiáng)大的安全措施，如加密、訪問(wèn)控制、安全審計(jì)和威脅檢測(cè)，保護(hù)數(shù)據(jù)免受未授權(quán)訪問(wèn)、篡改和泄露；e)應(yīng)有一套完整的數(shù)據(jù)治理框架，包括數(shù)據(jù)質(zhì)量控制、數(shù)據(jù)生命周期管理和數(shù)據(jù)合規(guī)性監(jiān)管等，以確保數(shù)據(jù)的正確使用和管理；f)應(yīng)能夠靈活擴(kuò)展，以適應(yīng)不斷增長(zhǎng)的數(shù)據(jù)量和新設(shè)備及業(yè)務(wù)需求；g)應(yīng)具備數(shù)據(jù)備份和災(zāi)難恢復(fù)的能力，以防止數(shù)據(jù)丟失和系統(tǒng)故障。6.2性能要求數(shù)據(jù)管理性能要求如下：a)處理速度：數(shù)據(jù)管理服務(wù)應(yīng)能夠快速處理請(qǐng)求和數(shù)據(jù)，數(shù)據(jù)管理服務(wù)內(nèi)部數(shù)據(jù)處理時(shí)間不超過(guò)3S；b)吞吐量：數(shù)據(jù)管理服務(wù)應(yīng)具備高吞吐量，能夠同時(shí)處理大量的數(shù)據(jù)傳輸和事務(wù)，確保在高峰時(shí)段也能保持性能，對(duì)于城域級(jí)平臺(tái)，數(shù)據(jù)管理服務(wù)應(yīng)支持不低于500并發(fā)/秒的數(shù)據(jù)管理能力；c)可伸縮性：隨著接入設(shè)備數(shù)據(jù)量的增加，數(shù)據(jù)管理服務(wù)應(yīng)能夠通過(guò)增加資源來(lái)擴(kuò)展性能，同時(shí)保持穩(wěn)定性和可用性；d)可靠性：數(shù)據(jù)管理服務(wù)應(yīng)具有高可靠性，能夠持續(xù)穩(wěn)定運(yùn)行，減少故障和意外停機(jī)的時(shí)間；e)容錯(cuò)性：在出現(xiàn)故障時(shí)，數(shù)據(jù)管理服務(wù)應(yīng)能夠快速恢復(fù)并繼續(xù)運(yùn)行，保證數(shù)據(jù)不丟失，服務(wù)不f)安全性：在保證性能的同時(shí)，數(shù)據(jù)管理服務(wù)還應(yīng)確保數(shù)據(jù)安全和隱私保護(hù)，防止未授權(quán)訪問(wèn)和數(shù)據(jù)泄露。對(duì)于敏感數(shù)據(jù)如密碼等，需采用加密算法對(duì)數(shù)據(jù)進(jìn)行加密；4T/GDIOT004-2024g)兼容性：數(shù)據(jù)管理服務(wù)應(yīng)能夠在不同的硬件和軟件環(huán)境中運(yùn)行，支持多種操作系統(tǒng)、瀏覽器和設(shè)備，支持在全國(guó)產(chǎn)化環(huán)境中運(yùn)行；h)維護(hù)性：數(shù)據(jù)管理服務(wù)應(yīng)易于維護(hù)和升級(jí)，以便快速部署新功能和性能優(yōu)化；i)適應(yīng)性：數(shù)據(jù)管理服務(wù)應(yīng)能夠適應(yīng)不斷變化的業(yè)務(wù)需求和技術(shù)發(fā)展，具備靈活的架構(gòu)和模塊化設(shè)計(jì)；j)監(jiān)控和診斷：數(shù)據(jù)管理服務(wù)應(yīng)具備監(jiān)控工具，以便實(shí)時(shí)跟蹤數(shù)據(jù)管理性能指標(biāo)，包括數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)治理等的響應(yīng)監(jiān)控等，以助于及時(shí)發(fā)現(xiàn)并解決問(wèn)題。7數(shù)據(jù)匯聚7.1概述數(shù)據(jù)匯聚旨在通過(guò)數(shù)據(jù)對(duì)接、數(shù)據(jù)分類(lèi)、數(shù)據(jù)導(dǎo)入等能力，將其他系統(tǒng)或部門(mén)的異地、異構(gòu)數(shù)據(jù)庫(kù)的數(shù)據(jù)進(jìn)行匯聚整合，形成更全面的數(shù)據(jù)庫(kù)來(lái)支撐物聯(lián)感知數(shù)據(jù)的挖掘、分析及共享。數(shù)據(jù)匯聚包括數(shù)據(jù)對(duì)接、數(shù)據(jù)導(dǎo)入、數(shù)據(jù)分類(lèi)，具體要求請(qǐng)見(jiàn)第7.2~7.4節(jié)。7.2數(shù)據(jù)對(duì)接數(shù)據(jù)對(duì)接是指城域窄帶物聯(lián)感知平臺(tái)支持外部數(shù)據(jù)導(dǎo)入并轉(zhuǎn)化為平臺(tái)規(guī)范要求的數(shù)據(jù)格式的過(guò)程，要求如下：a)宜支持窄帶物聯(lián)感知終端設(shè)備的直連接入、其它窄帶物聯(lián)感知平臺(tái)的接入、以國(guó)標(biāo)或省級(jí)團(tuán)體標(biāo)準(zhǔn)規(guī)定的執(zhí)行方式進(jìn)行接入；b)應(yīng)支持SDK、API等多種應(yīng)用接入方式；c)應(yīng)提供一個(gè)平臺(tái)級(jí)的數(shù)據(jù)集成框架，可以實(shí)現(xiàn)從其他系統(tǒng)采集數(shù)據(jù)，對(duì)數(shù)據(jù)進(jìn)行加工處理成適用的數(shù)據(jù)格式；d)應(yīng)支持跨地域、跨部門(mén)、跨層級(jí)的數(shù)據(jù)交換技術(shù)支撐體系的快速建設(shè)；e)為參與數(shù)據(jù)對(duì)接的組織機(jī)構(gòu)及其人員、設(shè)施、資源、匯聚模式、匯聚流程、匯聚安全等要素提供運(yùn)行、管理的技術(shù)支撐；f)應(yīng)支持完全松耦合的數(shù)據(jù)匯聚架構(gòu)。7.3數(shù)據(jù)導(dǎo)入數(shù)據(jù)導(dǎo)入是將符合平臺(tái)要求的數(shù)據(jù)導(dǎo)入平臺(tái)的過(guò)程，要求如下：a)應(yīng)支持多路并行數(shù)據(jù)導(dǎo)入的能力；b)應(yīng)支持?jǐn)?shù)據(jù)導(dǎo)入容錯(cuò)，如斷點(diǎn)續(xù)傳；c)應(yīng)支持接受終端推送數(shù)據(jù)和平臺(tái)按頻率主動(dòng)拉取數(shù)據(jù)兩種方式。7.4數(shù)據(jù)分類(lèi)數(shù)據(jù)資源根據(jù)業(yè)務(wù)分類(lèi)可分為以下四大類(lèi)：a)設(shè)備基礎(chǔ)數(shù)據(jù)：與感知設(shè)備本身相關(guān)的基礎(chǔ)信息，通常包括設(shè)備的標(biāo)識(shí)符、配置信息、固件版本等；5T/GDIOT004-2024b)設(shè)備監(jiān)測(cè)數(shù)據(jù)：感知設(shè)備直接收集的原始數(shù)據(jù)，如溫度、濕度、光照、壓力等；c)設(shè)備狀態(tài)數(shù)據(jù)：感知設(shè)備處于當(dāng)前狀態(tài)或環(huán)境狀態(tài)時(shí)產(chǎn)生的數(shù)據(jù)，通常由設(shè)備基礎(chǔ)數(shù)據(jù)和設(shè)備監(jiān)測(cè)數(shù)據(jù)經(jīng)過(guò)處理獲得，如在線/離線、異常/正常等；d)設(shè)備監(jiān)測(cè)事件數(shù)據(jù)：感知設(shè)備或系統(tǒng)中發(fā)生的特定事件所記錄的數(shù)據(jù)，如報(bào)警、故障等；在四大類(lèi)數(shù)據(jù)基礎(chǔ)上，可根據(jù)具體業(yè)務(wù)屬性、安全等維度，對(duì)數(shù)據(jù)類(lèi)型再進(jìn)行細(xì)分。數(shù)據(jù)分類(lèi)依據(jù)、數(shù)據(jù)分類(lèi)方法、數(shù)據(jù)分類(lèi)處理流程如下。7.4.1數(shù)據(jù)分類(lèi)依據(jù)數(shù)據(jù)分類(lèi)依據(jù)如下：a)根據(jù)數(shù)據(jù)類(lèi)型進(jìn)行分類(lèi)，例如傳感器數(shù)據(jù)、日志數(shù)據(jù)、用戶數(shù)據(jù)等；以便于確定數(shù)據(jù)的處理和存儲(chǔ)方式；b)根據(jù)數(shù)據(jù)來(lái)源設(shè)備或系統(tǒng)進(jìn)行分類(lèi)，例如來(lái)自溫度傳感器的數(shù)據(jù)、來(lái)自空氣質(zhì)量監(jiān)測(cè)傳感器的數(shù)據(jù)等；以便于追蹤數(shù)據(jù)的起源并進(jìn)行源頭分析；c)根據(jù)數(shù)據(jù)的隱私級(jí)別和敏感性進(jìn)行分類(lèi)，可以被分類(lèi)為公開(kāi)、內(nèi)部、敏感或機(jī)密；以便于實(shí)施適當(dāng)?shù)陌踩胧┖驮L問(wèn)控制。7.4.2數(shù)據(jù)分類(lèi)方法數(shù)據(jù)分類(lèi)方法如下：a)按照層次結(jié)構(gòu)進(jìn)行分類(lèi)，例如從大類(lèi)到子類(lèi)，以便于組織和管理大量數(shù)據(jù)；b)按照標(biāo)簽分類(lèi)，為數(shù)據(jù)分配標(biāo)簽，以實(shí)現(xiàn)靈活的數(shù)據(jù)分類(lèi)、檢索及權(quán)限控制；c)對(duì)于數(shù)值型數(shù)據(jù)，可根據(jù)數(shù)值范圍進(jìn)行分類(lèi)，例如溫度數(shù)據(jù)可以按照攝氏度范圍進(jìn)行分類(lèi)；d)根據(jù)數(shù)據(jù)的時(shí)間屬性，可對(duì)數(shù)據(jù)進(jìn)行時(shí)間序列分類(lèi)，以便于按時(shí)間維度對(duì)數(shù)據(jù)進(jìn)行分析。7.4.3數(shù)據(jù)分類(lèi)處理流程數(shù)據(jù)分類(lèi)的處理流程如下：a)在分類(lèi)之前，需要對(duì)數(shù)據(jù)進(jìn)行清洗和整理，確保數(shù)據(jù)質(zhì)量和數(shù)據(jù)一致性；b)根據(jù)定義的分類(lèi)規(guī)則和方法，將數(shù)據(jù)分配到相應(yīng)的類(lèi)別中；c)對(duì)分類(lèi)后的數(shù)據(jù)添加明確的標(biāo)簽或標(biāo)識(shí)，便于后續(xù)的檢索和管理；d)將分類(lèi)后的數(shù)據(jù)存儲(chǔ)在適當(dāng)?shù)臄?shù)據(jù)庫(kù)或數(shù)據(jù)倉(cāng)庫(kù)中，確保數(shù)據(jù)的安全性和可訪問(wèn)性；e)對(duì)分類(lèi)后的數(shù)據(jù)進(jìn)行分析，提取有價(jià)值的信息和洞察；f)定期對(duì)分類(lèi)體系進(jìn)行審查和更新，以適應(yīng)業(yè)務(wù)變化和新數(shù)據(jù)的加入；g)確保分類(lèi)后的數(shù)據(jù)符合相關(guān)法律法規(guī)和行業(yè)標(biāo)準(zhǔn)。8數(shù)據(jù)存儲(chǔ)8.1概述6T/GDIOT004-2024數(shù)據(jù)存儲(chǔ)需要支持多種存儲(chǔ)方式，如根據(jù)數(shù)據(jù)資源分類(lèi)、分層、實(shí)時(shí)性和歷史性數(shù)據(jù)的特點(diǎn)采用差異化存儲(chǔ)方式，提供數(shù)據(jù)隔離機(jī)制和管理手段，并支持存儲(chǔ)備份，防止數(shù)據(jù)丟失。8.2分類(lèi)存儲(chǔ)分類(lèi)存儲(chǔ)是指依據(jù)數(shù)據(jù)資源的開(kāi)放類(lèi)型采用差異化存儲(chǔ)方式，要求如下：a)應(yīng)支持?jǐn)?shù)據(jù)隔離機(jī)制，使不同數(shù)據(jù)使用方的數(shù)據(jù)相互獨(dú)立不可見(jiàn)；b)政府?dāng)?shù)據(jù)、重要民生數(shù)據(jù)等應(yīng)存放于政務(wù)云上且滿足政務(wù)數(shù)據(jù)不同類(lèi)型的服務(wù)使用需求；c)社會(huì)開(kāi)放數(shù)據(jù)應(yīng)存入公有云中，并根據(jù)業(yè)務(wù)對(duì)公有數(shù)據(jù)分級(jí)分類(lèi)確定存儲(chǔ)期限。8.3分層存儲(chǔ)分層存儲(chǔ)是指依據(jù)數(shù)據(jù)的處理階段和顆粒度對(duì)數(shù)據(jù)進(jìn)行分層存放，以提高數(shù)據(jù)處理效率。要求如a)城域窄帶物聯(lián)感知平臺(tái)數(shù)據(jù)分層應(yīng)包括ODS、DWD、DWS、ADS；b)ODS層：作為操作數(shù)據(jù)存儲(chǔ)層，該層用于保存接近實(shí)時(shí)的源系統(tǒng)數(shù)據(jù)。ODS層應(yīng)保持?jǐn)?shù)據(jù)的完整性和時(shí)效性，支持日常運(yùn)營(yíng)分析和報(bào)告的需求，宜采用短周期存儲(chǔ)方式，以便快速響應(yīng)業(yè)務(wù)變化；c)DWD層：作為數(shù)據(jù)倉(cāng)庫(kù)詳細(xì)層，該層負(fù)責(zé)對(duì)ODS層的數(shù)據(jù)進(jìn)行清洗、轉(zhuǎn)換和匯總。DWD層的數(shù)據(jù)保存周期應(yīng)根據(jù)數(shù)據(jù)的分析價(jià)值和歷史數(shù)據(jù)分析需求來(lái)確定，宜保證足夠的歷史數(shù)據(jù)深度；d)DWS層：作為數(shù)據(jù)倉(cāng)庫(kù)服務(wù)層，該層進(jìn)一步對(duì)DWD層的數(shù)據(jù)進(jìn)行聚合和計(jì)算，生成更為精細(xì)化的業(yè)務(wù)指標(biāo)和數(shù)據(jù)模型。該層數(shù)據(jù)通常具有較高的業(yè)務(wù)價(jià)值，應(yīng)根據(jù)業(yè)務(wù)分析和報(bào)告需求來(lái)調(diào)整數(shù)據(jù)的保存策略，確保數(shù)據(jù)既能支持長(zhǎng)期趨勢(shì)分析，也能滿足快速訪問(wèn)的需求；e)ADS層：作為應(yīng)用數(shù)據(jù)服務(wù)層，專(zhuān)門(mén)針對(duì)終端業(yè)務(wù)應(yīng)用和用戶需求，提供定制化的數(shù)據(jù)服務(wù)和數(shù)據(jù)產(chǎn)品?？紤]到ADS層數(shù)據(jù)的高度定制化和直接的業(yè)務(wù)影響，宜采取靈活的數(shù)據(jù)更新和維護(hù)策略，確保數(shù)據(jù)的實(shí)時(shí)性和準(zhǔn)確性。宜永久保存數(shù)據(jù)。8.4存儲(chǔ)管理存儲(chǔ)管理是對(duì)存儲(chǔ)對(duì)象采用差異化存儲(chǔ)策略，進(jìn)而優(yōu)化存儲(chǔ)的過(guò)程，要求如下：a)應(yīng)支持多種存儲(chǔ)方式，包含但不限于對(duì)象存儲(chǔ)、列式存儲(chǔ)、云存儲(chǔ)、分布式數(shù)據(jù)庫(kù)存儲(chǔ)；b)應(yīng)支持將設(shè)備上報(bào)的數(shù)據(jù)直接透?jìng)鹘o應(yīng)用處理，或?qū)?shù)據(jù)在平臺(tái)內(nèi)存儲(chǔ)，并提供配置數(shù)據(jù)存儲(chǔ)周期功能；c)應(yīng)支持時(shí)序型數(shù)據(jù)庫(kù)存儲(chǔ)實(shí)時(shí)性數(shù)據(jù)，可用于監(jiān)測(cè)和檢查設(shè)備所采集的實(shí)時(shí)數(shù)據(jù)等；d)應(yīng)支持關(guān)系型數(shù)據(jù)庫(kù)存儲(chǔ)歷史性數(shù)據(jù)，可用于分析優(yōu)化生產(chǎn)管理過(guò)程等。8.5存儲(chǔ)備份存儲(chǔ)備份是防止數(shù)據(jù)丟失，增加文件安全性的方式，要求如下：a)應(yīng)支持備份進(jìn)程并行的容錯(cuò)機(jī)制，備份進(jìn)程的宕機(jī)不影響數(shù)據(jù)的可用性；b)應(yīng)支持?jǐn)?shù)據(jù)備份的集中控制，應(yīng)針對(duì)不同使用要求制定數(shù)據(jù)備份策略；c)應(yīng)支持鏡像備份、冗余備份等方式提高數(shù)據(jù)存儲(chǔ)可靠性；7T/GDIOT004-2024d)應(yīng)支持備份程序與應(yīng)用程序的分離；e)應(yīng)支持對(duì)備份數(shù)據(jù)進(jìn)行壓縮存儲(chǔ)。9數(shù)據(jù)維護(hù)9.1概述數(shù)據(jù)維護(hù)是一系列活動(dòng)和程序，旨在確保數(shù)據(jù)的質(zhì)量和可信度，以便數(shù)據(jù)能夠有效地支持業(yè)務(wù)決策和運(yùn)營(yíng)。9.2合規(guī)性檢查合規(guī)性檢查是對(duì)匯聚的數(shù)據(jù)進(jìn)行檢查，要求如下：a)應(yīng)對(duì)數(shù)據(jù)進(jìn)行檢查，保證數(shù)據(jù)的準(zhǔn)確性和完整性；b)應(yīng)提供數(shù)據(jù)校驗(yàn)功能，如空值檢測(cè)、長(zhǎng)度檢查、數(shù)值范圍檢查、正則表達(dá)式校驗(yàn)等；c)可依據(jù)數(shù)據(jù)的重要性及敏感程度將數(shù)據(jù)劃分不同的級(jí)別，實(shí)行分級(jí)處理或者按照相應(yīng)規(guī)則進(jìn)行處理。9.3數(shù)據(jù)清洗數(shù)據(jù)清洗是數(shù)據(jù)準(zhǔn)備和預(yù)處理過(guò)程的一個(gè)重要環(huán)節(jié)，通過(guò)技術(shù)手段識(shí)別并糾正數(shù)據(jù)錯(cuò)誤或不一致等問(wèn)題，是將初始數(shù)據(jù)轉(zhuǎn)化為滿足數(shù)據(jù)質(zhì)量要求或應(yīng)用要求的過(guò)程，以提高數(shù)據(jù)的質(zhì)量和準(zhǔn)確性，確保數(shù)據(jù)在后續(xù)的分析、決策支持、數(shù)據(jù)挖掘等處理中的可用性和可靠性。要求如下：a)應(yīng)支持對(duì)錯(cuò)誤數(shù)據(jù)、臟數(shù)據(jù)、重復(fù)數(shù)據(jù)等異常數(shù)據(jù)的處理；b)應(yīng)支持對(duì)缺失數(shù)據(jù)進(jìn)行填補(bǔ)；c)應(yīng)支持對(duì)數(shù)據(jù)不一致性進(jìn)行監(jiān)測(cè)；d)應(yīng)提供清洗前后的數(shù)據(jù)比對(duì)功能；e)應(yīng)支持邏輯矛盾、關(guān)聯(lián)性驗(yàn)證、不合理數(shù)據(jù)的清洗。9.4數(shù)據(jù)治理數(shù)據(jù)治理是指對(duì)數(shù)據(jù)質(zhì)量的管理，要求如下：a)應(yīng)支持?jǐn)?shù)據(jù)的標(biāo)準(zhǔn)化處理，將非標(biāo)準(zhǔn)化終端的數(shù)據(jù)轉(zhuǎn)化為城域窄帶物聯(lián)感知平臺(tái)統(tǒng)一格式的數(shù)據(jù)，包括統(tǒng)一的數(shù)據(jù)類(lèi)型標(biāo)識(shí)、統(tǒng)一的數(shù)值格式；b)應(yīng)提供數(shù)據(jù)從產(chǎn)生到消亡的全周期管理，支持識(shí)別、度量、監(jiān)控、預(yù)警、數(shù)據(jù)管理流程配置和數(shù)據(jù)治理審核機(jī)制；c)應(yīng)支持?jǐn)?shù)據(jù)質(zhì)量分析和預(yù)警，甄別數(shù)據(jù)優(yōu)劣程度，對(duì)質(zhì)量較差數(shù)據(jù)進(jìn)行清理和長(zhǎng)期不用數(shù)據(jù)進(jìn)行清洗和歸檔；d)應(yīng)支持對(duì)數(shù)據(jù)屬性進(jìn)行標(biāo)注功能，包括但不限于單個(gè)和批量標(biāo)注、標(biāo)注維護(hù)等；e)應(yīng)支持敏感數(shù)據(jù)識(shí)別、標(biāo)記和脫敏，脫敏類(lèi)型包括但不限于替換、截?cái)唷⒀诖a、重排、日期偏移取整等；8T/GDIOT004-2024f)應(yīng)對(duì)處理后的數(shù)據(jù)進(jìn)行編碼，便于數(shù)據(jù)管理、數(shù)據(jù)開(kāi)放共享及數(shù)據(jù)應(yīng)用，數(shù)據(jù)資源編碼結(jié)構(gòu)及規(guī)則應(yīng)按照DB37/T3521.1的規(guī)定；g)應(yīng)支持?jǐn)?shù)據(jù)資源目錄動(dòng)態(tài)管理，包括但不限于梳理、編制、審核、發(fā)布等；h)應(yīng)制定統(tǒng)一的數(shù)據(jù)質(zhì)量管理體系，包括數(shù)據(jù)源管理、數(shù)據(jù)質(zhì)量規(guī)則管理、數(shù)據(jù)質(zhì)量分析、數(shù)據(jù)質(zhì)量評(píng)估等，實(shí)現(xiàn)對(duì)問(wèn)題數(shù)據(jù)發(fā)現(xiàn)、分析和解決的全流程管理；i)通過(guò)數(shù)據(jù)治理后，平臺(tái)數(shù)據(jù)錯(cuò)誤率不超過(guò)5%、數(shù)據(jù)完整性不低于95%、一致性錯(cuò)誤不超過(guò)總記錄數(shù)的1%。9.5數(shù)據(jù)安全9.5.1數(shù)據(jù)完整性數(shù)據(jù)完整性要求如下：a)數(shù)據(jù)傳輸過(guò)程中的完整性應(yīng)滿足GB/T37025-2018中6.1和7.1的要求；b)應(yīng)通過(guò)封裝簽名、測(cè)試字驗(yàn)證、引用約束等機(jī)制對(duì)數(shù)據(jù)完整性進(jìn)行檢測(cè)，保證數(shù)據(jù)存儲(chǔ)過(guò)程的完整性，提供非完整數(shù)據(jù)的解決措施。9.5.2數(shù)據(jù)加密數(shù)據(jù)加密性要求如下：a)對(duì)于特定的敏感字段或業(yè)務(wù)數(shù)據(jù)應(yīng)使用加密方式存儲(chǔ)；b)應(yīng)支持國(guó)家密碼管理主管部門(mén)批準(zhǔn)使用的密碼算法，使用國(guó)家密碼管理主管部門(mén)認(rèn)證核準(zhǔn)的密碼產(chǎn)品，遵循相關(guān)密碼國(guó)家標(biāo)準(zhǔn)和行業(yè)標(biāo)準(zhǔn)；c)應(yīng)按照國(guó)家相關(guān)保密部門(mén)要求采用合適的加密算法、密鑰長(zhǎng)度和密鑰管理機(jī)制；d)數(shù)據(jù)傳輸過(guò)程中的加密過(guò)程應(yīng)符合GB/T37025-2018中6.3和7.3的要求。9.5.3數(shù)據(jù)訪問(wèn)權(quán)限控制數(shù)據(jù)訪問(wèn)權(quán)限控制要求如下：a)應(yīng)支持制定安全策略，并根據(jù)安全策略啟用控制用戶對(duì)數(shù)據(jù)的訪問(wèn)；b)應(yīng)實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)、系統(tǒng)數(shù)據(jù)和數(shù)據(jù)庫(kù)系統(tǒng)等不同級(jí)別的用戶權(quán)限分離管理機(jī)制，同時(shí)對(duì)用戶訪問(wèn)應(yīng)分配最小訪問(wèn)權(quán)限；c)數(shù)據(jù)提供給第三方訪問(wèn)時(shí)，應(yīng)嚴(yán)格限制默認(rèn)賬戶的訪問(wèn)權(quán)限，定期修改賬戶的口令。9.5.4數(shù)據(jù)備份數(shù)據(jù)備份要求如下：a)應(yīng)制定定期備份計(jì)劃，確保所有關(guān)鍵數(shù)據(jù)和系統(tǒng)狀態(tài)被定期備份?？梢圆捎萌珎浞荨⒃隽總浞莼虿町悅浞莸牟呗?；b)應(yīng)實(shí)施多級(jí)備份策略，包括本地備份、近線備份和離線備份，以確保在不同級(jí)別的故障或?yàn)?zāi)難中都能恢復(fù)數(shù)據(jù)；c)應(yīng)對(duì)備份數(shù)據(jù)進(jìn)行加密，以防止數(shù)據(jù)在傳輸過(guò)程中或存儲(chǔ)時(shí)被未經(jīng)授權(quán)訪問(wèn)；9T/GDIOT004-2024d)應(yīng)定期驗(yàn)證備份數(shù)據(jù)的完整性和可恢復(fù)性，確保在需要時(shí)能夠成功恢復(fù)；e)應(yīng)合理管理備份存儲(chǔ)空間，確保備份數(shù)據(jù)不會(huì)因存儲(chǔ)空間不足而失敗。9.5.5數(shù)據(jù)恢復(fù)數(shù)據(jù)恢復(fù)要求如下：a)應(yīng)建立數(shù)據(jù)恢復(fù)計(jì)劃，以便在數(shù)據(jù)安全事件發(fā)生時(shí)迅速采取行動(dòng)，并進(jìn)行有效的數(shù)據(jù)恢復(fù)；b)確保恢復(fù)的數(shù)據(jù)保持