DB14-T 2938-2023 能源監(jiān)管服務數字化平臺 數據支撐技術要求

14Digitalplatformforenergyregulatoryservices——Technicalrequirementsfo山西省市場監(jiān)督管理局發(fā)布I II 1 1 1 2 2 3 7 9 10本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規(guī)則》的規(guī)定本文件起草單位：山西大數據產業(yè)發(fā)展有限公司、華為技術有限公司、山西省能源發(fā)展中1能源監(jiān)管服務數字化平臺數據支撐技術要求本文件適用于能源監(jiān)管服務數字化平臺的建設及實GB/T37721信息技術大數據分析系統(tǒng)功能GB/T37722信息技術大數據存儲與處理系統(tǒng)功能要求GB/T40685—2021信息技術服務數據資產管DB14/T2936—2023能源監(jiān)管服務數字化平臺通DB14/T2939—2023能源監(jiān)管服務數字化平臺數據采集DB14/T2940—2023能源監(jiān)管服務數字化平臺數據發(fā)布GB/T35295-2017、GB/T40685-2021、DB14/T2936-2023確立的以及界定的術語和定義適用于本能源監(jiān)管服務數字化平臺Digitalplatformf在自動化、信息化、智能化等相關技術的支撐下，對能源領域相關信息進行并進行充分應用，有效實施全過程動態(tài)監(jiān)管，并能為能源企業(yè)、產業(yè)鏈上下游企業(yè)等提24縮略語ACID：原子性、一致性、隔離性、持久性（Atomicity、Consistency、IsolatioAPI：應用程序編程接口（ApplicationProgrammingInterface）CPU：中央處理器（CentralProcessingDDL：數據定義語言（DataDefiJar：Java平臺上的歸檔文件格式（JavaArJSON：Java腳本對象描述（JavaScrMD5：信息摘要算法（Message-DigestAlgorithm）MPI：消息傳遞窗口（MessagePaMR：分布式運算框架（MapReduce）SLA：服務等級協議（ServiceLevelAgXML：可擴展標記語言（Extensi5.1應基于能源監(jiān)管服務需求，按照DB14/T2936—2023對數據支撐的要求，將能源監(jiān)管服數據，統(tǒng)一存儲并進行數據分析，然后通過API發(fā)布或數據資5.2能源監(jiān)管服務數字化平臺應根據監(jiān)管服務需要，采集各個系統(tǒng)的數據，數據采集內容及數據采集5.3能源監(jiān)管服務采集的數據進行預處理之后，應傳輸到云平臺集中存儲，并建立統(tǒng)一數據湖，實現能源生產經營數據、能源安全監(jiān)管數據、能耗數據等數據統(tǒng)一存儲，需要提供能3儲能力，數據存儲方式包括但不限于分布式文件存儲、數據湖存儲、分布式數據倉庫、時序數據庫5.4能源監(jiān)管服務數字化平臺應實現數據治理，提供數據集成、規(guī)范設計、數據開發(fā)、數據資產、數據安全、數據服務等功能，基于能源監(jiān)管服務需要，整理并生成數據資產，包括但不限于貼源層、整合/明細層、主題鏈接層、集市層，并通過數據發(fā)布，開放給上層不同應用系統(tǒng)或共享5.5能源監(jiān)管服務數字化平臺應提供數據分析能力，支撐能源監(jiān)管服務各主題庫、專題庫和指標的生成，數據分析能力包括但不限于批處理分析、流處理分析、流批一體融合分析、交互分析、5.6能源監(jiān)管服務數字化平臺應滿足能源監(jiān)管服務的數據發(fā)布需求，數據發(fā)布的流程及發(fā)布的數據內5.7能源監(jiān)管服務數字化平臺應優(yōu)先選擇符合國家自主可控和安全可信相關要求的全棧自主創(chuàng)新技a)應提供文件的上傳、下載、讀寫、復制、移動、c)應提供一種高效的數據組織格式，實現歷史數f)應提供自動化的小文件合并能力，自動管理文件大小和布g)應提供自動化的歷史數據清理能力，以防止數據過度膨脹h)應支持多樣化的計算引擎和存儲引擎，能夠平滑的在4據治理之后的主題聯接層和指標等數據，分布式數據倉庫要求如a)應提供基于無共享的分布式大規(guī)模全并c)應提供保障全局強一致性事務能力，可以針對單表和多表并a)應支持多種數據類型的離線分析，包括j)應支持任務內部子任務的失敗重試，以及當運5a)應支持多種數據源中獲得實時流數據，完成高吞吐、低延時的實時計算，并將結果輸出到消息e)宜支持直接讀取前置任務計算結果作為數據源的方式來編排作業(yè)，實現復雜作業(yè)拆分的同時保h)宜支持對復雜任務的調度，如支持深度c)應支持基本的數據庫、模式、表、視圖、函數等對象的創(chuàng)6c)應支持索引數據壓縮存儲，對索引數據結構進行特定優(yōu)b)應支持復雜事件規(guī)則由多個算子構成，各個算子通過連接線串聯起來，適用于比較復雜的業(yè)務d)應支持預集成表達式函數，包括不限于數學計a)應支持轉換計算，對單個或多個參數的值進行常規(guī)數學計算，表達式中不能使用系統(tǒng)的時序聚b)應支持聚合計算，對單個或多個參數的值進行周期性的時序聚合計算，表達式中可以使用系統(tǒng)c)應支持流計算，引用流作業(yè)管理中定義的作業(yè)，將輸e)應支持通用基礎算子預集成，包含不限于輸入算子、輸出算子、過濾算子、扁平算子、嵌套算a)應支持時序數據多種聚合計算，包括不限于平均值、最小值、最大值、總數、b)應支持對所選時序數據按時間做偏移，在預覽列表新增一條記錄，常用于同一測點不同時間的7結合能源監(jiān)管服務數據集成要求，應支持批量數據遷移和實時數據集成，數據集a)批量數據遷移應提供同構/異構數據源b)應支持批量遷移表或者文件，支持同構/異構數據庫之間整庫遷移，一個作業(yè)可遷移c)應支持文件增量遷移、關系型數據庫增量遷移、面向列的分布式f)在遷移文件到文件系統(tǒng)時，批量數據遷移應支持對h)應支持將遷移過程中處理失敗的、被清洗過濾掉的、不符合字段轉換或者不符合清洗規(guī)則的數a)通過主題設計構建統(tǒng)一的數據分類體系，用于目錄化管理所有業(yè)務數據，便于數據的歸類、查字段的具體取值進行標準化，從而提升數據質量和c)通過數據建模構建統(tǒng)一的數據模型體系，自頂向下構建企業(yè)數據分層體系，沉淀企業(yè)數據公共等5大主題庫，便于數據的流通、共享、創(chuàng)造、創(chuàng)新，提升數據使用效率，極大的減少數據冗d)通過指標體系建設構建能源監(jiān)管服務統(tǒng)一的數據指標體系，定義業(yè)務指標要素，統(tǒng)一指標計算d)應與批量數據遷移無縫集成，支持批量數據遷移，支持20多種異構數據源之間可靠高效的數據8a)應支持對業(yè)務指標和數據質量進行監(jiān)控，數據質量可檢驗，及時b)應提供對業(yè)務指標數據進行質量管理的有效工具，可以靈活的創(chuàng)建業(yè)務指標、業(yè)務規(guī)則和業(yè)務場景，實時、周期性進行調度，滿足業(yè)務的數據質量監(jiān)控需全景可視，提供數據智能搜索和運營監(jiān)控，數據資產要求a)應提供元數據管理能力，支持創(chuàng)建自定義策略的采集任務，可采集數據源中的技術元數據。支結合能源監(jiān)管服務數據治理需求，數據安全應為能源信息監(jiān)管服務提供數據生命