DB14-T 2938-2023 能源監(jiān)管服務(wù)數(shù)字化平臺(tái) 數(shù)據(jù)支撐技術(shù)要求

ICS35.240.99

CCSF07

14

山西省地方標(biāo)準(zhǔn)

DB14/T2938—2023

能源監(jiān)管服務(wù)數(shù)字化平臺(tái)

數(shù)據(jù)支撐技術(shù)要求

Digitalplatformforenergyregulatoryservices——Technicalrequirementsfordata

support

2023-12-26發(fā)布2024-03-25實(shí)施

山西省市場(chǎng)監(jiān)督管理局發(fā)布

DB14/T2938—2023

能源監(jiān)管服務(wù)數(shù)字化平臺(tái)數(shù)據(jù)支撐技術(shù)要求

1范圍

本文件規(guī)定了能源監(jiān)管服務(wù)數(shù)字化平臺(tái)的數(shù)據(jù)支撐處理流程以及數(shù)據(jù)支撐相關(guān)的數(shù)據(jù)存儲(chǔ)與分析、

數(shù)據(jù)治理、數(shù)據(jù)發(fā)布等方面的技術(shù)要求。

本文件適用于能源監(jiān)管服務(wù)數(shù)字化平臺(tái)的建設(shè)及實(shí)施工作。

2規(guī)范性引用文件

下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語(yǔ)

GB/T37721信息技術(shù)大數(shù)據(jù)分析系統(tǒng)功能要求

GB/T37722信息技術(shù)大數(shù)據(jù)存儲(chǔ)與處理系統(tǒng)功能要求

GB/T40685—2021信息技術(shù)服務(wù)數(shù)據(jù)資產(chǎn)管理要求

DB14/T2936—2023能源監(jiān)管服務(wù)數(shù)字化平臺(tái)通用要求

DB14/T2939—2023能源監(jiān)管服務(wù)數(shù)字化平臺(tái)數(shù)據(jù)采集要求

DB14/T2940—2023能源監(jiān)管服務(wù)數(shù)字化平臺(tái)數(shù)據(jù)發(fā)布規(guī)范

3術(shù)語(yǔ)和定義

GB/T35295-2017、GB/T40685-2021、DB14/T2936-2023確立的以及界定的術(shù)語(yǔ)和定義適用于本

文件。

3.1

能源監(jiān)管服務(wù)數(shù)字化平臺(tái)Digitalplatformforenergyregulatoryservices

在自動(dòng)化、信息化、智能化等相關(guān)技術(shù)的支撐下，對(duì)能源領(lǐng)域相關(guān)信息進(jìn)行采集、整合、分析，

并進(jìn)行充分應(yīng)用，有效實(shí)施全過(guò)程動(dòng)態(tài)監(jiān)管，并能為能源企業(yè)、產(chǎn)業(yè)鏈上下游企業(yè)等提供智能化服務(wù)

的數(shù)字化智慧平臺(tái)。

[來(lái)源：DB14/T2936-2023，3.1]

3.2

數(shù)據(jù)資產(chǎn)dataasset

合法擁有或者控制的，能夠進(jìn)行計(jì)量的，為組織帶來(lái)經(jīng)濟(jì)和社會(huì)價(jià)值的數(shù)據(jù)資源。

[來(lái)源：GB/T40685-2021，3.1]

3.2

數(shù)據(jù)倉(cāng)庫(kù)datawarehouse

在數(shù)據(jù)準(zhǔn)備之后用于永久性存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)。

[來(lái)源：GB/T35295-2017，2.1.35]

3.3

1

DB14/T2938—2023

數(shù)據(jù)湖datalake

一種在系統(tǒng)或存儲(chǔ)庫(kù)中以自然格式存儲(chǔ)數(shù)據(jù)的方法。

4縮略語(yǔ)

下列縮略語(yǔ)適用于本文件。

ACID：原子性、一致性、隔離性、持久性（Atomicity、Consistency、Isolation、Durability）

API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）

CPU：中央處理器（CentralProcessingUnit）

DDL：數(shù)據(jù)定義語(yǔ)言（DataDefinitionLanguage）

IoT：物聯(lián)網(wǎng)（InternetofThings）

Jar：Java平臺(tái)上的歸檔文件格式（JavaArchive）

JSON：Java腳本對(duì)象描述（JavaScriptObjectNotation）

MD5：信息摘要算法（Message-DigestAlgorithm）

MPI：消息傳遞窗口（MessagePassingInterface）

MR：分布式運(yùn)算框架（MapReduce）

SLA：服務(wù)等級(jí)協(xié)議（ServiceLevelAgreement）

SQL：結(jié)構(gòu)化查詢語(yǔ)言（StructuredQueryLanguage）

XML：可擴(kuò)展標(biāo)記語(yǔ)言（ExtensibleMarkupLanguage）

5數(shù)據(jù)支撐處理流程

5.1應(yīng)基于能源監(jiān)管服務(wù)需求，按照DB14/T2936—2023對(duì)數(shù)據(jù)支撐的要求，將能源監(jiān)管服務(wù)相關(guān)

數(shù)據(jù)，統(tǒng)一存儲(chǔ)并進(jìn)行數(shù)據(jù)分析，然后通過(guò)API發(fā)布或數(shù)據(jù)資產(chǎn)發(fā)布方式，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)在各組織機(jī)

構(gòu)或監(jiān)管部門的共享，數(shù)據(jù)支撐處理流程應(yīng)符合圖1的要求。

圖1能源監(jiān)管服務(wù)數(shù)字化平臺(tái)數(shù)據(jù)支撐處理流程圖

5.2能源監(jiān)管服務(wù)數(shù)字化平臺(tái)應(yīng)根據(jù)監(jiān)管服務(wù)需要，采集各個(gè)系統(tǒng)的數(shù)據(jù)，數(shù)據(jù)采集內(nèi)容及數(shù)據(jù)采集

方式應(yīng)符合DB14/T2939—2023的要求。

5.3能源監(jiān)管服務(wù)采集的數(shù)據(jù)進(jìn)行預(yù)處理之后，應(yīng)傳輸?shù)皆破脚_(tái)集中存儲(chǔ)，并建立統(tǒng)一數(shù)據(jù)湖，實(shí)現(xiàn)

能源生產(chǎn)經(jīng)營(yíng)數(shù)據(jù)、能源安全監(jiān)管數(shù)據(jù)、能耗數(shù)據(jù)等數(shù)據(jù)統(tǒng)一存儲(chǔ)，需要提供能源監(jiān)管服務(wù)的數(shù)據(jù)存

2

DB14/T2938—2023

儲(chǔ)能力，數(shù)據(jù)存儲(chǔ)方式包括但不限于分布式文件存儲(chǔ)、數(shù)據(jù)湖存儲(chǔ)、分布式數(shù)據(jù)倉(cāng)庫(kù)、時(shí)序數(shù)據(jù)庫(kù)

等，并符合GB/T37722的要求。

5.4能源監(jiān)管服務(wù)數(shù)字化平臺(tái)應(yīng)實(shí)現(xiàn)數(shù)據(jù)治理，提供數(shù)據(jù)集成、規(guī)范設(shè)計(jì)、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)質(zhì)量、數(shù)

據(jù)資產(chǎn)、數(shù)據(jù)安全、數(shù)據(jù)服務(wù)等功能，基于能源監(jiān)管服務(wù)需要，整理并生成數(shù)據(jù)資產(chǎn)，包括但不限于

貼源層、整合/明細(xì)層、主題鏈接層、集市層，并通過(guò)數(shù)據(jù)發(fā)布，開(kāi)放給上層不同應(yīng)用系統(tǒng)或共享交換

平臺(tái)調(diào)用。

5.5能源監(jiān)管服務(wù)數(shù)字化平臺(tái)應(yīng)提供數(shù)據(jù)分析能力，支撐能源監(jiān)管服務(wù)各主題庫(kù)、專題庫(kù)和指標(biāo)的生

成，數(shù)據(jù)分析能力包括但不限于批處理分析、流處理分析、流批一體融合分析、交互分析、搜索分

析、事件分析、虛擬測(cè)點(diǎn)計(jì)算分析、時(shí)序分析等，并符合GB/T37721和GB/T37722的要求。

5.6能源監(jiān)管服務(wù)數(shù)字化平臺(tái)應(yīng)滿足能源監(jiān)管服務(wù)的數(shù)據(jù)發(fā)布需求，數(shù)據(jù)發(fā)布的流程及發(fā)布的數(shù)據(jù)內(nèi)

容符合DB14/T2940—2023的要求，數(shù)據(jù)發(fā)布方式應(yīng)滿足本文件的技術(shù)要求。

5.7能源監(jiān)管服務(wù)數(shù)字化平臺(tái)應(yīng)優(yōu)先選擇符合國(guó)家自主可控和安全可信相關(guān)要求的全棧自主創(chuàng)新技

術(shù)。

6數(shù)據(jù)存儲(chǔ)與分析

6.1數(shù)據(jù)存儲(chǔ)

6.1.1分布式文件存儲(chǔ)

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)分布式文件存儲(chǔ)，用于存儲(chǔ)能源監(jiān)管服務(wù)文件數(shù)據(jù)，分布式文件存儲(chǔ)

要求如下：

a)應(yīng)提供文件的上傳、下載、讀寫、復(fù)制、移動(dòng)、刪除、訪問(wèn)控制等功能；

b)應(yīng)提供容錯(cuò)機(jī)制和系統(tǒng)高可用機(jī)制，包括數(shù)據(jù)塊的備份、系統(tǒng)宕機(jī)恢復(fù)、災(zāi)備恢復(fù)等功能；

c)應(yīng)提供文件塊的完整性校驗(yàn)和同步功能，保證數(shù)據(jù)的完整性與一致性；

d)應(yīng)提供存儲(chǔ)模塊的彈性擴(kuò)展功能，支持存儲(chǔ)節(jié)點(diǎn)的擴(kuò)縮容；

e)應(yīng)提供文件系統(tǒng)級(jí)別的數(shù)據(jù)壓縮和加解密功能；

f)應(yīng)提供快速檢索功能，支持?jǐn)?shù)據(jù)資源的統(tǒng)一檢索、編目、增加和刪除操作；

g)應(yīng)提供文件的搜索、批量操作、回收站、快照等功能；

h)宜提供小文件合并成大文件集中存儲(chǔ)的功能；

i)宜提供存儲(chǔ)資源隔離能力，能夠通過(guò)盤配置目錄的存儲(chǔ)空間及文件數(shù)量實(shí)現(xiàn)邏輯隔離；

j)宜提供元數(shù)據(jù)的快速遷移功能，能夠復(fù)制目錄級(jí)文件元數(shù)據(jù)信息實(shí)現(xiàn)元數(shù)據(jù)快速遷移。

6.1.2數(shù)據(jù)湖存儲(chǔ)

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)數(shù)據(jù)湖存儲(chǔ)，提供分布式文件系統(tǒng)之上的ACID數(shù)據(jù)庫(kù)能力，支持?jǐn)?shù)據(jù)

的高效更新、增量查詢等能力，數(shù)據(jù)湖存儲(chǔ)要求如下：

a)應(yīng)提供結(jié)構(gòu)化數(shù)據(jù)的分布式存儲(chǔ)機(jī)制，實(shí)現(xiàn)數(shù)據(jù)存儲(chǔ)的可擴(kuò)展性；

b)應(yīng)提供多樣化的API接口滿足各類上層應(yīng)用的使用需求；

c)應(yīng)提供一種高效的數(shù)據(jù)組織格式，實(shí)現(xiàn)歷史數(shù)據(jù)的高效更新、快速刪除能力；

d)應(yīng)提供湖內(nèi)結(jié)構(gòu)化數(shù)據(jù)的事務(wù)能力，以保證數(shù)據(jù)的一致性、完整性；

e)應(yīng)提供湖內(nèi)數(shù)據(jù)的增量查詢能力，支持實(shí)時(shí)數(shù)據(jù)分析；

f)應(yīng)提供自動(dòng)化的小文件合并能力，自動(dòng)管理文件大小和布局，以優(yōu)化數(shù)據(jù)訪問(wèn)速度；

g)應(yīng)提供自動(dòng)化的歷史數(shù)據(jù)清理能力，以防止數(shù)據(jù)過(guò)度膨脹影響影響文件系統(tǒng)健壯性；

h)應(yīng)支持多樣化的計(jì)算引擎和存儲(chǔ)引擎，能夠平滑的在引擎之間遷移；

3

DB14/T2938—2023

i)應(yīng)支持流批融合的計(jì)算能力，實(shí)現(xiàn)同一個(gè)作業(yè)內(nèi)完成批量、增量的數(shù)據(jù)處理能力。

6.1.3分布式數(shù)據(jù)倉(cāng)庫(kù)

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)分布式數(shù)據(jù)倉(cāng)庫(kù)，提供數(shù)據(jù)集市能力，用于存儲(chǔ)能源監(jiān)管服務(wù)經(jīng)過(guò)數(shù)

據(jù)治理之后的主題聯(lián)接層和指標(biāo)等數(shù)據(jù)，分布式數(shù)據(jù)倉(cāng)庫(kù)要求如下：

a)應(yīng)提供基于無(wú)共享的分布式大規(guī)模全并行處理的關(guān)系型數(shù)據(jù)庫(kù)；

b)應(yīng)提供滿足SQL語(yǔ)法，包括存儲(chǔ)過(guò)程、自定義函數(shù)、序列、觸發(fā)器等高級(jí)語(yǔ)法功能；

c)應(yīng)提供保障全局強(qiáng)一致性事務(wù)能力，可以針對(duì)單表和多表并發(fā)插入、更新、刪除等操作

d)應(yīng)提供以表為單位的行、列存儲(chǔ)引擎，用戶可指定表的存儲(chǔ)格式，滿足不同場(chǎng)景業(yè)務(wù)需要；

e)應(yīng)提供自適應(yīng)壓縮算法，支持可調(diào)整壓縮級(jí)別，壓縮級(jí)別越高，壓縮能力越強(qiáng)；

f)應(yīng)提供在線彈性伸縮功能，擴(kuò)容過(guò)程中數(shù)據(jù)持續(xù)可查詢；

g)應(yīng)提供多租戶管理功能，租戶間CPU、內(nèi)存、IO等資源隔離，相互不干擾；

h)應(yīng)提供圖形化安裝部署、補(bǔ)丁升級(jí)、擴(kuò)容縮容、備份恢復(fù)、巡檢告警、事件管理、日志管理、參

數(shù)設(shè)置、集群?jiǎn)⑼?、?jié)點(diǎn)替換等集群管理功能；

i)應(yīng)提供圖形化主機(jī)監(jiān)控、數(shù)據(jù)庫(kù)監(jiān)控、性能監(jiān)控、TOPSQL、會(huì)話監(jiān)控、作業(yè)監(jiān)控等集群監(jiān)控平

臺(tái)；

j)應(yīng)提供圖形化故障診斷（慢主機(jī)）、性能優(yōu)化、SQL熔斷、SQL診斷、負(fù)荷分析報(bào)告功能；

k)宜提供范圍、列表等分區(qū)功能，分區(qū)鍵支持整型、字符型、時(shí)間型等數(shù)據(jù)類型；

l)宜提供行存、列存表B-Tree索引功能，支持函數(shù)/表達(dá)式索引，提供查詢性能。

6.1.4時(shí)序數(shù)據(jù)庫(kù)

結(jié)合能源監(jiān)管服務(wù)需求，針對(duì)IoT數(shù)據(jù)，時(shí)序數(shù)據(jù)庫(kù)要求如下：

a)應(yīng)支持按存儲(chǔ)組方式對(duì)數(shù)據(jù)進(jìn)行管理；

b)應(yīng)支持?jǐn)?shù)據(jù)按照時(shí)間維度分級(jí)存儲(chǔ)管理；

c)應(yīng)支持分鐘級(jí)彈性伸縮；

d)應(yīng)支持高性能多維聚合查詢；

e)應(yīng)支持億級(jí)時(shí)間線。

6.2數(shù)據(jù)分析

6.2.1批處理分析

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)批處理分析功能，用于實(shí)現(xiàn)高性能的離線批處理作業(yè)運(yùn)行，批處理分

析要求如下：

a)應(yīng)支持多種數(shù)據(jù)類型的離線分析，包括結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)；

b)應(yīng)支持離線計(jì)算任務(wù)進(jìn)度與狀態(tài)的實(shí)時(shí)上報(bào)；

c)應(yīng)支持多節(jié)點(diǎn)離線任務(wù)的聯(lián)動(dòng)執(zhí)行；

d)應(yīng)提供多種語(yǔ)言的API，以滿足不同應(yīng)用的開(kāi)發(fā)需求；

e)應(yīng)支持作業(yè)調(diào)度；

f)應(yīng)支持分散-聚集的處理方式；

g)應(yīng)支持批處理計(jì)算框架運(yùn)行在分布式資源管理之上；

h)應(yīng)支持SQL、函數(shù)式編程、圖計(jì)算等方式處理數(shù)據(jù)；

i)應(yīng)支持在線查看任務(wù)運(yùn)行日志；

j)應(yīng)支持任務(wù)內(nèi)部子任務(wù)的失敗重試，以及當(dāng)運(yùn)行節(jié)點(diǎn)出現(xiàn)異常時(shí)能夠恢復(fù)計(jì)算結(jié)果。

4

DB14/T2938—2023

6.2.2流處理分析

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)流處理分析功能，實(shí)現(xiàn)能源監(jiān)管服務(wù)IT數(shù)據(jù)實(shí)時(shí)處理能力，流處理分

析要求如下：

a)應(yīng)支持多種數(shù)據(jù)源中獲得實(shí)時(shí)流數(shù)據(jù)，完成高吞吐、低延時(shí)的實(shí)時(shí)計(jì)算，并將結(jié)果輸出到消息

隊(duì)列或者進(jìn)行持久化；

b)應(yīng)提供用戶級(jí)別的訪問(wèn)控制功能，支持對(duì)消息處理任務(wù)進(jìn)行創(chuàng)建、瀏覽、終止、激活、去激活等

操作，并對(duì)用戶級(jí)別操作記錄審計(jì)日志；

c)應(yīng)支持采用滑動(dòng)窗口的方式實(shí)時(shí)分析任務(wù)，時(shí)間窗口大小可任意調(diào)節(jié)；

d)應(yīng)支持容錯(cuò)機(jī)制，在出現(xiàn)故障的情況下，系統(tǒng)具備恢復(fù)中間計(jì)算結(jié)果重試失敗任務(wù)的能力；

e)宜支持直接讀取前置任務(wù)計(jì)算結(jié)果作為數(shù)據(jù)源的方式來(lái)編排作業(yè)，實(shí)現(xiàn)復(fù)雜作業(yè)拆分的同時(shí)保

證計(jì)算的實(shí)時(shí)性。

6.2.3流批一體融合分析

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)流批一體融合分析功能，可執(zhí)行批處理作業(yè)和流處理作業(yè)，實(shí)現(xiàn)能源

監(jiān)管服務(wù)IT、OT融合數(shù)據(jù)流批一體融合處理能力，流批一體融合分析要求如下：

a)應(yīng)支持流批融合一體查詢SQL語(yǔ)言；

b)應(yīng)支持多種場(chǎng)景下的流式SQL，如位置信息分析等；

c)應(yīng)支持常用時(shí)間窗口，包括跳躍窗口、滑動(dòng)窗口等；

d)宜支持基于SQL語(yǔ)言的批、流數(shù)據(jù)的模式識(shí)別；

e)宜支持流批融合的計(jì)算引擎；

f)宜支持事件驅(qū)動(dòng)的流處理，降低處理延遲；

g)宜支持處理亂序、超期數(shù)據(jù)結(jié)果旁路輸出；

h)宜支持對(duì)復(fù)雜任務(wù)的調(diào)度，如支持深度學(xué)習(xí)的訓(xùn)練、MPI任務(wù)。

6.2.4交互分析

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)交互分析功能，適用于海量數(shù)據(jù)、中高并發(fā)，多個(gè)租戶共享查詢引擎

的場(chǎng)景，交互分析要求如下：

a)應(yīng)支持對(duì)于數(shù)據(jù)湖中結(jié)構(gòu)化數(shù)據(jù)的準(zhǔn)實(shí)時(shí)查詢；

b)應(yīng)支持統(tǒng)一標(biāo)準(zhǔn)SQL查詢語(yǔ)言；

c)應(yīng)支持基本的數(shù)據(jù)庫(kù)、模式、表、視圖、函數(shù)等對(duì)象的創(chuàng)建、刪除、描述等SQL語(yǔ)句；

d)應(yīng)支持讀取各種類型數(shù)據(jù)格式文件；

e)應(yīng)支持管理節(jié)點(diǎn)的高可用保障能力；

f)應(yīng)支持基于分布式調(diào)度引擎部署作業(yè)的能力；

g)宜支持動(dòng)態(tài)調(diào)整資源占用情況，在查詢較少時(shí)自動(dòng)釋放過(guò)剩資源；

h)宜支持基于視圖建立一個(gè)實(shí)體化的表副本；

i)宜支持對(duì)于不同的數(shù)據(jù)源關(guān)聯(lián)查詢的能力；

j)宜支持多個(gè)數(shù)據(jù)湖之間關(guān)聯(lián)查詢的能力。

6.2.5搜索分析

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)檢索分析功能，實(shí)現(xiàn)能源監(jiān)管服務(wù)全文檢索分析能力，搜索分析要求

如下：

a)應(yīng)提供基于索引的海量數(shù)據(jù)全文檢索能力；

b)應(yīng)支持獨(dú)立的索引結(jié)構(gòu)數(shù)據(jù)存儲(chǔ)格式，滿足分布式存儲(chǔ)的可靠性、一致性要求；

5

DB14/T2938—2023

c)應(yīng)支持索引數(shù)據(jù)壓縮存儲(chǔ)，對(duì)索引數(shù)據(jù)結(jié)構(gòu)進(jìn)行特定優(yōu)化的壓縮方式實(shí)現(xiàn)高壓縮比；

d)應(yīng)支持文檔的嵌套查詢能力；

e)應(yīng)支持向量化檢索能力。

6.2.6事件分析

結(jié)合能源監(jiān)管服務(wù)需求，通過(guò)用戶自定義事件，可以設(shè)置能源監(jiān)管服務(wù)觸發(fā)條件、結(jié)束條件以及各

種復(fù)雜的計(jì)算邏輯，實(shí)現(xiàn)從數(shù)據(jù)流中捕獲滿足規(guī)則的數(shù)據(jù)記錄，生成一個(gè)事件，事件分析要求如下：

a)應(yīng)支持用戶自定義事件類型、事件規(guī)則；

b)應(yīng)支持復(fù)雜事件規(guī)則由多個(gè)算子構(gòu)成，各個(gè)算子通過(guò)連接線串聯(lián)起來(lái)，適用于比較復(fù)雜的業(yè)務(wù)

場(chǎng)景；

c)應(yīng)支持預(yù)集成有狀態(tài)聚合計(jì)算、過(guò)濾算子、聚合計(jì)算、字段計(jì)算、數(shù)據(jù)過(guò)濾、數(shù)據(jù)關(guān)聯(lián)等工業(yè)主

流算子；

d)應(yīng)支持預(yù)集成表達(dá)式函數(shù)，包括不限于數(shù)學(xué)計(jì)算、邏輯計(jì)算、類型轉(zhuǎn)換等函數(shù)

e)應(yīng)支持事件規(guī)則圖形化、低代碼配置；

f)應(yīng)支持查看歷史事件記錄；

g)應(yīng)支持事件結(jié)果實(shí)時(shí)開(kāi)放。

6.2.7虛擬測(cè)點(diǎn)計(jì)算分析

結(jié)合能源監(jiān)管服務(wù)需求，針對(duì)IoT海量設(shè)備數(shù)據(jù)的特點(diǎn)，提供屬性級(jí)實(shí)時(shí)準(zhǔn)確的計(jì)算能力，支持以

物實(shí)例的屬性數(shù)據(jù)作為輸入，同時(shí)將輸出結(jié)果寫入到物實(shí)例的屬性，讓物實(shí)例在承載設(shè)備上報(bào)的測(cè)量數(shù)

據(jù)的基礎(chǔ)上，同時(shí)能承載分析計(jì)算后的指標(biāo)數(shù)據(jù)，虛擬測(cè)點(diǎn)計(jì)算分析要求如下：

a)應(yīng)支持轉(zhuǎn)換計(jì)算，對(duì)單個(gè)或多個(gè)參數(shù)的值進(jìn)行常規(guī)數(shù)學(xué)計(jì)算，表達(dá)式中不能使用系統(tǒng)的時(shí)序聚

合函數(shù)；

b)應(yīng)支持聚合計(jì)算，對(duì)單個(gè)或多個(gè)參數(shù)的值進(jìn)行周期性的時(shí)序聚合計(jì)算，表達(dá)式中可以使用系統(tǒng)

的時(shí)序聚合函數(shù)；

c)應(yīng)支持流計(jì)算，引用流作業(yè)管理中定義的作業(yè)，將輸入數(shù)據(jù)傳遞給作業(yè)進(jìn)行計(jì)算；

d)應(yīng)支持工業(yè)通用基礎(chǔ)算子預(yù)集成，包含不限于輸入算子、輸出算子、過(guò)濾算子、扁平算子、嵌套

算子、快照算子等；

e)應(yīng)支持通用基礎(chǔ)算子預(yù)集成，包含不限于輸入算子、輸出算子、過(guò)濾算子、扁平算子、嵌套算

子、快照算子等；

f)應(yīng)支持高級(jí)算子預(yù)集成，包含不限于去噪算子、張量拆解算子、張量組裝算子等；

g)應(yīng)支持SQL語(yǔ)句編寫函數(shù)；

h)應(yīng)支持函數(shù)、任務(wù)按照?qǐng)D形化、低代碼方式配置。

6.2.8時(shí)序分析

結(jié)合能源信息監(jiān)管要求，提供針對(duì)IoT數(shù)據(jù)的時(shí)序洞察/分析能力，幫助用戶便捷對(duì)歷史數(shù)據(jù)進(jìn)行時(shí)

間維度上的分析，時(shí)序分析要求如下：

a)應(yīng)支持時(shí)序數(shù)據(jù)多種聚合計(jì)算，包括不限于平均值、最小值、最大值、總數(shù)、記錄數(shù)量等5種；

b)應(yīng)支持對(duì)所選時(shí)序數(shù)據(jù)按時(shí)間做偏移，在預(yù)覽列表新增一條記錄，常用于同一測(cè)點(diǎn)不同時(shí)間的

對(duì)比分析；

c)應(yīng)支持時(shí)序數(shù)據(jù)按照階梯圖，最小/最大范圍，顯示數(shù)據(jù)點(diǎn)；

d)應(yīng)支持圖形化方式查看資產(chǎn)數(shù)據(jù)、或者資產(chǎn)數(shù)據(jù)的歷史曲線，包括不限于折線圖、熱力圖、散點(diǎn)

圖等圖表；

6

DB14/T2938—2023

e)應(yīng)支持類型、堆積、共享等等折線圖顯示方式。

7數(shù)據(jù)治理

7.1數(shù)據(jù)集成

結(jié)合能源監(jiān)管服務(wù)數(shù)據(jù)集成要求，應(yīng)支持批量數(shù)據(jù)遷移和實(shí)時(shí)數(shù)據(jù)集成，數(shù)據(jù)集成要求如下：

a)批量數(shù)據(jù)遷移應(yīng)提供同構(gòu)/異構(gòu)數(shù)據(jù)源之間批量數(shù)據(jù)遷移的功能；

b)應(yīng)支持批量遷移表或者文件，支持同構(gòu)/異構(gòu)數(shù)據(jù)庫(kù)之間整庫(kù)遷移，一個(gè)作業(yè)可遷移幾百?gòu)埍恚?/p>

c)應(yīng)支持文件增量遷移、關(guān)系型數(shù)據(jù)庫(kù)增量遷移、面向列的分布式存儲(chǔ)數(shù)據(jù)庫(kù)增量遷移，以及使

用篩選條件配合時(shí)間變量函數(shù)實(shí)現(xiàn)增量數(shù)據(jù)遷移；

d)應(yīng)支持當(dāng)遷移作業(yè)執(zhí)行失敗時(shí)，將數(shù)據(jù)回滾到作業(yè)開(kāi)始之前的狀態(tài)，自動(dòng)清理目的表中的數(shù)據(jù)；

e)應(yīng)支持去隱私、字符串操作、日期操作等常用字段的數(shù)據(jù)轉(zhuǎn)換功能；

f)在遷移文件到文件系統(tǒng)時(shí)，批量數(shù)據(jù)遷移應(yīng)支持對(duì)寫入云端的文件進(jìn)行加密；

g)應(yīng)支持使用MD5校驗(yàn)，檢查端到端文件的一致性，并輸出校驗(yàn)結(jié)果；

h)應(yīng)支持將遷移過(guò)程中處理失敗的、被清洗過(guò)濾掉的、不符合字段轉(zhuǎn)換或者不符合清洗規(guī)則的數(shù)

據(jù)自動(dòng)歸檔到臟數(shù)據(jù)日志中，方便用戶分析異常數(shù)據(jù)。并支持設(shè)置臟數(shù)據(jù)比例閾值，來(lái)決定任

務(wù)是否成功。

7.2規(guī)范設(shè)計(jì)

應(yīng)支持能源監(jiān)管服務(wù)數(shù)據(jù)加工并業(yè)務(wù)化的功能，應(yīng)提供主題設(shè)計(jì)、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)建模、指標(biāo)體系

等功能，規(guī)范設(shè)計(jì)要求如下：

a)通過(guò)主題設(shè)計(jì)構(gòu)建統(tǒng)一的數(shù)據(jù)分類體系，用于目錄化管理所有業(yè)務(wù)數(shù)據(jù)，便于數(shù)據(jù)的歸類、查

找、評(píng)價(jià)、使用；通過(guò)分層架構(gòu)對(duì)數(shù)據(jù)分類和定義，可幫助用戶厘清數(shù)據(jù)資產(chǎn)，明確業(yè)務(wù)領(lǐng)域

和業(yè)務(wù)對(duì)象的關(guān)聯(lián)關(guān)系；

b)通過(guò)數(shù)據(jù)標(biāo)準(zhǔn)管理構(gòu)建統(tǒng)一的數(shù)據(jù)標(biāo)準(zhǔn)體系，數(shù)據(jù)標(biāo)準(zhǔn)流程化、系統(tǒng)化，對(duì)每一行數(shù)據(jù)、每一個(gè)

字段的具體取值進(jìn)行標(biāo)準(zhǔn)化，從而提升數(shù)據(jù)質(zhì)量和易用性；

c)通過(guò)數(shù)據(jù)建模構(gòu)建統(tǒng)一的數(shù)據(jù)模型體系，自頂向下構(gòu)建企業(yè)數(shù)據(jù)分層體系，沉淀企業(yè)數(shù)據(jù)公共

層和生產(chǎn)經(jīng)營(yíng)主題庫(kù)、雙碳管理主題庫(kù)、安全監(jiān)管主題庫(kù)、企業(yè)服務(wù)主題庫(kù)、產(chǎn)業(yè)賦能主題庫(kù)

等5大主題庫(kù)，便于數(shù)據(jù)的流通、共享、創(chuàng)造、創(chuàng)新，提升數(shù)據(jù)使用效率，極大的減少數(shù)據(jù)冗

余、混亂、隔離、不一致以及謬誤等；

d)通過(guò)指標(biāo)體系建設(shè)構(gòu)建能源監(jiān)管服務(wù)統(tǒng)一的數(shù)據(jù)指標(biāo)體系，定義業(yè)務(wù)指標(biāo)要素，統(tǒng)一指標(biāo)計(jì)算

規(guī)則，拆解關(guān)聯(lián)技術(shù)指標(biāo)，形成指標(biāo)資產(chǎn)。

7.3數(shù)據(jù)開(kāi)發(fā)

結(jié)合能源監(jiān)管服務(wù)數(shù)據(jù)治理需求，應(yīng)提供一站式敏捷數(shù)據(jù)開(kāi)發(fā)平臺(tái)，幫助能源監(jiān)管服務(wù)快速構(gòu)建大

數(shù)據(jù)處理中心，數(shù)據(jù)開(kāi)發(fā)要求如下：

a)應(yīng)支持可視化的圖形開(kāi)發(fā)界面、豐富的數(shù)據(jù)開(kāi)發(fā)類型（腳本開(kāi)發(fā)和作業(yè)開(kāi)發(fā)）、全托管的作業(yè)調(diào)

度和運(yùn)維監(jiān)控能力、內(nèi)置行業(yè)數(shù)據(jù)處理管道和一鍵式開(kāi)發(fā)和全流程可視化；

b)應(yīng)支持多人在線協(xié)同開(kāi)發(fā)和管理多種大數(shù)據(jù)云服務(wù)，降低能源監(jiān)管服務(wù)用戶使用大數(shù)據(jù)的門檻；

c)應(yīng)有數(shù)據(jù)管理功能，支持管理多種數(shù)據(jù)倉(cāng)庫(kù)，支持可視化和DDL方式管理數(shù)據(jù)庫(kù)表；

d)應(yīng)與批量數(shù)據(jù)遷移無(wú)縫集成，支持批量數(shù)據(jù)遷移，支持20多種異構(gòu)數(shù)據(jù)源之間可靠高效的數(shù)據(jù)

傳輸，實(shí)現(xiàn)多數(shù)據(jù)源集成到數(shù)據(jù)倉(cāng)庫(kù)；

7

DB14/T2938—2023

e)應(yīng)提供在線腳本編輯器，支持多人協(xié)作進(jìn)行SQL、系統(tǒng)命令行腳本在線代碼開(kāi)發(fā)和調(diào)測(cè)。支持使

用變量和函數(shù)；

f)應(yīng)提供圖形化設(shè)計(jì)器，支持拖拽式工作流開(kāi)發(fā)，快速構(gòu)建數(shù)據(jù)處理業(yè)務(wù)流水線；

g)應(yīng)支持預(yù)設(shè)數(shù)據(jù)集成、SQL、MR、大數(shù)據(jù)處理引擎、系統(tǒng)命令行、機(jī)器學(xué)習(xí)等多種任務(wù)類型，通

過(guò)任務(wù)間依賴完成復(fù)雜數(shù)據(jù)分析處理；

h)應(yīng)支持統(tǒng)一管理在腳本開(kāi)發(fā)和作業(yè)開(kāi)發(fā)使用到的文件、jar、歸檔文件類型的資源；

i)應(yīng)支持單次調(diào)度、周期調(diào)度和事件驅(qū)動(dòng)調(diào)度，周期調(diào)度支持分鐘、小時(shí)、天、周、月等多種調(diào)度

周期。

7.4數(shù)據(jù)質(zhì)量

結(jié)合能源監(jiān)管服務(wù)數(shù)據(jù)治理需求，應(yīng)提供對(duì)能源監(jiān)管服務(wù)數(shù)據(jù)全生命周期管控、數(shù)據(jù)處理全流程質(zhì)

量監(jiān)控、異常事件實(shí)時(shí)通知、生成數(shù)據(jù)質(zhì)量質(zhì)量報(bào)告的能力，數(shù)據(jù)質(zhì)量要求如下：

a)應(yīng)支持對(duì)業(yè)務(wù)指標(biāo)和數(shù)據(jù)質(zhì)量進(jìn)行監(jiān)控，數(shù)據(jù)質(zhì)量可檢驗(yàn)，及時(shí)發(fā)現(xiàn)數(shù)據(jù)質(zhì)量問(wèn)題；

b)應(yīng)提供對(duì)業(yè)務(wù)指標(biāo)數(shù)據(jù)進(jìn)行質(zhì)量管理的有效工具，可以靈活的創(chuàng)建業(yè)務(wù)指標(biāo)、業(yè)務(wù)規(guī)則和業(yè)務(wù)

場(chǎng)景，實(shí)時(shí)、周期性進(jìn)行調(diào)度，滿足業(yè)務(wù)的數(shù)據(jù)質(zhì)量監(jiān)控需求；

c)應(yīng)提供配置數(shù)據(jù)質(zhì)量檢查規(guī)則，在線監(jiān)控?cái)?shù)據(jù)準(zhǔn)確性的能力，數(shù)據(jù)質(zhì)量可以從完整性、有效性、

及時(shí)性、一致性、準(zhǔn)確性、唯一性六個(gè)維度進(jìn)行單列、跨列、跨行和跨表的分析，也支持?jǐn)?shù)據(jù)

的標(biāo)準(zhǔn)化，能夠根據(jù)數(shù)據(jù)標(biāo)準(zhǔn)自動(dòng)生成標(biāo)準(zhǔn)化的質(zhì)量規(guī)則，支持周期性的監(jiān)控。

7.5數(shù)據(jù)資產(chǎn)

結(jié)合能源監(jiān)管服務(wù)數(shù)據(jù)治理需求，應(yīng)提供企業(yè)級(jí)的元數(shù)據(jù)管理功能，厘清能源監(jiān)管服務(wù)信息資產(chǎn)；

數(shù)據(jù)資產(chǎn)管理可視，支持鉆取、溯源等；通過(guò)數(shù)據(jù)地圖，實(shí)現(xiàn)能源監(jiān)管服務(wù)數(shù)據(jù)資產(chǎn)的數(shù)據(jù)血緣和數(shù)據(jù)

全景可視，提供數(shù)據(jù)智能搜索和運(yùn)營(yíng)監(jiān)控，數(shù)據(jù)資產(chǎn)要求如下：

a)應(yīng)提供元數(shù)據(jù)管理能力，支持創(chuàng)建自定義策略的采集任務(wù)，可采集數(shù)據(jù)源中的技術(shù)元數(shù)據(jù)。支

持自定義業(yè)務(wù)元模型，批量導(dǎo)入業(yè)務(wù)元數(shù)據(jù)，支持關(guān)聯(lián)業(yè)務(wù)和技術(shù)元數(shù)據(jù)、全鏈路的血緣管理

和應(yīng)用；

b)應(yīng)提供數(shù)據(jù)搜索能力，服務(wù)于數(shù)據(jù)分析、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)挖掘、數(shù)據(jù)運(yùn)營(yíng)等數(shù)據(jù)表的使用者和擁

有者，提供方便快捷的數(shù)據(jù)搜索服務(wù)，提供功能強(qiáng)大的血緣信息及影響分析；可通過(guò)關(guān)鍵詞搜

索數(shù)據(jù)資產(chǎn)，支持模糊搜索、快速檢索、定位數(shù)據(jù)。

7.6數(shù)據(jù)安全

結(jié)合能源監(jiān)管服務(wù)數(shù)據(jù)治