TFBD 002-2023 一體化公共數(shù)據(jù)平臺 數(shù)據(jù)匯聚技術(shù)要求

ICS35.020CCSL70團(tuán) 體 標(biāo) 準(zhǔn)T/FBD002-2023Publicdataaggregationandsharingplatform—technicalrequirementsofdataaggregation2023-11-28發(fā)布 2023-11-28實(shí)施福建省大數(shù)據(jù)產(chǎn)業(yè)商會??發(fā)布T/FBD002T/FBD002—2023前 言本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則 第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識別這些專利的責(zé)任。本文件由福建大數(shù)據(jù)一級開發(fā)有限公司提出。本文件由福建省大數(shù)據(jù)產(chǎn)業(yè)商會歸口。I一體化公共數(shù)據(jù)平臺數(shù)據(jù)匯聚技術(shù)要求范圍本文件適用于一體化公共數(shù)據(jù)平臺數(shù)據(jù)匯聚建設(shè)工作管理。規(guī)范性引用文件（包括所有的修改單適用于本文件。GB/T26863—2022 火電站監(jiān)控系統(tǒng)術(shù)語GB/T35295—2017 信息技術(shù)大數(shù)據(jù)術(shù)GB/T39477 信息安全技術(shù)政務(wù)信息共享數(shù)據(jù)安全技術(shù)要求術(shù)語和定義下列術(shù)語和定義適用于本文件。數(shù)據(jù)集dataset數(shù)據(jù)記錄匯聚的數(shù)據(jù)形式。注：的特征，當(dāng)其在網(wǎng)絡(luò)上傳輸時或暫時駐留于計(jì)算機(jī)存儲器中以備讀出或更新時，表征的是動態(tài)數(shù)據(jù)。[來源：GB/T35295—2017,2.1.46]公共數(shù)據(jù) publicdata（以下統(tǒng)稱公共管理和服務(wù)機(jī)構(gòu)），在依法履行職責(zé)或者提供公共服務(wù)過程中收集、產(chǎn)生的各類數(shù)據(jù)及其衍生數(shù)據(jù)。數(shù)據(jù)湖datalake以原生格式存儲原始數(shù)據(jù)的袁術(shù)數(shù)據(jù)存儲庫或系統(tǒng)。注1：數(shù)據(jù)湖直接按原樣存儲數(shù)據(jù)，而無需事先對被存儲數(shù)據(jù)進(jìn)行結(jié)構(gòu)化處理。2：數(shù)據(jù)湖能存儲結(jié)構(gòu)化數(shù)據(jù)如關(guān)系型數(shù)據(jù)庫的表），半結(jié)構(gòu)化數(shù)據(jù)CSV、日志、XML、JSON），非結(jié)構(gòu)化數(shù)據(jù)（如電子郵件、文檔、PDF）和二進(jìn)制數(shù)據(jù)（如圖形、音頻、視頻）等。[來源：GB/T26863—2022,10.42]數(shù)據(jù)匯聚dataaggregation指從多個數(shù)據(jù)源中收集數(shù)據(jù)，并將其整合到一個共同的數(shù)據(jù)存儲中?？s略語CDC：變更數(shù)據(jù)捕獲(ChangeDataCapture)HTTP：超文本傳輸協(xié)議(HyperTextTransferProtocol)IP：網(wǎng)際互連協(xié)議(InternetProtocol）JSON：JavaScript(JavaScriptObjectNotation)XML：可擴(kuò)展標(biāo)記語言(ExtensibleMarkupLanguage)1基本要求公共數(shù)據(jù)匯聚共享平臺（以下簡稱“平臺”）滿足多源異構(gòu)數(shù)據(jù)的接入需求，包括文件系統(tǒng)、關(guān)系型數(shù)據(jù)庫、非關(guān)系型數(shù)據(jù)庫、實(shí)時流數(shù)據(jù)等。GB/T39477。對于未來新型的數(shù)據(jù)庫出現(xiàn)，平臺宜滿足多種類型、多種版本數(shù)據(jù)庫數(shù)據(jù)的匯聚，能實(shí)現(xiàn)快速適配對接。訪問要求服務(wù)內(nèi)容外部網(wǎng)絡(luò)可通過代理來訪問平臺服務(wù)器上的資源。統(tǒng)一網(wǎng)關(guān)統(tǒng)一網(wǎng)關(guān)的管理內(nèi)容包括以下三部分：——統(tǒng)一對外出口管理：管理網(wǎng)關(guān)服務(wù)的地址代理服務(wù)、協(xié)議代理服務(wù)、端口代理服務(wù)；將外部允許訪問的數(shù)據(jù)服務(wù)地址統(tǒng)一提供給編排任務(wù)節(jié)點(diǎn)進(jìn)行訪問?！?wù)配置管理：進(jìn)行項(xiàng)目管理和工作組管理；項(xiàng)目管理為用戶創(chuàng)建獨(dú)立的任務(wù)配置空間；數(shù)據(jù)匯聚要求數(shù)據(jù)類型平臺支持的數(shù)據(jù)類型包括：結(jié)構(gòu)化數(shù)據(jù)。規(guī)則、完整，能夠通過二維邏輯來表現(xiàn)的數(shù)據(jù)，嚴(yán)格遵循數(shù)據(jù)格式與長度規(guī)范，如：數(shù)據(jù)庫表、ExcelJSON、XML數(shù)據(jù)接入功能要求支持網(wǎng)絡(luò)隔離環(huán)境下的內(nèi)外網(wǎng)數(shù)據(jù)接入。接入形式直接接入，直接訪問數(shù)據(jù)源進(jìn)行直接采集，實(shí)現(xiàn)數(shù)據(jù)的接入。NginxIP注：Nginx，即HTTP和反向代理web服務(wù)器，同時也提供了IMAP/POP3/SMTP服務(wù)。前置機(jī)接入，通過前置機(jī)的配置，實(shí)現(xiàn)數(shù)據(jù)的接入。網(wǎng)閘接入，通過網(wǎng)閘提供的數(shù)據(jù)擺渡服務(wù)作為中間交換，連接跨網(wǎng)數(shù)據(jù)，實(shí)現(xiàn)數(shù)據(jù)的接入。A。數(shù)據(jù)采集技術(shù)要求2采集技術(shù)要求如下：——支持對象存儲方式的數(shù)據(jù)寫入；——支持多種類型的數(shù)據(jù)寫入，如結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等;——支持多種格式的數(shù)據(jù)讀取，如CSV、JSON、XML等；——支持多種來源的數(shù)據(jù)采集，如數(shù)據(jù)庫、文件系統(tǒng)、消息隊(duì)列等；——支持批量定時任務(wù)或?qū)崟r流數(shù)據(jù)采集，實(shí)現(xiàn)數(shù)據(jù)的采集；——支持變更數(shù)據(jù)采集；——支持元數(shù)據(jù)、索引數(shù)據(jù)、存儲數(shù)據(jù)等形式的數(shù)據(jù)采集。普通采集方式1。圖1 普通采集流程圖數(shù)據(jù)庫采集方式2。圖2 數(shù)據(jù)庫采集流程圖數(shù)據(jù)抽取通用要求CDC平臺支持不同周期要求，調(diào)整數(shù)據(jù)抽取頻次。平臺支持用戶手工干預(yù)作業(yè)。數(shù)據(jù)表抽取數(shù)據(jù)表抽取要求如下：a) 支持配置任務(wù)調(diào)度周期和時間；d) 支持定義抽取字段和抽取條件；數(shù)據(jù)流抽取3數(shù)據(jù)流抽取要求如下：支持選取數(shù)據(jù)主題，以及讀取權(quán)限授權(quán)；接口抽取接口抽取要求如下：HTTPkey、key、輸出的字段等信息；keykey結(jié)構(gòu)化文件抽取結(jié)構(gòu)化文件抽取要求如下：支持配置讀取結(jié)構(gòu)化文件的抽取任務(wù)；半結(jié)構(gòu)化文件抽取半結(jié)構(gòu)化文件抽取要求如下：非結(jié)構(gòu)化文件抽取非結(jié)構(gòu)化文件抽取要求如下：通過文件傳輸協(xié)議或?qū)ο蟠鎯f(xié)議，從本地或遠(yuǎn)程服務(wù)器上抽取非結(jié)構(gòu)化文件；支持配置服務(wù)器參數(shù)，包括地址、端口、用戶名、密碼或密鑰、目錄或桶名，對象名等信息。4B.1。

附錄 A（資料性）數(shù)據(jù)接入案例圖A.1 直接采集邏輯架構(gòu)圖B.2。圖A.2 網(wǎng)絡(luò)代理邏輯架構(gòu)圖5B.3。圖A.3 前置機(jī)接入邏輯架構(gòu)圖B.4。圖A.4 網(wǎng)閘接口邏輯架構(gòu)圖6參考文獻(xiàn)國務(wù)院辦公廳關(guān)于