DB3209T 1258-2023 公共數(shù)據(jù)平臺 數(shù)據(jù)歸集規(guī)范

ICS35.020CCSL70

DB3209鹽 城 市 地 方 標 準DB3209/T1258—2023公共數(shù)平臺 數(shù)歸集規(guī)范2023-12-15發(fā)布 2024-03-15實施鹽城市市場監(jiān)督管理局 發(fā)布IIDB3209/T1258-2023前 言GB/T《標準化工作導(dǎo)則第本文件由鹽城市工業(yè)和信息化局提出并歸口。本文件起草單位：鹽城市工業(yè)和信息化局、鹽城市大數(shù)據(jù)管理中心。DB3209/T1258-2023DB3209/T1258-2023--PAGE1-公共數(shù)據(jù)平臺數(shù)據(jù)歸集規(guī)范本文件適用于指導(dǎo)鹽城市各級公共管理和服務(wù)機構(gòu)歸集數(shù)據(jù)至鹽城市公共數(shù)據(jù)平臺。（GB/T22239GB/T35273GB/T35295GB/T37973GB/T35295-2017界定的以及下列術(shù)語和定義適用于本文件。3.1數(shù)據(jù)歸集dataingestion3.2公共數(shù)據(jù)commondata3.3結(jié)構(gòu)化數(shù)據(jù)structureddata[來源:GB/T35295-2017,2.2.13]3.4結(jié)構(gòu)化文件structuredfileCSVJSON3.5非結(jié)構(gòu)化文件unstructuredfileHTML將原始數(shù)據(jù)不進行處理地采集存放在公共數(shù)據(jù)平臺的貼源層中；對貼源層中的數(shù)據(jù)進行清洗加工使其滿足公共數(shù)據(jù)平臺使用的質(zhì)量要求，清洗加工后的數(shù)據(jù)存放在公共數(shù)據(jù)平臺的公共層中；對公共層中的數(shù)據(jù)進行個性化面向應(yīng)用、業(yè)務(wù)的整合，最終數(shù)據(jù)存放在公共數(shù)據(jù)平臺的主題層。數(shù)據(jù)歸集結(jié)果確認應(yīng)包含：DB3209/T1258-2023DB3209/T1258-2023--PAGE3-：UTF-8、GB2312、UTF-16UUID800000001順業(yè)務(wù)操作標識：用于標識業(yè)務(wù)數(shù)據(jù)的操作屬性，數(shù)據(jù)新增為“Uhh:mm:ss。示例：2023-10-0108:10:56。A.1。對賬記錄唯一標識：對賬表主鍵，使用UUID批次時間：對賬數(shù)據(jù)寫入對賬表的時間，采用數(shù)據(jù)庫時間函數(shù)的值，格式為hh:mm:ss；示例：2023-10-0108:10:56。01-1C.1。在前置機中建設(shè)文件系統(tǒng)，用于臨時存儲待歸集的文件。文件系統(tǒng)可采用FTP、SFTP等。///月日/0~（a~z、A~Z）_示例：文件夾命名：/公司資料/銷售數(shù)據(jù)/2023/12/05/，文件命名：daily_sales_report_20231205.xlsx。需設(shè)置文件大小閾值，文件超出閾值應(yīng)拆分成多個小文件。CSVTXTXLSXLSXPDFDOCDOCXWPSZIPCSVXLSXLSXUTF-16IDUUID800000001順示例：2023100100000001，表示2023年10月1日第1批次數(shù)據(jù)。KB；業(yè)務(wù)操作標識：用于標識業(yè)務(wù)數(shù)據(jù)的操作屬性，數(shù)據(jù)新增為“U10hh:mm:ss。示例：2023-10-0108:10:56。B.1。DB3209/T1258-2023DB3209/T1258-2023--PAGE5-IDIDUUIDIDID；KB；hh:mm:ss。示例：2023-10-0108:10:56。B.1UD對賬記錄唯一標識：對賬表主鍵，使用UUID批次時間：對賬數(shù)據(jù)寫入對賬表的時間，采用數(shù)據(jù)庫時間函數(shù)的值，格式為hh:mm:ss;示例：2023-10-0108:10:56。KB；C.2服務(wù)接口調(diào)用形式為：<protocol>://<hostname>:<port>/<URI>，其中：protocolHTTPSHTTP；hostname指IPIPportURI指資源URI服務(wù)接口資源采用RESTfulD.1DD.1～D.4對存在更新標識的數(shù)據(jù)應(yīng)支持增量更新；對不存在更新標識的數(shù)據(jù)應(yīng)支持全量更新。GB/T22239GB/T35273GB/T37973DB3209/T1258-2023DB3209/T1258-2023--PAGE7-附錄A（資料性）庫表歸集業(yè)務(wù)數(shù)據(jù)表字段名稱和數(shù)據(jù)格式業(yè)務(wù)數(shù)據(jù)表字段名稱和數(shù)據(jù)格式見表A.1。表A.1業(yè)務(wù)數(shù)據(jù)表字段名稱和數(shù)據(jù)格式字段名稱字段標識符字段類型字段長度主鍵標識非空記錄IDIDVARCHAR64主鍵是批次號BATCHVARCHAR20--是業(yè)務(wù)操作標識OPERATIONVARCHAR1--是更新時間TIMEDATETIME8--是附錄B（資料性）文件歸集信息表字段名稱和數(shù)據(jù)格式文件信息表、文件拆分信息表字段名稱和數(shù)據(jù)格式見表B.1。表B.1文件信息表、文件拆分信息表字段名稱和數(shù)據(jù)格式字段名稱字段標識符字段類型字段長度主鍵標識非空記錄IDUD_IDVARCHAR64主鍵是批次號UD_BATCHVARCHAR20--是文件名UD_FILE_NAMEVARCHAR64--是文件路徑UD_FILE_PATHVARCHAR250--是文件大小UD_FILE_SIZELONG----是文件格式UD_FILE_TYPEVARCHAR64--是文件中文名UD_FILE_CNAMEVARCHAR64--是文件完整性校驗UD_FILE_CHECKVARCHAR128--是業(yè)務(wù)操作標識UD_OPERATIONVARCHAR1--是文件拆分標識UD_IS_SPLIT_FILEINT1--是拆分數(shù)量UD_SPLIT_COUNTINT----是更新時間UD_TIMEDATETIME8--是文件信息表記錄IDUD_FILE_INFO_IDVARCHAR64--是DB3209/TXXX-2023DB3209/TXXX-2023PAGEPAGE1附錄C（資料性）對賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式庫表歸集對賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式見表C.1。表C.1庫表歸集對賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式字段名稱字段標識符字段類型字段長度主鍵標識非空對賬記錄唯一標識IDVARCHAR64主鍵是表名TABLE_NAMEVARCHAR100--是批次號DATA_BATCHVARCHAR20--是批次條數(shù)DATA_COUNTINT----是批次時間DATA_DATEDATETIME8--是批次狀態(tài)DATA_STATEVARCHAR1--是文件歸集對賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式見表C.2。表C.2文件歸集對賬數(shù)據(jù)表字段名稱和數(shù)據(jù)格式字段名稱字段標識符字段類型字段長度主鍵標識非空對賬記錄唯一標識IDVARCHAR64主鍵是文件路徑FILE_PATHVARCHAR250--是文件類型UD_SDVARCHAR2--是批次號FILE_BATCHVARCHAR20--是批次個數(shù)FILE_COUNTINT----是批次大小FILE_SIZELONG批次時間FILE_DATEDATETIME8--是批次狀態(tài)FILE_STATEVARCHAR1--是附 錄 D（資料性）服務(wù)接口數(shù)據(jù)示例及內(nèi)容描述json以test內(nèi)容傳輸格式為例，定義數(shù)據(jù)模板，數(shù)據(jù)模板標識為test，json消息體數(shù)據(jù)示例為：200OK200OKContent-Type：application/jsonContent-Length：xxx{“url”:"<serialnumber>/<dstributedStorageIdentifier>/<resouceIdentifier>"“intercIdntiierddoObjets”,“l(fā)abel”test信息新增接口",“items_url”:“<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>”,“status”:“success”,“data”:[{“id”：“XXX”,“ne“XXX”,……}，{“id”：“XXX”,“ne“XXX”,……}……]}DB3209/TXXX-2023DB3209/TXXX-2023PAGEPAGE3增加信息服務(wù)接口信息描述見表D.1。表D.1增加服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為addObjects或addObjects_GZIP功能批量增加信息方法post消息體ineterfaceIdentifier=addobjects時消息體為application/json，字符集編碼為UTF-8的標準json格式數(shù)據(jù)；ineterfaceIdentifier=addObjects_GZIP時數(shù)據(jù)格式為application/json，字符集編碼為UTF-8的壓縮json格式數(shù)據(jù)； 返回結(jié)果200OKContent-Type:application/jsonContent-Length：xxx{“status”:“{status}”,“err”:“{err}”}{status}=0，數(shù)據(jù)格式正確，{err}為空{(diào)status據(jù)格式錯誤，{err}為錯誤描述注釋需主鍵信息刪除信息服務(wù)接口信息描述見表D.2。表D.2刪除服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為deleteObjects或deleteObjects_GZIP功能批量刪除信息方法post消息體ineterfaceIdentifier=deleteObjectsapplication/jsonUTF-8的json格式數(shù)據(jù)；ineterfaceIdentifier=deleteObjects_GZIP時數(shù)據(jù)格式為application/json，字符集編碼為UTF-8的壓縮json格式數(shù)據(jù)；返回結(jié)果200OKContent-Type：application/jsonContent-Length：xxx{“status”:“{status}”,“err”:“{err}”}{status}=0，數(shù)據(jù)格式正確，{err}為空{(diào)status}不為0，數(shù)據(jù)格式錯誤，{err}為錯誤描述注釋需主鍵信息修改信息服務(wù)接口信息描述見表D.3。表D.3修改服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為updateObjects或updateObjects_GZIP功能批量修改信息方法post消息體ineterfaceIdentifier=updateObjects時消息體為application/json，字符集編碼為UTF-8的標準json格式數(shù)據(jù)；ineterfaceIdentifier=updateObjects_GZIP時數(shù)據(jù)格式為application/json，字符集編碼為UTF-8的壓縮json格式數(shù)據(jù)；返回結(jié)果200OKContent-Type：application/jsonContent-Length：xxx{“status”：“{status}”,“err”：“{err}”}{err}為空{(diào)status}{err}為錯誤描述注釋需主鍵信息只增信息服務(wù)接口信息描述見表D.4。表D.4只增服務(wù)信息接口描述名稱內(nèi)容備注接口地址https://<hostname>:<port><ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>ineterfaceIdentifier為addEventInfos或addEventInfos_GZIP功能批量歸集只增信息