工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心數(shù)據(jù)交換與共享接口規(guī)范（征求意見稿）

Thetechnicalspecificationfor2023-XX-XX發(fā)布中國電子學(xué)會發(fā)布 I II 3 3 3 45數(shù)據(jù)交換與共享服務(wù)總體框架 4 5 12 17本文件按照GB/T1.1-2020給3工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心數(shù)據(jù)交換與共享接口技術(shù)規(guī)范本文件規(guī)定了工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心內(nèi)部國家中心與各區(qū)域分中心、各行業(yè)分中心之間，下列文件對于本文件的應(yīng)用是必不可少的。凡是注日期的引用文件，僅注日期的版本適用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改單）適用指位于北京的工業(yè)互聯(lián)網(wǎng)大數(shù)據(jù)中心，與各區(qū)域分中心、各行業(yè)分中心共同組成工業(yè)互聯(lián)第三方平臺third-partypl指外部第三方大數(shù)據(jù)體系或平臺，如全國一體化政務(wù)大數(shù)據(jù)體系、第三方工業(yè)互聯(lián)網(wǎng)平臺是國家中心與各區(qū)域分中心、各行業(yè)分中心、以及第三方平臺開展數(shù)據(jù)交換和共享服務(wù)的指各類業(yè)務(wù)數(shù)據(jù)在國家中心與各區(qū)域分中心、各行業(yè)分中心以及第三方平臺之間互相發(fā)送、前置機dataexchangepre-pro在數(shù)據(jù)交換的匯聚及分發(fā)流程中，前置機作為數(shù)據(jù)交換雙方的直接介質(zhì)，用于存儲或者處在數(shù)據(jù)匯聚過程中，指各區(qū)域分中心、各行業(yè)分中心以及第三方平臺。在數(shù)據(jù)分發(fā)過程中，4在數(shù)據(jù)匯聚過程中，指國家中心。在數(shù)據(jù)分發(fā)過程中，指各區(qū)域分中心、各行業(yè)分中心、在數(shù)據(jù)共享服務(wù)過程中，是指向國家中心申請、調(diào)用共享接口的各區(qū)域分中心、各行業(yè)分JSON：JavaScript對象標記（JavaScriptObjectNotaRPC：遠程過程調(diào)用（RemoteProcedureRESTFUL：表述性狀態(tài)傳遞（RepresentationalStateTranSOAP：簡單對象訪問協(xié)議(SimpleObjectAccessPr國家中心與各區(qū)域分中心、各行業(yè)分中心以及第三方平臺之間，通過數(shù)壩實現(xiàn)數(shù)據(jù)交換與5各區(qū)域分中心、各行業(yè)分中心、第三方平臺等資源提供方的各類數(shù)據(jù)資源，通過數(shù)壩匯聚到國家中心；國家中心審核數(shù)據(jù)資源申請來提供數(shù)據(jù)，通過數(shù)壩分發(fā)至各區(qū)域分中心、各行業(yè)分中心和第三方平臺等資源需求方。數(shù)據(jù)交換總體資源提供方的各類數(shù)據(jù)資源，按照數(shù)據(jù)匯聚標準和數(shù)據(jù)匯聚流程，通過數(shù)壩交換至國家中資源需求方提出的數(shù)據(jù)資源申請，按照數(shù)據(jù)分發(fā)標準和數(shù)據(jù)分發(fā)流程，通過數(shù)壩交換至各國家中心與各區(qū)域分中心、各行業(yè)分中心、第三方平臺的數(shù)據(jù)交換，采用文件交換、服務(wù)a）文件交換方式是通過可靠文件傳送服務(wù)，進行數(shù)據(jù)文件的傳送。要求資源提供方使用b）服務(wù)接口調(diào)用方式是通過實時請求服務(wù)接口實現(xiàn)數(shù)據(jù)交換，適用于時效性和靈活性要c）數(shù)據(jù)庫交換方式是庫到庫的數(shù)據(jù)交換，適用于數(shù)據(jù)量大、數(shù)據(jù)增量更新頻繁的數(shù)據(jù)交6c）文件交換方式，數(shù)據(jù)提供方需為每條交換數(shù)據(jù)記錄增加設(shè)置兩個數(shù)據(jù)項：記錄ID(GUID)、記錄入庫時間。其中：記錄ID為數(shù)據(jù)記錄指紋，由記錄原始生成單位賦值，采用GUID機制，以標識記錄的全局唯一性，是每一條數(shù)據(jù)的主鍵。對于文件交換方式，<?xmlversion=1.0"encodingb）數(shù)據(jù)包包頭放置數(shù)據(jù)資源描述信息，包括：數(shù)據(jù)資源名稱、單位代碼、單位名稱、交號1是2是關(guān)、人民團體及其他機構(gòu)代碼表;省和國行政區(qū)劃代碼;法人及社會組織3是48是51是數(shù)據(jù)同步標志（1-全量加載；2-增6是72是包頭部分格式如下:<PACKAGEDATA_SOURCE_NAME="企業(yè)xxx信息"BUREAU_CODE="320000"B單位名稱"SYNC_DATE="20230201"SYNC_FLAG="1"SYNCDATA_TOTAL="150"xmlns:xsi="/2001/XMLSchema-instxsi:noNamespaceSchemaLocatioc）交換數(shù)據(jù)包體部分由多條數(shù)據(jù)記錄集合組成，每條數(shù)據(jù)記錄由數(shù)據(jù)項和數(shù)據(jù)內(nèi)容組成。包體部分格式如下:<COLUMNNAME="${數(shù)據(jù)項名稱}">${數(shù)據(jù)項內(nèi)容}XML應(yīng)遵循的其他約定:a）XML格式限定文件大小，單個XML格式文件不超過150M，如超出，需要拆分成多個XML文需對XML文件做特殊處理，將特殊字符按照表2中內(nèi)容轉(zhuǎn)換為轉(zhuǎn)義字符，生成標準XML7&<>“’<>c）采用XML文件進行文件交換時，需提供符合約定的Schema文件，以定義交換數(shù)據(jù)語義上a）每一行記錄位于一個單獨的行上，用回車換行符CRb）第一行為數(shù)據(jù)資源標題頭，格式和普通記錄行的格式一樣。包含文件記錄字段對應(yīng)的c）在標題頭行和普通行每行記錄中，會存在一個或多個由分隔符“|”分隔的字段。整個文件中每行應(yīng)包含相同數(shù)量的字段，空格也是字段的一部分，不應(yīng)被忽略。每一行記錄最后一個字段后不能跟分隔符“|”。f）CSV格式限定文件大小,單個CSV格式文件不超過150M,如超出,需要拆分成多個CSV文件。a）第一行為數(shù)據(jù)資源描述信息,包括數(shù)據(jù)資源描述項及描述內(nèi)容。數(shù)據(jù)資源描述項及描述d）TXT數(shù)據(jù)資源描述信息格式示例如表3。|BUREAU_CODE:210000|BUREAU_NAME:xxx|SYNC_D應(yīng)遵循的其他約定:c）若數(shù)據(jù)中出現(xiàn)分隔符“|”或封閉符“^”，應(yīng)對其進行轉(zhuǎn)義處理，“|”的轉(zhuǎn)義符號為“\”，“^”的轉(zhuǎn)義符號為“\\”。當(dāng)交換文件包含有多個XML、CSV或TXT文件時,可以對交換文件進行打包處理，每個壓縮文件大小不要超過2G，可由多個壓縮文件構(gòu)成（壓縮文件卷號由3位數(shù)字表示,由數(shù)據(jù)提供方生成,8b）進行庫表對接的雙方需要保持數(shù)據(jù)庫、數(shù)據(jù)表結(jié)構(gòu)c）交換雙方在交換過程中做好數(shù)據(jù)庫的監(jiān)控，保障傳輸?shù)目煽啃?。若傳輸過程中異?；蚋鲄^(qū)域分中心、各行業(yè)分中心、第三方平臺應(yīng)以全量/增量更新的方式，按規(guī)定的頻率進行數(shù)據(jù)匯聚支持文件交換、服務(wù)接口調(diào)用方式、數(shù)據(jù)庫交換三種數(shù)據(jù)交換方式。其中，文件交換方式和數(shù)據(jù)庫交換方式的匯聚流程見圖3；服務(wù)調(diào)用9務(wù)接口注冊信息表發(fā)起服務(wù)注冊申請；文件交換和數(shù)據(jù)庫交換方式需參照的資源申請信資源提供方發(fā)起匯聚申請后，數(shù)壩對資源/服務(wù)注冊申請信息審核、確認，完成申請準入或123456789數(shù)據(jù)庫交換：可讀權(quán)限的數(shù)據(jù)庫連接信息、用戶信息c）數(shù)據(jù)庫交換方式：完成前置機庫表確認及創(chuàng)建；創(chuàng)建數(shù)據(jù)庫的寫權(quán)限用戶；配置源端a）服務(wù)調(diào)用方式：按匯聚申請單的約定準備好b）文件交換方式：按資源申請單約定的文件類型生成待匯聚數(shù)據(jù)資源文件（文件規(guī)范參），c）數(shù)據(jù)庫交換方式：準備待匯聚數(shù)據(jù)的數(shù)據(jù)庫表，并確保用于數(shù)據(jù)交換的數(shù)據(jù)庫用戶具數(shù)壩負責(zé)將資源提供方提供的數(shù)據(jù)交換至國家中心，國家中心進行數(shù)據(jù)匯聚、處理、加載數(shù)據(jù)對賬用來對資源提供方提供的本次更新數(shù)據(jù)與國家中心接收的數(shù)據(jù)進行比對，保證數(shù)a）文件交換方式：文件接收方收到文件后，解析文件數(shù)據(jù)資源描述信息，核驗文件數(shù)據(jù)，b）數(shù)據(jù)庫交換方式：在庫表數(shù)據(jù)交換完成后，確保已錄入庫表的數(shù)據(jù)條目及內(nèi)容與源端國家中心如果發(fā)現(xiàn)異常數(shù)據(jù)，則通過數(shù)壩反饋給資源提供方，各區(qū)域分中心、各行業(yè)分中b）匯聚數(shù)據(jù)內(nèi)容不符合數(shù)據(jù)匯聚標準數(shù)據(jù)分發(fā)支持文件交換、服務(wù)接口調(diào)用方式兩種數(shù)據(jù)交換方式。其中，服務(wù)調(diào)用方式的數(shù)據(jù)分發(fā)流程見圖5；文件交換方式的數(shù)據(jù)分發(fā)資源需求方,通過數(shù)壩向國家中心申請數(shù)據(jù)資源。其中，服務(wù)調(diào)用方式需按照7.4.1服務(wù)接口申請信息表向數(shù)壩發(fā)起服務(wù)接口調(diào)用申請；文件交換方式需按照的資源申請信息表向a）服務(wù)調(diào)用方式：完成服務(wù)接口的開發(fā)、部署上線，為服務(wù)接口的調(diào)用方進行訪問授權(quán)、b）文件交換方式：生成待分發(fā)的資源文件，為文件資源的需求方開通下載權(quán)限等前置分資源提供方將服務(wù)接口注冊到國家中心。國家中心完成服務(wù)接口的審核封裝，并統(tǒng)一受理資源需求方提出的服務(wù)接口申請，經(jīng)審核、授權(quán)后，對資源需求方提供統(tǒng)一的接口服務(wù)。共享資源提供方對外提供服務(wù)接口形式的資源時，應(yīng)通過國家中心注冊服務(wù)接口，提供的服務(wù)123456服務(wù)接口資源所屬的資源目錄，資源目錄由資源提供方7服務(wù)接口的地址，必須是通過國家中心能夠訪問的地址8基于HTTP協(xié)議的RPC、RESTFUL、SOAPWEB9服務(wù)接口調(diào)用的有效截止日期，日期格式（YYYY選擇類型（類型包括string、int、long、array、boolean詳細的服務(wù)接口使用說明文檔，具體內(nèi)容應(yīng)包括服資源提供方注冊服務(wù)接口，經(jīng)資源提供方的管理人員審核通過后，由國家中心完成審核封裝，服務(wù)接口發(fā)布成功，可以供資源需求方查看和申請使用。接口如審核不通過，則駁回提供服務(wù)接口成功發(fā)布后，當(dāng)服務(wù)接口尚無使用方調(diào)用時，服務(wù)接口可以撤銷，需要填寫撤銷當(dāng)服務(wù)接口已有資源使用方在調(diào)用時，若需要撤銷，可以通知資源使用方取消服務(wù)接口調(diào)用，說明撤銷理由，并告知撤銷時間，給予一定期限進行調(diào)整。服務(wù)接口撤銷需要經(jīng)過管理部服務(wù)接口成功發(fā)布后，當(dāng)服務(wù)接口尚無資源使用方調(diào)用時，服務(wù)接口可以變更，需要填寫當(dāng)服務(wù)接口已有資源使用方在調(diào)用時，為不影響資源使用方正常調(diào)用，資源提供方應(yīng)先在國家中心上發(fā)布新服務(wù)接口，同時通知舊服務(wù)接口使用方在一定期限內(nèi)取消服務(wù)接口調(diào)用并申請使用新服務(wù)接口，當(dāng)確認所有舊服務(wù)接口使用方已取消使用后，資源提供方發(fā)起舊接口下線流程，經(jīng)國家中心審批通過后，資源提供方可以撤銷舊服務(wù)接口。資源提供方需做好版本管理。資源使用方在國家中心填寫申請信息，提交帶有本主管部門印章的申請表及相關(guān)技術(shù)參數(shù)文檔，由國家中心統(tǒng)一受理，按照授權(quán)方式由國家中心管理部門或資源提供方審核，審核通過后，由國家中心為資源使用方授權(quán)認證信息。服務(wù)接口申請信123456789a）獲取安全訪問令牌。資源需求方使用國家中心分配的client_id和client_secret參數(shù)值，通過調(diào)用國家中心“安全認證服務(wù)”接口獲取到本部門訪問資源令牌。令牌在首次調(diào)用接口時獲取一次即可，可反復(fù)使用，直至令牌過期。安全認證服務(wù)的接口說明URL樣式URL參數(shù)是是{}b）接口調(diào)用：資源需求方請求資源時，除了要按照資源提供方要求的格式、位置傳入?yún).1共享服務(wù)接口返回值代碼表API不可用或APIKEY錯誤API過期<?xmlversion="1.0"encoding="UTF-8"?><PACKAGEDATA_SOURCE_NAME="企業(yè)xxx信息"BUREAU_CODE="320000"BUREAU_NAME="單位名稱"SYNC_DATE="20230201"SYNC_FLAG="1"SYNC_FREQ="月"DATA_TOTAL="150"xmlns:xsi="/2001/XMLSchema-instance"xsi:noNamespaceSchemaLocation="qualified"><DATASET><RECORD><FIELD1>VALUE1</FIELD1><FIELD2>VALUE2</FIELD2><FIELD3>VALUE3</FIELD3></RECORD></DATASET><?xmlversion="1.0"encoding="UTF-8"?><xs:schemaxmlns:xs="/2001/XMLSchema"elementFormDefault="qualified"><xs:elementname="PACKAGE"><xs:complexType><xs:sequence><xs:attributename="DATA_SOURCE_NAME"use="required"type="xs:string"/><xs:attributename="BUREAU_CODE"use="required"type="xs:string"/><xs:attributename="BUREAU_NAME"use="required"type="xs:string"/><xs:attributename="SYNC_DATE"use="required"type="xs:string"/><xs:attributename="SYNC_FLAG"use="required"type="xs:integer"/><xs:attributename="SYNC_FREQ"use="required"type="xs:integer"/><xs:attributename="DATA_TOTAL"use="required"type="xs:integer"/></xs:sequence></xs:complexType></xs:element><xs:elementname="dataset"><xs:complexType><xs:sequence><xs:elementref="RECORD"/></xs:sequence></xs:complexType></xs:elem