高速公路數(shù)據(jù)采集技術規(guī)范

TXX/TXXXXX—2024高速公路數(shù)據(jù)采集技術規(guī)范本文件規(guī)定了高速公路數(shù)據(jù)采集技術的術語與定義、縮略語、架構、方式與頻率、采集內(nèi)容、采集流程、反饋和處理及數(shù)據(jù)安全等內(nèi)容。本文件適用于高速公路結構化、半結構化、非結構化等各類信息資源數(shù)據(jù)的采集。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T22239信息安全技術—網(wǎng)絡安全等級保護基本要求GB/T35273信息安全技術個人信息安全規(guī)范GB/T39786信息安全技術信息系統(tǒng)密碼應用基本要求GB/T43697數(shù)據(jù)安全技術數(shù)據(jù)分類分級規(guī)則3術語和定義下列術語和定義適用于本文件。3.1結構化數(shù)據(jù)關系模型數(shù)據(jù)，即以關系數(shù)據(jù)庫表形式管理的數(shù)據(jù)。3.2半結構化數(shù)據(jù)非關系模型的、有基本固定結構模式的數(shù)據(jù)，例如日志類型文件、XML文檔、JSON文檔、Email等。3.3非結構化數(shù)據(jù)沒有固定模式的數(shù)據(jù)，如WORD、PDF、PPT、EXCEL，各種格式的圖片、視頻等。3.4敏感數(shù)據(jù)泄漏后可能會給社會、企業(yè)或個人帶來危害的數(shù)據(jù)。3.5中間件位于系統(tǒng)軟件之上，用于支持分布式應用軟件，連接不同軟件實體的支撐軟件。3.6在網(wǎng)絡層以上實現(xiàn)網(wǎng)絡互連，是最復雜的網(wǎng)絡互連設備，僅用于兩個高層協(xié)議不同的網(wǎng)絡互連。3.7數(shù)據(jù)提供機構承擔數(shù)據(jù)提供工作的部門或單位（也稱為數(shù)據(jù)來源機構）。3.8信源信息的來源。3.9脫敏TXX/TXXXXX—2024對某些敏感信息通過指定規(guī)則進行數(shù)據(jù)的變形，實現(xiàn)對敏感數(shù)據(jù)的可靠保護。3.10加密對敏感數(shù)據(jù)進行加密處理，使外部用戶只看到無意義的加密后數(shù)據(jù)，同時在特定場景下，可以提供解密能力，使具有秘鑰的相關方可以獲得源數(shù)據(jù)。4縮略語下列縮略語適用于本文件。FTP：文件傳輸協(xié)議（FileTransferProtocol）ODBC：開放數(shù)據(jù)庫連接（OpenDatabaseConnectivity）REST：表述性狀態(tài)轉(zhuǎn)移（REpresentationalStateTransfer）SFTP：安全文件傳送協(xié)議（SSHFileTransferProtocol）VPN：虛擬專用網(wǎng)絡（VirtualPrivateNetwork）5架構5.1總體架構數(shù)據(jù)采集架構，見圖1。圖1數(shù)據(jù)采集架構示意圖5.2架構功能數(shù)據(jù)采集架構功能如下：a)數(shù)據(jù)源：具有從數(shù)據(jù)提供部門獲取數(shù)據(jù)的能力；b)數(shù)據(jù)采集：提供可配置化的數(shù)據(jù)采集功能，包括結構化數(shù)據(jù)采集、半結構化數(shù)據(jù)采集、非結構化數(shù)據(jù)采集的配置化接入能力，實現(xiàn)對各類數(shù)據(jù)類型的采集：1)結構化數(shù)據(jù)采集：提供數(shù)據(jù)庫采集、數(shù)據(jù)接口采集、數(shù)據(jù)上傳采集、物理拷貝采集等采集方式，滿足批量、單個、實時、非實時等形式的結構化數(shù)據(jù)的采集，2)半結構化數(shù)據(jù)集：提供系統(tǒng)日志采集、文件數(shù)據(jù)采集等數(shù)據(jù)采集方式，對半結構化數(shù)據(jù)進行解析，形成鍵值對數(shù)據(jù)，3)非結構化數(shù)據(jù)集：提供音視頻數(shù)據(jù)采集、文件采集、網(wǎng)頁采集等多種數(shù)據(jù)采集能力；TXX/TXXXXX—2024c)數(shù)據(jù)存儲：1)依據(jù)全量獲取數(shù)據(jù)原則獲取業(yè)務數(shù)據(jù)原始數(shù)據(jù)，將數(shù)據(jù)存放至數(shù)據(jù)貼源庫，2)將數(shù)據(jù)處理后的數(shù)據(jù)存儲到數(shù)據(jù)資源庫，首先將數(shù)據(jù)根據(jù)不同的數(shù)據(jù)源存儲到對應的基礎數(shù)據(jù)庫、業(yè)務數(shù)據(jù)庫、場外數(shù)據(jù)庫等操作型數(shù)據(jù)庫中，形成整合之后推送到開放服務庫，3)基于標準規(guī)范、業(yè)務規(guī)則，對操作型數(shù)據(jù)倉庫利用數(shù)據(jù)處理工具進行整理、匯聚，形成各類主題數(shù)據(jù)庫，4)基于數(shù)據(jù)共享需求，利用數(shù)據(jù)處理工具進行整理、匯聚，形成各類外部共享數(shù)據(jù)庫。6方式與頻率6.1方式6.1.1一般規(guī)定在數(shù)據(jù)采集過程中宜綜合考慮數(shù)據(jù)提供機構的數(shù)據(jù)源類型、數(shù)據(jù)量大小、數(shù)據(jù)采集要求（批量、單次、實時、非實時等）以及數(shù)據(jù)采集的時效性等因素選擇合理的數(shù)據(jù)采集方式。a)結構化數(shù)據(jù)宜選擇ODBC、網(wǎng)絡服務（REST、WebService）、消息的發(fā)布/訂閱等相關技術進行數(shù)據(jù)采集；b)半結構化數(shù)據(jù)宜選擇FTP/SFTP協(xié)議進行數(shù)據(jù)采集，或?qū)?shù)據(jù)通過在線填報等人工方式轉(zhuǎn)化為結構化數(shù)據(jù)進行采集；c)非結構化數(shù)據(jù)宜選擇采集數(shù)據(jù)存放路徑，減少數(shù)據(jù)傳輸壓力、服務器管理壓力。6.1.2數(shù)據(jù)庫采集方式數(shù)據(jù)庫采集技術適用于源數(shù)據(jù)存儲在關系型數(shù)據(jù)庫中，宜支持定時、批量、增量的數(shù)據(jù)庫數(shù)據(jù)采集抽取要求。a)應用場景：1)針對不會經(jīng)常發(fā)生變化，且數(shù)據(jù)量較大，宜采用增量數(shù)據(jù)集成方式，2)針對數(shù)據(jù)會經(jīng)常發(fā)生變化，數(shù)據(jù)量不大，宜采用全表比對的方式；數(shù)據(jù)量較大，采用全量推送的方式；b)數(shù)據(jù)庫采集要求：1)源數(shù)據(jù)存儲在MySQL、Oracle、PostgreSQL等主流數(shù)據(jù)庫（含國產(chǎn)數(shù)據(jù)庫），2)源數(shù)據(jù)庫與支撐平臺之間保證網(wǎng)絡暢通，3)數(shù)據(jù)種類較多或單表數(shù)據(jù)量較大，相關數(shù)據(jù)不存在對外共享的接口。6.1.3數(shù)據(jù)接口采集方式數(shù)據(jù)接口采集方式適用于對接業(yè)務部門發(fā)布的數(shù)據(jù)共享服務接口，通過解析數(shù)據(jù)共享服務接口中的數(shù)據(jù)，轉(zhuǎn)換為數(shù)據(jù)采集的格式，實現(xiàn)數(shù)據(jù)的共享與調(diào)用。a)采用數(shù)據(jù)接口對接應用場景：1)通過接口提供數(shù)據(jù)時，2)實時性要求較高時，3)數(shù)據(jù)敏感度高，安全性高的數(shù)據(jù)時；b)數(shù)據(jù)采集接口要求：1)保證服務器之間的網(wǎng)絡通暢，能夠訪問到接口地址，2)保證獲取到接口的相關參數(shù)，3)保證獲取的接口地址具有相關的權限，訪問接口能夠返回正確的數(shù)據(jù)，4)如返回的數(shù)據(jù)進行加密，需獲取解密相關規(guī)則，5)單次采集數(shù)據(jù)量不超過10萬。6.1.4文檔、日志采集方式文件、日志數(shù)據(jù)采集時，適用于對CSV、TXT、XLSX、系統(tǒng)日志等文件數(shù)據(jù)進行采集。TXX/TXXXXX—2024a)應用場景：針對線下數(shù)據(jù)（不在數(shù)據(jù)庫、接口，通過excle、txt等文檔存儲的數(shù)據(jù)），通過指定文件格式進行數(shù)據(jù)采集，將數(shù)據(jù)采集存儲到數(shù)據(jù)庫中。對于不符合文檔格式的可以選擇通過SFTP采集到指定的文檔服務器中進行存儲。b)文檔、日志采集要求：1)提供足夠的網(wǎng)絡帶寬，網(wǎng)絡暢通，保證數(shù)據(jù)抽取效率，2)提供服務器訪問權限，能夠讀取文件，3)數(shù)據(jù)文件所在的服務器需提供FTP服務，供平臺從服務器拉取文件，4)相關數(shù)據(jù)未存儲在關系型數(shù)據(jù)庫，5)單次采集的數(shù)據(jù)量巨大超過千萬。6.2頻率數(shù)據(jù)采集頻率要求如下：a)在采集頻率時宜考慮數(shù)據(jù)的及時性、重要性以及對采集系統(tǒng)的影響性；b)不宜在業(yè)務系統(tǒng)高峰期頻繁調(diào)用數(shù)據(jù)；c)針對及時性要求不高的大數(shù)據(jù)量任務時，優(yōu)先考慮在服務器資源較為充裕的時間內(nèi)進行數(shù)據(jù)更新，且采集頻率宜適當延長；d)不宜在同一時間運行大量流程；e)不宜出現(xiàn)間隔過短的調(diào)度時間；f)采集頻率間隔大于任務執(zhí)行流程耗時的平均值。7采集內(nèi)容7.1基礎數(shù)據(jù)基礎數(shù)據(jù)是信息系統(tǒng)運行的基礎，用于支撐信息系統(tǒng)運行的各種參數(shù)，指多個部門或系統(tǒng)共享、核心、高價值且相對靜態(tài)的數(shù)據(jù)?；A數(shù)據(jù)分為基礎設施、運輸裝備、項目基礎等數(shù)據(jù)集，詳見附錄A。7.2業(yè)務數(shù)據(jù)業(yè)務數(shù)據(jù)是業(yè)務處理過程中或事務處理所產(chǎn)生的數(shù)據(jù)。業(yè)務數(shù)據(jù)分為ETC發(fā)行業(yè)務、入口治超業(yè)務、聯(lián)網(wǎng)收費業(yè)務、運營單位業(yè)務、工程養(yǎng)護業(yè)務、路網(wǎng)監(jiān)控業(yè)務、機電運維業(yè)務等數(shù)據(jù)集，詳見附錄B。8采集流程8.1數(shù)據(jù)需求調(diào)研在數(shù)據(jù)采集前，對數(shù)據(jù)提供機構的數(shù)據(jù)情況（包括數(shù)據(jù)內(nèi)容、數(shù)據(jù)存儲方式、數(shù)據(jù)量大小等）、網(wǎng)絡條件、信息化基礎設施等信息進行調(diào)研，形成調(diào)研報告。8.2數(shù)據(jù)梳理根據(jù)數(shù)據(jù)調(diào)研報告及反饋信息梳理數(shù)據(jù)。按既定數(shù)據(jù)類型（基礎數(shù)據(jù)、業(yè)務數(shù)據(jù)）區(qū)分數(shù)據(jù)，并將數(shù)據(jù)整理到數(shù)據(jù)資源目錄表中。8.3采集方案8.3.1根據(jù)業(yè)務數(shù)據(jù)庫的數(shù)據(jù)采集需求，結合調(diào)研報告，編制采集方案，內(nèi)容包括但不限于：a)數(shù)據(jù)采集背景；b)數(shù)據(jù)采集目的；c)數(shù)據(jù)采集需求；d)數(shù)據(jù)采集內(nèi)容與范圍；e)數(shù)據(jù)采集軟硬件環(huán)境準備；f)數(shù)據(jù)采集方式與頻率；TXX/TXXXXX—2024g)數(shù)據(jù)采集技術標準；h)數(shù)據(jù)采集技術驗證；i)數(shù)據(jù)采集運維與保障。8.3.2數(shù)據(jù)采集方案獲得參與采集各方的審批后實施。8.4采集準備依據(jù)數(shù)據(jù)采集方案開發(fā)數(shù)據(jù)采集軟件并部署相應的軟硬件。8.5采集調(diào)試確認數(shù)據(jù)采集準備完成后，參與數(shù)據(jù)采集各方的技術人員宜根據(jù)數(shù)據(jù)采集方案中的技術方案對數(shù)據(jù)采集環(huán)境進行調(diào)試，確保能按照約定的頻率采集到正確的數(shù)據(jù)到業(yè)務數(shù)據(jù)庫中。8.6采集實施數(shù)據(jù)采集調(diào)試成功后，按照數(shù)據(jù)采集方案中的數(shù)據(jù)采集技術方案實施數(shù)據(jù)采集，如果采集過程中出現(xiàn)問題，參與采集各方宜積極協(xié)調(diào)解決。8.7數(shù)據(jù)存儲數(shù)據(jù)存儲宜符合第10.3條數(shù)據(jù)存儲規(guī)定。9反饋和處理9.1反饋數(shù)據(jù)支撐平臺宜將數(shù)據(jù)采集的結果向相關人員進行發(fā)布，其內(nèi)容包括但不限于：時間、處理的信息表、提交數(shù)據(jù)條數(shù)、提交處理成功數(shù)據(jù)條數(shù)、未成功處理數(shù)據(jù)條數(shù)、未成功處理數(shù)據(jù)的內(nèi)容和未成功的原因等。9.2處理數(shù)據(jù)提供方可根據(jù)數(shù)據(jù)支撐平臺反饋結果查找原因，解決故障并再次對接。10數(shù)據(jù)安全10.1數(shù)據(jù)傳輸安全數(shù)據(jù)傳輸安全中宜按如下規(guī)定進行，包括但不限于：a)數(shù)據(jù)網(wǎng)絡安全宜符合GB/T22239規(guī)定；b)數(shù)據(jù)網(wǎng)絡傳輸加密宜符合GB/T39786規(guī)定；c)數(shù)據(jù)網(wǎng)絡根據(jù)業(yè)務情況可采用不同的策略，根據(jù)以下情形可選擇合適網(wǎng)絡傳輸方式1)與業(yè)務方數(shù)據(jù)傳輸過程中對網(wǎng)絡穩(wěn)定性、安全性與傳輸速度要求較高，可采取網(wǎng)絡專線方式建立網(wǎng)絡鏈接，2)與業(yè)務方歸屬統(tǒng)一單位部門，對網(wǎng)絡靈活性要求較高且對安全性具有一定要求，可采取VPN網(wǎng)絡加密方式建立網(wǎng)絡鏈接，3)與第三方企業(yè)業(yè)務部門進行數(shù)據(jù)傳輸可通過公共互聯(lián)網(wǎng)對信源加密方式對建立網(wǎng)絡鏈接；d)建立網(wǎng)絡交換機、防火墻、傳輸端點等安全防護體系；e)利用身份認證、訪問權限、端口開放訪問控制等措施保障數(shù)據(jù)訪問控制安全；f)建立完善監(jiān)控巡檢機制，對網(wǎng)絡、服務器、傳輸端點等進行全過程監(jiān)控，定期進行巡檢并出具巡檢報告；g)定期對相關人員定期開展職業(yè)培訓，提高人員專業(yè)技術和安全防范意識。10.2數(shù)據(jù)存儲安全數(shù)據(jù)存儲安全宜按如下規(guī)定進行，包括但不限于：a)數(shù)據(jù)存儲加密宜符合GB/T39786規(guī)定；TXX/TXXXXX—2024b)對數(shù)據(jù)的分級分類劃分宜符合GB/T43697規(guī)定；c)對個人數(shù)據(jù)的存儲管理宜符合GB/T35273規(guī)定；d)建立完善的數(shù)據(jù)備份機制，保障數(shù)據(jù)存儲安全；e)建立數(shù)據(jù)鏈路監(jiān)控機制，監(jiān)控數(shù)據(jù)采集情況，防止數(shù)據(jù)在采集過程中被非法訪問、破壞、篡改、丟失、阻止；f)對數(shù)據(jù)保護等級較高的數(shù)據(jù)宜進行相關數(shù)據(jù)加密、脫敏等存儲措施；g)對數(shù)據(jù)存儲位置宜設置身份認證、賬戶管理、數(shù)據(jù)庫權限控制、訪問控制、日志管理等相關策略和管理制度，防止數(shù)據(jù)泄密、破壞、篡改；h)定期對相關人員定期開展職業(yè)培訓，提高人員專業(yè)技術和安全防范意識。TXX/TXXXXX—2024（資料性）業(yè)務數(shù)據(jù)A.1基礎設施-橋梁信息表數(shù)據(jù)項橋梁信息表數(shù)據(jù)項見表A.1。表A.1橋梁信息表數(shù)據(jù)項0是否否否2否2否8否7否7否7否2否否6否2否6否6否否6否6否否否否否否否0否2否2否2否6否2否2否2否否否2否2否2否否否2否TXX/TXXXXX—2024表A.1橋梁信息表數(shù)據(jù)項續(xù)0否否否否否8否8否否2否否否2否2否2否2否2否2否2否2否2否否否2否否否否否A.2基礎設施-涵洞信息表數(shù)據(jù)項涵洞信息表數(shù)據(jù)項見表A.2。表A.2涵洞信息表數(shù)據(jù)項02222TXX/TXXXXX—2024表A.2涵洞信息表數(shù)據(jù)項續(xù)277777778A.3基礎設施-服務區(qū)信息數(shù)據(jù)項服務區(qū)信息數(shù)據(jù)項見表A.3。表A.3服務區(qū)信息數(shù)據(jù)項0是否否2否否否否否否7否否8否8否0否TXX/TXXXXX—2024（資料性）基礎數(shù)據(jù)B.1ETC發(fā)行業(yè)務-卡信息狀態(tài)數(shù)據(jù)項卡信息狀態(tài)數(shù)據(jù)項見表B.1。表B.1卡信息狀態(tài)數(shù)據(jù)項是0否0否否否否否0否0否0否否0否0否0否否否0否否否否否0否0否否否否否0否0否0否0否B.2ETC發(fā)行業(yè)務-用戶狀態(tài)數(shù)據(jù)項用戶狀態(tài)數(shù)據(jù)項見表B.2。表B.2用戶狀態(tài)數(shù)據(jù)項是0否0否0否TXX/TXXXXX—2024表B.2用戶狀態(tài)數(shù)據(jù)項續(xù)否否0否0否否0否否0否0否否0否0否0否否0否0否否否0否0否0否0否B.3ETC發(fā)行業(yè)務-車輛信息數(shù)據(jù)項車輛信息數(shù)據(jù)項見表B.3。表B.3車輛信息數(shù)據(jù)項是0否否0否0否否否0否0否0否否0否否否0否否否0否0否否0否0否0否TXX/TXXXXX—2024表B.3車輛信息數(shù)據(jù)項續(xù)0否否0否否0否0否0否否0否否否否否否0否0否0否0否B.4入口治超業(yè)務-大件運輸許可名單信息數(shù)據(jù)項大件運輸許可名單信息數(shù)據(jù)項見表B.4。表B.4大件運輸許可名單信息數(shù)據(jù)項是否否否否否否否牌否否否否否9否9否9否9否9否9否否否9否否否否TXX/TXXXXX—2024表B.4大件運輸許可名單信息數(shù)據(jù)項續(xù)否B.5入口治超業(yè)務-入口治超稱重流水數(shù)據(jù)項入口治超稱重流水數(shù)據(jù)項見表B.5。表B.5入口治超稱重流水數(shù)據(jù)項是否否否否否0否否0否0否0否0否0否0否9否0否0否0否0否否0否否否0否0否0否0否0否0否0否0否0否0否0否否否0否否0否否0否TXX/TXXXXX—2024B.6入口治超業(yè)務-出口治超稱重流水數(shù)據(jù)項出口治超稱重流水數(shù)據(jù)項見表B.6。表B.6出口治超稱重流水數(shù)據(jù)項是否否否否否0否0否0否否0否否否否否否0否0否0否0否0否0否9否0否否0否0否0否否否0否否0否否B.7聯(lián)網(wǎng)收費業(yè)務-收費站編碼數(shù)據(jù)項收費站