DB61-T 1896-2024 高速公路數(shù)據(jù)集成規(guī)范

ICS35.240.60CCSR07DB61Specificationforexpresswa陜西省市場監(jiān)督管理局發(fā)布IDB61/T1896—2024前言 12規(guī)范性引用文件 13術(shù)語和定義 14縮略語 25總體要求 26數(shù)據(jù)集成流程 27數(shù)據(jù)源和集成內(nèi)容選擇 38集成數(shù)據(jù)獲取 39集成數(shù)據(jù)預(yù)處理 410集成數(shù)據(jù)質(zhì)量評估 411集成數(shù)據(jù)存儲 4附錄A（資料性）集成數(shù)據(jù)內(nèi)容 5附錄B（資料性）集成數(shù)據(jù)質(zhì)量評估指標(biāo) 7參考文獻(xiàn) 9DB61/T1896—2024本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。本文件由陜西省交通運(yùn)輸廳提出并歸口。本文件起草單位：陜西交通電子工程科技有限公司、西北工業(yè)大學(xué)、陜西交控工程技術(shù)有限公司、帆軟軟件有限公司。本文件主要起草人：樊吉飛、孫楠、王鑫、陳思行、田龍、張高峰、劉燁、孫杰、王一博、吳天文、劉浩、沈鈞戈、羅葉軍、屈戰(zhàn)輝、任偉偉。本文件由陜西交通電子工程科技有限公司負(fù)責(zé)解釋。本文件首次發(fā)布。聯(lián)系信息如下：單位：陜西交通電子工程科技有限公司電話址：陜西省西安市高新區(qū)唐延路6號2樓10號郵編：7100651DB61/T1896—2024高速公路數(shù)據(jù)集成規(guī)范本文件規(guī)定了高速公路數(shù)據(jù)集成的總體要求、數(shù)據(jù)集成流程、數(shù)據(jù)源和集成內(nèi)容選擇、集成數(shù)據(jù)獲取、集成數(shù)據(jù)預(yù)處理、集成數(shù)據(jù)質(zhì)量評估和集成數(shù)據(jù)存儲的要求。本文件適用于高速公路建設(shè)、管理、養(yǎng)護(hù)、運(yùn)營、服務(wù)等數(shù)據(jù)的集成，包括數(shù)據(jù)獲取、預(yù)處理、質(zhì)量評估和存儲。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語GB/T36344信息技術(shù)數(shù)據(jù)質(zhì)量評價指標(biāo)DA/T82—2019基于文檔型非關(guān)系型數(shù)據(jù)庫的檔案數(shù)據(jù)存儲規(guī)范JT/T697.2—2014交通信息基礎(chǔ)數(shù)據(jù)元第2部分：公路信息基礎(chǔ)數(shù)據(jù)元JT/T697.7—2014交通信息基礎(chǔ)數(shù)據(jù)元第7部分：道路運(yùn)輸信息基礎(chǔ)數(shù)據(jù)元JT/T697.9—2016交通信息基礎(chǔ)數(shù)據(jù)元第9部分：建設(shè)項目信息基礎(chǔ)數(shù)據(jù)元JT/T697.10—2016交通信息基礎(chǔ)數(shù)據(jù)元第10部分：交通統(tǒng)計信息基礎(chǔ)數(shù)據(jù)元JT/T697.13—2016交通信息基礎(chǔ)數(shù)據(jù)元第13部分：收費(fèi)公路信息基礎(chǔ)數(shù)據(jù)元3術(shù)語和定義GB/T35295—2017，DA/T82—2019中界定的以及下列術(shù)語和定義適用于本文件。3.1高速公路數(shù)據(jù)集成expresswaydataintegration通過系統(tǒng)化的方法，將來自不同來源及系統(tǒng)的高速公路相關(guān)數(shù)據(jù)進(jìn)行獲取、預(yù)處理、質(zhì)量評估和存儲的過程。3.2結(jié)構(gòu)化數(shù)據(jù)structureddata一種數(shù)據(jù)表示形式，按此種形式，由數(shù)據(jù)元素匯集而成的每個記錄的結(jié)構(gòu)都是一致的并且可以使用關(guān)系模型予以有效描述。[來源：GB/T35295—2017，2.2.13]2DB61/T1896—20243.3半結(jié)構(gòu)化數(shù)據(jù)semi-structureddata具有結(jié)構(gòu)性，但結(jié)構(gòu)變化大，且難以用結(jié)構(gòu)化數(shù)據(jù)的處理方法將其放進(jìn)二維表的數(shù)據(jù)。[來源：DA/T82—2019，2.8]3.4非結(jié)構(gòu)化數(shù)據(jù)unstructureddata不具有預(yù)定義模型或未以預(yù)定義方式組織的數(shù)據(jù)。[來源：GB/T35295—2017，2.1.25]4縮略語下列縮略語適用于本文件。API：應(yīng)用程序編程接口（ApplicationProgrammingInterface）NoSQL：非關(guān)系型數(shù)據(jù)庫（NotOnlySQL）5總體要求數(shù)據(jù)集成的總體要求如下：a)數(shù)據(jù)集成不應(yīng)對生產(chǎn)系統(tǒng)的正常使用產(chǎn)生影響；b)應(yīng)明確數(shù)據(jù)集成接口和方式；c)數(shù)據(jù)集成應(yīng)進(jìn)行數(shù)據(jù)預(yù)處理及質(zhì)量評估；d)應(yīng)對原始數(shù)據(jù)進(jìn)行存儲，建立可伸縮、穩(wěn)定可靠的數(shù)據(jù)存儲架構(gòu)。6數(shù)據(jù)集成流程數(shù)據(jù)集成流程如圖1所示。3DB61/T1896—2024圖1數(shù)據(jù)集成流程圖7數(shù)據(jù)源和集成內(nèi)容選擇7.1應(yīng)結(jié)合需求選擇數(shù)據(jù)源，并確定集成內(nèi)容，包括建設(shè)數(shù)據(jù)、管理數(shù)據(jù)、養(yǎng)護(hù)數(shù)據(jù)、運(yùn)營數(shù)據(jù)、服務(wù)數(shù)據(jù)等。7.2建設(shè)數(shù)據(jù)應(yīng)符合JT/T697.9—2016中第4章的要求。7.3管理數(shù)據(jù)應(yīng)符合JT/T697.7—2014中4.1、4.2、4.3、4.5節(jié)，JT/T697.10—2016中4.5.1、4.6、4.7節(jié)的要求。7.5運(yùn)營數(shù)據(jù)應(yīng)符合JT/T697.10—2016中4.3.1節(jié)，JT/T697.13—2016中第4章的要求。7.6服務(wù)數(shù)據(jù)應(yīng)符合JT/T697.2—2014中4.11節(jié)的要求。7.7其他數(shù)據(jù)可參考附錄A。8集成數(shù)據(jù)獲取8.1獲取數(shù)據(jù)的類型獲取數(shù)據(jù)的類型分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。8.2結(jié)構(gòu)化數(shù)據(jù)獲取結(jié)構(gòu)化數(shù)據(jù)可使用數(shù)據(jù)庫集成、API集成等方式獲取。a)對于通過數(shù)據(jù)庫集成的數(shù)據(jù)源，需具備數(shù)據(jù)庫類型、數(shù)據(jù)庫結(jié)構(gòu)、字段名稱、字段類型、長度和描述信息，并提供數(shù)據(jù)庫的連接信息，包括訪問地址、端口、數(shù)據(jù)庫名、用戶名和密碼；4DB61/T1896—2024b)對于通過API集成的數(shù)據(jù)源，需具備API說明文檔，包含訪問地址、頻率、輸入?yún)?shù)、輸出參數(shù)、參數(shù)的數(shù)據(jù)類型、參數(shù)的描述信息、訪問的用戶信息。8.3半結(jié)構(gòu)化數(shù)據(jù)獲取半結(jié)構(gòu)化數(shù)據(jù)可使用文件集成、NoSQL集成、消息隊列集成等方式獲取。a)對于通過文件集成的數(shù)據(jù)源，需具備文件的訪問方式、訪問位置、文件格式、文件數(shù)據(jù)描述；b)對于通過NoSQL數(shù)據(jù)庫集成的數(shù)據(jù)源，需具備數(shù)據(jù)庫類型、數(shù)據(jù)庫結(jié)構(gòu)、字段名稱、字段類型、長度和描述信息，并提供數(shù)據(jù)庫的連接信息，包括訪問地址、端口、數(shù)據(jù)庫名、用戶名和密碼；c)對于通過消息隊列集成數(shù)據(jù)源，需具備消息隊列類型、訂閱的主題、數(shù)據(jù)的格式、數(shù)據(jù)內(nèi)容的結(jié)構(gòu)信息，并提供消息隊列的連接信息。8.4非結(jié)構(gòu)化數(shù)據(jù)獲取非結(jié)構(gòu)化數(shù)據(jù)可使用API集成、文件集成等方式獲取。a)對于通過API集成的數(shù)據(jù)源，需具備API說明文檔，包含訪問地址、頻率、輸入?yún)?shù)、輸出參數(shù)、參數(shù)的數(shù)據(jù)類型、參數(shù)的描述信息、訪問的用戶信息；b)對于通過文件集成的數(shù)據(jù)源，需具備文件的訪問方式、訪問位置、文件格式、文件數(shù)據(jù)描述。9集成數(shù)據(jù)預(yù)處理9.1對集成數(shù)據(jù)應(yīng)從缺失數(shù)據(jù)的比例、遺漏的重要信息量、數(shù)據(jù)的錯誤率、不一致性程度等方面進(jìn)行分析。9.2按照集成數(shù)據(jù)分析結(jié)論為數(shù)據(jù)提供標(biāo)記功能，進(jìn)行數(shù)據(jù)建模，制定預(yù)處理規(guī)則，包括缺失值處理、異常值處理、去重處理等。a)缺失值：檢查數(shù)據(jù)集中某些特征的取值缺失或者未知，對缺失值的處理方式包括刪除缺失值、均值填補(bǔ)、熱卡填補(bǔ)法等；b)異常值：檢查數(shù)據(jù)集中與大多數(shù)樣本明顯不同的數(shù)值，對異常值的處理方式包括刪除異常值、替換異常值、分箱處理等；c)重復(fù)值：檢查數(shù)據(jù)集中存在完全相同的記錄，對重復(fù)數(shù)據(jù)進(jìn)行去重。9.3依據(jù)預(yù)處理規(guī)則對數(shù)據(jù)進(jìn)行篩查，對不符合規(guī)則的數(shù)據(jù)進(jìn)行分類處理。10集成數(shù)據(jù)質(zhì)量評估10.1集成數(shù)據(jù)質(zhì)量評估應(yīng)遵循GB/T36344相關(guān)要求。評估指標(biāo)還應(yīng)包括唯一性、安全性，具體評估方法參見附錄B。10.2預(yù)處理結(jié)束后，應(yīng)根據(jù)數(shù)據(jù)質(zhì)量評估方法對定義的預(yù)處理結(jié)果進(jìn)行驗證及評估。10.3對不滿足要求的結(jié)果應(yīng)反饋給數(shù)據(jù)源，修改后重新獲取。11集成數(shù)據(jù)存儲11.1集成數(shù)據(jù)存儲包括原始數(shù)據(jù)存儲和預(yù)處理數(shù)據(jù)存儲。11.2數(shù)據(jù)應(yīng)集中存儲，提供統(tǒng)一訪問端口，包括關(guān)系型數(shù)據(jù)庫、鍵值存儲數(shù)據(jù)庫、列存儲數(shù)據(jù)庫、文檔數(shù)據(jù)庫、圖形數(shù)據(jù)庫及文件系統(tǒng)等。5DB61/T1896—2024集成數(shù)據(jù)內(nèi)容A.1集成數(shù)據(jù)內(nèi)容集成數(shù)據(jù)內(nèi)容見表A.1。表A.1集成數(shù)據(jù)內(nèi)容6DB61/T1896—20247DB61/T1896—2024（資料性）集成數(shù)據(jù)質(zhì)量評估指標(biāo)B.1唯一性指標(biāo)唯一性主要用于度量與評估數(shù)據(jù)資產(chǎn)內(nèi)容或相關(guān)屬性的重復(fù)情況,包括主鍵唯一性和數(shù)據(jù)唯一性，表B.1唯一性指標(biāo)B.2安全性指標(biāo)安全性主要用于描述數(shù)據(jù)在傳輸、存儲和訪問過程中的安全特性，以確保數(shù)據(jù)不被未經(jīng)授權(quán)的訪問、篡改或泄露。包括傳輸安全性和存儲安全性，見表B.2。表B.2數(shù)據(jù)安全性指標(biāo)8DB61/T1896—2024表B.2(續(xù))9DB61/T1896—2024參考文獻(xiàn)[1]JT/T498—2019收費(fèi)公路車輛通行費(fèi)車型分類[2]T/ITS0058—2017合作式智能運(yùn)輸系統(tǒng)車用通信系統(tǒng)應(yīng)用層及應(yīng)用數(shù)據(jù)交互標(biāo)準(zhǔn)[