DB32T 5059-2025企業(yè)物流管理數(shù)據(jù)倉庫建設(shè)指南

CCSL70江蘇省地方標(biāo)準(zhǔn)企業(yè)物流管理數(shù)據(jù)倉庫建設(shè)指南Datawarehouseguidefortheofconstructionofenterpriselogisticsmanagement2025-02-21發(fā)布2025-03-21實施江蘇省市場監(jiān)督管理局中國標(biāo)準(zhǔn)出版社發(fā)布出版Ⅰ前言 Ⅲ 2規(guī)范性引用文件 3術(shù)語和定義 4縮略語 5建設(shè)原則 6設(shè)計指標(biāo)要求 7數(shù)據(jù)倉庫分層 8數(shù)據(jù)構(gòu)成 9數(shù)據(jù)存儲 10數(shù)據(jù)建模 11數(shù)據(jù)模型 12數(shù)據(jù)采集 13網(wǎng)絡(luò)安全 14數(shù)據(jù)備份與恢復(fù) 15運行系統(tǒng)的結(jié)構(gòu) 參考文獻(xiàn) Ⅲ本文件按照GB/T1.1—2020《文件化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔(dān)識別專利的責(zé)任。本文件由江蘇省軟件和信息技術(shù)服務(wù)標(biāo)準(zhǔn)化技術(shù)委員會提出并歸口。本文件起草單位：江蘇斯諾物聯(lián)科技有限公司、諾得網(wǎng)絡(luò)科技股份有限公司、上海大學(xué)。1企業(yè)物流管理數(shù)據(jù)倉庫建設(shè)指南本文件提供了企業(yè)物流管理數(shù)據(jù)倉庫（下文簡稱“數(shù)據(jù)倉庫”）設(shè)計的基本原則、設(shè)計指標(biāo)、分層、數(shù)據(jù)構(gòu)成、數(shù)據(jù)存儲、數(shù)據(jù)建模、數(shù)據(jù)模型、數(shù)據(jù)采集、網(wǎng)絡(luò)安全、數(shù)據(jù)備份與恢復(fù)、運行系統(tǒng)構(gòu)成的內(nèi)容于企業(yè)物流管理數(shù)據(jù)倉庫的規(guī)劃、設(shè)計、開發(fā)和應(yīng)用，支持物流行業(yè)與其他信息系統(tǒng)的互聯(lián)互通。本文件適用于企業(yè)物流管理數(shù)據(jù)倉庫建設(shè)的過程。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.1—2000信息技術(shù)詞匯第1部分：基本術(shù)語GB/T5271.17—2010信息技術(shù)詞匯第17部分：數(shù)據(jù)庫GB/T11457—2006信息技術(shù)軟件工程術(shù)語GB/T18768—2002數(shù)碼倉庫應(yīng)用系統(tǒng)規(guī)范GB/T20270—2006信息安全技術(shù)網(wǎng)絡(luò)基礎(chǔ)安全技術(shù)要求GB/T20271—2006信息安全技術(shù)信息系統(tǒng)通用安全技術(shù)要求GB/T20988—2007信息安全技術(shù)信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范GB/T28452—2012信息安全技術(shù)應(yīng)用軟件系統(tǒng)通用安全技術(shù)要求GB/T29765—2021信息安全技術(shù)數(shù)據(jù)備份與恢復(fù)產(chǎn)品技術(shù)要求與測試評價方法GB/T33745—2017物聯(lián)網(wǎng)術(shù)語GB/T35295—2017信息技術(shù)大數(shù)據(jù)術(shù)語GB/T38667—2020信息技術(shù)大數(shù)據(jù)數(shù)據(jù)分類指南3術(shù)語和定義GB/T5271.1—2000、GB/T18768—2002、GB/T11457—2006、GB/T20270—2006、GB/T20271—2006、GB/T20988—2007、GB/T5271.17—2010、GB/T33745—2017、GB/T35295—2017、GB/T38667—2020界定的以及下列術(shù)語和定義適用于本文件。數(shù)據(jù)倉庫datawarehouse；DW在數(shù)據(jù)準(zhǔn)備之后用于永久性存儲數(shù)據(jù)的數(shù)據(jù)庫。結(jié)構(gòu)化數(shù)據(jù)structuraldata按次種形式，由數(shù)據(jù)元素匯集而成的每個記錄的機構(gòu)都是一致的并且可以使用關(guān)系模型予以有效描述的一種數(shù)據(jù)表示形式。2非結(jié)構(gòu)化數(shù)據(jù)unstructureddata不具有預(yù)定模型或以定義方式組織的數(shù)據(jù)。元數(shù)據(jù)metadata關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述以及關(guān)于數(shù)據(jù)用有權(quán)、存取路徑、訪問權(quán)和數(shù)據(jù)易變性數(shù)據(jù)。數(shù)據(jù)庫database支持一個或多個應(yīng)用領(lǐng)域，按概念結(jié)構(gòu)組織的數(shù)據(jù)集合，其概念結(jié)構(gòu)描述這些數(shù)據(jù)的特征及其對應(yīng)實體間的聯(lián)系。4縮略語下列縮略語適用于本文件。ADS：數(shù)據(jù)應(yīng)用層（ApplicationDataStore）DIM：公共維表（DimensionTable）DWD：基礎(chǔ)數(shù)據(jù)層（DataWarehouseDetail）DWER模型：實體聯(lián)系模型（Entity-RelationshipModel）DWHS：基礎(chǔ)標(biāo)簽層（DataWareDWS：公共匯總粒度事實層（DataWarehouseService）OLAP：聯(lián)機分析處理（OnlineAnalyticalProcessing）RAID：磁盤陣列（RedundantArraysofIndependentDisks）5建設(shè)原則5.1開放性原則應(yīng)基于業(yè)界開放文件，以確保系統(tǒng)能夠與不同的數(shù)據(jù)源和工具兼容，便于未來的擴展和維護(hù)。5.2數(shù)據(jù)完整性原則數(shù)據(jù)在生成、存儲、傳輸和處理過程中保持其準(zhǔn)確性、一致性和完整性5.3可擴展性原則可支持體系結(jié)構(gòu)的擴展，適應(yīng)未來的業(yè)務(wù)發(fā)展和技術(shù)升級，通過添加新功能或修改現(xiàn)有功能來滿足不斷變化的需求。5.4靈活性原則能適應(yīng)多樣化的源數(shù)據(jù)，以及不斷變化的需求和業(yè)務(wù)環(huán)境的能力，并向目標(biāo)系統(tǒng)提供多樣化的數(shù)據(jù)支持。35.5安全性原則建設(shè)過程中應(yīng)采取一定的措施保護(hù)數(shù)據(jù)倉庫中的數(shù)據(jù)不被非法訪問、修改或刪除。5.6兼容性原則可支持多種數(shù)據(jù)源和數(shù)據(jù)庫系統(tǒng)，包括關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫。6設(shè)計指標(biāo)要求6.1性能指標(biāo)6.1.1響應(yīng)時間：每一百并發(fā)數(shù)<3s。6.1.3并發(fā)數(shù)：數(shù)百并發(fā)是基本要求，且需要具備擴展到數(shù)千的能力。6.1.5數(shù)據(jù)量的大小：每年的數(shù)據(jù)量在100MB~1GB之間。10GB~20GB的硬盤容量即可存儲數(shù)年的數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)需要使用對象存儲或分布式文件系統(tǒng)，存儲方式通常需要較大的硬盤容量。6.1.7實時同步：實時同步是將數(shù)據(jù)倉庫與源數(shù)據(jù)庫實時保持一致，確保數(shù)據(jù)的即時更新，能夠7×24h運行高負(fù)載業(yè)務(wù)。6.1.8批量同步：批量同步是定期將源數(shù)據(jù)庫的數(shù)據(jù)批量導(dǎo)入到數(shù)據(jù)倉庫中。6.2可擴展性6.2.1采用分布式架構(gòu)：通過將數(shù)據(jù)倉庫部署在多個節(jié)點上，實現(xiàn)數(shù)據(jù)的分布式存儲和處理，提高系統(tǒng)的處理能力和擴展性。6.2.2引入云計算技術(shù)：利用云計算資源，實現(xiàn)數(shù)據(jù)倉庫的彈性伸縮，根據(jù)業(yè)務(wù)需求動態(tài)調(diào)整存儲和計算資源，降低企業(yè)的研發(fā)成本。6.2.3優(yōu)化數(shù)據(jù)模型：通過對數(shù)據(jù)進(jìn)行建模和優(yōu)化，減少冗余數(shù)據(jù)，提高數(shù)據(jù)的存儲效率和查詢速度。6.2.4引入大數(shù)據(jù)處理技術(shù)：利用Hadoop、Spark等大數(shù)據(jù)處理框架，實現(xiàn)數(shù)據(jù)的并行處理和高效分析，提高數(shù)據(jù)倉庫的處理能力。6.2.5采用列式存儲技術(shù)：通過采用列式存儲技術(shù)，減少數(shù)據(jù)冗余，提高數(shù)據(jù)的壓縮率和查詢速度。7數(shù)據(jù)倉庫分層數(shù)據(jù)倉庫建設(shè)是一個整體性工作，從數(shù)據(jù)產(chǎn)生到入庫的整個環(huán)節(jié)應(yīng)盡量遵循數(shù)據(jù)架構(gòu)圖進(jìn)行搭建，各環(huán)節(jié)采用一套標(biāo)準(zhǔn)。數(shù)據(jù)倉庫搭建結(jié)構(gòu)圖如圖1所示。4數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)部數(shù)據(jù)庫其他數(shù)據(jù)數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用數(shù)據(jù)倉庫數(shù)據(jù)接入層數(shù)據(jù)接入層數(shù)據(jù)應(yīng)用層數(shù)據(jù)應(yīng)用層基礎(chǔ)數(shù)據(jù)層基礎(chǔ)數(shù)據(jù)層基礎(chǔ)標(biāo)簽層基礎(chǔ)標(biāo)簽層公共維表公共維表數(shù)據(jù)存儲區(qū)應(yīng)用層應(yīng)用層數(shù)據(jù)共享報表系統(tǒng)數(shù)據(jù)挖掘圖1數(shù)據(jù)倉庫搭建結(jié)構(gòu)圖數(shù)據(jù)倉庫分層結(jié)構(gòu)表如表1所示。表1數(shù)據(jù)倉庫分層結(jié)構(gòu)表結(jié)構(gòu)名英文全稱中文名層次定義ODSOperationalDataStore數(shù)據(jù)接入層實現(xiàn)功能：業(yè)務(wù)源系統(tǒng)數(shù)據(jù)接入到此層，此層數(shù)據(jù)不做任何加工，禁止重復(fù)進(jìn)入。數(shù)據(jù)來源范圍：業(yè)務(wù)源系統(tǒng)。數(shù)據(jù)存儲時長：永久。ADSApplicationDataStore數(shù)據(jù)應(yīng)用層實現(xiàn)功能：該層為數(shù)據(jù)應(yīng)用層，根據(jù)業(yè)務(wù)需求組織數(shù)據(jù)，該層定期需要定期re-view，據(jù)層將公共指標(biāo)沉淀到DWS中。應(yīng)用數(shù)據(jù)來源范圍：DWS、DWD。數(shù)據(jù)存儲時長：根據(jù)業(yè)務(wù)需求狀況保留。DWDDataWarehouseDetail基礎(chǔ)數(shù)據(jù)層實現(xiàn)功能：該層為基礎(chǔ)數(shù)據(jù)層，主要操作包括數(shù)據(jù)清洗、數(shù)據(jù)過濾、數(shù)據(jù)歷史變更記錄等。數(shù)據(jù)來源范圍：此層數(shù)據(jù)來源于0DS。數(shù)據(jù)存儲時長：根據(jù)業(yè)務(wù)需求狀況保留。DWSDataWarehouseSum-mary基礎(chǔ)標(biāo)簽層實現(xiàn)功能：該層為基礎(chǔ)標(biāo)簽層，主要從DWD層的數(shù)據(jù)進(jìn)行粗粒度聚合匯總；按不同維度進(jìn)行統(tǒng)計，主要操作包括基于業(yè)務(wù)整合、關(guān)聯(lián)計算得到的明細(xì)數(shù)據(jù)；著力公共指標(biāo)、排序聚合得到的匯總數(shù)據(jù)數(shù)據(jù)來源范圍：DWD。數(shù)據(jù)存儲時長：根據(jù)業(yè)務(wù)需求狀況保留。DIMDimensionTable公共維表實現(xiàn)功能：該層為公共維表層，該層獨立于DWD、DWS、ADS，為DWD、DWS、ADS提供維度字段說明。數(shù)據(jù)來源范圍：0DS。數(shù)據(jù)存儲時長：根據(jù)業(yè)務(wù)需求狀況保留。8數(shù)據(jù)構(gòu)成企業(yè)物流數(shù)據(jù)倉庫的數(shù)據(jù)構(gòu)成包含但不限于物流運輸中的業(yè)務(wù)數(shù)據(jù)、用戶行為數(shù)據(jù)和爬蟲數(shù)據(jù)等，5其中業(yè)務(wù)數(shù)據(jù)是核心。8.2業(yè)務(wù)數(shù)據(jù)8.2.1客戶數(shù)據(jù)基本信息：客戶名稱、客戶代碼、企業(yè)類型與規(guī)模、經(jīng)營信息、聯(lián)系人的姓名與聯(lián)系方式等。交互數(shù)據(jù)：購買記錄、客服溝通記錄等。8.2.2物流公司數(shù)據(jù)企業(yè)名稱、企業(yè)代碼、企業(yè)規(guī)模、經(jīng)營方式、歷年經(jīng)營信息、聯(lián)系人的姓名與聯(lián)系方式、擁有車輛規(guī)模等。8.2.3承運商數(shù)據(jù)車輛數(shù)、車輛具體信息、司機基本信息、證件信息等。8.3系統(tǒng)數(shù)據(jù)系統(tǒng)監(jiān)控日志、接口運行日志、用戶系統(tǒng)操作日志、系統(tǒng)消息數(shù)據(jù)、冗余報表數(shù)據(jù)、系統(tǒng)對接中轉(zhuǎn)數(shù)據(jù)等。用戶行為數(shù)據(jù)主要是指用戶在使用過程中的行為記錄，例如查詢物流信息、投訴、評價等，此類數(shù)據(jù)對于分析用戶行為和改進(jìn)服務(wù)質(zhì)量非常重要。8.4招投標(biāo)數(shù)據(jù)8.5訂單流轉(zhuǎn)數(shù)據(jù)訂單標(biāo)題性資料：訂單單號、訂貨日期、客戶代號、訂單狀態(tài)：是否完成、賬目到位等。8.6過程跟蹤數(shù)據(jù)車輛形態(tài)、車輛位置、車輛軌跡、承運人信息等。8.7財務(wù)結(jié)算數(shù)據(jù)訂單金額、折扣信息、應(yīng)收賬款、資產(chǎn)抵押信息等。9數(shù)據(jù)存儲所示。6表2存儲方式表項目集中式存儲分布式存儲物理介質(zhì)分布物理介質(zhì)集中布放物理介質(zhì)分布到不同的地理位置數(shù)據(jù)上傳數(shù)據(jù)上傳到中心數(shù)據(jù)就近上傳對機房要求對空間、承重、散熱要求較高要求較低，可采用多套低端的小容量的存儲設(shè)備分布部署存儲設(shè)備大型硬盤陣列、磁盤庫和存儲服務(wù)器數(shù)據(jù)倉庫在存儲數(shù)據(jù)時，在現(xiàn)有生產(chǎn)系統(tǒng)的基礎(chǔ)上，對數(shù)據(jù)進(jìn)行抽取、清理，并按照主題與類別有效地組織數(shù)據(jù)。在存儲模式上，可參考Hdfs、Hbase及RDBMS相結(jié)合的模式。10數(shù)據(jù)建模數(shù)據(jù)建模分為：——范式建模：依據(jù)數(shù)據(jù)倉庫中的范式站在企業(yè)角度面向主題的抽象，而不是針對某個具體業(yè)務(wù)流程的實體對象關(guān)系抽象，它更多的是面向數(shù)據(jù)的整合和一致性治理；——維度建模：是目前大數(shù)據(jù)場景下推薦使用的建模方法，面向分析場景而生，針對分析場景構(gòu)建數(shù)倉模型；重點關(guān)注快速、靈活地解決分析需求，同時能夠提供大規(guī)模數(shù)據(jù)的快速響應(yīng)性能；——數(shù)據(jù)值建模：一種中心輻射式模型其設(shè)計重點圍繞著業(yè)務(wù)鍵的集成模式，這些業(yè)務(wù)鍵是存儲在多個系統(tǒng)中的、針對各種信息，用于定位和唯一標(biāo)識記錄或數(shù)據(jù)。10.2核心步驟10.2.1選擇業(yè)務(wù)過程對業(yè)務(wù)全流程中的活動過程進(jìn)行分析。選擇事實表的數(shù)據(jù)粒度。確定維度字段，確定維度表的信息?；诹６群途S度，將業(yè)務(wù)過程度量。10.3建模原則冗余存儲換性能，公共計算下沉，明細(xì)匯總并存。710.3.2高內(nèi)聚低耦合核心與擴展分離，業(yè)務(wù)過程合并，考慮產(chǎn)出時間。10.3.3數(shù)據(jù)隔離業(yè)務(wù)與數(shù)據(jù)系統(tǒng)隔離，建設(shè)與使用隔離。業(yè)務(wù)口徑一致，主要實體一致，命名規(guī)范一致。10.3.5中性原則弱業(yè)務(wù)屬性，數(shù)據(jù)驅(qū)動。11數(shù)據(jù)模型主要解決業(yè)務(wù)層面的分解和程序化。按照業(yè)務(wù)部門的劃分，進(jìn)行各個部分之間業(yè)務(wù)工作的界定，理清各業(yè)務(wù)部門之間的關(guān)系、了解各業(yè)務(wù)部門的具體業(yè)務(wù)流程并將其程序化。界定數(shù)據(jù)建模的范圍并劃分整個數(shù)據(jù)倉庫項目的目標(biāo)和階段。11.2領(lǐng)域模型對業(yè)務(wù)模型進(jìn)行抽象處理。本階段主要工作為抽取關(guān)鍵業(yè)務(wù)概念，并將之抽象化。按照業(yè)務(wù)主線聚合類似的分組概念將業(yè)務(wù)概念分組；細(xì)化分組概念、理清并抽象化業(yè)務(wù)流程；理清分組概念間的關(guān)聯(lián)關(guān)系，形成完整的領(lǐng)域概念模型。在設(shè)計物流數(shù)據(jù)的概念模型的時候可選擇DWER模型進(jìn)行建模。將領(lǐng)域模型的概念實體以及實體之間的關(guān)系進(jìn)行數(shù)據(jù)庫層次的邏輯化。通過邏輯建模，將概念模型完整串聯(lián)成一個有機實體，表達(dá)業(yè)務(wù)間的關(guān)聯(lián)性。設(shè)計邏輯模型，可采用維度建模。事實表用來存儲事實的度量及指向各個維的外鍵值。維度表用來保存該維的元數(shù)據(jù)，即維的描述信息，包括維的層次及成員類別等。在維度建模中可選擇星型架構(gòu)、雪花架構(gòu)、星座架構(gòu)等。解決數(shù)據(jù)的存儲結(jié)構(gòu)、索引策略、存儲策略及存儲優(yōu)化等問題。根據(jù)數(shù)據(jù)倉庫的邏輯模型，設(shè)計存儲在數(shù)據(jù)倉庫中表的結(jié)構(gòu)，將領(lǐng)域概念模型中的實體映射為表格，表格中外鍵約束用來表示事實表和維度表之間的關(guān)系，實體的屬性對應(yīng)表格中列中的字段。在字段中主鍵約束用來唯一標(biāo)識實體的實例。由于數(shù)據(jù)倉庫中的數(shù)據(jù)信息量比較大，可采用并行的存儲結(jié)構(gòu)，如RAID結(jié)構(gòu)等。在數(shù)據(jù)的索引策略上，為適應(yīng)多維查詢的環(huán)境，物流管理數(shù)據(jù)倉庫可以采用BitMap索引或BitWise索引等索引方式。812數(shù)據(jù)采集數(shù)據(jù)采集層負(fù)責(zé)信息數(shù)據(jù)的匯集、轉(zhuǎn)換與加載，提供多種數(shù)據(jù)采集方法，如ETL、Flume、Kafka等。數(shù)據(jù)倉庫的接口由用戶接口、業(yè)務(wù)量接口、賬務(wù)接口等接口組成，并通過對相關(guān)表的設(shè)計具體實現(xiàn)。數(shù)據(jù)倉庫的數(shù)據(jù)主要來自企業(yè)自身使用的業(yè)務(wù)系統(tǒng)、標(biāo)識碼中的存儲信息等。應(yīng)按GB/T20270—2006、GB/T20271—2006、GB/T28452—2012的規(guī)定執(zhí)行。14