面向數(shù)據(jù)中心的裝備保障數(shù)據(jù)集成方法研究

面向數(shù)據(jù)中心的裝備保障數(shù)據(jù)集成方法研究

代冬升李雅峰趙曉文連云峰Summary：數(shù)據(jù)集成是數(shù)據(jù)中心建設的重要內容和關鍵環(huán)節(jié)。針對裝備保障數(shù)據(jù)中心功能定位，分析了裝備保障數(shù)據(jù)集成需求及原則，建立了面向數(shù)據(jù)中心的裝備保障數(shù)據(jù)集成框架及相關數(shù)據(jù)模型，分析了關鍵屬性，設計了基本流程，并對數(shù)據(jù)集成成果在信息資源規(guī)劃、數(shù)據(jù)倉庫建設、數(shù)據(jù)共享交換、主數(shù)據(jù)管理等方面的應用進行了闡述。Abstract：Dataintegrationisanimportantpartofdatacenterconstruction.Againstthefunctionalpositioningforequipmentsupportdatacenter，itanalyzestheequipmentsupportdataintegrationrequirementsandprinciples.Then，itconstructsthedatacenter-orientedequipmentsupportdataintegrationframeworkandrelationaldatamodels，analyzesitskeypropertiesanddesignsitsbasicprocedure.Andalso，itexplainsthedataintegrationresultsapplicationsforinformationresourcesplanning，datawarehouseconstruction，datasharingexchangeandmaindatamanagement.Key：數(shù)據(jù)中心;數(shù)據(jù)集成;裝備保障Keywords：datacenter;dataintegration;equipmentsupport：TP311.52

：A

：1006-4311（2019）23-0226-040

引言隨著信息技術的快速發(fā)展、裝備保障業(yè)務需求的豐富拓展和信息化建設的逐步深入，數(shù)據(jù)中心建設成為深化裝備保障信息服務需求、實現(xiàn)裝備保障信息有效管理、強化裝備保障信息綜合運用的重要措施，是裝備保障信息化建設的重要節(jié)點。裝備保障數(shù)據(jù)中心功能的有效發(fā)揮，依賴于存儲數(shù)據(jù)的高準確性、規(guī)范性、一致性和完整性，也對多源異構裝備保障數(shù)據(jù)集成提出了更高要求。本文探討了面向數(shù)據(jù)中心建設的數(shù)據(jù)集成方法，目的是實現(xiàn)高質量的數(shù)據(jù)集成，滿足數(shù)據(jù)中心數(shù)據(jù)體系建設與應用需求。1

裝備保障數(shù)據(jù)中心數(shù)據(jù)集成概述1.1裝備保障數(shù)據(jù)中心的功能定位裝備保障數(shù)據(jù)中心是以裝備保障各類數(shù)據(jù)為核心，依托數(shù)據(jù)庫管理、業(yè)務運行基礎平臺和網(wǎng)絡系統(tǒng)，按照統(tǒng)一的標準，建立具有信息管理、數(shù)據(jù)綜合分析、數(shù)據(jù)分類查詢、綜合統(tǒng)計分析及信息服務等功能的一體化裝備保障數(shù)據(jù)管理體系[1]。單從數(shù)據(jù)角度來看，其主要功能應體現(xiàn)為：①信息匯聚存儲。數(shù)據(jù)中心是裝備保障全系統(tǒng)、全壽命、全要素信息的大集中，基于相關數(shù)據(jù)標準規(guī)范，進行裝備保障全方位信息的采集、處理、傳輸與存儲，實現(xiàn)信息資源的大集中，為有效解決全局性、綜合性問題奠定數(shù)據(jù)基礎。②保障決策支持。以裝備保障決策重難點問題為牽引，對裝備保障數(shù)據(jù)進行整合，通過數(shù)據(jù)挖掘、深度學習、大數(shù)據(jù)分析、可視化展示等技術手段，進行規(guī)律分析、模式提取、趨勢研判、能力評估等，生成統(tǒng)計圖表、指標數(shù)據(jù)、咨詢報告等數(shù)據(jù)產(chǎn)品，為各級決策者提供決策支持。③信息保障服務。面向裝備管理、使用、維修、科研、生產(chǎn)等多類型用戶，提供數(shù)據(jù)交換、信息檢索、知識定制等服務以及交流互動平臺，使各級保障人員能系統(tǒng)、精準、及時地獲取解決問題所需的知識。1.2裝備保障數(shù)據(jù)集成需求分析數(shù)據(jù)中心是提供裝備保障綜合性數(shù)據(jù)服務的地方，數(shù)據(jù)來源廣泛、體量龐大、類型多樣，服務對象多元化明顯。與傳統(tǒng)意義上的數(shù)據(jù)集成相比，其特殊需求主要體現(xiàn)為[3，4]：①數(shù)據(jù)全面性要求高。從作用發(fā)揮角度看，數(shù)據(jù)中心要匯聚裝備保障領域的全部數(shù)據(jù)，才能提供系統(tǒng)、全面、綜合的數(shù)據(jù)服務。裝備保障數(shù)據(jù)中心的數(shù)據(jù)源包括全業(yè)務全壽命各業(yè)務信息系統(tǒng)數(shù)據(jù)、業(yè)務報表單據(jù)、網(wǎng)絡情報信息、教材教案、數(shù)字化加工資源等，存在著多源異構、一致性差、標準化程度不高、數(shù)據(jù)冗余等常規(guī)問題，但數(shù)據(jù)源的數(shù)量非常龐大，涉及面非常廣泛。②數(shù)據(jù)標準化程度要求高。標準化是裝備保障數(shù)據(jù)工程建設的基礎和依據(jù)，決定了數(shù)據(jù)中心數(shù)據(jù)架構的規(guī)范性和穩(wěn)定性，是數(shù)據(jù)中心長久穩(wěn)定運行的重要保證。需要建立數(shù)據(jù)中心標準規(guī)范體系，指導和約束裝備保障數(shù)據(jù)標準化處理，構建形成穩(wěn)定的數(shù)據(jù)環(huán)境，以對外提供統(tǒng)一、標準和規(guī)范的數(shù)據(jù)支撐，滿足多變業(yè)務應用的數(shù)據(jù)服務需求。③數(shù)據(jù)集成工作量大。裝備保障數(shù)據(jù)集成，需要大量收集、解析原始數(shù)據(jù)資源資料，搭建數(shù)據(jù)集成環(huán)境，在集成工具的輔助下，由多人協(xié)作共同完成數(shù)據(jù)集成工作。為確保數(shù)據(jù)集成各步驟準確無誤，需同步采取有效措施進行數(shù)據(jù)集成過程管控，確保數(shù)據(jù)質量。④需要建立數(shù)據(jù)間復雜的關聯(lián)關系。數(shù)據(jù)中心中的數(shù)據(jù)間存在廣泛的關聯(lián)關系，如引用、計算、約束等，需要通過集成的方式建立眾多來源數(shù)據(jù)之間的關聯(lián)關系，使其成為一個有機整體，為深度開展數(shù)據(jù)挖掘、大數(shù)據(jù)分析奠定基礎，以有效解決單一業(yè)務信息系統(tǒng)無法解決的全局性、綜合性、復雜性問題。1.3裝備保障數(shù)據(jù)集成原則為滿足數(shù)據(jù)中心數(shù)據(jù)體系建設與應用需求，裝備保障數(shù)據(jù)集成應遵循以下原則：①穩(wěn)定性原則。數(shù)據(jù)集成中的數(shù)據(jù)結構一經(jīng)確定就應保持相對穩(wěn)定，否則數(shù)據(jù)結構的變化將導致數(shù)據(jù)值的聯(lián)動變化，也就無法保證數(shù)據(jù)的穩(wěn)定性和高質量。②準確性原則。數(shù)據(jù)按照既定規(guī)則和策略集成處理后，應確保準確無誤，否則將失去使用價值，并導致嚴重后果。③齊備性原則。數(shù)據(jù)結構設計應科學合理，確保存儲數(shù)據(jù)的完整性，以提供完整統(tǒng)一的用戶視圖，也為數(shù)據(jù)倉庫提供充足的數(shù)據(jù)。④一致性原則。應對信息代碼、應用數(shù)據(jù)、關聯(lián)關系等進行規(guī)范統(tǒng)一，實現(xiàn)數(shù)據(jù)的“一數(shù)一源”，保證數(shù)據(jù)的一致性。⑤快速性原則。應采取有效措施手段確保集成的高效率，使得海量數(shù)據(jù)能夠快速、準確集成整合入庫。2

裝備保障數(shù)據(jù)集成模型設計2.1集成框架設計面向數(shù)據(jù)中心的裝備保障數(shù)據(jù)集成從數(shù)據(jù)模型和數(shù)據(jù)記錄兩方面開展集成工作，集成框架如圖1所示。其中，數(shù)據(jù)源主要是指業(yè)務運行過程中使用的各種業(yè)務信息系統(tǒng)，提供數(shù)據(jù)集成對象;原樣庫是與業(yè)務信息系統(tǒng)數(shù)據(jù)庫相一致的存儲空間，業(yè)務信息系統(tǒng)數(shù)據(jù)庫中的數(shù)據(jù)經(jīng)過抽取后直接存儲到原樣庫中;融合庫用于存儲經(jīng)過整合、規(guī)范后的數(shù)據(jù)結構和數(shù)據(jù)記錄，包括標準代碼庫、維度定義庫、規(guī)范事務庫和業(yè)務實體庫的數(shù)據(jù)結構和數(shù)據(jù)記錄。在融合庫中，標準代碼庫用于存儲經(jīng)過規(guī)范統(tǒng)一的分類代碼和標識代碼;維度定義庫用于存儲數(shù)據(jù)分析的維度數(shù)據(jù);規(guī)范事務庫用于存儲經(jīng)過整合、規(guī)范、統(tǒng)一的裝備保障事務數(shù)據(jù);業(yè)務實體庫用于存儲按裝備保障業(yè)務實體進行組織的實體數(shù)據(jù)。上述數(shù)據(jù)集成框架中，原樣庫建設是在不改變業(yè)務信息系統(tǒng)數(shù)據(jù)及結構的基礎上將其導入原樣庫，在物理上包括多個業(yè)務信息系統(tǒng)數(shù)據(jù)庫及其數(shù)據(jù)，其目的是借助數(shù)據(jù)中心強大的數(shù)據(jù)存儲和處理能力，為各業(yè)務信息系統(tǒng)技術人員進行單項業(yè)務運行數(shù)據(jù)處理提供支撐，同時為融合庫建設奠定基礎，避免直接操作業(yè)務信息系統(tǒng)數(shù)據(jù)造成破壞。融合庫建設通過對各業(yè)務信息系統(tǒng)數(shù)據(jù)進行統(tǒng)一設計，實現(xiàn)相關數(shù)據(jù)邏輯上和物理上的統(tǒng)一，解決各業(yè)務信息系統(tǒng)數(shù)據(jù)標準不一帶來的諸多問題。數(shù)據(jù)融合的結果可以用于信息資源規(guī)劃、統(tǒng)一信息視圖、數(shù)據(jù)倉庫建設和數(shù)據(jù)交換等應用。2.2數(shù)據(jù)模型設計2.2.1原樣庫模型設計原樣庫數(shù)據(jù)模型和數(shù)據(jù)記錄以業(yè)務信息系統(tǒng)為單元進行組織，其組織結構如圖2所示。原樣庫需要忠實反映各業(yè)務信息系統(tǒng)數(shù)據(jù)庫的實際，主要體現(xiàn)在：①數(shù)據(jù)庫類型和版本。原樣庫與各業(yè)務信息系統(tǒng)的數(shù)據(jù)庫管理系統(tǒng)盡可能保持一致，包括數(shù)據(jù)庫管理系統(tǒng)類型和版本。②數(shù)據(jù)結構。原樣庫數(shù)據(jù)表和各業(yè)務信息系統(tǒng)數(shù)據(jù)表的數(shù)據(jù)結構應保持一致，包括表的組成、表名、數(shù)據(jù)項名稱、中文全稱、類型、精度、存儲格式、關聯(lián)關系等。③數(shù)據(jù)記錄。原樣庫數(shù)據(jù)記錄和各業(yè)務信息系統(tǒng)數(shù)據(jù)記錄應保持一致，可以暫不考慮數(shù)據(jù)記錄的準確性問題。2.2.2融合庫模型設計融合庫由標準代碼庫、維度定義庫、規(guī)范事務庫和業(yè)務實體庫組成。融合庫首先將原樣庫中的數(shù)據(jù)模型進行規(guī)范化設計，然后對數(shù)據(jù)模型的定義關系、數(shù)據(jù)記錄的引用關系與發(fā)布關系進行明確，實現(xiàn)全局范圍內各業(yè)務信息系統(tǒng)數(shù)據(jù)模型和數(shù)據(jù)記錄的規(guī)范統(tǒng)一。①標準代碼庫。標準代碼庫存儲的標準代碼包括分類代碼和標識代碼兩部分，是在綜合分析各業(yè)務信息系統(tǒng)代碼基礎上，通過合并、補充、新編等方式建立的統(tǒng)一的代碼體系，用于實現(xiàn)各業(yè)務信息系統(tǒng)數(shù)據(jù)之間的集成關聯(lián)。②維度定義庫。維度定義庫提供統(tǒng)一的維度分類和維度表，為同類分析提供一致的視角。維度定義來源于標準代碼庫中的分類代碼，如單位維度來源于標準代碼庫中的單位分類代碼，裝備維度來源于裝備分類代碼等。③規(guī)范事務庫。規(guī)范事務庫用于存儲原樣庫中的事務數(shù)據(jù)。規(guī)范事務庫的數(shù)據(jù)字段的命名屬性需要進行規(guī)范和統(tǒng)一，包括實體詞、特性詞、表示詞、限定詞等。同時，要同步更新使用標準代碼庫中的代碼，并完成數(shù)據(jù)完整性驗證。④業(yè)務實體庫。業(yè)務實體庫用于存儲以業(yè)務實體為單位建立的數(shù)據(jù)模型和數(shù)據(jù)記錄，對應于業(yè)務數(shù)據(jù)中相對穩(wěn)定、共享交換頻率較高的基礎性數(shù)據(jù)，如單位基本信息、裝備基本信息、器材目錄標準信息等。2.2.3模型關系描述原樣庫與融合庫各模型間的關系如圖3所示。標準代碼庫數(shù)據(jù)模型來自于原樣庫數(shù)據(jù)模型，以業(yè)務信息系統(tǒng)中分類代碼表和標識代碼表為原型進行設計;維度定義庫數(shù)據(jù)模型來自于標準代碼庫的分類代碼表;規(guī)范事務庫數(shù)據(jù)模型是在原樣庫數(shù)據(jù)模型的基礎上，經(jīng)過統(tǒng)一數(shù)據(jù)庫類型、字段物理屬性、字段命名屬性等規(guī)范化處理后創(chuàng)建生成;業(yè)務實體庫數(shù)據(jù)模型在規(guī)范事務庫數(shù)據(jù)模型的基礎上，經(jīng)過數(shù)據(jù)項合并重組創(chuàng)建生成，且一旦建立就作為事務庫數(shù)據(jù)模型的定義方，對事務庫數(shù)據(jù)模型數(shù)據(jù)項進行定義。2.3關鍵屬性分析數(shù)據(jù)項的命名屬性、關系屬性和存儲屬性等對于裝備保障數(shù)據(jù)集成的質量至關重要，是數(shù)據(jù)集成設計的重點之一。命名屬性用于統(tǒng)一數(shù)據(jù)項名稱，關系屬性用于統(tǒng)一不同數(shù)據(jù)模型中數(shù)據(jù)項間的關聯(lián)關系，存儲屬性用于統(tǒng)一數(shù)據(jù)項的物理存儲屬性。①命名屬性。命名屬性是從語義角度對數(shù)據(jù)項進行分析和理解，主要包括數(shù)據(jù)項的名稱、中文簡稱、中文全稱、實體詞、特性詞、表示詞、限定詞，屬于概念數(shù)據(jù)模型范疇。②關系屬性。關系屬性是指數(shù)據(jù)項間存在的邏輯關系，主要包括定義關系、引用關系、發(fā)布關系和計算關系等，屬于邏輯數(shù)據(jù)模型范疇。③存儲屬性。存儲屬性是指數(shù)據(jù)項所具有的物理存儲屬性，主要包括數(shù)據(jù)項的數(shù)據(jù)類型、長度、格式等，屬于物理數(shù)據(jù)模型范疇。2.4集成基本流程設計業(yè)務數(shù)據(jù)集成主要包括數(shù)據(jù)源資料收集分析、原樣庫建設和融合庫建設三個主要階段。其中，資料收集分析階段主要是收集現(xiàn)有業(yè)務信息系統(tǒng)相關的文檔資料、數(shù)據(jù)庫管理系統(tǒng)及相關信息，為數(shù)據(jù)集成的開展提供參考和依據(jù);原樣庫建設階段主要是建立與各業(yè)務信息系統(tǒng)盡可能相同的數(shù)據(jù)庫環(huán)境，通過逆向分析，完成現(xiàn)有業(yè)務信息系統(tǒng)數(shù)據(jù)結構設計，并進行業(yè)務數(shù)據(jù)的抽取與存儲;融合庫建設階段主要是在原樣庫建設基礎上，進行標準代碼庫、維度定義庫、規(guī)范事務庫和業(yè)務實體庫的數(shù)據(jù)模型設計，然后進行數(shù)據(jù)記錄的抽取、清洗、轉換等，并存儲到相應的數(shù)據(jù)庫中。業(yè)務數(shù)據(jù)集成的基本流程如圖4所示。3

裝備保障數(shù)據(jù)集成典型應用3.1信息資源規(guī)劃信息資源規(guī)劃是對裝備保障領域信息的全面規(guī)劃設計，能夠構建形成穩(wěn)定的數(shù)據(jù)環(huán)境，滿足多變業(yè)務應用的數(shù)據(jù)需求。面向數(shù)據(jù)中心的裝備保障數(shù)據(jù)集成，對已有業(yè)務信息系統(tǒng)進行了系統(tǒng)全面的梳理分析，對數(shù)據(jù)表、數(shù)據(jù)項、數(shù)據(jù)關系進行了詳細的規(guī)范設計，建立了裝備保障業(yè)務功能相關的主題模型、數(shù)據(jù)模型和統(tǒng)一的數(shù)據(jù)標準，在裝備保障領域形成了穩(wěn)定的數(shù)據(jù)結構和齊備的數(shù)據(jù)記錄。該過程涵蓋了信息資源規(guī)劃的大部分工作，能夠為裝備保障數(shù)據(jù)體系建設、新研系統(tǒng)開發(fā)以及焦點應用的數(shù)據(jù)服務奠定堅實基礎[5]。3.2數(shù)據(jù)倉庫建設面向數(shù)據(jù)中心的數(shù)據(jù)集成的主要目的之一，是為構建數(shù)據(jù)倉庫提供優(yōu)質數(shù)據(jù)源，支撐裝備保障決策。一方面，業(yè)務數(shù)據(jù)集成融合了異構數(shù)據(jù)源的數(shù)據(jù)結構和數(shù)據(jù)記錄，為數(shù)據(jù)倉庫提供了統(tǒng)一的數(shù)據(jù)元素和數(shù)據(jù)記錄;另一方面，維度定義庫和用戶事務庫分別為數(shù)據(jù)倉庫中的維度表和事實表提供了直接來源，可以直接使用相關成果，從而實現(xiàn)面向“管、修、供、訓、戰(zhàn)”等裝備保障主題的數(shù)據(jù)倉庫的快速構建，為KPI指標計算、多維數(shù)據(jù)分析、綜合態(tài)勢展現(xiàn)、數(shù)據(jù)深度挖掘等提供數(shù)據(jù)支撐[6]。3.3數(shù)據(jù)共享交換面向數(shù)據(jù)中心的數(shù)據(jù)集成建立了統(tǒng)一規(guī)范的數(shù)據(jù)模型、數(shù)據(jù)標準和信息代碼，以及相關數(shù)據(jù)內容間的對照映射關系，使得數(shù)據(jù)中心能夠作為裝備保障領域各業(yè)務信息系統(tǒng)間數(shù)據(jù)交換的樞紐，能夠提供面向不同業(yè)務信息系統(tǒng)數(shù)據(jù)交換服務。一方面，避免了兩兩業(yè)務信息系統(tǒng)間建立繁瑣的交換關系，以及數(shù)據(jù)在多個上下級系統(tǒng)間的級聯(lián)傳遞，提升了交換速度、質量及效益;另一方面，通過數(shù)據(jù)中心的交換，只需要了解數(shù)據(jù)中心與業(yè)務信息系統(tǒng)間需要交換的那部分數(shù)據(jù)模型，整體架構易于維護和擴展，數(shù)據(jù)完整性可靠性易于保證[7]。3.4主數(shù)據(jù)管理主數(shù)據(jù)是具有高業(yè)務價值的、可以在裝備保障領域跨業(yè)務部門被重復使用的數(shù)據(jù)，例如裝備基本信息、器材目錄標準信息等。面向數(shù)據(jù)中心的數(shù)據(jù)集成對裝備保障業(yè)務信息系統(tǒng)中的主數(shù)據(jù)進行了抽取整合，構建形成了標準代碼庫和業(yè)務實體庫，并進行有效管理，還可以服務的方式把統(tǒng)一、完整、準確的主數(shù)據(jù)分發(fā)給裝備保障領域內的操作型應用和分析型應用，包括業(yè)務系統(tǒng)、業(yè)務流程和決