中職校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)的集成

1、摘要：隨著中職學(xué)校的校企聯(lián)合辦學(xué)的不斷發(fā)展，中職學(xué)校與企業(yè)之間的聯(lián)合辦學(xué)需要 大量的數(shù)據(jù)交換。雖然計算機(jī)網(wǎng)絡(luò)、互聯(lián)網(wǎng)和移動互聯(lián)技術(shù)得到高速的發(fā)展，但是很多中職 學(xué)校在信息化建設(shè)過程中，各部門的管理信息系統(tǒng)相對封閉，存在“信息孤島。另外，在校 企聯(lián)合辦學(xué)過程中，中職學(xué)校與企業(yè)之間的存在管理的信息標(biāo)準(zhǔn)不統(tǒng)一，校企間亦形成了“信 息孤島”，對數(shù)據(jù)的共享和交換造成困難。因此，要確保中職學(xué)校的校企聯(lián)合辦學(xué)的正常進(jìn)行， 就要解決由于數(shù)據(jù)異構(gòu)造成的中職學(xué)校各部門以及校企間的“信息孤島”的問題。該文主要 闡述使用Oracle數(shù)據(jù)集成工具ODI(Oracle Data Integrator)對異構(gòu)數(shù)據(jù)集成，以解

2、決數(shù) 據(jù)異構(gòu)造成的中職學(xué)校各部門以及校企間的“信息孤島”的問題。關(guān)鍵詞：中職學(xué)校；校企聯(lián)合辦學(xué)；異構(gòu)數(shù)據(jù)庫；ODIAbstract： With the development of secondary vocational school college and enterprise joint development， joint between secondary vocational schools and enterprises need a large amount of data exchange. Although the computer network, the Interne

3、t and mobile Internet technology has obtained a rapid development ， but a lot of secondary vocational school in the process of information construction， management information system of each department is relatively closed， the existence of information island. In addition， in the process of enterpri

4、se joint， between the secondary vocational school and the existence of the enterprise management information standard is not unified， university enterprise also formed information isolated island， caused difficulties for data sharing and exchange. Therefore， to ensure that the secondary vocational s

5、chool to unite the normal， it is necessary to solve the heterogeneous data caused due to secondary vocational school departments as well as between schools and enterprises information island problem. This paper mainly discusses the use of Oracle data integration tool ODI (Oracle Data Integrator) the

6、 integration of heterogeneous data， in order to solve the heterogeneous data resulting in secondary vocational school departments as well as between schools and enterprises information island problem.Key words： secondary vocational school； university-enterprise cooperation； Heterogeneous database； O

7、DI目前，中職學(xué)校由于建設(shè)的時間和部門的差異，各部門管理信息系統(tǒng)存在多個異構(gòu)的、 各自在不同的軟硬件平臺獨立運行情況，使校內(nèi)各部門間信息難以流通，形成“信息孤島”。 例如，學(xué)校辦公室、教務(wù)部門、學(xué)生管理部門、財務(wù)室、圖書館、總務(wù)部門、學(xué)生宿舍等學(xué) 校的各部門在早期會建立各自獨立的、不同的管理信息系統(tǒng)以滿足本部門業(yè)務(wù)，這樣就造成 了部門之間數(shù)據(jù)難以交換和共享。隨著中職學(xué)校的校企聯(lián)合辦學(xué)工作的開展，校企雙方需要實現(xiàn)大量的數(shù)據(jù)交換和共享， 例如：學(xué)校方面，學(xué)生個人的基本信息、學(xué)生在校學(xué)習(xí)的理論課程和進(jìn)度，在企業(yè)的實習(xí)課 程需求、實習(xí)表現(xiàn)、實習(xí)安全管理、實習(xí)指導(dǎo)教師的評價等；企業(yè)方面，企業(yè)提供的實習(xí)課

8、程計劃、企業(yè)實訓(xùn)指導(dǎo)人員的安排、實訓(xùn)指導(dǎo)人員的評價、企業(yè)內(nèi)部管理等。由于在校企聯(lián) 合辦學(xué)工作開展前校企雙方的管理信息系統(tǒng)是相互獨立的，校企間也存在數(shù)據(jù)異構(gòu)，也形成 了“信息孤島”。因此，要使中職學(xué)校的校企聯(lián)合辦學(xué)工作的能較高效的開展，學(xué)校內(nèi)部及校企之間都需 要對管理信息系統(tǒng)的數(shù)據(jù)異構(gòu)進(jìn)行數(shù)據(jù)集成，本文提出一種性能高、靈活、擴(kuò)展性強的集成 工具 Oracle數(shù)據(jù)集成工具ODI (Oracle Data Integrator)來解決異構(gòu)數(shù)據(jù)的問題。1數(shù)據(jù)集成數(shù)據(jù)集成是通過物理和邏輯的方法將不同系統(tǒng)架構(gòu)建立的、用于不同管理信息系統(tǒng)的、 不同格式的數(shù)據(jù)有機(jī)地集中起來，實現(xiàn)高效的數(shù)據(jù)共享。 聯(lián)邦式、基于

9、中間件模型和數(shù)據(jù) 倉庫等方法，常用來構(gòu)造數(shù)據(jù)集成系統(tǒng)，通過其應(yīng)用以實現(xiàn)數(shù)據(jù)共享和提供決策支持。數(shù)據(jù)集成雖然能解決數(shù)據(jù)的分布性和異構(gòu)性的問題，但是需要集成的數(shù)據(jù)在實現(xiàn)數(shù)據(jù)交 換之前，必須公開如表結(jié)構(gòu)、表間關(guān)系、編碼的含義等數(shù)據(jù)結(jié)構(gòu)，否則是無法實現(xiàn)數(shù)據(jù)集成 的應(yīng)用的。2 ODI (Oracle Data Integrator)架構(gòu)ODI的數(shù)據(jù)倉庫用Java編寫的圖形化開發(fā)管理工具或計劃代理程序可對ODI統(tǒng)合的模塊化數(shù)據(jù)倉庫進(jìn) 行訪問。ODI的數(shù)據(jù)倉庫的主倉庫(Master Repository)，可實現(xiàn)用戶信息的保存，不同數(shù) 據(jù)庫或數(shù)據(jù)源、不同版本項目的連接。主倉庫一般包含一個或多個工作倉庫(Wo

10、rkRepository)， 利用這些工作倉庫能夠保存具體的數(shù)據(jù)，為用戶與整合數(shù)據(jù)間建立關(guān)聯(lián)。因此，ODI的數(shù)據(jù) 倉庫可以實現(xiàn)Oracle數(shù)據(jù)庫或其它數(shù)據(jù)庫的連接，能通過應(yīng)用程序進(jìn)行訪問，以實現(xiàn)異構(gòu) 數(shù)據(jù)集成。ODI的幾種管理工具DesignerDesigner是ODI最常用的數(shù)據(jù)轉(zhuǎn)換邏輯的開發(fā)工具，能夠?qū)崿F(xiàn)定義data store、創(chuàng)建 數(shù)據(jù)映射關(guān)系(interface)、創(chuàng)建package (如workflow)等任務(wù)。OperatorOperator實現(xiàn)數(shù)據(jù)轉(zhuǎn)換任務(wù)的管理和監(jiān)控，在設(shè)計過程中進(jìn)行調(diào)試。Topology Manager實現(xiàn)物理和邏輯基礎(chǔ)架構(gòu)的定義，如創(chuàng)建和管理work re

11、pository等。Security Manager實現(xiàn)用戶權(quán)限和計劃代理程序的管理。Schedule Agent實現(xiàn)執(zhí)行數(shù)據(jù)轉(zhuǎn)換任務(wù)的調(diào)度。由于ODI采用E-LT架構(gòu)，計劃代理即使有一個數(shù)據(jù)轉(zhuǎn) 換引擎，卻很少用，因此計劃代理的調(diào)度只是將任務(wù)傳遞給目標(biāo)庫。2.3 ODI 的知識模型(Knowledge Modules)由于有強大的知識模型，ODI能夠適應(yīng)不同管理信息系統(tǒng)的數(shù)據(jù)源，能高效的實現(xiàn)數(shù)據(jù) 的抽取(Extract)、轉(zhuǎn)換(Transform)、加載(Load)的過程。與程序的插件類似，ODI的知識模型將數(shù)據(jù)整合的任務(wù)抽象出六個組成部分：反向工程(Reverse-engineering k

12、nowledge modules)實現(xiàn)在數(shù)據(jù)源中讀取表或其他對象。日記(1 ournalizing knowledge modules)在ODI項目中啟用可以支持部分?jǐn)?shù)據(jù)源的Change Data Capture(CDC)功能后，實現(xiàn)對 新建和修改單個或一組表(或視圖)后的數(shù)據(jù)的記錄。加載(匚oading knowledge modules)實現(xiàn)在數(shù)據(jù)源中抽取數(shù)據(jù)。檢查(Check knowledge modules)實現(xiàn)對在數(shù)據(jù)源中抽取出的數(shù)據(jù)合法性的檢測。集成(Integration knowledge modules)先將Staging Area中的數(shù)據(jù)轉(zhuǎn)換到目標(biāo)表，再通過目標(biāo)數(shù)據(jù)庫產(chǎn)生

13、對應(yīng)的轉(zhuǎn)換SQL， 實現(xiàn)數(shù)據(jù)的集成。服務(wù)(Service knowledge modules)通過Web Services的方式將數(shù)據(jù)展現(xiàn)來，以實現(xiàn)服務(wù)。3中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成3.1中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成的需求3.1.1信息孤島中職學(xué)校各部門的管理信息系統(tǒng)各自孤立，而各部門管理信息系統(tǒng)并沒有實現(xiàn)異構(gòu)數(shù)據(jù) 的集成，因此部門之間數(shù)據(jù)難以交換和共享。部門之間數(shù)據(jù)的交換和共享，還停留在手工傳 遞、電子郵箱等低效率傳遞階段，無法滿足各部門及時、高效獲取和處理其他部門信息的需 求。參與聯(lián)合辦學(xué)的企業(yè)內(nèi)部管理信息系統(tǒng)的數(shù)據(jù)交換和共享雖然高效及時，但是在沒有與 中職學(xué)校實現(xiàn)異構(gòu)數(shù)據(jù)的集成

14、前，校企之間的數(shù)據(jù)也是孤立的，無法滿足在校企聯(lián)合辦學(xué)期 間，學(xué)校與企業(yè)及時、高效獲取和處理校與企間的信息的需求。由于校企無統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，就無法在聯(lián)合辦學(xué)過程中積累有效數(shù)據(jù)，不能提供準(zhǔn)確的輔 助決策分析數(shù)據(jù)依據(jù)，從而不能對中職學(xué)校與企業(yè)聯(lián)合辦學(xué)的作出正確的分析評價。3.2中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)的特點中職學(xué)校與聯(lián)合辦學(xué)的企業(yè)間，尤其是中職學(xué)校內(nèi)部的異構(gòu)數(shù)據(jù)有幾個主要特點：數(shù)據(jù) 的多樣性、數(shù)據(jù)可靠性差、標(biāo)準(zhǔn)與規(guī)范不一致、出錯率高、同步性弱。4中職學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成平臺的設(shè)計4.1平臺設(shè)計要實現(xiàn)校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成平臺的設(shè)計，就一方面要從中職學(xué)校各部門的管理信 息系統(tǒng)中抽取適合校企

15、聯(lián)合辦學(xué)的、有效的數(shù)據(jù)；另一方面要從企業(yè)的管理信息系統(tǒng)中抽取 適合校企聯(lián)合辦學(xué)的數(shù)據(jù)，選擇一個功能強大、高效的數(shù)據(jù)集成工具對這些異構(gòu)數(shù)據(jù)進(jìn)行整 合，將符合統(tǒng)一標(biāo)準(zhǔn)的數(shù)據(jù)實現(xiàn)數(shù)據(jù)交換和共享。Oracle的數(shù)據(jù)集成工具。對于異構(gòu)數(shù)據(jù)集成平臺的功能是相當(dāng)齊全的，幾乎包含了數(shù) 據(jù)、服務(wù)、事件等數(shù)據(jù)的集成功能oODI大數(shù)據(jù)量轉(zhuǎn)換和變化數(shù)據(jù)捕獲（CDC）的能力，能使 集成平臺實時處理事件;ODI控制大量數(shù)據(jù)完整性的能力，確保數(shù)據(jù)的一致性和數(shù)據(jù)可靠性； ODI擁有獨特的核心工具：異構(gòu)E-LT、聲明設(shè)計和知識模塊等。ODI符合中職學(xué)校校企聯(lián)合 辦學(xué)及時、高效的異構(gòu)數(shù)據(jù)集成平臺的需求，本文選擇Oracle的數(shù)據(jù)

16、集成工具ODI實現(xiàn)中職 學(xué)校校企聯(lián)合辦學(xué)異構(gòu)數(shù)據(jù)集成平臺的設(shè)計。4.2平臺相關(guān)技術(shù)4.2.1 E-LTE-LT體系結(jié)構(gòu)將手工編碼和ETL方法的最佳特性結(jié)合在一起。4.2.2輕量級日志利用輕量級日志，可對少量的數(shù)據(jù)而非整張表的所有數(shù)據(jù)進(jìn)行高效捕獲，滿足數(shù)據(jù)的實 時性。4.2.3差異比對即對數(shù)據(jù)源和目標(biāo)進(jìn)行差異化的區(qū)分，再判斷是否更新數(shù)據(jù)。通過差異比對，可以進(jìn)行 快速的數(shù)據(jù)集成處理，實現(xiàn)全量數(shù)據(jù)的集成。4.2.4集成中心庫設(shè)計數(shù)據(jù)集成平臺的主要核心的設(shè)計，是集成中心庫的設(shè)計。通常中職學(xué)校各部門的數(shù)據(jù)差異比較大，雖然企業(yè)內(nèi)部的數(shù)據(jù)相對統(tǒng)一，但是校企間的 數(shù)據(jù)就必然差異甚大，這樣就會造成數(shù)據(jù)可靠性差。

17、為了解決中職學(xué)校內(nèi)部和校企間不一致 的數(shù)據(jù)管理模式造成數(shù)據(jù)可靠性、效率差等的問題，就要對數(shù)據(jù)進(jìn)行臨時存儲。可從幾個方面實現(xiàn)數(shù)據(jù)集成中心庫的模式設(shè)計：一是對中職學(xué)校參與校企聯(lián)合辦學(xué)的部門、校企間的數(shù)據(jù)模型和標(biāo)準(zhǔn)進(jìn)行全面分析，將 數(shù)據(jù)在集成中心庫進(jìn)行統(tǒng)一的格式化處理，確保元數(shù)據(jù)和數(shù)據(jù)標(biāo)準(zhǔn)的統(tǒng)一。二是采用“松散”、“面向?qū)ο蟆钡哪Ｐ驮O(shè)計方法，保留數(shù)據(jù)模型的擴(kuò)展性。采用“松散” 的設(shè)計方法指在不調(diào)整原有內(nèi)容的前提下，用新增的方法在對象之間新增對象來實現(xiàn)擴(kuò)展。 采用“面向?qū)ο蟆钡脑O(shè)計方法主要是不按當(dāng)前數(shù)據(jù)處理的規(guī)則進(jìn)行設(shè)計，在管理模式或業(yè)務(wù) 變化時，既不調(diào)整原有設(shè)計內(nèi)容，又增強可擴(kuò)展性。三是在原有的數(shù)據(jù)

18、模型擴(kuò)展用于數(shù)據(jù)集成的字段，以滿足數(shù)據(jù)集成時的特別需求。4.3確立集成總體架構(gòu)對中職學(xué)校內(nèi)部和企業(yè)內(nèi)部的數(shù)據(jù)集成架構(gòu)均采用集線型的架構(gòu)，即引入集成中心數(shù)據(jù) 庫，各部門系統(tǒng)與集成中心數(shù)據(jù)庫做數(shù)據(jù)交互。如圖1所示，在中職學(xué)校內(nèi)部和企業(yè)內(nèi)部， 各自不同的部門系統(tǒng)之間進(jìn)行數(shù)據(jù)交互的過程是都一個部門系統(tǒng)將數(shù)據(jù)集成到集成中心數(shù)據(jù) 庫后，再通過集成中心庫下行到另一個部門系統(tǒng)。中職學(xué)校與企業(yè)之間的數(shù)據(jù)交互則通過ODI 的服務(wù)(Service knowledge modules)，即 Web Services 的方式來實現(xiàn)。在集成架構(gòu)中，如果企業(yè)的甲部門需要中職學(xué)校乙部門的數(shù)據(jù)，就先將中職學(xué)校乙部門 的數(shù)據(jù)上行至中職學(xué)校校園網(wǎng)絡(luò)集成中心庫，通過ODI的Web Services服務(wù)傳輸?shù)狡髽I(yè)網(wǎng) 絡(luò)集成中心庫，再由集成中心庫