(1)數(shù)據(jù)交換平臺.功能描述

1、數(shù)字校園系列軟件產(chǎn)品數(shù)據(jù)交換平臺功能描述目錄目錄1產(chǎn)品概述. - 1 -1.1產(chǎn)品簡介 . - 1 -1.2應(yīng)用范圍 . - 1 -產(chǎn)品功能結(jié)構(gòu). - 2 -產(chǎn)品功能. - 3 -3.1數(shù)據(jù)源適配器 . - 3 -3.1.1數(shù)據(jù)源類型 . - 3 -..43.2.5數(shù)據(jù)獲取方式. - 3 -抽取全量、增量數(shù)據(jù) . - 4 -數(shù)據(jù)過濾. - 4 -數(shù)據(jù)關(guān)聯(lián). - 5 -數(shù)據(jù)分包. - 6 -數(shù)據(jù)加密. - 6 -數(shù)據(jù)抽取 . - 4 -233.2.6數(shù)據(jù)壓縮. - 6 -3.2.7數(shù)據(jù)備份、刪除 . - 6 -3.3數(shù)據(jù)傳輸 . - 7 -3.4

2、3.5數(shù)據(jù)映射、轉(zhuǎn)換. - 7 -數(shù)據(jù)同步 . - 7 -3.5.1數(shù)據(jù)同步方式. - 8 -3.5.2數(shù)據(jù)同步異常. - 8 -3.6服務(wù)調(diào)度 . - 8 -3.7運(yùn)維監(jiān)控 . - 9 -..4告警監(jiān)控. - 9 -流程監(jiān)控. - 9 -資源監(jiān)控.- 10 -日志管理.- 11 - 2 -1 1 產(chǎn)品概述產(chǎn)品概述1.11.1 產(chǎn)品簡介產(chǎn)品簡介在校園信息化趨勢日益高漲的同時(shí)，暴露出很多問題：信息化建設(shè)缺乏統(tǒng)一指導(dǎo)和總體規(guī)劃，各部門獨(dú)自為戰(zhàn)，信息孤島現(xiàn)象日益嚴(yán)重由于建設(shè)時(shí)期不同，采用的技術(shù)架構(gòu)和建設(shè)情況各有差異，各系統(tǒng)之間的運(yùn)行管理維護(hù)等也相對獨(dú)立缺少統(tǒng)一應(yīng)用平

3、臺，不能提供基于全面準(zhǔn)確的標(biāo)準(zhǔn)數(shù)據(jù)及基于此的決策分析等深層次的增值服務(wù)數(shù)據(jù)交換平臺正是立足于解決以上問題，通過對現(xiàn)有的系統(tǒng)進(jìn)行數(shù)據(jù)整合，尤其是對相關(guān)的數(shù)據(jù)資源進(jìn)行整合，消除“信息孤島” ，實(shí)現(xiàn)校園內(nèi)各種信息系統(tǒng)的互通互連和數(shù)據(jù)共享，形成統(tǒng)一的數(shù)據(jù)服務(wù)層，為上層應(yīng)用提供數(shù)據(jù)服務(wù)，為校園綜合信息服務(wù)的便利、完善和高效提供可靠的數(shù)據(jù)基礎(chǔ)。數(shù)據(jù)交換平臺采用星型拓?fù)浣Y(jié)構(gòu)，有效的簡化了網(wǎng)絡(luò)結(jié)構(gòu)，實(shí)現(xiàn)了數(shù)據(jù)交換智能路由功能，根據(jù)交換數(shù)據(jù)內(nèi)容，能夠方便實(shí)現(xiàn)一點(diǎn)對多點(diǎn)，多點(diǎn)對一點(diǎn)，以及發(fā)送、轉(zhuǎn)換、轉(zhuǎn)發(fā)、接收等多種交換流程。通過采用中間件機(jī)制，很好的屏蔽了應(yīng)用系統(tǒng)直接的耦合程度，實(shí)現(xiàn)了數(shù)據(jù)的無縫交換和共享訪問，保

4、證了各應(yīng)用系統(tǒng)的有效協(xié)同，同時(shí)又能保證各應(yīng)用系統(tǒng)的相互獨(dú)立性和低耦合性，從整體上提高了系統(tǒng)運(yùn)作效率和可靠性。1.21.2 應(yīng)用范圍應(yīng)用范圍主要用戶主要用戶維護(hù)人員業(yè)務(wù)系統(tǒng)管理員系統(tǒng)管理員- 1 -主要功能主要功能整體交換流程監(jiān)控、異常處理報(bào)告監(jiān)控自身數(shù)據(jù)交換情況用戶管理、系統(tǒng)設(shè)置、流程配置學(xué)校信息化主管領(lǐng)導(dǎo)了解學(xué)校數(shù)據(jù)集成情況以及運(yùn)行情況2 2 產(chǎn)品功能結(jié)構(gòu)產(chǎn)品功能結(jié)構(gòu)應(yīng)用子系統(tǒng)數(shù)據(jù)庫文件數(shù)據(jù)源適配器客戶端代理數(shù)據(jù)獲取方式臨時(shí)表視圖存儲過程文件訪問sql數(shù)據(jù)源類型sqlserveroracleaccessdbfexcelxml數(shù)據(jù)生成過濾壓縮加密特殊字符處理文件格式轉(zhuǎn)換添加guid服務(wù)調(diào)度過濾

5、服務(wù)解壓解密數(shù)據(jù)合并文件格式轉(zhuǎn)換數(shù)據(jù)同步消息發(fā)送消息接收消息傳輸webservicehttpftpfile數(shù)據(jù)交換中心消息接收服務(wù)調(diào)度消息接收端口服務(wù)解壓解密消息接收端口加密壓縮消息發(fā)送xml消息入隊(duì)消息轉(zhuǎn)換線程池消息發(fā)布xml數(shù)據(jù)交換管理平臺客戶端管理運(yùn)維監(jiān)控子系統(tǒng)管理訂閱管理數(shù)據(jù)源管理映射定義端口管理日志管理任務(wù)定義服務(wù)調(diào)度數(shù)據(jù)交換平臺功能結(jié)構(gòu)圖數(shù)據(jù)交換平臺功能結(jié)構(gòu)圖- 2 -3 3 產(chǎn)品功能產(chǎn)品功能3.13.1 數(shù)據(jù)源適配器數(shù)據(jù)源適配器.1 數(shù)據(jù)源類型數(shù)據(jù)源類型數(shù)據(jù)交換平臺支持各種主流、非主流的數(shù)據(jù)源，通過數(shù)據(jù)適配器可以靈活擴(kuò)展。支持多種主流關(guān)系型數(shù)據(jù)庫， 包括： ora

6、lce（9i、 10g、 11g） 、 microsoft sqlserver（2000、2005、2008） 、ibm db2、sybase支持多種 odbc 數(shù)據(jù)類型， 包括： microsoft access （.mdb） 、 microsoft excel（.xls） 、visualfoxpro（.dbf）支持 xml 文件支持 webservice支持純粹的文件類型，例如：照片、word文件.2 數(shù)據(jù)獲取方式數(shù)據(jù)獲取方式數(shù)據(jù)交換平臺支持多種數(shù)據(jù)獲取方式： 數(shù)據(jù)庫視圖可以從指定數(shù)據(jù)庫的視圖中提取數(shù)據(jù)。 數(shù)據(jù)表可以從指定數(shù)據(jù)庫的表中提取數(shù)據(jù)。 自定義 sql可以用自定義

7、sql 從指定數(shù)據(jù)庫中提取數(shù)據(jù)。 webservice可以從指定 webservice提供的方法中提取數(shù)據(jù)。 文件可以從指定 xml、excel、access、dbf 文件中提取數(shù)據(jù)；可以把任意類型的文件從一個(gè)地方交換到另一個(gè)地方。- 3 -3.23.2 數(shù)據(jù)抽取數(shù)據(jù)抽取數(shù)據(jù)交換的第一個(gè)環(huán)節(jié)是要進(jìn)行數(shù)據(jù)抽取，根據(jù)特定的業(yè)務(wù)規(guī)則進(jìn)行抽取，例如：抽取全量數(shù)據(jù)、抽取增量數(shù)據(jù)、數(shù)據(jù)過濾、數(shù)據(jù)關(guān)聯(lián)、數(shù)據(jù)分包、數(shù)據(jù)加密、數(shù)據(jù)刪除、數(shù)據(jù)備份、數(shù)據(jù)壓縮等。.1 抽取全量、增量數(shù)據(jù)抽取全量、增量數(shù)據(jù)根據(jù)實(shí)際業(yè)務(wù)需要，數(shù)據(jù)交換平臺需要獲取全量或者只提取有變化的數(shù)據(jù)，即增量數(shù)據(jù)。全量、增量數(shù)據(jù)全量、

8、增量數(shù)據(jù).2 數(shù)據(jù)過濾數(shù)據(jù)過濾對于業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)，有些數(shù)據(jù)不是實(shí)際需要的，那么可以通過設(shè)置數(shù)據(jù)過濾條件和選擇數(shù)據(jù)字段，對數(shù)據(jù)源進(jìn)行過濾。- 4 -選擇字段選擇字段設(shè)置過濾條件設(shè)置過濾條件.3 數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián)業(yè)務(wù)系統(tǒng)提供的數(shù)據(jù)中，缺少某些字段，需要關(guān)聯(lián)其他系統(tǒng)的數(shù)據(jù)后才能得到，通過數(shù)據(jù)關(guān)聯(lián)可以輕松解決此問題，要關(guān)聯(lián)的數(shù)據(jù)源類型和源數(shù)據(jù)一樣都支持所有數(shù)據(jù)類型- 5 -數(shù)據(jù)關(guān)聯(lián)數(shù)據(jù)關(guān)聯(lián).4 數(shù)據(jù)分包數(shù)據(jù)分包針對大數(shù)據(jù)量的抽取，一次性讀取所有數(shù)據(jù)，對系統(tǒng)壓力比較大，通過數(shù)據(jù)分包，按照數(shù)據(jù)條數(shù)可以把數(shù)據(jù)分成多個(gè)包，分包進(jìn)行交換，大大減輕系統(tǒng)的承受壓力

9、。.5 數(shù)據(jù)加密數(shù)據(jù)加密針對一些機(jī)密數(shù)據(jù)，在數(shù)據(jù)抽取過程中，會對數(shù)據(jù)進(jìn)行加密，即使在交換過程被截獲，也無法獲取數(shù)據(jù)的真實(shí)內(nèi)容。.6 數(shù)據(jù)壓縮數(shù)據(jù)壓縮針對大數(shù)據(jù)量的抽取，可以采用數(shù)據(jù)壓縮，縮小數(shù)據(jù)文件的大小。.7 數(shù)據(jù)備份、刪除數(shù)據(jù)備份、刪除針對增量數(shù)據(jù)源的數(shù)據(jù)，數(shù)據(jù)抽取完成需要?jiǎng)h除原數(shù)據(jù)，為保證數(shù)據(jù)的完整性，在刪除前，需要對數(shù)據(jù)進(jìn)行備份。- 6 -3.33.3 數(shù)據(jù)傳輸數(shù)據(jù)傳輸數(shù)據(jù)抽取完成后， 進(jìn)行數(shù)據(jù)傳輸， 傳輸時(shí)可以通過 http協(xié)議和 ftp協(xié)議進(jìn)行傳輸。3.43.4 數(shù)據(jù)映射、轉(zhuǎn)換數(shù)據(jù)映射、轉(zhuǎn)換數(shù)據(jù)映射、轉(zhuǎn)換環(huán)節(jié)是數(shù)據(jù)交換平臺中的重中之重

10、，主要提供了以下支持： 字段關(guān)聯(lián)合并多個(gè)字段可以合并到一個(gè)目標(biāo)字段，字段首尾可以連接自定義字符 大小寫轉(zhuǎn)換對字段進(jìn)行大小寫轉(zhuǎn)換 首尾空格刪除對字段首尾空格進(jìn)行刪除 字段長度計(jì)算獲取字段內(nèi)容長度映射配置映射配置數(shù)據(jù)映射關(guān)系的配置，可以通過拖曳式的操作，建立源和目標(biāo)之前的對應(yīng)關(guān)系3.53.5 數(shù)據(jù)同步數(shù)據(jù)同步經(jīng)過數(shù)據(jù)抽取、數(shù)據(jù)映射轉(zhuǎn)換后的數(shù)據(jù)，就可以給目標(biāo)數(shù)據(jù)源進(jìn)行同步了。- 7 -.1 數(shù)據(jù)同步方式數(shù)據(jù)同步方式數(shù)據(jù)同步支持的方式有： 數(shù)據(jù)表目標(biāo)數(shù)據(jù)源為數(shù)據(jù)表，需要指定數(shù)據(jù)表的主鍵，同步過程中根據(jù)主鍵來判斷數(shù)據(jù)插入、更新。 存儲過程存儲過程提供輸出參數(shù)，在目標(biāo)數(shù)據(jù)源配置中指定預(yù)期輸

11、出，在同步過程中，判斷預(yù)期輸出值和輸入值是否一致，同時(shí)記錄異常數(shù)據(jù)和異常原因。 webservice通過判斷 webservice調(diào)用后的返回結(jié)果和預(yù)期是否一致， 判斷同步是否成功，記錄成功的記錄數(shù)和失敗的記錄數(shù)。 文件把轉(zhuǎn)換后的數(shù)據(jù)同步成文件，文件類型可以是任意文件類型.2 數(shù)據(jù)同步異常數(shù)據(jù)同步異常數(shù)據(jù)同步過程中的異常數(shù)據(jù)，系統(tǒng)會自動(dòng)記錄下來，包括數(shù)據(jù)和錯(cuò)誤原因，在監(jiān)控平臺上，可以下載異常數(shù)據(jù)和異常記錄，供系統(tǒng)維護(hù)人員進(jìn)行分析處理。3.63.6 服務(wù)調(diào)度服務(wù)調(diào)度每一個(gè)原數(shù)據(jù)源和目標(biāo)數(shù)據(jù)源之間的數(shù)據(jù)交換頻率是不盡相同的， 可以為每一個(gè)流程設(shè)置運(yùn)行周期調(diào)度： 流程在啟動(dòng)狀態(tài)時(shí)執(zhí)行，滿足輪詢策略 具體到某一時(shí)刻執(zhí)行 設(shè)置時(shí)間段運(yùn)行 周期運(yùn)行，周期可以設(shè)置為分鐘、小時(shí)、天、周、月、年- 8 -服務(wù)調(diào)度服務(wù)調(diào)度3.73.7 運(yùn)維監(jiān)控運(yùn)維監(jiān)控?cái)?shù)據(jù)交換平臺提供了多種監(jiān)控，實(shí)時(shí)反映各個(gè)數(shù)據(jù)交換流程的運(yùn)行情況，服務(wù)器資源的使用情況，交換平臺的整體接入情況。所有的流程都可以進(jìn)行啟動(dòng)、停止操作。.1 告警監(jiān)控告警監(jiān)控提供平臺運(yùn)行過程中的異常信息。告警監(jiān)控告警監(jiān)控.2 流程監(jiān)