智慧校園數(shù)據(jù)清洗與整合平臺建設(shè)方案

智慧校園數(shù)據(jù)清洗與整合平臺建設(shè)方案平臺概述數(shù)據(jù)清洗與整合平臺實現(xiàn)共享數(shù)據(jù)中心的數(shù)據(jù)采集與分發(fā)，提供對被交換信息進行清洗、轉(zhuǎn)換、裝載入庫等數(shù)據(jù)交換服務，即清理臟數(shù)據(jù)，完成對數(shù)據(jù)的整理，確保數(shù)據(jù)一致性、完整性和正確性。各業(yè)務系統(tǒng)通過清洗與整合系統(tǒng)與共享數(shù)據(jù)中心平臺進行數(shù)據(jù)交換與共享，各業(yè)務系統(tǒng)獨立運行，互不影響，某一業(yè)務系統(tǒng)故障不會造成對其它系統(tǒng)的影響。圖：數(shù)據(jù)清洗與整合平臺（DCI）平臺功能共享數(shù)據(jù)中心庫的數(shù)據(jù)來源目前來說主要是由國標即基礎(chǔ)代碼表的數(shù)據(jù)和從已有的應用系統(tǒng)中集成過來，這個過程就是數(shù)據(jù)DCI過程。已有的應用系統(tǒng)的數(shù)據(jù)是不符合數(shù)據(jù)規(guī)范的，DCI過程就是實現(xiàn)從不規(guī)范的數(shù)據(jù)源內(nèi)通過整合轉(zhuǎn)化成規(guī)范的數(shù)據(jù)保證數(shù)據(jù)的準確。DCI是數(shù)據(jù)集成并保證“一數(shù)一源”重要手段。通過DCI，可以方便、快捷地實現(xiàn)數(shù)據(jù)源到中心數(shù)據(jù)庫的DCI過程。支持主流的各種數(shù)據(jù)庫，包括Oracle系列、SQLServer系列、DB2、MySQL等，同時支持Excel文件數(shù)據(jù)訪問；方便的圖形化流程操作，幾乎不需要編寫復雜的SQL。通過拖動和連線的方式就可以定義DCI任務，不需要復雜的編程和配置；強大的任務定義能力。我們可以為每一個DCI任務定義不同的任務類型，更為重要的是，我們可以自由地設(shè)定任務的運行時間和周期；準確的數(shù)據(jù)變化感知。無論源數(shù)據(jù)發(fā)生了什么變化，包括插入新數(shù)據(jù)、更新舊數(shù)據(jù)、刪除數(shù)據(jù)等，都可以被-DCI所感知并在目標庫中做出相應的變化，實現(xiàn)準確的數(shù)據(jù)同步；靈活的數(shù)據(jù)映射。對于簡單的值映射，可以直接通過簡單設(shè)置即可，如想將性別字段值0和1映射成目標值A(chǔ)和B，可進行簡便操作；對于復雜的數(shù)據(jù)編程，-DCI提供了JavaScript語言，可以實現(xiàn)更為強大的編程邏輯和功能；強大的數(shù)據(jù)庫管理能力。-DCI提供了對數(shù)據(jù)庫更為復雜的操作，包括去除重復的記錄、自動流水號生成、記錄的連接、