數(shù)據(jù)集成整體解決方案

數(shù)據(jù)集成整體解決方案數(shù)據(jù)集成整體解決方案數(shù)據(jù)集成整體解決方案xxx公司數(shù)據(jù)集成整體解決方案文件編號：文件日期：修訂次數(shù)：第1.0次更改批準(zhǔn)審核制定方案設(shè)計，管理制度數(shù)據(jù)集成整體解決方案繼系統(tǒng)集成、應(yīng)用集成、業(yè)務(wù)集成之后，最頭痛的數(shù)據(jù)集成（DataIntegration）已漸被各大企業(yè)紛紛觸及。目前國內(nèi)大多數(shù)企業(yè)還僅停留在服務(wù)于單個系統(tǒng)的多對一架構(gòu)數(shù)據(jù)集成應(yīng)用，這種架構(gòu)常見于數(shù)據(jù)倉庫系統(tǒng)領(lǐng)域，服務(wù)于企業(yè)的商務(wù)智能。早期那些數(shù)據(jù)集成大家大都是從ETL啟蒙開始的，當(dāng)時ETL自然也就成了數(shù)據(jù)集成的代名詞，只是忽然一夜春風(fēng)來，各廠商相繼推出DI新概念后，我們不得不再次接受新一輪的DI洗腦，首推的有SASDI、BusinessObjectsDI、InformaticaDI、OracleDI（ODI）等廠商。數(shù)據(jù)集成，主要是指基于企業(yè)分散的信息系統(tǒng)的業(yè)務(wù)數(shù)據(jù)進(jìn)行再集中、再統(tǒng)一管理的過程，是一個漸進(jìn)的過程，只要有新的、不同的數(shù)據(jù)產(chǎn)生，就不斷有數(shù)據(jù)集成的步聚執(zhí)行。企業(yè)有了五年、八年的信息化發(fā)展，凌亂、重復(fù)、歧義的數(shù)據(jù)接踵而至，數(shù)據(jù)集成的空間與需求日漸迫切，企業(yè)需要一個主數(shù)據(jù)管理（MasterDataManager）系統(tǒng)來統(tǒng)一企業(yè)的產(chǎn)品信息、客戶信息；企業(yè)需要一個數(shù)據(jù)倉庫（DataWarehouse）系統(tǒng)來提高領(lǐng)導(dǎo)層的決策意識，加快市場戰(zhàn)略調(diào)整行動；企業(yè)需要一個數(shù)據(jù)中心（DataCenter）系統(tǒng)來集中交換、分發(fā)、調(diào)度、管理企業(yè)基礎(chǔ)數(shù)據(jù)。數(shù)據(jù)集成的必要性、迫切性不言而喻，不斷被推至企業(yè)信息化戰(zhàn)略規(guī)劃的首要位置。要實現(xiàn)企業(yè)數(shù)據(jù)集成的應(yīng)用，不光要考慮企業(yè)急需集成的數(shù)據(jù)范圍，還要從長遠(yuǎn)發(fā)展考慮數(shù)據(jù)集成的架構(gòu)、能力和技術(shù)等方面內(nèi)容。從數(shù)據(jù)集成應(yīng)用的系統(tǒng)部署、業(yè)務(wù)范圍、實施成熟性看主要可分三種架構(gòu)。一種是單個系統(tǒng)數(shù)據(jù)集成架構(gòu)、一種是企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)、一種是機(jī)構(gòu)之間數(shù)據(jù)集成架構(gòu)。單個系統(tǒng)數(shù)據(jù)集成架構(gòu)，是國內(nèi)目前大興土木所采用的架構(gòu)，主要是以數(shù)據(jù)倉庫系統(tǒng)為代表提供服務(wù)而興建的數(shù)據(jù)集成平臺，面向企業(yè)內(nèi)部如ERP、財務(wù)、OA等多各業(yè)務(wù)操作系統(tǒng)，集成企業(yè)所有基礎(chǔ)明細(xì)數(shù)據(jù)，轉(zhuǎn)換成統(tǒng)一標(biāo)準(zhǔn)，按星型結(jié)構(gòu)存儲，面向市場經(jīng)營分析、客戶行為分析等多個特有主題進(jìn)行商務(wù)智能體現(xiàn)。這種單個系統(tǒng)數(shù)據(jù)集成應(yīng)用架構(gòu)的主要特點是多對一的架構(gòu)、復(fù)雜的轉(zhuǎn)換條件、TB級的數(shù)據(jù)量處理與加載，數(shù)據(jù)存儲結(jié)構(gòu)特殊，星型結(jié)構(gòu)、多維立方體并存，數(shù)據(jù)加載層級清晰。企業(yè)統(tǒng)一數(shù)據(jù)集成架構(gòu)，組織結(jié)構(gòu)較復(fù)雜的大型企業(yè)、政府機(jī)構(gòu)尤為偏愛這種數(shù)據(jù)集成的架構(gòu)，因此類單位具有業(yè)務(wù)結(jié)構(gòu)相對獨立、數(shù)據(jù)權(quán)力尤為敏感、數(shù)據(jù)接口復(fù)雜繁多等特征，更需要多個部門一起協(xié)商來建立一個統(tǒng)一的數(shù)據(jù)中心平臺，來解決部門之間頻繁的數(shù)據(jù)交換的需求。如金融機(jī)構(gòu)、電信企業(yè)，公安、稅務(wù)等政府機(jī)構(gòu)，業(yè)務(wù)獨立、層級管理的組織結(jié)構(gòu)決定了內(nèi)部數(shù)據(jù)交互的復(fù)雜性。概括來說此類應(yīng)用屬于多對多的架構(gòu)、數(shù)據(jù)交換頻繁、要有獨立的數(shù)據(jù)交換存儲池、數(shù)據(jù)接口與數(shù)據(jù)類型繁多等特點。對于企業(yè)管理性、決策性較強(qiáng)的信息系統(tǒng)如主數(shù)據(jù)管理系統(tǒng)、財務(wù)會計管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)等數(shù)據(jù)可直接來源于數(shù)據(jù)中心，擺脫了沒有企業(yè)數(shù)據(jù)中心前的一對多交叉的困擾，避免了業(yè)務(wù)系統(tǒng)對應(yīng)多種管理系統(tǒng)時需要數(shù)據(jù)重復(fù)傳送，如CRM系統(tǒng)中新增一條客戶信息數(shù)據(jù)后，直接發(fā)送到企業(yè)數(shù)據(jù)中心，由企業(yè)數(shù)據(jù)中心面向風(fēng)險管理系統(tǒng)、數(shù)據(jù)倉庫系統(tǒng)、主數(shù)據(jù)管理系統(tǒng)進(jìn)行分發(fā)即可。 機(jī)構(gòu)之間數(shù)據(jù)集成架構(gòu)，這種架構(gòu)多是應(yīng)用于跨企業(yè)、跨機(jī)構(gòu)、多個單位圍繞某項或幾項業(yè)務(wù)進(jìn)行的業(yè)務(wù)活動，或由一個第三方機(jī)構(gòu)來進(jìn)行協(xié)調(diào)這些企業(yè)、機(jī)構(gòu)之間的數(shù)據(jù)交換、制定統(tǒng)一數(shù)據(jù)標(biāo)準(zhǔn)，從而形成一個多機(jī)構(gòu)之間的數(shù)據(jù)集成平臺。如中國銀聯(lián)與各商業(yè)銀行之間的應(yīng)用案例、各市政府信息中心與市政府各機(jī)關(guān)單位之間的應(yīng)用案例、外貿(mào)EDI（海關(guān)、檢驗檢疫局、外匯局、銀行、保險、運輸?shù)龋?、BTOB電子商務(wù)平臺等。這類應(yīng)用屬于跨多企業(yè)、單位多對多的架構(gòu)，具有數(shù)據(jù)網(wǎng)絡(luò)復(fù)雜、數(shù)據(jù)安全性要求高、數(shù)據(jù)交換實時性強(qiáng)等特點。 尤其這類架構(gòu)頗具一些特點值得進(jìn)一步去剖析。因數(shù)據(jù)集成平臺是架于多企業(yè)、單位之間，數(shù)據(jù)的安全性、獨立性決定了各企業(yè)、單位不得不考慮前置機(jī)的部署形式，各企業(yè)、單位在業(yè)務(wù)系統(tǒng)與數(shù)據(jù)集成平臺之間增加一臺前置機(jī)，則更有利于自有系統(tǒng)數(shù)據(jù)的獨立與安全，也更利于數(shù)據(jù)平臺對數(shù)據(jù)的獲取、分發(fā)、交換的統(tǒng)一要求。另外，數(shù)據(jù)集成平臺也要具有更多的技術(shù)功能來滿足眾多單位的眾多數(shù)據(jù)接口、多種數(shù)據(jù)類型、不一致的數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)交換的實時性、對數(shù)據(jù)的抽取與推送（PullANDPush）等業(yè)務(wù)需求。如數(shù)據(jù)集成平臺需具有數(shù)據(jù)連通、ETL、數(shù)據(jù)實時、數(shù)據(jù)清洗、數(shù)據(jù)質(zhì)量、EBS（EnterpriseServiceBus）、SOA（Service-OrientedArchitecture）等一些技術(shù)與特點。 以上三種數(shù)據(jù)集成架構(gòu)，一種是對應(yīng)于某一個應(yīng)用系統(tǒng)的多對一架構(gòu)，一種是完成企業(yè)內(nèi)部眾多系統(tǒng)之間數(shù)據(jù)交換的多對多架構(gòu)，一種是為多個跨企業(yè)、單位機(jī)構(gòu)實現(xiàn)某一項或幾項業(yè)務(wù)活動而建立的多對多架構(gòu)，數(shù)據(jù)集成的應(yīng)用差不多都是基于這三種架構(gòu)，每種架構(gòu)可能會對應(yīng)于多種數(shù)據(jù)集成的應(yīng)用。國內(nèi)企業(yè)常見的數(shù)據(jù)集成應(yīng)用有數(shù)據(jù)倉庫、數(shù)據(jù)同步、數(shù)據(jù)交換，隨著企業(yè)并購、新舊系統(tǒng)升級、分布系統(tǒng)向數(shù)據(jù)大集中看齊、電子商務(wù)的發(fā)展、多個企業(yè)單位協(xié)同作業(yè)等等眾多業(yè)務(wù)需求的誕生，數(shù)據(jù)集成的應(yīng)用開始紛繁異景起來。目前大部分?jǐn)?shù)據(jù)集成軟件廠商都是圍繞數(shù)據(jù)倉庫（DataWarehousing）、數(shù)據(jù)遷移（DataMigration）、數(shù)據(jù)合并（DataConsolidation）、數(shù)據(jù)同步（DataSynchronization）、數(shù)據(jù)交換（DataHubs或者叫主數(shù)據(jù)管理：MasterDataManagement）這5種常見的企業(yè)應(yīng)用形式來發(fā)展各自的產(chǎn)品技術(shù)。數(shù)據(jù)倉庫（DataWarehousing）應(yīng)用：數(shù)據(jù)倉庫的發(fā)展在國內(nèi)差不多有近10個年頭，數(shù)據(jù)倉庫中的數(shù)據(jù)集成應(yīng)用主要是圍繞ETL的功能來實現(xiàn)，一般來說其主要功能是將多個業(yè)務(wù)系統(tǒng)不同種數(shù)據(jù)類型的數(shù)據(jù)抽取到數(shù)據(jù)倉庫的ODS（OperationalDataStore）層，經(jīng)過轉(zhuǎn)換，加載存儲到星型結(jié)構(gòu)的DW（DataWarehouse）層，為滿足不同主題的展現(xiàn)應(yīng)用，再向關(guān)系型數(shù)據(jù)庫或多維數(shù)據(jù)庫進(jìn)一步匯總加載，其ETL功能可由手工編程或?qū)I(yè)工具軟件這兩種類型來實現(xiàn)。第一種類型：由手工編程到專項ETL工具的應(yīng)用，這種應(yīng)用類型是成熟的數(shù)據(jù)集成軟件工具的雛形，是為快速達(dá)成項目功能需求為主，滿足復(fù)雜的業(yè)務(wù)處理的需要，以ETL為核心應(yīng)用，開發(fā)技術(shù)也發(fā)揮得淋漓盡致，PB、JAVA、SQL、存儲過程、C/C++都可能會悉數(shù)登場，多一種系統(tǒng)的數(shù)據(jù)集成就可能會多于一倍的開發(fā)工作量，使數(shù)據(jù)集成平臺更趨于復(fù)雜、脆弱。另外，如電信、金融、稅務(wù)、公安等行業(yè)的眾多系統(tǒng)集成商針對各自的業(yè)務(wù)系統(tǒng)也開發(fā)有專項的數(shù)據(jù)集成工具，只是有一定的局限性，拘泥于某一種應(yīng)用或某一特定的系統(tǒng)環(huán)境。第二種類型：眾多成熟的數(shù)據(jù)集成軟件工具的應(yīng)用為這一代表，如InformaticaPowerCenter、IBMDatastage、OracleODI、MicrosoftSISS等，集各種數(shù)據(jù)接口、ETL、數(shù)據(jù)質(zhì)量、實時、數(shù)據(jù)聯(lián)邦、分區(qū)并行、網(wǎng)格、HA等技術(shù)于一身，歷練世界眾多客戶需求多時，具有更寬廣的應(yīng)用、可擴(kuò)展性強(qiáng)、安全穩(wěn)定等一些特點。數(shù)據(jù)遷移（DataMigration）應(yīng)用：這種應(yīng)用比較容易理解，對于新舊系統(tǒng)升級、數(shù)據(jù)大集中時的數(shù)據(jù)作遷移，使數(shù)據(jù)更能順應(yīng)新系統(tǒng)的結(jié)構(gòu)變化而平穩(wěn)遷移。數(shù)據(jù)合并（DataConsolidation）應(yīng)用：在企業(yè)并購中很容易產(chǎn)生數(shù)據(jù)合并的應(yīng)用，如兩個企業(yè)的HR系統(tǒng)的合并、財務(wù)系統(tǒng)的合并、其它業(yè)務(wù)系統(tǒng)的合并，當(dāng)系統(tǒng)需要合并必然產(chǎn)生數(shù)據(jù)的合并，因此對企業(yè)數(shù)據(jù)進(jìn)行統(tǒng)一標(biāo)準(zhǔn)化、規(guī)范化、數(shù)據(jù)的補缺、數(shù)據(jù)的一致性都將導(dǎo)致數(shù)據(jù)合并。數(shù)據(jù)同步（DataSynchronization）應(yīng)用：當(dāng)企業(yè)一個系統(tǒng)的業(yè)務(wù)活動會影響其它多個系統(tǒng)的進(jìn)程時，對數(shù)據(jù)的實時性、準(zhǔn)確性就尤顯重要。如航空公司與航空機(jī)場之間的數(shù)據(jù)同步應(yīng)用、證券交易所與證券公司之間的股票信息同步、金融業(yè)的匯率信息同步等等，影響數(shù)據(jù)同步的實時性與可靠性的因素會有網(wǎng)絡(luò)的連通性、傳輸效率、數(shù)據(jù)接口、數(shù)據(jù)格式等，這些諸多因素都屬于數(shù)據(jù)集成中的數(shù)據(jù)同步要解決的問題。數(shù)據(jù)交換（DataHubs）應(yīng)用：或者叫主數(shù)據(jù)管理（MasterDataManagement）應(yīng)用，這種數(shù)據(jù)集成的應(yīng)用越來越受企業(yè)的重視。一般構(gòu)成企業(yè)主要的基礎(chǔ)數(shù)據(jù)分別是客戶數(shù)據(jù)、產(chǎn)品數(shù)據(jù)、員工信息數(shù)據(jù)、供應(yīng)商數(shù)據(jù)，要從企業(yè)多個系統(tǒng)中快速、可靠地建立唯一、完整的企業(yè)主數(shù)據(jù)視圖這就是主數(shù)據(jù)管理。要實現(xiàn)企業(yè)主數(shù)據(jù)管理應(yīng)用的數(shù)據(jù)集成平臺，必須具備有良好的數(shù)據(jù)連通性、良好的數(shù)據(jù)質(zhì)量探查與分析、良好的數(shù)據(jù)轉(zhuǎn)換能力等特點。文中上述提到跨多個企業(yè)、單位機(jī)構(gòu)的架構(gòu)就是一個典型的主數(shù)據(jù)管理應(yīng)用，如公安局、工商局、稅務(wù)局、人事局、勞動社保局等這些眾多政府機(jī)構(gòu)主要是圍繞2個基本主體進(jìn)行各項事務(wù)活動，一個主體是個人，另外一個主體是企業(yè)單位，而眾多政府機(jī)構(gòu)對這2個主體的信息數(shù)據(jù)要求重點不同、數(shù)據(jù)處理順序有先后，數(shù)據(jù)變更有各異，數(shù)據(jù)交換復(fù)雜、頻繁，而最理想的境界是這2個主體數(shù)據(jù)能做到最大程度的同步，這就是主數(shù)據(jù)管理的思想。以上五種數(shù)據(jù)集成應(yīng)用解決方案在國內(nèi)最常見的首當(dāng)其沖的是數(shù)據(jù)倉庫的應(yīng)用，最復(fù)雜的應(yīng)用應(yīng)該是數(shù)據(jù)交換了，不管是簡單還是復(fù)雜的應(yīng)用都以ETL技術(shù)為基礎(chǔ)，ETL技術(shù)成為了數(shù)據(jù)集成的核心技術(shù)，伴隨ETL技術(shù)的還有數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)清洗、數(shù)據(jù)聯(lián)邦、Real-Time、數(shù)據(jù)探查等技術(shù)，為了提高數(shù)據(jù)集成的安全性、高效性、可擴(kuò)展能力，還有SOA、HA、GRID等相關(guān)技術(shù)作為支撐。ETL（Extract、Transform、Load）：數(shù)據(jù)集成視數(shù)據(jù)抽取、轉(zhuǎn)換和加載為最基礎(chǔ)、最核心的三項技術(shù)，這三個執(zhí)行步驟可根據(jù)系統(tǒng)環(huán)境特點進(jìn)行調(diào)整順序，典型的應(yīng)用有ELT的順序。如源與目標(biāo)為同種數(shù)據(jù)庫、或共用一個數(shù)據(jù)庫時，可將數(shù)據(jù)從源直接抽取到目標(biāo)然后再進(jìn)行轉(zhuǎn)換，效率會大有提高，專注此類特點的產(chǎn)品以O(shè)racle的ODI為代表。數(shù)據(jù)連通（DataConnective）：良好的數(shù)據(jù)連通性是數(shù)據(jù)集成的能力體現(xiàn)，一般通用的關(guān)系型數(shù)據(jù)庫、ODBC、XML等數(shù)據(jù)連通類型為常見類型，還有一些就是大中型企業(yè)常用的ERP、CRM、BPM、OA等應(yīng)用軟件為封閉式的系統(tǒng)，如SAP、Seibel、Lotus等系統(tǒng)的連通，因此良好的數(shù)據(jù)集成平臺需要提供來自更多企業(yè)的數(shù)據(jù)連通接口，抽取源與裝載目標(biāo)的范圍也就更廣闊。數(shù)據(jù)質(zhì)量（DataQuality）：數(shù)據(jù)質(zhì)量越來越被企業(yè)重視，數(shù)據(jù)質(zhì)量的技術(shù)范圍也越發(fā)寬廣，開始慢慢被剝離出數(shù)據(jù)集成的范疇。企業(yè)不能根據(jù)標(biāo)準(zhǔn)不統(tǒng)一、歧義、不正確的數(shù)據(jù)快速做出決策，只有站在高質(zhì)量的數(shù)據(jù)基礎(chǔ)之上做出的決策才不會發(fā)生方向偏倚。通常實現(xiàn)企業(yè)數(shù)據(jù)質(zhì)量管理會包括源數(shù)據(jù)的探查、數(shù)據(jù)質(zhì)量的評估、數(shù)據(jù)集成、數(shù)據(jù)的完整和數(shù)據(jù)的監(jiān)控這五個步驟。數(shù)據(jù)的完整一般是指根據(jù)現(xiàn)有基礎(chǔ)數(shù)據(jù)作其它數(shù)據(jù)項的擴(kuò)展和豐富，如根據(jù)客戶的聯(lián)系方式來豐富客戶的所屬地區(qū)數(shù)據(jù)項、根據(jù)客戶身份證號碼來豐富客戶的所屬地區(qū)、年齡、性別等信息。數(shù)據(jù)實時（Real-Time）：對于實時數(shù)據(jù)倉庫系統(tǒng)、數(shù)據(jù)同步等應(yīng)用都會用到數(shù)據(jù)實時技術(shù)，一個系統(tǒng)的數(shù)據(jù)發(fā)生變化后，能即刻將變化的動作同步到另一個系統(tǒng)這就是數(shù)據(jù)實時技術(shù)的主旨。關(guān)系型數(shù)據(jù)庫、AS400、MQSeries、ADABAS等系統(tǒng)都有自身的實時數(shù)據(jù)策略，如Oracle數(shù)據(jù)庫的實時可以通過Trigger或LogMiner分析歸檔日志方式來實現(xiàn)。諸如以上ETL、數(shù)據(jù)連通、數(shù)據(jù)質(zhì)量、數(shù)據(jù)實時等技術(shù)，還有數(shù)據(jù)聯(lián)邦、數(shù)據(jù)清洗、HA、Grid、Partition、SOA技術(shù)，這些都是保證數(shù)據(jù)集成平臺的可擴(kuò)展性、安全性、高效性、簡便性的通用技術(shù)。神州數(shù)碼公司面向各行業(yè)提供有多家數(shù)據(jù)集成整體解決方案的經(jīng)驗，整體解決方案包括有企業(yè)數(shù)據(jù)集成業(yè)務(wù)咨詢、企業(yè)數(shù)據(jù)集成平臺產(chǎn)品、各廠商數(shù)據(jù)集成底層軟件共三大塊。數(shù)據(jù)集成咨詢神州數(shù)碼的業(yè)務(wù)咨詢具體指對企業(yè)各個層次的數(shù)據(jù)對象進(jìn)行調(diào)研，給出企業(yè)數(shù)據(jù)管理現(xiàn)狀分析報告，為企業(yè)的數(shù)據(jù)管理進(jìn)行數(shù)據(jù)標(biāo)準(zhǔn)定義，根據(jù)企業(yè)特點提出更優(yōu)的核心數(shù)據(jù)管理機(jī)制建議，設(shè)計適合企業(yè)長遠(yuǎn)發(fā)展的數(shù)據(jù)管理機(jī)構(gòu)體系和工作管理流程，并對組織結(jié)構(gòu)進(jìn)行崗位職能設(shè)置。數(shù)據(jù)集成平臺神州數(shù)碼的數(shù)據(jù)集成平臺是企業(yè)數(shù)據(jù)管理部門的工作手段，須依賴于一套嚴(yán)謹(jǐn)?shù)臄?shù)據(jù)管