Informatica數(shù)據(jù)集成

1、技術(shù)交流技術(shù)交流數(shù)據(jù)集成產(chǎn)品介紹數(shù)據(jù)集成產(chǎn)品介紹Informatica 中國(guó)區(qū) 產(chǎn)品專家楊曉東12挑戰(zhàn)是什么挑戰(zhàn)是什么？ 市場(chǎng)趨勢(shì)加速市場(chǎng)趨勢(shì)加速數(shù)據(jù)數(shù)據(jù)分散狀況分散狀況 TDWI 調(diào)查：調(diào)查： 不好的數(shù)據(jù)質(zhì)量導(dǎo)致美國(guó)商業(yè)不好的數(shù)據(jù)質(zhì)量導(dǎo)致美國(guó)商業(yè)市場(chǎng)市場(chǎng)每年每年花費(fèi)花費(fèi) 6 千億美金千億美金 超過(guò)超過(guò) 55% 公司必須投資高水公司必須投資高水平的人員與預(yù)算來(lái)進(jìn)行數(shù)據(jù)集平的人員與預(yù)算來(lái)進(jìn)行數(shù)據(jù)集成工作成工作 Ventana Research 超過(guò)超過(guò) 60% 的的 IT 預(yù)算花費(fèi)在預(yù)算花費(fèi)在“集成集成”工作上工作上 為了集成而集成為了集成而集成 Gartner：“缺乏全面性的策略缺乏全面性的策

2、略”使得使得“集成集成”所付出的成本相當(dāng)高所付出的成本相當(dāng)高 3數(shù)據(jù)類項(xiàng)目的工作重心數(shù)據(jù)類項(xiàng)目的工作重心需求設(shè)計(jì)映射提取轉(zhuǎn)換改造加載檢索匯總復(fù)制數(shù)據(jù)分發(fā)訪問和分析資源規(guī)劃和發(fā)布元數(shù)據(jù)元數(shù)據(jù)統(tǒng)一系統(tǒng)和用戶管理統(tǒng)一系統(tǒng)和用戶管理DataWarehouse 60%-80% 的工作在這里的工作在這里4數(shù)據(jù)集成之主流技術(shù)論述數(shù)據(jù)集成之主流技術(shù)論述Case Ycol2=col2*10-2if col3=2 then col4=lkp(col1,col2) else col4=0endifCase Ncol2=10col4=lkp(col3,col5)腳本級(jí)驅(qū)動(dòng)腳本級(jí)驅(qū)動(dòng)以元數(shù)據(jù)為驅(qū)動(dòng)、引擎式的工具以元數(shù)據(jù)

3、為驅(qū)動(dòng)、引擎式的工具, Informatica為代表為代表 5數(shù)據(jù)整合之主流技術(shù)論述數(shù)據(jù)整合之主流技術(shù)論述以元數(shù)據(jù)為驅(qū)動(dòng)、引擎式的工具以元數(shù)據(jù)為驅(qū)動(dòng)、引擎式的工具, Informatica為代表為代表 6企業(yè)一般的數(shù)據(jù)整合工作和技術(shù)企業(yè)一般的數(shù)據(jù)整合工作和技術(shù) 主機(jī)端-Control M + JCL + Cobol 開放系統(tǒng)端-PL-SQL-JAVA-Shell-.Hand Coding ! 人工編寫7圖形化工具平臺(tái)圖形化工具平臺(tái) vs 人工編寫程序人工編寫程序采用工具和人工編寫程序的成本，在一定的時(shí)間后，成本產(chǎn)生了反轉(zhuǎn)的結(jié)果初期成本：初期成本： 軟件費(fèi)用軟件費(fèi)用 培訓(xùn)培訓(xùn) 硬件硬件維護(hù)費(fèi)用維

4、護(hù)費(fèi)用因商業(yè)需求的變化導(dǎo)致復(fù)雜度因商業(yè)需求的變化導(dǎo)致復(fù)雜度的上升的上升程序的繼續(xù)維護(hù)的費(fèi)用程序的繼續(xù)維護(hù)的費(fèi)用重新構(gòu)建的費(fèi)用重新構(gòu)建的費(fèi)用采采用工具用工具: ETL人工編寫程序：人工編寫程序： Hand-coded ETL Home-grown EII, EAI Low-end replication 成本成本Source: Forrester Research分析師說(shuō)：數(shù)據(jù)整合的成本只在于付出的時(shí)間點(diǎn)而已分析師說(shuō)：數(shù)據(jù)整合的成本只在于付出的時(shí)間點(diǎn)而已8Informatica Informatica 公司簡(jiǎn)介公司簡(jiǎn)介 成立于成立于: 1993 總部總部: Redwood City, Calif

5、ornia 員工員工:1,300+ 公司分布公司分布:North and South America, Europe, Asia Pacific,中國(guó)中國(guó) 收入收入:$367 million (2006) 市占率第一市占率第一 (Gartner Dataquest) Customers:3,000+ 金融金融100大中大中79家公司家公司80%道瓊斯工業(yè)指標(biāo)上市公司道瓊斯工業(yè)指標(biāo)上市公司全球超過(guò)全球超過(guò)20個(gè)國(guó)家的政府部門個(gè)國(guó)家的政府部門公司使命公司使命Help enterprise customers implement a data services architecture to gai

6、n the most business value from their data assets 幫助客戶建立統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)并從數(shù)據(jù)資產(chǎn)中獲得最大的商業(yè)價(jià)值幫助客戶建立統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)架構(gòu)并從數(shù)據(jù)資產(chǎn)中獲得最大的商業(yè)價(jià)值公司目標(biāo)公司目標(biāo)Data Integration Products and Services 數(shù)據(jù)集成數(shù)據(jù)集成產(chǎn)品及服務(wù)產(chǎn)品及服務(wù)9Informatica 解決方案產(chǎn)品構(gòu)成解決方案產(chǎn)品構(gòu)成Metadata ManagerRemote DataReal-time dataBAM, Real-time BICorporate dataTraditional BI, CPMIT

7、 dataMetadata, quality, profilingMainframeReal-timeFile FormatsDatabasesDataAnalyzerPowerCenterPowerExchange元數(shù)據(jù)報(bào)表工具元數(shù)據(jù)報(bào)表工具核心產(chǎn)品：數(shù)核心產(chǎn)品：數(shù)據(jù)集成平臺(tái)據(jù)集成平臺(tái)企業(yè)級(jí)元數(shù)企業(yè)級(jí)元數(shù)據(jù)管理?yè)?jù)管理用于連接主機(jī)數(shù)據(jù)用于連接主機(jī)數(shù)據(jù)/AS400、Oracle、DB2、SQL數(shù)據(jù)源的數(shù)據(jù)源的CDC、Real Time;ERP（SAP等）、等）、EAI（MQ、WebService等）等）Data Quality數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)集成平臺(tái)數(shù)據(jù)集成平臺(tái) PowerCente

8、r 介紹介紹1011Informatica PowerCenter 體系結(jié)構(gòu)體系結(jié)構(gòu)UNIX (AIX, HPUX, Solaris, Linux) Windows12Data ProfilingData Quality監(jiān)督監(jiān)督, ,觀察觀察, ,報(bào)告報(bào)告 確保數(shù)據(jù)一致,提供影響分析與持續(xù)的數(shù)據(jù)質(zhì)量監(jiān)控 PowerCenter PowerExchange訪問訪問Any system in batch or real-time分發(fā)分發(fā)集成集成Provide right data, at the right time, in the right formatTransform and reconc

9、ile all data types清洗清洗探查探查Validate, correct and standardize all data typesSearch and profile any data from any sourceInformatica Informatica 產(chǎn)品產(chǎn)品平臺(tái)平臺(tái)及及貫穿整個(gè)數(shù)據(jù)生命周期的完整方法論貫穿整個(gè)數(shù)據(jù)生命周期的完整方法論開發(fā)與管理開發(fā)與管理以開放的元數(shù)據(jù)儲(chǔ)存庫(kù)與共享元數(shù)據(jù)為協(xié)同開發(fā)的基礎(chǔ)13PowerCenter 圖形化界面圖形化界面完全圖形化操作、易使用、易開發(fā)、易維護(hù)完全圖形化操作、易使用、易開發(fā)、易維護(hù)14Web ServicesMQSerie

10、sJMSTIBCO webMethodsSAP NetWeaver XIEncyrypted streamPeoplesoftOracle AppsSiebelSASSAP NetWeaverSAP IDOCSAP BCISAP DMISAP BWOracleDB2 UDBDB2/400SQL ServerSybaseInformixTeradataODBCFlat FilesWeb Logs XMLIndustry FormatsFlat FilesFTPComplex FilesTape FormatsInformatica 數(shù)據(jù)集成連接性數(shù)據(jù)集成連接性ERPDatabasesXMLFla

11、t filesMainframeUnstructured DataMessagesADABASDatacomDB2IDMSIMSVSAMC-ISAMTape Formats.PDF.DOC.XLSEmail廣泛的數(shù)據(jù)源支持，廣泛的數(shù)據(jù)源支持，包括結(jié)構(gòu)化包括結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)15企業(yè)范圍企業(yè)范圍的部署的部署 High Availability 網(wǎng)格計(jì)算網(wǎng)格計(jì)算 動(dòng)態(tài)分區(qū)動(dòng)態(tài)分區(qū) Push-down CDC 完全開放完全開放的中立的中立體系架構(gòu)體系架構(gòu)元數(shù)據(jù)元數(shù)據(jù)管理管理n影響分析影響分析n目錄級(jí)目錄級(jí)瀏覽瀏覽n數(shù)據(jù)庫(kù)管數(shù)據(jù)庫(kù)管理統(tǒng)計(jì)理統(tǒng)計(jì)n模型工具模型工具管理統(tǒng)

12、計(jì)管理統(tǒng)計(jì)n自定義自定義CWM CWM 元模型元模型Informatica 企業(yè)數(shù)據(jù)集成平臺(tái)價(jià)值企業(yè)數(shù)據(jù)集成平臺(tái)價(jià)值可重用的數(shù)據(jù)服務(wù)可重用的數(shù)據(jù)服務(wù) 元數(shù)據(jù)的可復(fù)用性元數(shù)據(jù)的可復(fù)用性 基于組件的體系結(jié)構(gòu)基于組件的體系結(jié)構(gòu) 內(nèi)置內(nèi)置 data profiling, data quality & data data profiling, data quality & data governance, governance, 包括審計(jì)、跟蹤包括審計(jì)、跟蹤 開放式標(biāo)準(zhǔn)的數(shù)據(jù)交付開放式標(biāo)準(zhǔn)的數(shù)據(jù)交付廣泛的數(shù)據(jù)源支持廣泛的數(shù)據(jù)源支持 所有數(shù)據(jù)源：主機(jī)、所有數(shù)據(jù)源：主機(jī)、RDBMSRDBMS

13、、XMLXML、文本、文本 所有數(shù)據(jù)格式所有數(shù)據(jù)格式: :：結(jié)構(gòu)化、結(jié)構(gòu)化、 半結(jié)構(gòu)化半結(jié)構(gòu)化& &非結(jié)構(gòu)化非結(jié)構(gòu)化 所有數(shù)據(jù)訪問方式所有數(shù)據(jù)訪問方式：批量、實(shí)時(shí)、聯(lián)邦、批量、實(shí)時(shí)、聯(lián)邦、CDCCDC高生產(chǎn)力高生產(chǎn)力 “無(wú)腳本無(wú)腳本” ” 圖形化開發(fā)圖形化開發(fā) 跨整個(gè)生命跨整個(gè)生命周期的團(tuán)隊(duì)周期的團(tuán)隊(duì)協(xié)同開發(fā)協(xié)同開發(fā) 易維護(hù)易維護(hù) Mapping Mapping 模模板板16豐富的豐富的ETLETL功能功能異構(gòu)數(shù)據(jù)源，異構(gòu)目標(biāo)實(shí)現(xiàn)多種緩慢變化維全局變量及參數(shù)，支持參數(shù)文件局部變量，前后記錄比較條件匯總異構(gòu)數(shù)據(jù)源關(guān)聯(lián)行/列轉(zhuǎn)換靜態(tài)、動(dòng)態(tài)Lookup支持ETL事務(wù)處理自定義SQLP

14、re SQL和Post SQL復(fù)用組件復(fù)用Mapping調(diào)用存儲(chǔ)過(guò)程調(diào)用外部用戶自定義過(guò)程可視化Debug強(qiáng)大的函數(shù)支持、功能豐富的轉(zhuǎn)換語(yǔ)言數(shù)據(jù)源為文件列表Session Recovery基于多目標(biāo)表約束裝載錯(cuò)誤數(shù)量控制FTP 源和FTP目標(biāo)ETL任務(wù)分區(qū)增量匯總測(cè)試裝載Bulk LoadingExternal Loader (Oracle、DB2、SYBASE)復(fù)用Workflow功能豐富的Workflow控制任務(wù)串行、并行控制基于時(shí)間、事件和指示文件觸發(fā)任務(wù)Workflow中調(diào)用操作系統(tǒng)外部命令Workflow中調(diào)用Email多ETL Server協(xié)同工作.17數(shù)據(jù)有效性、完整性、準(zhǔn)確性數(shù)

15、據(jù)有效性、完整性、準(zhǔn)確性A區(qū)區(qū)源結(jié)構(gòu)源結(jié)構(gòu)B區(qū)區(qū)判斷無(wú)效判斷無(wú)效數(shù)據(jù)區(qū)數(shù)據(jù)區(qū)見需求文檔見需求文檔中中第第3、4點(diǎn)，生成點(diǎn)，生成flag_invalid標(biāo)識(shí)位，標(biāo)識(shí)位，當(dāng)當(dāng)flag_invalid=1,為無(wú)效數(shù)據(jù)為無(wú)效數(shù)據(jù)當(dāng)當(dāng)flag_invalid=0,為有效數(shù)據(jù)為有效數(shù)據(jù)C區(qū)區(qū)將數(shù)據(jù)進(jìn)行將數(shù)據(jù)進(jìn)行分組分組D區(qū)無(wú)效數(shù)據(jù)寫入目標(biāo)表無(wú)效數(shù)據(jù)寫入目標(biāo)表UNT_ATMTXN此表結(jié)構(gòu)與源的唯一差別：此表結(jié)構(gòu)與源的唯一差別：最后多了一個(gè)字段最后多了一個(gè)字段error_desc.并將并將B區(qū)中生成的區(qū)中生成的error_desc字段，寫入此表最后字段。字段，寫入此表最后字段。E區(qū)區(qū)分組后的有效

16、數(shù)據(jù)，分組后的有效數(shù)據(jù)，按需求文檔按需求文檔第第4點(diǎn)，處理流過(guò)點(diǎn)，處理流過(guò)的的sArr5, sArr24sArr30，并在，并在exp_11中，實(shí)現(xiàn)中，實(shí)現(xiàn)根據(jù)清算日期生成根據(jù)清算日期生成字段字段”tab_no_out”算出應(yīng)該指向算出應(yīng)該指向的目標(biāo)表的目標(biāo)表。F區(qū)區(qū)主要針對(duì)自主清算表四個(gè)主要針對(duì)自主清算表四個(gè)區(qū)的字段，作轉(zhuǎn)換對(duì)照。區(qū)的字段，作轉(zhuǎn)換對(duì)照。Exp_1 :基本鍵值區(qū)基本鍵值區(qū); Exp_basic:基本數(shù)據(jù)區(qū)基本數(shù)據(jù)區(qū)Exp_qs:清算區(qū)清算區(qū); Exp_other:其他關(guān)鍵數(shù)據(jù)其他關(guān)鍵數(shù)據(jù)區(qū)區(qū)G區(qū)區(qū)根據(jù)根據(jù)tab_no_out字段分組，字段分組，將不同的組數(shù)據(jù)自動(dòng)將

17、不同的組數(shù)據(jù)自動(dòng)指向相應(yīng)的目標(biāo)表中指向相應(yīng)的目標(biāo)表中18PowerCenter擴(kuò)展功能擴(kuò)展功能Metadata Exchange （元數(shù)據(jù)交換）擴(kuò)展功能（元數(shù)據(jù)交換）擴(kuò)展功能Data Federation (數(shù)據(jù)聯(lián)邦數(shù)據(jù)聯(lián)邦) 擴(kuò)展功能擴(kuò)展功能Data Profiling （數(shù)據(jù)質(zhì)量探查）擴(kuò)展功能（數(shù)據(jù)質(zhì)量探查）擴(kuò)展功能Team-based Development （團(tuán)隊(duì)開發(fā)）擴(kuò)展功能（團(tuán)隊(duì)開發(fā)）擴(kuò)展功能Partitioning （分區(qū)）擴(kuò)展功能（分區(qū)）擴(kuò)展功能Unstructured Data （非結(jié)構(gòu)化數(shù)據(jù)）擴(kuò)展功能（非結(jié)構(gòu)化數(shù)據(jù)）擴(kuò)展功能Pushdown 擴(kuò)展功能擴(kuò)展功能Enterpri

18、se Grid 擴(kuò)展功能擴(kuò)展功能Visio 模板模板(Mapping生成器生成器)擴(kuò)展功能擴(kuò)展功能Real-Time （實(shí)時(shí)）擴(kuò)展功能（實(shí)時(shí)）擴(kuò)展功能19Metadata Exchange （元數(shù)據(jù)交換）擴(kuò)展功能（元數(shù)據(jù)交換）擴(kuò)展功能 ODBC、Erwin、PowerDesigner、Oracle Designer、XML 和Informatica的Repository同步元數(shù)據(jù) 使用SDK開發(fā) 提供與第三方元數(shù)據(jù)交換的接口 元數(shù)據(jù)比對(duì)、同步功能20Metadata Exchange （元數(shù)據(jù)交換）擴(kuò)展功能（元數(shù)據(jù)交換）擴(kuò)展功能Adaptive Repository FoundationBus

19、iness Objects Data IntegratorBusiness Objects DesignerCA AllFusion ERwin Data Modeler 4.xCA AllFusion GenCA ERwin 3.x (ERX) and CA ERwin 3.5x (export only)Cognos Impromptu (import only)Cognos ReportNet Framework Manager Embarcadero ER/StudioHyperion Application BuilderHyperion Essbase Integration Se

20、rvicesSybase PowerDesignerIBM DB2 Cube Views IBM DB2 Warehouse ManagerIBM Rational Rose Microsoft Visio Database MicroStrategyOMG CWMOracle DesignerOracle Warehouse Builder Popkin System ArchitectSAS ETL StudioSelect SESilverrun-RDM21Data Federation (數(shù)據(jù)聯(lián)邦數(shù)據(jù)聯(lián)邦) 擴(kuò)展功能擴(kuò)展功能Informatica Enterprise Data Int

21、egration PlatformPowerCenter Standard EditionPowerCenter Advanced EditionPowerExchangePowerCenter OptionsData Federation Option22Data Federation (數(shù)據(jù)聯(lián)邦數(shù)據(jù)聯(lián)邦) 擴(kuò)展功能擴(kuò)展功能23Data Federation (數(shù)據(jù)聯(lián)邦數(shù)據(jù)聯(lián)邦) 擴(kuò)展功能擴(kuò)展功能 提供EII 功能,包括-數(shù)據(jù)聯(lián)邦訪問-建立虛擬的數(shù)據(jù)視圖-發(fā)布視圖到客戶端應(yīng)用軟件 擴(kuò)展了核心的PowerCenter 企業(yè)數(shù)據(jù)集成能力-快速、直接的數(shù)據(jù)訪問-當(dāng)前數(shù)據(jù) -廣泛的客戶端訪問-快速開

22、發(fā)-擴(kuò)展用戶使用角度24 Data Profiling （數(shù)據(jù)質(zhì)量探查）擴(kuò)展功能（數(shù)據(jù)質(zhì)量探查）擴(kuò)展功能 數(shù)據(jù)質(zhì)量控制的前期工作 數(shù)據(jù)源或目標(biāo)的自動(dòng)或自定義數(shù)據(jù)探查 圖形化報(bào)表 完全集成在informatica一個(gè)客戶端內(nèi)， 統(tǒng)一的工具和用戶界面 提供第三方BI工具的訪問接口25PowerCenter Data Profiling （數(shù)據(jù)質(zhì)量探查）體系架構(gòu)（數(shù)據(jù)質(zhì)量探查）體系架構(gòu)DBMSReal-TimePowerAnalyzer其他報(bào)表工具其他報(bào)表工具PowerCenter客戶端工具客戶端工具ProfilingWarehouseMainframeEAIPowerCenterERPFlat f

23、ileOther26Auto Profile （數(shù)據(jù)質(zhì)量探查）（數(shù)據(jù)質(zhì)量探查） 報(bào)表和自動(dòng)文檔化報(bào)表和自動(dòng)文檔化27 Team-based Development （團(tuán)隊(duì)開發(fā)）擴(kuò)展功能（團(tuán)隊(duì)開發(fā)）擴(kuò)展功能28 Partitioning Partitioning （分區(qū)）擴(kuò)展功能（分區(qū)）擴(kuò)展功能支持大作業(yè)量的并行分區(qū)技術(shù)支持大作業(yè)量的并行分區(qū)技術(shù)-Round Robin partitioning-Hash partitioning-Key range partitioning-Pass-through partitioning-DB2 Database partitioning 29 Parti

24、tioning Partitioning （分區(qū)）擴(kuò)展功能（分區(qū)）擴(kuò)展功能抽取抽取轉(zhuǎn)換轉(zhuǎn)換加載加載多線程分區(qū)功能多線程分區(qū)功能30 Partitioning Partitioning （分區(qū)）擴(kuò)展功能（分區(qū)）擴(kuò)展功能Source PartitioningTarget Partitioning31非結(jié)構(gòu)化半結(jié)構(gòu)化非結(jié)構(gòu)化半結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)解析設(shè)計(jì)解析設(shè)計(jì)Unstructured Unstructured Data Data （非結(jié)構(gòu)化數(shù)據(jù)）擴(kuò)展功能（非結(jié)構(gòu)化數(shù)據(jù)）擴(kuò)展功能Metadata數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)Office 文檔文檔本地本地行業(yè)標(biāo)準(zhǔn)行業(yè)標(biāo)準(zhǔn)模板庫(kù)模板庫(kù)結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)XML, SQL,

25、 Flat File etc.32Pushdown Pushdown 擴(kuò)展功能擴(kuò)展功能33 Enterprise Grid Enterprise Grid 擴(kuò)展功能擴(kuò)展功能 負(fù)載均衡(Load Balancing) 雙機(jī)熱備(High Availability, HA) 錯(cuò)誤恢復(fù)(Mission-critical Recovery)PowerCenterservers on GridOff-gridPowerCenterserver34Enterprise Grid Enterprise Grid 擴(kuò)展功能擴(kuò)展功能35Enterprise Grid Enterprise Grid 擴(kuò)展功能擴(kuò)展

26、功能Recovery-Workflow and session 從上一次checkpoint自動(dòng)恢復(fù)P=primaryB=backup36Visio Visio 模板模板(Mapping(Mapping生成器生成器) )擴(kuò)展功能擴(kuò)展功能Mapping TemplateTemplate Inputs37 Real-Time Real-Time （實(shí)時(shí)）擴(kuò)展功能（實(shí)時(shí)）擴(kuò)展功能實(shí)時(shí)的數(shù)據(jù)整合平臺(tái)實(shí)時(shí)的數(shù)據(jù)整合平臺(tái) 雙向的 實(shí)時(shí)數(shù)據(jù)集成事務(wù)數(shù)據(jù)或時(shí)間切片數(shù)據(jù)-PowerConnect for MQSeries-PowerConnect for TIBCO-PowerConnect for webMethods-PowerConnect for JMS -Pow