informatica 技術(shù)解決方案

Informatica技術(shù)解決方案

彳申舛I數(shù)石馬

DigitalChina

提交人：閆東

聯(lián)系電話/p>

提交日期：2018-07-02

版本號(hào)：1.0

目錄

序言1

1.1INFORMATICA公司介紹1

1.2INFORMATICA公司針對(duì)各行業(yè)的解決方案及特點(diǎn)3

2設(shè)計(jì)理念9

2.1設(shè)計(jì)理念的先進(jìn)性9

2.2設(shè)計(jì)理念的符合性12

3基本功能14

3.1字段級(jí)的操作，主要包括：字段映射，映射的自動(dòng)匹配，字段的拆分，多字段的混合運(yùn)算，自動(dòng)

完成時(shí)間類型的轉(zhuǎn)換14

3.2記錄級(jí)的操作，主要包括：去重復(fù)記錄，記錄間合并或計(jì)算，記錄拆分等15

3.3表級(jí)的操作，主要包括：代理鍵的生成，行列變換，排序，統(tǒng)計(jì)，制造樣品數(shù)據(jù)16

3.4數(shù)據(jù)庫級(jí)的操作，主要包括：對(duì)各種碼表的支持包括GBK（必需）、UNICODE（必需）、ASCII（必

需）17

4技術(shù)特點(diǎn)21

4.1跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)、支持關(guān)聯(lián)條件的復(fù)雜程度、自定義函數(shù)的實(shí)現(xiàn)、過濾條件的復(fù)雜程度21

4.2支持的數(shù)據(jù)類型，包括BINARAY、DATE/TIME、DECIMAL、DOUBLE.INTEGER,STRING>TEXT、

REAL、SMALLINTEGER等21

4.3抽取斷點(diǎn)，支持參數(shù)抽取的靈活程度，如何抽取遠(yuǎn)程數(shù)據(jù)，抽取數(shù)據(jù)的事務(wù)處理支持，抽取的字段是

否可以動(dòng)態(tài)修改，對(duì)抽取的環(huán)境變量配置情況，環(huán)境變量是否可以動(dòng)態(tài)修改23

4.4是否支持臟讀，數(shù)據(jù)的提交方式，支持各種數(shù)據(jù)庫的批量裝載功能包括ORACLE（必需）、

INFORMIX、DB2、SQLSERVER,針對(duì)不同數(shù)據(jù)庫是否具有批量加載能力包括ORACLE（必需），INFORMIX,

DB2,SYBASE,TERADATA27

4.5在轉(zhuǎn)換過程中是否支持?jǐn)?shù)據(jù)比較的功能，在設(shè)計(jì)調(diào)試時(shí)能否對(duì)每個(gè)轉(zhuǎn)換環(huán)節(jié)進(jìn)行數(shù)據(jù)預(yù)覽，在設(shè)

計(jì)調(diào)試時(shí)能否對(duì)每個(gè)轉(zhuǎn)換環(huán)節(jié)進(jìn)行性能監(jiān)控，在轉(zhuǎn)換過程中是否支持按行按列的分組聚合，能否提供直

觀的視圖、靈活的配置以及能否自定義功能，是否提供豐富的轉(zhuǎn)換函數(shù)，是否支持諸如VALIDATE、

TRANSLATE,HIERARCHYFLATTERN,MAP,MERGE等轉(zhuǎn)換功能，ETL過程中數(shù)據(jù)轉(zhuǎn)換的可追溯能力29

4.6不同類型運(yùn)算所耗的系統(tǒng)資源狀況，包括常見的JOIN、LOOKUP、MAPPING>AGGREAGATION、

SORT、PIVOT、FILTER等40

4.7是否內(nèi)置提供數(shù)據(jù)預(yù)覽和數(shù)據(jù)質(zhì)量評(píng)估的功能41

4.8是否內(nèi)置提供具有強(qiáng)大的元數(shù)據(jù)管理功能45

4.9對(duì)于實(shí)時(shí)ETL及按需ETL的支持51

5整體架構(gòu)53

5.1對(duì)平臺(tái)的支持，支持主流的操作系統(tǒng)平臺(tái)包括SUNSOLARIS,HP-UX（必需），IBMAIX（必需），

LINUX,WINDOWS（必需）等。53

5.2對(duì)數(shù)據(jù)源的支持，支持常見的數(shù)據(jù)源，包括ORACLE（必需），DB2（必需）,INFORMIX（必需），

SYBASE,SQLSERVER,TERADATA,SAS,TEXT（必需），EXCEL,SAPR/3,PEOPLESPFT,SIEBLE,

IMS,VSAM,QSAMON390,用戶自定義文件，F(xiàn)TP（必需），XML（必需），MESSAGEQUEUE,EMAIL,

WEBLOG,OLEDB,其它54

5.3支持?jǐn)?shù)據(jù)庫的種類、連接方式、配置方式及是否隨產(chǎn)品打包，包括ORACLE（必需），DB2（必

需）,INFORMIX（必需），SYBASE,SQLSERVER56

5.4產(chǎn)品自身并行處理能力，對(duì)并行數(shù)據(jù)庫的支持情況如ORACLERAC/OPS,系統(tǒng)的線性可擴(kuò)展性...56

5.5是否支持遠(yuǎn)端的數(shù)據(jù)抽取和加載功能59

5.6對(duì)錯(cuò)誤恢復(fù)邏輯的支持，對(duì)異常情況的處理是否得當(dāng)，對(duì)于出現(xiàn)差錯(cuò)的流程是否支持異?？刂?、

錯(cuò)誤告警以及錯(cuò)誤流程恢復(fù)的加載60

5.7對(duì)中間存儲(chǔ)的支持65

5.8產(chǎn)品可編程的靈活性如何，模塊化的設(shè)計(jì)能力65

5.9能否根據(jù)日志監(jiān)測源數(shù)據(jù)的變化，是否支持增量抽取，增量抽取的處理方式，增量加載的處理方

式，是否提供數(shù)據(jù)更新的時(shí)間點(diǎn)或周期，以便可以靈活處理67

5.10對(duì)元數(shù)據(jù)的管理，主要包括：元數(shù)據(jù)存儲(chǔ)的提取方式、元數(shù)據(jù)存儲(chǔ)的開放性、元數(shù)據(jù)存儲(chǔ)的可

移植性、是否提供多種方式訪問元數(shù)據(jù)、元數(shù)據(jù)的版本控制程度、是否支持開放的元數(shù)據(jù)標(biāo)準(zhǔn)如

CWM、是否支持XML進(jìn)行元數(shù)據(jù)交換、是否支持分布式的元數(shù)據(jù)訪問和管理、是否生成元數(shù)據(jù)報(bào)表、

是否支持ETL過程的沖突分析、是否支持基于元數(shù)據(jù)的查詢功能、是否支持ETL過程的流程分析等。68

5.11可以實(shí)現(xiàn)對(duì)所有主流關(guān)系型數(shù)據(jù)庫的快速訪問和，對(duì)本地?cái)?shù)據(jù)訪問模式的支持（這里本地指

NATIVE,如OCI等）；通過利用本地?cái)?shù)據(jù)庫API高效實(shí)現(xiàn)ETL功能75

5.12對(duì)基本處理（如SQL）的支持76

5.13提供友好界面76

5.14具有使用內(nèi)部函數(shù)或者用戶定義函數(shù)的強(qiáng)大轉(zhuǎn)換功能80

5.15是否提供強(qiáng)大的腳本和用戶自定義函數(shù)開發(fā)和轉(zhuǎn)化的功能84

5.16是否提供數(shù)據(jù)校驗(yàn)的功能，如空值處理、流程異常處理、異常值的處理等手段89

6接口與交換90

6.1支持通用接口，如ODBC、數(shù)據(jù)庫本地接口等90

6.2是否支持各種主流的消息中間件，可以通過消息中間件進(jìn)行數(shù)據(jù)抽取和加載，例如MQ

SERIES,JMS等92

6.3是否支持WEBSERVICES接口92

6.4在調(diào)度時(shí)除了執(zhí)行ETL規(guī)則是否可以執(zhí)行其它任務(wù)如系統(tǒng)的可執(zhí)行程序、數(shù)據(jù)庫的存儲(chǔ)過程、動(dòng)

態(tài)鏈接庫中的程序、FTP命令、EMAIL任務(wù)93

6.5是否調(diào)用各種外部應(yīng)用，包括存儲(chǔ)過程、各種流行語言開發(fā)的應(yīng)用程序等93

6.6是否支持客戶化定制的轉(zhuǎn)換過程，支持的編程語言種類例如C、C++、VC++、JAVA、PERL等……94

6.7與OLAP數(shù)據(jù)庫，如HYPERIONESSBASE、ORACLEEXPRESSOLAP等的集成、與前端工具集如

COGNOS、BUSINESSOBJECT、BRIO的集成99

6.8是否有開放的API可將產(chǎn)品集成到統(tǒng)一界面99

6.9是否支持與統(tǒng)計(jì)分析工具如BUSINESSOBJECTS,SAS的集成等99

6.10原廠商專用接口對(duì)不同數(shù)據(jù)源的支持100

7項(xiàng)目重點(diǎn)問答101

7.1工具是否滿足無編碼開發(fā)101

7.2安裝調(diào)試時(shí)，對(duì)系統(tǒng)環(huán)境是否有額外安裝要求102

7.3在不改變系統(tǒng)內(nèi)核參數(shù)據(jù)前提下，能否順利完成產(chǎn)品的安裝及調(diào)試？如需改變系統(tǒng)內(nèi)核參數(shù)，請(qǐng)

說明。102

7.4REPOSITORY的移植性：在不改變?cè)O(shè)計(jì)和應(yīng)用的前提下，能否順利完成跨平臺(tái)、跨異構(gòu)數(shù)據(jù)庫和

跨產(chǎn)品版本的移植。如需更改設(shè)計(jì)等工作，請(qǐng)加以說明。102

7.5REPOSITORY的開放性？是否可建立在主流RDBMS基礎(chǔ)上，例如：ORACLE、DB2等？如果不支

持，請(qǐng)加以說明。103

7.6詳細(xì)論述性能調(diào)優(yōu)及步驟104

7.7ETL部分產(chǎn)品，廠家的發(fā)展策略和趨勢，產(chǎn)品延續(xù)性如何？113

8元數(shù)據(jù)管理分析114

8.1元數(shù)據(jù)管理工具的架構(gòu)及工作原理114

8.2元數(shù)據(jù)管理工具的功能模塊描述及工作流程118

8.3元數(shù)據(jù)管理工具界面友好性如何122

8.4元數(shù)據(jù)管理工具的平臺(tái)性124

8.5元數(shù)據(jù)管理工具采集接口124

8.6是否具有元數(shù)據(jù)脫機(jī)分析功能126

8.7是否具有表級(jí)和字段級(jí)的血緣分析功能126

8.8是否可在一個(gè)分析視圖上，表現(xiàn)出跨不同工具的元數(shù)據(jù)血緣分析功能128

8.9是否有影響分析功能129

8.10是否具有WEB展現(xiàn)功能129

8.11元數(shù)據(jù)管理工具的REPOSITORY的開放性？是否支持主流的RDBMS?如不支持，請(qǐng)加以說明。

131

8.12元數(shù)據(jù)分析報(bào)表，可導(dǎo)出為哪些種類的文件類型？131

8.13元數(shù)據(jù)檢索功能132

8.14元數(shù)據(jù)同步及調(diào)度功能132

8.15能否方便看到計(jì)算字段的元數(shù)據(jù)及計(jì)算公式134

8.16是否支持自定義元模型？是否支持CWM元數(shù)據(jù)標(biāo)準(zhǔn)？135

9產(chǎn)品供應(yīng)商資質(zhì)138

9.1財(cái)務(wù)狀況和公司規(guī)模138

9.2業(yè)界影響138

9.3成功案例140

10產(chǎn)品供應(yīng)商市場情況146

10.1國內(nèi)客戶數(shù)量及全球客戶數(shù)量146

10.2市場準(zhǔn)入147

10.3市場份額148

11實(shí)施供應(yīng)商資質(zhì)和實(shí)施供應(yīng)商市場情況150

12可實(shí)施能力151

12.1軟件安裝、配置的簡單性和靈活性151

12.2ETL性能監(jiān)控與調(diào)優(yōu)的能力151

12.3如何從開發(fā)環(huán)境遷移到生產(chǎn)環(huán)境160

12.4是否支持網(wǎng)格計(jì)算和負(fù)載均衡161

12.5是否支持ETL過程中的沖突分析163

12.6是否支持流程分析164

12.7是否有簡體中文版本的軟件164

12.8開放文檔的自動(dòng)生成165

13實(shí)施方法論論及咨詢團(tuán)隊(duì)167

13.1實(shí)施方法論167

13.2咨詢團(tuán)隊(duì)174

14售后維護(hù)175

14.1是否有本地支持，支持工程師是否充足175

14.2本地支持方式如是分公司還是代理（總代理或是什么級(jí)別的代理）175

14.3產(chǎn)品升級(jí)176

15運(yùn)營維護(hù)177

15.1資料庫的備份、恢復(fù)177

15.2是否支持SNMP管理，可與網(wǎng)管軟件集成179

15.3是否支持基于WEB的運(yùn)行管理和監(jiān)控，以及元數(shù)據(jù)報(bào)告180

15.4方便的系統(tǒng)部署功能和良好的系統(tǒng)監(jiān)控功能，是否支持未完成任務(wù)的監(jiān)控、報(bào)告和恢復(fù)功能

183

15.5是否提供版本控制和管理的功能191

15.6是否支持統(tǒng)一以及自定義的管理平臺(tái)191

15.7在調(diào)度時(shí)是否支持時(shí)間觸發(fā)方式，在調(diào)度時(shí)是否支持事件觸發(fā)方式196

15.8是否支持命令行執(zhí)行方式197

附件、INFORMATICA公司售后服務(wù)內(nèi)容介紹201

序言

1.1Informatica公司介紹

InformaticaCo.Ltd1993年創(chuàng)立于美國并于1999年登陸納斯達(dá)

克。Informatica一直致力于為客戶提供具有強(qiáng)大的元數(shù)據(jù)管

理、數(shù)據(jù)集成和個(gè)性化分析遞送功能的世界通行標(biāo)準(zhǔn)的統(tǒng)一數(shù)

據(jù)服務(wù)平臺(tái)。Informatica的基礎(chǔ)設(shè)施產(chǎn)品以可伸縮的、可擴(kuò)展

的企業(yè)級(jí)數(shù)據(jù)集成平臺(tái)為特點(diǎn)，并廣泛支持來自Informatica和

其他的領(lǐng)先商務(wù)智能提供商的數(shù)據(jù)倉庫基礎(chǔ)設(shè)施和分析型應(yīng)

用軟件的開發(fā)和管理，提供元數(shù)據(jù)管理解決方案，幫助企業(yè)集

成、優(yōu)化、審核信息資產(chǎn)以提高運(yùn)營效率，增加客戶收益，取

得競爭優(yōu)勢。

作為數(shù)據(jù)整合軟件產(chǎn)業(yè)的領(lǐng)導(dǎo)者,Informatica擁有遍布全球的

客戶，客戶范圍涵蓋金融、電信、制造、政府、能源、保險(xiǎn)、

公眾服務(wù)等多種行業(yè)。Informatica的客戶：

>超過82%的Fortune100客戶

>80%的道?瓊斯工業(yè)指數(shù)客戶

>全球500強(qiáng)企業(yè)中

令5個(gè)最大的的娛樂和媒體機(jī)構(gòu)

令15個(gè)最大的電信公司中的13個(gè)

令31個(gè)最大的金融服務(wù)/銀行機(jī)構(gòu)中的24個(gè)

令13個(gè)最大的制藥公司中的12個(gè)

令18個(gè)最大的能源公司中的12個(gè)

令20個(gè)最大的制造企業(yè)中的16個(gè)

令20個(gè)最大的保險(xiǎn)公司中的15個(gè)

A所有四兵種的美國軍隊(duì)（陸軍、海軍、海軍陸戰(zhàn)隊(duì)和空軍）

全球眾多行業(yè)客戶的選擇

DeutscheBankIZ1'GR0UPMerrillLynch蠡UBS

FinancialSCHWAB園

ServicesMorganStanleyAllianz?

andInsuranceMetLifePrudentialAIG

言AhJBT1^義CingularSprint匕短

Telecommunications

HighTechand

Manufacturing

號(hào)

Pharmaceutical4Aventis?MERCKW^eth

Transportation,E^onMobi!efcY?W/M即會(huì)魏初,

Services,

andRetail

PublicSector

andFederal

Government

INFORMATICA

作為數(shù)據(jù)整合方面的專家,更先進(jìn)的技術(shù)和更完善的服務(wù)一直

是我們追究的目標(biāo)。為了給客戶提供系統(tǒng)是全方位服務(wù)，我們

擁有大量專業(yè)級(jí)的資源，來滿足客戶各個(gè)方面的需求。從自身

來說，我們有高品質(zhì)專家提供豐富的資源為客戶服務(wù)；從合作

伙伴來說，我們有最好的戰(zhàn)略合作伙伴，企業(yè)的硬件提供商，

第三方發(fā)展公司以及全球150多家系統(tǒng)整合商來幫助解決客戶

復(fù)雜的數(shù)據(jù)整合難題。通過這些系統(tǒng)服務(wù)，我們確保將客戶IT

投資回報(bào)率最大化，為協(xié)助客戶成功做出不懈的努力。

正是在這種精益求精的企業(yè)精神之下，Infbrmatica公司作為世

界一級(jí)的專業(yè)生產(chǎn)商在數(shù)據(jù)集成領(lǐng)域中做出了突出的貢獻(xiàn)，并

且為此獲得業(yè)界和客戶等多方面的肯定和嘉獎(jiǎng)。

A2005年5月11日，Gartner,"MagicQuadrantforETL,1H05",

Informatica公司是ETL領(lǐng)域的技術(shù)領(lǐng)導(dǎo)者。

>2005年，Informatica的主打產(chǎn)品之一PowerExchange521

獲得《每周電腦報(bào)》的最佳選手獎(jiǎng)。

>20()4年12月，在Forrester資訊公司的關(guān)于“如何評(píng)估企業(yè)

ETL”的調(diào)查中，名列整合解決方案提供商的前列。

>2004年，《設(shè)計(jì)手冊(cè)回顧》(DMReview)根據(jù)其讀者的

調(diào)查反饋，將Informatica列為數(shù)據(jù)整合方面的最好供應(yīng)商。

同時(shí)，Informatica作為商業(yè)智能和數(shù)據(jù)整合的解決方案提

供商名列前12名。

>2004年，《聰明企業(yè)》的讀者評(píng)選中，獲得最好數(shù)據(jù)整合

供應(yīng)商的稱號(hào)，同時(shí)公司的PowerCenter數(shù)據(jù)整合平臺(tái)在雜

志的80,()()()個(gè)讀者的評(píng)選中成為最好的ETL工具。

>2004年，《計(jì)算機(jī)商業(yè)評(píng)論》雜志將Informatica公司評(píng)為

在數(shù)據(jù)整合及數(shù)據(jù)應(yīng)用軟件領(lǐng)域的最有影響力的10家廠

家之一，名列第五。

>2004年，加拿大核協(xié)會(huì)和英國的普天壽公司由于使用了

Informatica公司的PowerCenter和PowerExchange產(chǎn)品，奪

得《設(shè)計(jì)手冊(cè)回顧》評(píng)選的一世界級(jí)解決方案獎(jiǎng)。

>2004年，DeutscheBbrseGroup由于使用了Informatica公司

的PowerCenter數(shù)據(jù)集成平臺(tái)而獲得了由TDMI頒發(fā)的最佳

實(shí)時(shí)數(shù)據(jù)倉庫應(yīng)用獎(jiǎng)。

>2004年，Informatica公司被CMP傳媒評(píng)為最有影響力仃解

決方案提供商之一。

1.2Informatica公司針對(duì)行業(yè)的解決方案及特點(diǎn)

在20世紀(jì)90年代，隨著企業(yè)對(duì)業(yè)務(wù)過程處理的卓越追求和對(duì)市

場需要的及時(shí)響應(yīng)，出現(xiàn)了一系列的以“產(chǎn)品”為中心的業(yè)務(wù)

系統(tǒng)。這些業(yè)務(wù)系統(tǒng)在一定程度上滿足了當(dāng)時(shí)企業(yè)發(fā)展的需

要，但同時(shí)也對(duì)企業(yè)未來的發(fā)展埋下了一定的隱患。這些以“產(chǎn)

品”為中心的業(yè)務(wù)系統(tǒng)，由于其業(yè)務(wù)特點(diǎn)的各異性，往往采用

了不同的技術(shù)實(shí)現(xiàn)、系統(tǒng)和數(shù)據(jù)規(guī)范，這不僅增加了企業(yè)信息

化環(huán)境的復(fù)雜性、業(yè)務(wù)信息的不對(duì)稱和不一致性、業(yè)務(wù)信息的

分散性和無全局性，還增加了運(yùn)行和維護(hù)部門的負(fù)擔(dān)，最終還

分散了企業(yè)關(guān)注支持新業(yè)務(wù)需求的精力。尤其是當(dāng)企業(yè)面臨從

“以產(chǎn)品為中心"到''以客戶為中心”的經(jīng)營模式轉(zhuǎn)變時(shí)，這

些隱患變更發(fā)的顯現(xiàn)出來。

無論是政府還是各個(gè)行業(yè)的企業(yè)，都已經(jīng)深深的意識(shí)到了以上

隱患，從全局規(guī)劃角度出發(fā)的各種類型的標(biāo)準(zhǔn)化和流程化工作

應(yīng)運(yùn)而生，并且被提到了企業(yè)發(fā)展的戰(zhàn)略高度。在具體實(shí)現(xiàn)方

式上，“一個(gè)平臺(tái)，多個(gè)子系統(tǒng)”的概念逐漸深入政府、電信、

金融服務(wù)和制造等各個(gè)行業(yè)，統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)和與之相關(guān)聯(lián)

的資源和服務(wù)目錄便是其中之一。

UDS(UniversalDataServices)架構(gòu)是Informatica在新的形勢

下提出的統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)。它支持企業(yè)各種類型的業(yè)務(wù)系統(tǒng)

數(shù)據(jù)的整合、交換和共享，從而形成一套準(zhǔn)確、干凈、完整的

數(shù)據(jù)集合，增強(qiáng)對(duì)企業(yè)決策者對(duì)商業(yè)活動(dòng)的敏感度，從而提升

自身的競爭力。

在UDS服務(wù)體系中，提供了訪問、整合、質(zhì)量控制、審核和監(jiān)

控等數(shù)據(jù)服務(wù)，具體架構(gòu)如下：

SHAREDSERVICES

PowerExchange：按照需求，可以很容易地訪問分離、復(fù)雜的

系統(tǒng)，并從中得到數(shù)據(jù)

PowerCenter：目前業(yè)界最佳的集成元數(shù)據(jù)管理的數(shù)據(jù)整合、

交換和共享平臺(tái)InformaticaPowerCenter,可以從任何數(shù)據(jù)源

獲取數(shù)據(jù)，包括各種關(guān)系數(shù)據(jù)庫，ERP應(yīng)用、以及各種文件

系統(tǒng)；同時(shí)，利用它的圖形界面控制臺(tái)可以容易定義任何數(shù)據(jù)

的抽取、匯總和計(jì)算，整個(gè)數(shù)據(jù)集成的過程不需要進(jìn)行腳本

的編寫；利用它的計(jì)劃執(zhí)行能力，可以在正確的時(shí)間調(diào)度正

確的作業(yè)，來完成數(shù)據(jù)的轉(zhuǎn)換；利用數(shù)據(jù)庫的觸發(fā)機(jī)制，可

以完成實(shí)時(shí)的數(shù)據(jù)復(fù)制和增量備份等工作；實(shí)現(xiàn)加載流程合理

化(Workflow);高性能的加載(LoadPartition);極大的減輕了日

后系統(tǒng)的維護(hù)量。

SuperGlue：審核數(shù)據(jù)血統(tǒng)、文檔過程、沖突分析，管理數(shù)據(jù)

0變化

PowerAnalyzer：監(jiān)控：驗(yàn)證數(shù)據(jù)、過程報(bào)告、積極的傳遞洞

察力

借助Informatica公司產(chǎn)品和解決方案，通過建立統(tǒng)一數(shù)據(jù)交換

和共享平臺(tái)，行業(yè)可以獲得以下收益：

令實(shí)現(xiàn)對(duì)以業(yè)務(wù)系統(tǒng)為數(shù)據(jù)采集點(diǎn)的數(shù)據(jù)整合、交換和共

享；

令提供對(duì)歷史系統(tǒng)數(shù)據(jù)、私有系統(tǒng)數(shù)據(jù)的訪問，充分利用企

業(yè)信息化進(jìn)程積累的歷史數(shù)據(jù)；

令降低數(shù)據(jù)冗余度、降低數(shù)據(jù)不一致性和提高數(shù)據(jù)準(zhǔn)確性，

提高作為企業(yè)戰(zhàn)略資源的各種信息和歷史數(shù)據(jù)的使用率

和使用準(zhǔn)確率；

令建立統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)，支持現(xiàn)有和未來業(yè)務(wù)系統(tǒng)的數(shù)據(jù)

服務(wù)；

令助力企業(yè)數(shù)據(jù)標(biāo)準(zhǔn)化和企業(yè)統(tǒng)一客戶視圖的建設(shè)工作，為

建立以客戶為中心，以服務(wù)為導(dǎo)向的新型服務(wù)企業(yè)提供底

層信息流動(dòng)支撐；

令助力企業(yè)實(shí)現(xiàn)跨地域的、跨業(yè)務(wù)系統(tǒng)的客戶一致化服務(wù)水

平，提高企業(yè)客戶滿意度和企業(yè)競爭能力；

令助力企業(yè)全局?jǐn)?shù)據(jù)倉庫和特定主題數(shù)據(jù)集市的建立;

令圖形化的部署、控制和管理統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)，簡化系統(tǒng)

變化、升級(jí)和部署的復(fù)雜度，從而更加快速的應(yīng)對(duì)整合和

市場變化；隨著企業(yè)的發(fā)展，支持新業(yè)務(wù)系統(tǒng)的平滑、快

速接入。

1.2.1解決方案特點(diǎn)

靈活開發(fā)和部署

現(xiàn)今許多集成項(xiàng)目常?？缭綍r(shí)間和地理分區(qū)，為了有效管理本

地和全球開發(fā)隊(duì)伍，企業(yè)需要集成支持協(xié)作開發(fā)和部署的軟

件。

PowerCenter提供一整套高度復(fù)用性的產(chǎn)品工具，用于加速開

發(fā)、簡化管理、降低當(dāng)前的維護(hù)成本。使用PowerCenter,不

同區(qū)域的開發(fā)者能夠基于小組開發(fā)和調(diào)試工具,迅速并容易地

響應(yīng)集成需求。通過PowerCenter的Check-in和Check-out對(duì)象

管理和版本控制，開發(fā)者的小組們能夠同時(shí)工作在相同的項(xiàng)目

上，提供與時(shí)間無關(guān)的部署。

安全可靠的企業(yè)數(shù)據(jù)

安全對(duì)于IT組織機(jī)構(gòu)來說，已經(jīng)成為一個(gè)最主要的關(guān)心點(diǎn)。通

過LADP和其他目錄服務(wù)器驗(yàn)證支持，對(duì)于安全訪問、加密數(shù)

據(jù)傳輸，詳細(xì)的審計(jì)記錄的角色的許可，PowerCenter提供一

個(gè)安全的環(huán)境貫穿集成的全過程。PowerCenter提供最大范圍

的安全能力，為企業(yè)數(shù)據(jù)集成提供安全保障。

無可比擬的性能和可擴(kuò)展性

提供無限制的可擴(kuò)展性、可測量性和吞吐量，適應(yīng)企業(yè)目前數(shù)

據(jù)交換和共享的需要，并支持未來業(yè)務(wù)系統(tǒng)的平滑接入和擴(kuò)

展。PowerCenter提供無可比擬的性能，不管環(huán)境如何，都能

應(yīng)對(duì)當(dāng)前和未來數(shù)據(jù)主動(dòng)集成。PowerCenter的性能引擎提供:

＞管道，分區(qū)，數(shù)據(jù)靈活的并行，有效地打破分離的集成

A通過異種環(huán)境進(jìn)行網(wǎng)格計(jì)算，最大化使用現(xiàn)存的基礎(chǔ)架構(gòu)

＞批處理、變化、實(shí)時(shí)數(shù)據(jù)移動(dòng)有最好的適應(yīng)性

2設(shè)計(jì)理念

2.1設(shè)計(jì)理念的先進(jìn)性

回答：滿足。

2.1.1產(chǎn)品體系結(jié)構(gòu)和工作原理

Server

SourcesTargets

TCP/IP

Repository

HeterogeneousServerHeterogeneous

SourcesTargets

.TCP/IPRepository

口的El卜曾回Agent

RepositoryDesignerWorkflowWorkflowRepServerReposi

ManagerManagerMonitorAdministrative

Console

2.1.2產(chǎn)品功能模塊描述

令1個(gè)(或多個(gè))Repository

PowerCenter數(shù)據(jù)整合引擎是基于元數(shù)據(jù)驅(qū)動(dòng)的，提供了基于

元數(shù)據(jù)驅(qū)動(dòng)的元數(shù)據(jù)知識(shí)庫(Repository),該元數(shù)據(jù)知識(shí)庫

可以在主流的關(guān)系型數(shù)據(jù)庫中部署。該元數(shù)據(jù)庫中存儲(chǔ)所有的

ETL元數(shù)據(jù)，包括：源、目標(biāo)表的物理和邏輯元數(shù)據(jù)，ETL

轉(zhuǎn)換規(guī)則，知識(shí)庫用戶權(quán)限，ETL任務(wù)運(yùn)行歷史信息等元數(shù)據(jù)。

令2個(gè)Server

■InformaticaRepositoryServer：資料庫Server,用來管

理所有對(duì)資料庫中元數(shù)據(jù)的請(qǐng)求和操作。

■InformaticaServer：實(shí)際的ETL引擎

令5個(gè)Client:

■PowerCenterDesigner：設(shè)計(jì)開發(fā)環(huán)境，定義源及目標(biāo)

數(shù)據(jù)結(jié)構(gòu)；設(shè)計(jì)轉(zhuǎn)換規(guī)則，生成ETL映射。

■WorkflowManager：對(duì)Workflow,Session等ETL任務(wù)

作設(shè)計(jì)，同時(shí)提供了對(duì)任務(wù)執(zhí)行的調(diào)度和管理功能。

■WorkflowMonitor：監(jiān)控Workflow和Session運(yùn)行情況，

生成日志和報(bào)告。

■RepositoryManager：元數(shù)據(jù)維護(hù)和安全操作，如：元

數(shù)據(jù)查找，用戶、組、權(quán)限管理等。下圖是Repository

Manager的操作界面。

■RepositoryServerAdministratorConsole：對(duì)知識(shí)庫的

操作，如：知識(shí)庫的創(chuàng)建、備份、恢復(fù)等。

2.1.3PowerCenter基本工作原理

Informatica是基于元數(shù)據(jù)驅(qū)動(dòng)的，所有的元數(shù)據(jù)都保存在Repository（知識(shí)庫）

中，該知識(shí)庫可以創(chuàng)建在所有主流數(shù)據(jù)庫當(dāng)中，充分體現(xiàn)了它元數(shù)據(jù)的開

放性。

RepositoryServer用來管理所有客戶端以及InformaticaServer跟Repository的

交互，并且一個(gè)RepositoryServer可以管理多個(gè)Repository,而Repository

Server可為每個(gè)Repository分配一個(gè)RepositoryAgent來處理所對(duì)有元數(shù)據(jù)操

作的響應(yīng)。

InformaticaServer是實(shí)際處理ETL任務(wù)的后臺(tái)服務(wù)，它是基于內(nèi)存運(yùn)行、高

效的ETL服務(wù)，不需要產(chǎn)生任何的代碼，每次執(zhí)行任務(wù)之前都會(huì)從Repository

中讀取最新的ETL規(guī)則。

Informatica的客戶端提供了無編碼、完全圖形化的設(shè)計(jì)和管理調(diào)度界面，可

實(shí)現(xiàn)快速開發(fā)和部署。

一個(gè)基本的ETL任務(wù)設(shè)計(jì)和部署的大致步驟如下：

A）使用Designer客戶端，獲取源數(shù)據(jù)表的元數(shù)據(jù)。

B）使用Designer客戶端，獲取目標(biāo)數(shù)據(jù)表的元數(shù)據(jù)。

C）使用Designer客戶端，設(shè)■一個(gè)Mapping,其中就是源-〉

目標(biāo)的ETL規(guī)則。

D）使用WorkflowManager客戶端，針對(duì)上面實(shí)現(xiàn)的Mapping,

實(shí)例化為一個(gè)Session,為其指定實(shí)際的數(shù)據(jù)源、目標(biāo)連接,

以及其他屬性。

E）使用WorkflowManager客戶端，創(chuàng)建一個(gè)Workflow,其中

包含上述的Session以及其他的Task,在Workflow中可實(shí)現(xiàn)

復(fù)雜的流程控制。

F）運(yùn)行上述Workflow,使用WorkflowMonitor客戶端，監(jiān)測

最終的任務(wù)運(yùn)行結(jié)果。

2.1.4InformaticaPowerCenter核心技術(shù)

Informatica是數(shù)據(jù)集成領(lǐng)域的領(lǐng)先者，無論在客戶群及市場占

有率上，一直名列前茅。就其核心技術(shù)來說，可分為以下幾點(diǎn)：

令可擴(kuò)展和分布式的產(chǎn)品體系，以元數(shù)據(jù)為核心驅(qū)動(dòng)

（MetadataDriven）o

令開放性，PowerCenter元數(shù)據(jù)可構(gòu)建在DB2、Oracle>

Informix>Sybase>MSSQLSERVERxTeradata主流關(guān)系

型數(shù)據(jù)庫上，并提供PowerCenter元數(shù)據(jù)描述，真正的作到

高開放性。

令國際化支持，可處理任何字符集

令遵守CWM的元數(shù)據(jù)標(biāo)準(zhǔn)，可完全真正開放的作到元數(shù)據(jù)

交換。

令合理的體系結(jié)構(gòu)劃分，可適應(yīng)分步式的部署。

令高性能的管道技術(shù)，使數(shù)據(jù)在轉(zhuǎn)換過程，達(dá)到完全內(nèi)存操

作。

令并行作業(yè)控制，可最大化的利用系統(tǒng)資源，達(dá)到高并行性

的效果。

令服務(wù)器集群，真正的Server級(jí)并行、負(fù)載均衡。

令對(duì)實(shí)時(shí)數(shù)據(jù)源的支持，例如IBMMQ、Tibco、WebMethod、

JMS、WebService.SAPR/3(IDOC)o

令先進(jìn)的會(huì)話管理，工作流機(jī)制。支持Workflow機(jī)制，通過

多種工作流調(diào)度方法，可以將ETLSession,外部命令，

Email,以及數(shù)據(jù)庫腳本等任務(wù)有機(jī)的結(jié)合在一起，從而

定制復(fù)雜的工作流。

2.2設(shè)計(jì)理念的符合性

回答：滿足。

令I(lǐng)nformaticaPowerCenter分布式的體系結(jié)構(gòu)，可適合企業(yè)

快速部署生產(chǎn)環(huán)境。

令作業(yè)設(shè)計(jì)分為邏輯設(shè)計(jì)、知識(shí)庫管理、物理作業(yè)的執(zhí)行。

從設(shè)計(jì)的角度，將開發(fā)分成三層結(jié)構(gòu)，符合現(xiàn)代主流的技

術(shù)特性。

令開放的元數(shù)據(jù)知識(shí)庫，存在主流的關(guān)系型數(shù)據(jù)庫中，且元

數(shù)據(jù)遵守CWM元數(shù)據(jù)標(biāo)準(zhǔn)，可為企業(yè)元數(shù)據(jù)交換，提供

國際先進(jìn)的標(biāo)準(zhǔn)。

令因元數(shù)據(jù)是單獨(dú)由知識(shí)庫進(jìn)行管理，且作業(yè)可跨平臺(tái)。在

作系統(tǒng)移植時(shí)，可不分存儲(chǔ)的數(shù)據(jù)庫，其科學(xué)的可移植性

極大方便了企業(yè)的部署要求。

令強(qiáng)大的工作流調(diào)度，可按時(shí)間、事件、參數(shù)、指示文件等

進(jìn)行觸發(fā)，從邏輯設(shè)計(jì)上，滿足企業(yè)多任務(wù)流程設(shè)計(jì)。

令高性能的ETL服務(wù)引擎，完全的內(nèi)存線程，并集成了數(shù)據(jù)

庫的性能特點(diǎn)，是企業(yè)ETL高性能的保障

令圖形化的開發(fā)，極大提高了開發(fā)效率，縮短項(xiàng)目周期。

令等等。OO

3基本功能

3.1字段級(jí)的操作，主要包括：字段映射，映射的自動(dòng)匹配，字段

的拆分，多字段的混合運(yùn)算，自動(dòng)完成時(shí)間類型的轉(zhuǎn)換

回答：滿足。

InfoirnaticaPowerCenter是完全圖形化的開發(fā)，可通過簡單的

操作，完成此需求:

1）通過簡單的拖拽操作實(shí)現(xiàn)

2）映射的自動(dòng)匹配:在Designer的設(shè)計(jì)中，有“AutoTink”

的自動(dòng)匹配功能，具有高級(jí)匹配功能，可進(jìn)行前綴、后綴

和位置的自動(dòng)匹配。

3）字段的拆分，內(nèi)置眾多的字符串函數(shù)，例如SUBSTR,Instr

等，可完成字段的拆分、合并等操作。

4）多字段的混合運(yùn)算，內(nèi)部具有Expression組件，可增加復(fù)

雜的多字段混合計(jì)算，同時(shí)可嵌入100多種函數(shù)和參數(shù)，

極大的提高了計(jì)算表達(dá)式的靈活性。

5）自動(dòng)完成時(shí)間類型的轉(zhuǎn)換，如在記錄中，符合時(shí)間格式，

可自動(dòng)進(jìn)行字符型和時(shí)間類型的轉(zhuǎn)換，并且提供

to_char,to_date等強(qiáng)制轉(zhuǎn)換函數(shù)。

3.2記錄級(jí)的操作，主要包括：去重復(fù)記錄，記錄間合并或計(jì)算，

記錄拆分等

回答：滿足。

1）去重記錄

A）組件內(nèi)部設(shè)有變量，可模擬數(shù)據(jù)庫游標(biāo)操作，進(jìn)行數(shù)

據(jù)記錄的前后比對(duì)，即可識(shí)別重復(fù)記錄。

B）動(dòng)態(tài)Lookup組件，此組件可理解為子查詢，針對(duì)目標(biāo)

庫或文件進(jìn)行所需字段的查詢，將查詢結(jié)果放入內(nèi)存

中。這樣從數(shù)據(jù)源中讀取的數(shù)據(jù)，在此內(nèi)存中與歷史

記錄的主鍵進(jìn)行比對(duì)，可發(fā)現(xiàn)此記錄是否重復(fù)，并可

將重復(fù)數(shù)據(jù)單獨(dú)輸出到另外的文件或數(shù)據(jù)庫表中。此

組件，還有一特點(diǎn)，就是將數(shù)據(jù)源流入的主鍵在讀入

的過程中，將新主鍵，也保留在Lookup內(nèi)存中，實(shí)現(xiàn)

所有數(shù)據(jù)記錄主鍵的內(nèi)存存儲(chǔ)，方便數(shù)據(jù)的比對(duì)操作0

C）InformaticaPowerCenter內(nèi)置緩慢變化維向?qū)?，在此?/p>

詳細(xì)描述其過程。

緩慢變化維原理論述

對(duì)于導(dǎo)入的數(shù)據(jù)源，針對(duì)主鍵和驗(yàn)證字段，同目標(biāo)進(jìn)行比對(duì)：

a）主鍵不存在，為新增數(shù)據(jù)；

b）主鍵存在，驗(yàn)證字段相同無變化，為重復(fù)數(shù)據(jù);

c）主鍵存在，驗(yàn)證字段發(fā)生變化，為變化數(shù)據(jù)。

以上三類文件，可將數(shù)據(jù)情況劃為三類，再分別作相應(yīng)類SQL

操作：Insert,Update,reject,deleteo

2)記錄合并和計(jì)算

A)InformaticaPowerCenter提供Joiner和Union等組件可實(shí)

現(xiàn)多個(gè)流入源的記錄join和union的操作。實(shí)現(xiàn)記錄的

合并

B)InformaticaPowerCenter提供Expression和匯總組件，

實(shí)現(xiàn)記錄內(nèi)的計(jì)算表達(dá)式和記錄集的匯總計(jì)算等操

作。

3)記錄拆分

A)InformaticaPowerCenter提供Filter和Router等組件可實(shí)

現(xiàn)流入源的記錄過濾和分組等的操作。實(shí)現(xiàn)記錄的拆

分和流向控制。

B)InformaticaPowerCenter內(nèi)部設(shè)計(jì)，很容易進(jìn)行數(shù)據(jù)的

分支設(shè)計(jì)，方便的實(shí)現(xiàn)記錄按條件和需求的拆分。

3.3表級(jí)的操作，主要包括：代理鍵的生成，行列變換，排序，統(tǒng)計(jì)，

制造樣品數(shù)據(jù)

回答：滿足。

令代理鍵的生成：PowerCenter提供SequenceGenerator組件,

可生成唯一序列號(hào)，作為代理鍵。

令行列變換：PowerCenter提供Normalizer組件，專門用來作

行列轉(zhuǎn)換這類操作。

令排序：PowerCenter提供Sorter組件，可圖形化的選取字段，

進(jìn)行升序或降序的操作。

令統(tǒng)計(jì):PowerCenter提供統(tǒng)計(jì)學(xué)的Rank組件，可快速得到前

幾名和后幾名的統(tǒng)計(jì)操作。

令制造樣品數(shù)據(jù):PowerCenter提供存儲(chǔ)過程和外部程序包組

件，可將一定規(guī)則的設(shè)計(jì)，生成程序包，在PowerCenter

設(shè)計(jì)中加以調(diào)用。

3.4數(shù)據(jù)庫級(jí)的操作，主要包括：對(duì)各種碼表的支持包括GBK（必

需）、Unicode（必需）、ASCII（必需）

回答：滿足。

PowerCenter產(chǎn)品作為業(yè)界領(lǐng)先的提供商，支持國際化碼制。

令支持簡體中文MS936MSWindowsSimplifiedChinese,

supersetofGB2312-80,EUCencoding

令支持Unicode和ASCII模式的數(shù)據(jù)移動(dòng)。

令以下是支持的碼表：

CodePageDescriptions

NameDescriptionID

EuroShift-JISTestcodepage,Shift-JISwithEuropeancharacters9999

IBM037IBMEBCDICUSEnglish2028

IBM273IBMEBCDICGerman2030

IBM280IBMEBCDICItalian2035

IBM285IBMEBCDICUKEnglish2038

IBM297IBMEBCDICFrench2040

IBM500IBMEBCDICInternationalLatin-12044

IBM930IBMEBCDICJapanese930

IBM935IBMEBCDICSimplifiedChinese935

IBM937IBMEBCDICTraditionalChinese937

IBM939IBMEBCDICJapaneseCP939939

ISO-8859-1()ISO8859-10Latin6(Nordic)13

ISO-8859-15ISO8859-15Latin9(WesternEuropean)201

ISO-8859-2ISO8859-2EasternEuropean5

ISO-8859-3ISO8859-3SoutheastEuropean6

ISO-8859-4ISO8859-4Baltic7

ISO-8859-5ISO8859-5Cyrillic8

ISO-8859-6ISO8859-6Arabic9

ISO-8859-7ISO8859-7Greek10

ISO-8859-8ISO8859-8Hebrew11

ISO-8859-9ISO8859-9Latin5(Turkish)12

JapanEUC*JapaneseExtendedUNIXCode(includingJISX0212)18

JEFJapaneseEBCDICFujitsu9000

JEF-kanaJapaneseEBCDIC-KanaFujitsu9005

JIPSENECACOSJIPSEJapanese9002

JIPSE-kanaNECACOSJIPSE-KanaJapanese9007

KEISHITACHIKEISJapanese9001

KEIS-kanaHITACHIKEIS-KanaJapanese9006

Latin1*ISO8859-1WesternEuropean4

MELCOMMITSUBISHIMELCOMJapanese9004

MELCOM-kanaMITSUBISHIMELCOM-KanaJapanese9009

MS1250MSWindowsLatin2(CentralEurope)2250

MS1251MSWindowsCyrillic(Slavic)2251

MS1252*MSWindowsLatin1(ANSI),supersetofLatin12252

MS1253MSWindowsGreek2253

MSWindowsLatin5(Turkish),supersetofISO

MS12542254

8859-9

MS1255MSWindowsHebrew2255

MS1256MSWindowsArabic2256

MS1257MSWindowsBalticRim2257

MS1258MSWindowsVietnamese2258

MS1361MSWindowsKorean(Johab)1361

MS874MS-DOSThai,supersetofTIS620874

MS932*MSWindowsJapanese,Shift-JIS2024

MSWindowsSimplifiedChinese,supersetofGB

MS936936

2312-80,EUCencoding

MS949MSWindowsKorean,supersetofKSC5601-1992949

MS950MSWindowsTraditionalChinese,supersetofBig5950

UNISYSUNISYSJapanese9003

UNISYS-kanaUNISYS-KanaJapanese9008

US-ASCII*7-bitASCII1

UTF-8UTF-8encodingofUnicode106

*PowerCenterusesthesecodepages.

4技術(shù)特點(diǎn)

4.1跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)、支持關(guān)聯(lián)條件的復(fù)雜程度、自定義函數(shù)

的實(shí)現(xiàn)、過濾條件的復(fù)雜程度

回答：滿足。

令跨異構(gòu)數(shù)據(jù)庫的關(guān)聯(lián)：PowerCenter有joiner組件，可實(shí)現(xiàn)

異構(gòu)數(shù)據(jù)源的關(guān)聯(lián)操作。

令支持關(guān)聯(lián)條件的復(fù)雜程度：可支持左關(guān)聯(lián)、右關(guān)聯(lián)、直等

關(guān)聯(lián)、全關(guān)聯(lián)。

令自定義函數(shù)的實(shí)現(xiàn)：PowerCener有StoredProcedure和

ExternalProcedure組件，可調(diào)用數(shù)據(jù)庫存儲(chǔ)過程和調(diào)用外

部程序包，例如VB、VC、C、C++、Perl等等

令過濾條件的復(fù)雜程度：在PowerCenter中有Filter組件，可

完成類SQL中的wh