Informatica快速入門

1、Informatica學(xué)習(xí)快速入門文檔 1Informatica概述32安裝Informatica服務(wù)端安裝32.2客戶端安裝73配置管理服務(wù)器93.1創(chuàng)建知識(shí)庫(kù)和集成服務(wù)93.2客戶端到集成服務(wù)端的連接124PowerCenter Designer學(xué)習(xí)134.1概念和基本定義134.2Mapping設(shè)計(jì)和組件的使用154.2.1實(shí)例一：聚合抽取154.2.2實(shí)例二：取TOP前三條記錄164.2.3實(shí)例三：抽取XML源194.3WorkFlow的設(shè)計(jì)和使用204.3.1創(chuàng)建Session204.3.2設(shè)計(jì)WorkFlow224.4Repository Manager231 I

2、nformatica概述Informatica一直致力于為客戶提供具有強(qiáng)大的元數(shù)據(jù)管理、數(shù)據(jù)集成和個(gè)性化分析遞送功能的世界通行標(biāo)準(zhǔn)的統(tǒng)一數(shù)據(jù)服務(wù)平臺(tái)。Informatica的基礎(chǔ)設(shè)施產(chǎn)品以可伸縮的、可擴(kuò)展的企業(yè)級(jí)數(shù)據(jù)集成平臺(tái)為特點(diǎn)，并廣泛支持來自Informatica和其他的領(lǐng)先商務(wù)智能提供商的數(shù)據(jù)倉(cāng)庫(kù)基礎(chǔ)設(shè)施和分析型應(yīng)用軟件的開發(fā)和管理，提供元數(shù)據(jù)管理解決方案，幫助企業(yè)集成、優(yōu)化、審核信息資產(chǎn)以提高運(yùn)營(yíng)效率，增加客戶收益，取得競(jìng)爭(zhēng)優(yōu)勢(shì)。詳見文檔： 2 安裝Informatica8.6.1這里以Informatica8.6.1為例：2.1 服務(wù)端安裝找到安裝目錄pc861_win32_x86.

3、zipServerWindowsDisk1InstDataVM下點(diǎn)擊安裝選擇安裝語言，這里以中文版為例點(diǎn)擊下一步，并選擇安裝PowerCenter8.6.1必須選擇事先準(zhǔn)備好的安裝密匙選擇安裝路徑HTTPS配置，配置管理控制臺(tái)與配置管理器的安全通信（如果沒有使用該端口就采用默認(rèn)）配置好Informatica域并進(jìn)行下一步，取掉為特定用戶啟動(dòng)Informatica Services，點(diǎn)擊完成安裝2.2 客戶端安裝選擇安裝設(shè)置安裝路徑安裝完成后可以看到包含的所有工具3 配置管理服務(wù)器3.1 創(chuàng)建知識(shí)庫(kù)和集成服務(wù)接下來我們主要是配置知識(shí)庫(kù)管理服務(wù)器，PowerCenter數(shù)據(jù)整合引擎是基于元數(shù)據(jù)驅(qū)動(dòng)

4、的，提供了基于元數(shù)據(jù)驅(qū)動(dòng)的元數(shù)據(jù)知識(shí)庫(kù)（Repository），知識(shí)庫(kù)是PowerCenter的核心。在Informatica Services啟動(dòng)的的情況下，我們可以通過管理控制臺(tái)來操作。從控制臺(tái)里我們可以看到很多選項(xiàng)，我們主要是創(chuàng)建存儲(chǔ)庫(kù)服務(wù)（Repository）和集成服務(wù)，存儲(chǔ)庫(kù)服務(wù)（Repository） 存儲(chǔ)所有的ETL元數(shù)據(jù)，包括：源、目標(biāo)表的物理和邏輯元數(shù)據(jù)， ETL轉(zhuǎn)換規(guī)則，知識(shí)庫(kù)用戶權(quán)限，ETL任務(wù)運(yùn)行歷史信息等元數(shù)據(jù)。首先我們創(chuàng)建一個(gè)用于測(cè)試學(xué)習(xí)的存儲(chǔ)服務(wù)器，事先在Oracle中建好要用到的數(shù)據(jù)庫(kù)此處如果無法創(chuàng)建成功有以下可能：1. 需要設(shè)置環(huán)境變量，將C:Informa

5、ticaPowerCenter8.6.1Serverbin;C:InformaticaPowerCenter8.6.1RepositoryServerbin;移到Path最前邊2. 代碼頁一定要如下選擇3. 設(shè)置知庫(kù)鏈接用的數(shù)據(jù)庫(kù)用戶要有DBA角色權(quán)限連接字符串設(shè)置為當(dāng)前的Oracle服務(wù)名接下來創(chuàng)建集成服務(wù)，因?yàn)榧煞?wù)是依賴于知識(shí)庫(kù)的，注意關(guān)聯(lián)的存儲(chǔ)庫(kù)服務(wù)選擇剛建好的學(xué)習(xí)測(cè)試存儲(chǔ)庫(kù)，存儲(chǔ)庫(kù)默認(rèn)要設(shè)置用戶名和密碼為：Administrator至次我們完成了服務(wù)端的基本配置，服務(wù)端可以對(duì)知識(shí)庫(kù)備份和恢復(fù)等很多功能，也可以建立其相應(yīng)的服務(wù)，這里不再多述！3.2 客戶端到集成服務(wù)端的連接我們開發(fā)E

6、TL要使用到PowerCenter Designer工具，詳細(xì)的介紹在概述中有，接下我們配置好Designer與集成服務(wù)的連接:從客戶端工具中打開PowerCenter Repository Manager從菜單上選擇存儲(chǔ)庫(kù)>配置域 如下:這樣就連接上集成測(cè)試用例庫(kù)，選擇學(xué)習(xí)測(cè)試用例庫(kù)，從文件夾選項(xiàng)目創(chuàng)建文件夾，相當(dāng)于在集成庫(kù)下的一層子目錄至此，打開PowerCenter Designer就可開發(fā)使用了4 PowerCenter Designer學(xué)習(xí)4.1 概念和基本定義最基本的ETL包括源的定義，目標(biāo)定義，和映射，另外我們還可以創(chuàng)建可以重用的Mapplet。使用到的工具如下源分析器：目

7、標(biāo)設(shè)計(jì)器：映射設(shè)計(jì)：傳輸件設(shè)計(jì)：Mapplet組件設(shè)計(jì)：源分析器是用來定義源的結(jié)構(gòu)，這里的源雖然是從某個(gè)數(shù)據(jù)庫(kù)導(dǎo)出進(jìn)來的表結(jié)構(gòu)也可以是某個(gè)XSD定義的XML結(jié)構(gòu)等等，但是僅僅綁定了數(shù)據(jù)庫(kù)類型，并不是指定了鏈接要從那個(gè)數(shù)據(jù)庫(kù)里抽取數(shù)據(jù)。這里我們從菜單可以導(dǎo)入表結(jié)構(gòu)，Informatica 提供了ODBC的方式鏈接多種數(shù)據(jù)源我們以一個(gè)DW事實(shí)表為例：同樣我們可以定義目標(biāo)結(jié)構(gòu)，常規(guī)也是導(dǎo)入表結(jié)構(gòu)，我們也可以在Mapping設(shè)計(jì)中自動(dòng)創(chuàng)建目標(biāo)表結(jié)構(gòu)，源定義和目標(biāo)定義中，我們可以對(duì)導(dǎo)進(jìn)來的表名以及表的結(jié)構(gòu)進(jìn)行修改以滿足我們的設(shè)計(jì)需求，但是我們?cè)赪orkFlow中實(shí)現(xiàn)數(shù)據(jù)抽取中對(duì)應(yīng)的源和目標(biāo)要和此結(jié)構(gòu)相同

8、，如果要滿足變化的源和目標(biāo)，可以通過Visio設(shè)計(jì)來轉(zhuǎn)換為Mapping來實(shí)現(xiàn)。4.2 Mapping設(shè)計(jì)和組件的使用PowerCenter Designer通過Mapping來完成從源到目標(biāo)的轉(zhuǎn)換，Mapping設(shè)計(jì)器中包含了大量的轉(zhuǎn)換組件關(guān)于組件詳盡的說明，可以打開文檔具體學(xué)習(xí)： 轉(zhuǎn)換組件一般包含，轉(zhuǎn)換、端口、屬性、以及元數(shù)據(jù)擴(kuò)展轉(zhuǎn)換：可以對(duì)該轉(zhuǎn)換更改名稱和附加具體說明。端口：轉(zhuǎn)換組件大都包含轉(zhuǎn)換輸入端口和輸出端口以及特定的操作或表達(dá)式。屬性：該轉(zhuǎn)換組件的特定設(shè)置元數(shù)據(jù)擴(kuò)展：下邊以兩個(gè)實(shí)例來講解組件的使用4.2.1 實(shí)例一：聚合抽取從源到目標(biāo)，我們中間用聚合組件，對(duì)OWE_CHARGE進(jìn)行

9、SUM并按幾個(gè)維組來聚合，如下圖：從下圖我們可以看到該組件端口中字段屬包含：I、O、V、表達(dá)式、GroupBy等屬性，對(duì)于OWE_CHARGE字段我們僅設(shè)置輸入，創(chuàng)建自定義屬性端口SUM_OWE_CHARGE，其表達(dá)式為SUM(OWE_CHARGE),對(duì)于維度鍵勾選GroupBy，這樣實(shí)現(xiàn)了細(xì)粒度到粗粒度的聚合每種組件都有自己特定的屬性和特定的端口屬性，我們通過屬性設(shè)置或表達(dá)式來實(shí)現(xiàn)組件的特性，不同組件的搭配來完成整個(gè)Mapping的設(shè)計(jì)4.2.2 實(shí)例二：取TOP前三條記錄源表數(shù)據(jù)目標(biāo)：取Score1 TOP前3條記錄、和Score2 TOP前3條記錄實(shí)現(xiàn)：對(duì)源表分別用兩個(gè)Rank組件，Ra

10、nk組件有分組排序取前N或后N條記錄的功能，如下圖端口屬性如下：RankIndex 為自動(dòng)產(chǎn)生的Rownum,score1后的R表示以此排序組件屬性設(shè)置如下：top/bottom：取前或后Number Of Ranks：取多少位抽取結(jié)果：4.2.3 實(shí)例三：抽取XML源雇員DTD定義：設(shè)計(jì)如下：導(dǎo)入XML源結(jié)構(gòu)為源，通過SQ分別將雇員信息分解為雇員表，雇員電話，雇員郵件，雇員薪水，具體設(shè)計(jì)如下圖：4.3 WorkFlow的設(shè)計(jì)和使用4.3.1 創(chuàng)建Session在做完Mapping設(shè)計(jì)之后，我們要抽取數(shù)據(jù)，接下來的任務(wù)就是WorkFlow的設(shè)計(jì)，在WorkFlow設(shè)計(jì)器中，數(shù)據(jù)抽取的基本組件是

11、Session，Session是映射的一個(gè)具體實(shí)例，在創(chuàng)建一個(gè)Session時(shí)必須指定一個(gè)映射，并由這個(gè)Session決定了數(shù)據(jù)抽取的默認(rèn)源和目標(biāo)。我們打開WorkFlow設(shè)計(jì)工具，從工具上選擇，這樣我們就可以創(chuàng)建Session，從庫(kù)中選擇已經(jīng)設(shè)計(jì)好的Mapping，確定雙擊已經(jīng)創(chuàng)建好的Session，設(shè)置默認(rèn)的映射，源，以及目標(biāo)實(shí)例，例如在設(shè)計(jì)源的時(shí)候，我們的源是Oracle表結(jié)構(gòu)，在這里相應(yīng)的設(shè)置數(shù)據(jù)庫(kù)連接即可，如果源是文件，則要指定路徑和文件名，我們將源的Tracing Level設(shè)置為Normal， Tracing Level為數(shù)據(jù)抽取監(jiān)控日志的級(jí)別4.3.2 設(shè)計(jì)WorkFlow在完

12、成Session創(chuàng)建后，點(diǎn)擊設(shè)計(jì)工作流，工作流是對(duì)Session在抽取流程上的定制，通過事件、變量、定時(shí)器、判斷等一系列組件來實(shí)現(xiàn)。如下圖， 我們創(chuàng)建一個(gè)工作流，其中由啟動(dòng)連接到實(shí)例一中映射所實(shí)例的Session，這樣就實(shí)現(xiàn)了工作流接下來我們啟動(dòng)該WorkFlow從WorkFlow Monitor上可以看到動(dòng)行狀況并查看日志，至此，我們完成典型WorkFlow的開發(fā)，在WorkFlow中，對(duì)于可重用的部分，我們可以在中定義，關(guān)于更多的WorkFlow組件使用這里就不在細(xì)述。4.4 Repository ManagerRepositoryManager工具可以方便我們對(duì)知識(shí)庫(kù)的導(dǎo)入和平臺(tái)轉(zhuǎn)移，例如我們從Window