Informatica_PowerCenter培訓(xùn)教材ppt課件

1、Informatica PowerCenter 培訓(xùn)夏 凱2021-01SN：xiakaicdmsn 第一天產(chǎn)品體系引見產(chǎn)品安裝配置系統(tǒng)管理引見開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試INFA產(chǎn)品線INFA支持情況PowerCenter選件豐富的ETL功能 Real-Time 實時功能 Partitioning 分區(qū)功能 High Availability 高可靠性功能 Pushdown 功能 Enterprise Grid網(wǎng)格功能 Team-based Development 團隊開發(fā)功能 Metadata Exchange 元數(shù)據(jù)交換功能 Unstructured Data 非構(gòu)

2、造化數(shù)據(jù)功能 Visio 模板Mapping生成器功能 Data Federation 數(shù)據(jù)聯(lián)邦功能 Data Profiling 數(shù)據(jù)質(zhì)量探查功能 異構(gòu)數(shù)據(jù)源，異構(gòu)目的 實現(xiàn)多種緩慢變化維 全局變量及參數(shù)，參數(shù)文件 部分變量，前后記錄比較 條件匯總 異構(gòu)數(shù)據(jù)源關(guān)聯(lián) 行/列轉(zhuǎn)換 靜態(tài)、動態(tài)Lookup支持 ETL事務(wù)處置 自定義SQL Pre SQL和Post SQL 復(fù)用組件 復(fù)用Mapping 調(diào)用存儲過程 調(diào)用外部用戶自定義過程 可視化Debug 強大函數(shù)支持、豐富轉(zhuǎn)換言語 數(shù)據(jù)源為文件列表 Session Recovery 基于多目的表約束裝載 錯誤數(shù)量控制 FTP 源和FTP目的 E

3、TL義務(wù)分區(qū) 增量匯總 測試裝載 Bulk Loading External Loader (Oracle、DB2.) 復(fù)用Workflow 功能豐富的Workflow控制 義務(wù)串行、并行控制 基于時間、事件和指示文件觸發(fā) 義務(wù) Workflow中調(diào)用OS外部命令 Workflow中調(diào)用Email 多ETL Server協(xié)同任務(wù) Informatica 8INFA8系列產(chǎn)品功能情況Informatica PowerCenter運用架構(gòu)Informatica客戶端數(shù)據(jù)源ODBCNATIVE目的ODBCNATIVEDomainAdministrator ConsoleUNIX (AIX, HPUX

4、, Solaris, Linux) WindowsIntegration ServiceRepository Service-Repository AgentPowerCenter 效力端TCP/IPTCP/IPTCP/IPNATIVENATIVEPowerCenter Server和數(shù)據(jù)挪動數(shù)據(jù)源源數(shù)據(jù)目的已轉(zhuǎn)換數(shù)據(jù)資料庫PowerCenter Server來自元數(shù)據(jù)的指令PowerCenter Server、資料庫、源和目的之間的處置途徑PowerCenter產(chǎn)品組件效力端組件客戶端組件Informatica Service：PowerCenter效力引擎Integration Servi

5、ce：數(shù)據(jù)抽取、轉(zhuǎn)換、裝載效力引擎Repository Service：知識庫Service，管理ETL過程中產(chǎn)生的元數(shù)據(jù)Administratortion Console：用于知識庫的建立與維護Repository Manager：知識庫管理，包括平安性管理等Desinger：設(shè)計開發(fā)環(huán)境，定義源及目的數(shù)據(jù)構(gòu)造；設(shè)計轉(zhuǎn)換規(guī)那么，生成ETL映射Workflow Manager：合理地實現(xiàn)復(fù)雜的ETL任務(wù)流，基于時間、事件的作業(yè)調(diào)度Workflow Monitor：監(jiān)控Workflow和Session運轉(zhuǎn)情況，生成日志和報告第一天產(chǎn)品體系引見產(chǎn)品安裝配置系統(tǒng)管理引見開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試產(chǎn)品安

6、裝與樣例安裝產(chǎn)品安裝效力器安裝客戶端安裝詳見安裝手冊樣例安裝數(shù)據(jù)庫預(yù)備RDBU 資料庫數(shù)據(jù)庫SDBU 樣例源數(shù)據(jù)庫TDBU 樣例目的數(shù)據(jù)庫BDBU 樣例參考數(shù)據(jù)庫樣例數(shù)據(jù)預(yù)備樣例參考導(dǎo)入第一天產(chǎn)品體系引見產(chǎn)品安裝配置系統(tǒng)管理引見開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試系統(tǒng)管理Informatica Server管理localhost:6001Domain ManagerNode ManagerRepository Service ManagerIntegration Service ManagerLicense Manager資料庫內(nèi)容管理Repository ManagerFolder ManagerPri

7、vilege Manager第一天產(chǎn)品體系引見產(chǎn)品安裝配置系統(tǒng)管理引見開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試開發(fā)六大步驟表示圖S T ST WF M定義源定義目的創(chuàng)建映射定義義務(wù)創(chuàng)建任務(wù)流任務(wù)流調(diào)度監(jiān)控Designer: Workflow Manager: Workflow Monitor: 第一步：定義源引入源的類型 Relational database Flat file COBOL file XML object Application源分析器Informatica ServiceODBC Mapped DriveNFS MountingLocal DirectorySave Meta Data o

8、f Sources:OPB_SRCOPB_SRC_OPB_SRC_FLDOPB_SRC_FLD_第二步：定義目的引入目的的類型 Relational database Flat file COBOL file XML object Application目的分析器Save Meta Data of Targets:OPB_TARGOPB_TARG_OPB_TARG_FLDOPB_TARG_FLD_ODBC Mapped DriveNFS MountingLocal DirectoryInformatica Service第三步：創(chuàng)建映射目的源轉(zhuǎn)換組件第四步：定義義務(wù)Session Task任務(wù)

9、目錄Task任務(wù)區(qū)第五步：定義任務(wù)流第六步：任務(wù)流調(diào)度監(jiān)控第一天產(chǎn)品體系引見產(chǎn)品安裝配置系統(tǒng)管理引見開發(fā)六大步驟數(shù)據(jù)轉(zhuǎn)換調(diào)試數(shù)據(jù)轉(zhuǎn)換調(diào)試目的裝載情況經(jīng)過每個調(diào)試的數(shù)據(jù)流Flashingyellow SQLindicatorDebugger 方式Solid yellow arrow Current Transformationindicator調(diào)試日志組件引見Expression組件Filter與RouterJoiner與LookupAggregator組件Update Strategy組件 第二天組件列表Source Qualifier: 從數(shù)據(jù)源讀取數(shù)據(jù)Expression: 行級轉(zhuǎn)換 Fi

10、lter: 數(shù)據(jù)過濾Sorter: 數(shù)據(jù)排序 Aggregator: 聚合Joiner: 異構(gòu)數(shù)據(jù)關(guān)接銜接Lookup: 查詢銜接 Update Strategy: 對目的編輯 insert, update, delete, rejectRouter: 條件分發(fā)Sequence Generator: 序列號生成器組件列表Normalizer: 記錄規(guī)范化Rank: 對記錄進展TOPxUnion: 數(shù)據(jù)合并Transaction Control: 對裝載數(shù)據(jù)按條件進展事務(wù)控制Stored Procedure: 存儲過程組件 Custom: 用戶自定義組件: WWW組件Java: Java自編程組

11、件其它運用組件組件類型Passive組件流入流出組件的行數(shù)不發(fā)生變化例如：Expression、Lookup、HTTP組件Active組件流入流出組件的行數(shù)會發(fā)生變化例如：Aggregator、Router、Filter組件PA函數(shù)分類聚合函數(shù)字符串函數(shù)轉(zhuǎn)換函數(shù)數(shù)據(jù)清洗函數(shù)日期函數(shù)編碼函數(shù)財務(wù)函數(shù)數(shù)值函數(shù)數(shù)學(xué)函數(shù)特有函數(shù)判別函數(shù)用戶自定義函數(shù)函數(shù)列表組件引見Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件 第二天Expression組件組件功能基于行級的數(shù)據(jù)項賦值、修正、計

12、算在同行記錄中可新增、減少數(shù)據(jù)項組件類型Passive組件運用范圍數(shù)據(jù)類型轉(zhuǎn)換，例如Expression：to_date(Port1,yyyymmdd)數(shù)據(jù)項計算，例如Expression：(Port1+Port2)/Port3新增變量，例如Expression： i=i+1Expression組件當數(shù)據(jù)項為空時的默許值流入組件的數(shù)據(jù)項流出組件的數(shù)據(jù)項組件中定義的變量練習(xí)一：Expression組件描畫將原始客戶信息記錄轉(zhuǎn)換成合格規(guī)范的數(shù)據(jù)導(dǎo)入到暫存區(qū)。 源表：customer_east.txtcustomer_west.txtcustomer_central.txt目的：TDBU.STG_C

13、USTOMERS要點姓與名合并為姓名；號碼轉(zhuǎn)換成易讀格式的號碼，如：(466)766-283；性別轉(zhuǎn)換，將F 轉(zhuǎn)換成FEMALE、M 轉(zhuǎn)換成MALE、其它轉(zhuǎn)換成UNK；年齡分段，20 歲以下、2029、3039、4049、5060、60 歲以上；處理方案詳見m_LAB_01組件引見Expression組件Source Qualifier、Filter與RouterJoiner與LookupAggregator組件Update Strategy組件 第二天Source Qualifier、Filter組件組件功能對流入組件中的記錄數(shù)據(jù)進展過濾類似于關(guān)系型數(shù)據(jù)庫Where運用與Source Qua

14、lifier的過濾功能區(qū)別在執(zhí)行位置上組件類型Active組件運用范圍數(shù)據(jù)過濾Source Qualifier、Filter組件流入組件的數(shù)據(jù)項在日志中顯示詳細級別Source Qualifier組件中的過濾條件設(shè)置留意：在Source Qualifier中的User Defined Join、Source Filter、Number of Sorted Ports中定義了SQL條件，那么，在Sql Query中就不要在重寫相關(guān)的SQL條件，否那么，將不會生效。Router組件組件功能對流入組件中的記錄數(shù)據(jù)按照條件進展分發(fā)類似于Java言語中的Switch語句組件類型Active組件運用范圍數(shù)

15、據(jù)分發(fā)Router組件流入組件的數(shù)據(jù)項練習(xí)二描畫將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。 源表：TDBU.STG_CUSTOMERS目的：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU.STG_CUSTOMERS_UNK要點償試用Filter組件多種方法對目的進展裝載處理方案詳見m_LAB_02練習(xí)三描畫將暫存區(qū)的客戶信息按照性別分別導(dǎo)入到男、女、性別不明三張表內(nèi)。源表：TDBU.STG_CUSTOMERS目的：TDBU.STG_CUSTOMERS_FEMALETDBU.STG_CUSTOMERS_MALETDBU

16、.STG_CUSTOMERS_UNK要點運用Router組件對數(shù)據(jù)進展分發(fā)比較Filter與Router各種方法的運用特點、性能處理方案詳見m_LAB_03組件引見Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件 第二天Joiner組件組件功能對異構(gòu)數(shù)據(jù)進展關(guān)聯(lián)同構(gòu)關(guān)聯(lián)用Source Qualify組件類似于SQL 中的Join語句組件類型Active組件運用范圍2個異構(gòu)數(shù)據(jù)類型的表關(guān)聯(lián)同構(gòu)Joins與異構(gòu)Joins同構(gòu)Joins同種構(gòu)造數(shù)據(jù)Source Qualify組件

17、從源直接Joinsn個源可用1個SQ組件在源中先定義銜接關(guān)系異構(gòu)Joins不同DB或Flat與Flat之間Joiner組件在PowerCenter中Joinsn-1個Joiner組件在Joiner中定義銜接條件Joiner組件MasterDetailMaster SourceDetail SourceJoinerJoin ResultsJoin條件：Master.ProductID = Detail.ProductID Join條件Join類型流入組件的數(shù)據(jù)項MasterDetail=+MasterDetail=MasterDetail+=MasterDetail+練習(xí)四描畫將員工信息與員工工

18、資2個異構(gòu)表關(guān)聯(lián)后，將關(guān)結(jié)合果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout構(gòu)造Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txt Salary.txt 目的：TDBU.STG_EMPLOYEES要點用Joiner組件進展Mapping設(shè)計留意Master與Detail的設(shè)置選擇(關(guān)聯(lián)時建議將數(shù)據(jù)量少的設(shè)置為Master.)處理方案詳見m_LAB_04練習(xí)五描畫將員工信息與員工工資2個同構(gòu)表關(guān)聯(lián)后，將關(guān)結(jié)合果數(shù)據(jù)倒入到暫存區(qū)。源表：SDBU.EMPLOYEESSDBU.SALA

19、RY目的：TDBU.STG_ EMPLOYEES要點用Source Qualify組件進展Mapping設(shè)計留意關(guān)聯(lián)關(guān)系設(shè)置建議N個同構(gòu)數(shù)據(jù)源只需用1個Source Qualifier組件關(guān)聯(lián)，關(guān)聯(lián)時建議將在Source設(shè)計區(qū)將需求關(guān)聯(lián)的源表手工用連線關(guān)聯(lián)起來，在Mapping設(shè)計區(qū)刪除各個源所帶的Source Qualifier組件，用一個新的Source Qualifier組件包含一切源的字段內(nèi)容。處理方案詳見m_LAB_05Lookup組件組件功能對Flat File或數(shù)據(jù)庫根據(jù)關(guān)聯(lián)的條件進展查詢前往符合條件的值，否那么為空銜接關(guān)聯(lián)與非銜接關(guān)聯(lián)類似于SQL 中的Join語句組件類型Pas

20、sive組件運用范圍查詢文本文件的關(guān)聯(lián)數(shù)據(jù)查詢數(shù)據(jù)庫的關(guān)聯(lián)數(shù)據(jù)銜接Lookup與非銜接LookupLookup源Lookup組件查詢條件：ITEM_ID = IN_ITEM_ID PRICE = IN_PRICE流入值查詢輸出值流入值查詢到的值Lookup組件組件查詢條件：IIF(ISNULL(customer_id),:lkp.MYLOOKUP(order_no),customer_id)能否查詢 Y前往查詢到的值Lookup組件查詢的數(shù)據(jù)項，前往關(guān)聯(lián)的值 前往值練習(xí)六描畫將員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默以為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees

21、_layout構(gòu)造Employees_list.txt文件目錄Employees_east.txtEmployees_west.txtEmployees_central.txtSalary.txt目的：TDBU.STG_EMPLOYEES要點用銜接Lookup組件進展Mapping設(shè)計留意SalaryFlat File的設(shè)置處理方案詳見m_LAB_06練習(xí)七描畫將合格的員工信息去員工工資文本文件查詢員工工資信息，未查到的工資默以為0，最后將結(jié)果數(shù)據(jù)倒入到暫存區(qū)。源表：Employees_layout構(gòu)造Employees_list.txt文件目錄Employees_east.txtEmploy

22、ees_west.txtEmployees_central.txtSalary.txt目的：TDBU.STG_EMPLOYEES要點用非銜接Lookup組件進展Mapping設(shè)計留意SalaryFlat File的設(shè)置留意數(shù)據(jù)查詢的條件處理方案詳見m_LAB_07組件引見Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件 第二天Aggregator組件組件功能對數(shù)據(jù)集進展聚合聚合分有SUM、AVG、Count、Max、Min組件類型Active組件運用范圍分組匯總平均值、最大

23、值A(chǔ)ggregator組件Group By 選項變量和流出數(shù)據(jù)項的表達式Aggregator組件函數(shù)留意區(qū)別：SUM ( IN_count , IIF ( ID 20, IN_count) )將不符合條件的值默許賦值為nullIIF ( ID 20 , SUM ( IN_count ) )將不符合條件的值默許賦值為0Aggregator組件屬性參與Group By的字段能否經(jīng)過排序參與聚集匯總的變量和輸出數(shù)據(jù)項的表達式所占內(nèi)存參與Group By的字段所占用的內(nèi)存Aggregator組件排序的區(qū)別IDNAMEQUANTITY1北京1002上海803北京904江蘇905北京120IDNAMEQU

24、ANTITY1北京1003北京905北京1202上海904江蘇90按北京分組指針按北京分組指針不對流入到Aggregator組件的數(shù)據(jù)進展排序?qū)α魅氲紸ggregator組件的數(shù)據(jù)進展排序練習(xí)八描畫將采購清單按照數(shù)據(jù)倉庫星型設(shè)計原那么進展規(guī)范化存儲，對貨物庫存量、訂單量和貨物費用按照采購編號、貨物品名、代理商、訂單日期、接納日期和發(fā)貨日期進展匯總。源表：TDBU.STG_INVENTORY目的：TDBU.FACT_INVENTORYLOOKUP表：產(chǎn)品維表為DIM_PRODUCT日期維表為DIM_DATE 要點訂單文本文件與產(chǎn)品表的關(guān)聯(lián)匯總前排序分組匯總處理方案詳見m_LAB_08第二天組件引

25、見Expression組件Source Qualifier、 Filter與RouterJoiner與LookupAggregator組件Update Strategy組件 Update Strategy組件組件功能對流過組件的每一條記錄賦一個操作標志根據(jù)操作標志對目的關(guān)系型數(shù)據(jù)庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT組件類型Active組件運用范圍數(shù)據(jù)增量更新對目的編輯Update Strategy組件對記錄標志記錄是在當前丟棄還是到下個組件丟棄練習(xí)九描畫將暫存區(qū)的發(fā)生變卦了的員工信息倒入到員工維表中。 源表：TDBU.STG

26、_EMPLOYEES 目的：TDBU.DIM_EMPLOYEES要點運用Router組件對數(shù)據(jù)按不同要求進展編輯操作償試用一個Update Strategy組件完成上述功能處理方案詳見m_LAB_09第三天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例存儲過程實例行列轉(zhuǎn)換實例系統(tǒng)性能調(diào)優(yōu) 增量抽取實例實例描畫對流過組件的每一條記錄賦一個操作標志根據(jù)操作標志對目的關(guān)系型數(shù)據(jù)庫表生成SQL操作操作標志有DD_INSERT、DD_DELETE、DD_UPDATE、DD_REJECT處理方案全表比較方法時間戳方法詳見m_LAB_10字段緊縮比較PowerExchange第三天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例

27、存儲過程實例行列轉(zhuǎn)換實例系統(tǒng)性能調(diào)優(yōu) 參數(shù)與變量存在的三種方式系統(tǒng)級變量SYSDATE系統(tǒng)日期SESSSTARTTIMESESSION啟動時間$SessStartTime 前往Session啟動時間的字符串值Mapping級參數(shù)與變量SETMAXVARIABLE($Variable,value)設(shè)置最大值變量SETMINVARIABLE($Variable,value)設(shè)置最小值變量SETVARIABLE($Variable,value)設(shè)置變量值SETCOUNTVARIABLE($Variable)設(shè)置遞增、減變量文件級參數(shù)與變量固定格式Mapping參數(shù)與變量方式從Designer 中的M

28、appings/Mapplets 菜單中進展定義在相應(yīng)的Mapping或Mapplet中進展援用即可設(shè)置變量變化類型 初始值設(shè)置變量或參數(shù)稱號定義：$類型設(shè)置參數(shù)文件方式全局變量域級效力變量節(jié)點級效力處置變量Workflow級變量 優(yōu)先于前幾級定義的變量 參數(shù)文件設(shè)置Task參數(shù)文件設(shè)置Workflow參數(shù)文件設(shè)置參數(shù)文件的級別規(guī)那么GLOBALSERVICESERVICE PROCESSWORKFLOWSESSION運用范圍執(zhí)行優(yōu)先權(quán)高低低高Mapping與Workflow/Worklet之間進展變量傳送運用不同參數(shù)文件并行運轉(zhuǎn)同一個Workflow參數(shù)文件實例實例描畫對源文本文件名進展參數(shù)

29、化對源表名進展參數(shù)化對目的輸出文本文件名進展參數(shù)化對源與目的的數(shù)據(jù)庫銜接進展參數(shù)化對日志文件及途徑進展參數(shù)化處理方案詳見m_LAB_11本卷須知留意變量的命名規(guī)那么：特別是固定的前綴第三天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例存儲過程實例行列轉(zhuǎn)換實例系統(tǒng)性能調(diào)優(yōu) 斷點續(xù)傳實例實例描畫當在數(shù)據(jù)抽取時，因不測致使數(shù)據(jù)抽取發(fā)生中斷，重新啟動效力時仍可從斷點執(zhí)行數(shù)據(jù)抽取處理方案經(jīng)過表pm_recovery和PM_TGT_RUN_ID記載最近提交點的位置，當session失敗(或停頓)后可從斷點處接著裝載數(shù)據(jù)，在monitor中，recover task。在源表數(shù)據(jù)未發(fā)生變化的前提下詳見m_LAB_12監(jiān)

30、控腳本select * from pm_recovery ;select row_count from pm_recovery ;select * from PM_TGT_RUN_ID;select count(*) from SessionRecovery_Target ;truncate table SessionRecovery_Target ;斷點續(xù)傳實例第三天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例存儲過程實例行列轉(zhuǎn)換實例系統(tǒng)性能調(diào)優(yōu) 存儲過程實例實例描畫將原始客戶信息記錄轉(zhuǎn)換成合格規(guī)范的數(shù)據(jù)倒入到暫存區(qū)，轉(zhuǎn)換處置在存儲過程中完成 源表：customer_east.txtcustomer

31、_west.txtcustomer_central.txt目的：TDBU.STG_CUSTOMERS處理方案見存儲過程EMP_INFA_TRANSFORM詳見m_LAB_13第三天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例存儲過程實例行列轉(zhuǎn)換實例系統(tǒng)性能調(diào)優(yōu) 列行轉(zhuǎn)換實例實例描畫源數(shù)據(jù)一條記錄有多個字段格式一樣，經(jīng)過格式化，到目的生成多條記錄，并且只保管一個該格式字段。處理方案運用Normalizer組件，實現(xiàn)列/行轉(zhuǎn)變詳見m_LAB_14_1行列轉(zhuǎn)轉(zhuǎn)用Aggregator組件實現(xiàn)，詳見m_LAB_14_2第三天增量抽取實例參數(shù)文件控制斷點續(xù)傳實例存儲過程實例行列轉(zhuǎn)換實例系統(tǒng)性能調(diào)優(yōu) 瓶頸類型Source瓶頸Target瓶頸Mapping瓶頸Session瓶頸System瓶頸Source調(diào)優(yōu)源為文本