DAC使用技能培訓(xùn)

1、1DAC培訓(xùn)吉貝克信息技術(shù)吉貝克信息技術(shù)(廣州廣州)有限公司有限公司2012年年4月月2培訓(xùn)大綱培訓(xùn)大綱 什么是DAC DAC用戶界面 DAC框架結(jié)構(gòu) 如何部署Informatica Workflow 其他功能 調(diào)度設(shè)計(jì)與監(jiān)控 1 2 3 4 5 63 Data WarehouseData Warehouse Administration Administration Console(DAC)Console(DAC)，它是，它是Oracle Business Analytics Warehouse Oracle Business Analytics Warehouse architecture

2、architecture中的一部分（如下圖）。中的一部分（如下圖）。 什么是DAC4 什么是DAC5 它主要用來(lái)管理Informatica中的ETL過(guò)程，也就是我們?cè)贗nformatica中設(shè)計(jì)的workflow，包括workflow的執(zhí)行計(jì)劃，全自動(dòng)的控制Full Load和Increment Load，workflow的參數(shù)管理，控制ETL的優(yōu)先順序和負(fù)載平衡，也可以從工作流的失敗點(diǎn)重新啟動(dòng)等。 同時(shí)也對(duì)九據(jù)分析倉(cāng)庫(kù)進(jìn)行管理，主要是對(duì)表表和索引進(jìn)行定義，部署和管理，并且監(jiān)控?cái)?shù)據(jù)的變化。Informatica的運(yùn)行需要DAC的支持，通過(guò)DAC簡(jiǎn)單方便的用戶界面，我們可以很容易的控制ETL的一

3、個(gè)流程，并可以快速的找出和解決錯(cuò)誤。 下面簡(jiǎn)單介紹DAC界面操作和基本管理方法。什么是DAC6 DACDAC用戶界面用戶界面安裝好DAC后，使用Administrator/Administrator登陸系統(tǒng)，可以看到如下界面。7DACDAC用戶界面用戶界面切換到Desgin界面，我們可以在這里做主要的DAC設(shè)計(jì)，主要是對(duì)Task,Subject,Areas,Tables等操作8SetupSetup界面界面切換到Setup界面，我們可以對(duì)DAC的相關(guān)信息進(jìn)行設(shè)置，主要包括DAC System Properties,Informatica Serversm,Physical Data Soures

4、,Email Recipients的配置。9ExecuteExecute界面界面提供創(chuàng)建，調(diào)度，運(yùn)行和監(jiān)督執(zhí)行計(jì)劃。10 Informatica Workflow需要部署在DAC上，通過(guò)DAC來(lái)統(tǒng)一創(chuàng)建、調(diào)度和監(jiān)控執(zhí)行計(jì)劃。在DAC內(nèi)部的核心是Table,基于Table再創(chuàng)建Task,Task Group ,基于Table會(huì)自動(dòng)生成包含相關(guān)Task的Subject Areas。 Subject Areas是針對(duì)某相關(guān)主題所創(chuàng)建的，比如財(cái)務(wù)應(yīng)收模塊，財(cái)務(wù)總賬模塊，這里面包含模塊里對(duì)應(yīng)的ETL過(guò)程。 Execution Plans將各個(gè)小模塊的主題(Subject Area)組合成一個(gè)執(zhí)行計(jì)劃。應(yīng)

5、收和總賬都屬于財(cái)務(wù)模塊，我們將些主題加入財(cái)務(wù)執(zhí)行計(jì)劃(如：Oracle R1211 Fin）中統(tǒng)一進(jìn)行調(diào)度。 Schedules是針對(duì)一個(gè)Execution Plans創(chuàng)建Schedule，設(shè)置該執(zhí)行計(jì)劃的運(yùn)行周期，如按天，按月，按季度等，并可以設(shè)置起始結(jié)束日期。DACDAC框架結(jié)構(gòu)框架結(jié)構(gòu)11DACDAC框架結(jié)構(gòu)框架結(jié)構(gòu)如圖所示為DAC主要對(duì)象的框架圖：12如何部署如何部署Informatica WorkflowInformatica Workflow下面介紹如何部署一個(gè)Infomatica的workflow到DAC中并進(jìn)行自動(dòng)控制?；静襟E如下圖所示：13 Setup-Setup-配置基本

6、信息配置基本信息使用Administrator/Administrator登陸系統(tǒng)，轉(zhuǎn)到Setup,配置相關(guān)信息：配置DAC System Properties:14 Setup-Setup-配置基本信息配置基本信息配置Informatica Servers,創(chuàng)建Informatica和Repository,填入Informatica相關(guān)信息:15 Setup-Setup-配置基本信息配置基本信息配置Physical Data Source,創(chuàng)建源系統(tǒng)連接(ORA_R1211)和分析數(shù)據(jù)庫(kù)的連接(Datawarehouse):16Tools-創(chuàng)建Folder通過(guò)Tools-Seed Data-

7、Task Logical Folder,.建兩個(gè)邏輯文件夾(Cux_Extract和Cux_Load)17DACDAC框架結(jié)構(gòu)框架結(jié)構(gòu)通過(guò)Tools-Seed Data-Task Physical Folders,創(chuàng)建兩個(gè)物理文件夾(Cux_SDE_ORAR1211_Adaptor和Cux_SILOS)。注：這里的文件名應(yīng)該與Informatica中的文件夾名稱一致18 File-創(chuàng)建Container通過(guò)File - New Source System Container,輸入有意義的名稱19 Design-創(chuàng)建Source System Folders通過(guò)Design-Source Sys

8、tem Folders創(chuàng)建邏輯文件夾與物理文件夾的關(guān)系：20 Design-引入表，索引，列通過(guò)Design-Tables,右鍵選擇Import From Database,引入表：以同樣的方式引入索引;為Target Table引入columns;21 Design-引入表，索引，列注：有時(shí)候引入的時(shí)候不能讀取到Table的信息，可以使用以下語(yǔ)句重新收集表信息和索引信息。22通過(guò)Design-Tasks添加Task。 Command for Incremental Load:增量加載，對(duì)應(yīng)的是informatica中增量加載的workflow名稱； Cmmand for Full Load:

9、完全加載,對(duì)應(yīng)的是Informatica中完全加載的workflow名稱； 其他選擇對(duì)應(yīng)的信息即可； 選擇完后點(diǎn)擊右鍵-Synchronize tasks.同步任務(wù)，相應(yīng)的source table和target table被同步到任務(wù)中。Design-添加Task23 Design-添加Task24 Design-添加Task如果所添加的任務(wù).SDE(Source Dependent Extract)過(guò)程,勾上Truncate Always25 Design-添加Task如果所添加的任務(wù).SIL(Source Independent Load)過(guò)程,勾上Truncate For Full Lo

10、ad26 Design-S添加Subject Area通過(guò)Design-Subject Areas創(chuàng)建主題，輸入名稱后保存，轉(zhuǎn)向下面界面的Table,將這個(gè)主題所涉及的table都添加到Subject Area27 Design-S添加Subject Area引入表過(guò)后，右鍵選擇Assemble,系統(tǒng)會(huì)根據(jù)提供的table信息將相關(guān)的Task自動(dòng)加入到該Subject Area中28 Design-添加Source System Parameter通過(guò)Design-Parameters可以管理在mapping中使用的參數(shù)值；比如說(shuō)增量抽取中用到的$Last_Extract_Date以及$DAT

11、ASOURCE_NUM_ID等。29 Execute-添加Execution Plans 通過(guò)Execute-Execute Plans創(chuàng)建新的執(zhí)行計(jì)劃； 如果在Informatica中的數(shù)據(jù)插入使用的batch mode，則需要把Drop/Create Indices勾上，在ETL過(guò)程之前自動(dòng)刪除索引，在ETL過(guò)后自動(dòng)創(chuàng)建索引。30 Execute-添加Execution Plans 通過(guò)Execute Plans轉(zhuǎn)到Subject Areas,添加需要執(zhí)行的主題； 通過(guò)Execute Plans轉(zhuǎn)到Parameters，點(diǎn)擊Generate,自動(dòng)生成下面的參數(shù)，并且給參數(shù)指定對(duì)應(yīng)的值：31

12、 Execute-添加Scheduler 通過(guò)Execute-Scheduler，創(chuàng)建執(zhí)行計(jì)劃的調(diào)度管理任務(wù)，具體根據(jù)自己的業(yè)務(wù)需求而定。這樣一個(gè)完整的Informatica Workflow就部署好了。在Run History中可以看到運(yùn)行的歷史情況。32 查看運(yùn)行歷史錯(cuò)誤 將Subject Areas添加到Scheduler后，需要定時(shí)檢查運(yùn)行情況，有可能出現(xiàn)一些錯(cuò)誤。 轉(zhuǎn)到Task的Tab界面，篩選出不同類別的Task,根據(jù)Details可以判斷錯(cuò)誤的來(lái)源。查看更詳細(xì)的運(yùn)行信息可以通赤Informatica Monitor來(lái)查看每個(gè)Session的日志。33 查看運(yùn)行歷史錯(cuò)誤找到對(duì)應(yīng)的W

13、orkflow中失敗的session,可以看到錯(cuò)誤的原因。34 查看運(yùn)行歷史錯(cuò)誤 如果要追蹤Informatica中每條數(shù)據(jù)的詳細(xì)信息，可以在workflow中將Tracing Level改為Verbose Data,運(yùn)行后可以在$InformaticaHomeserverinfa_sharedSessLogs中查看具體的日志信息。35 查看運(yùn)行統(tǒng)計(jì)信息 通過(guò)查看Run History，點(diǎn)擊右鍵Get Run History,查看此執(zhí)行計(jì)劃的運(yùn)行情況，可以根據(jù)情況來(lái)做一些調(diào)整。36 有關(guān)DAC配置分區(qū)表 在數(shù)據(jù)倉(cāng)庫(kù)中，當(dāng)一張表的數(shù)據(jù)量超過(guò)1000W，則建議使用分區(qū)表，分區(qū)可以按照年，季度，月來(lái)

14、分區(qū)，在BI APPS中建議一下數(shù)據(jù)表進(jìn)行分區(qū)：37 有關(guān)DAC配置分區(qū)表1、 創(chuàng)建分區(qū)表create table W_WRKFC_EVT_MONTH_F partition by range (EVENT_YEAR).2、 創(chuàng)建系統(tǒng)參數(shù)(system parameter)38 有關(guān)DAC配置分區(qū)表3、 創(chuàng)建Index Actions,使用定義好的parameter39 有關(guān)DAC配置分區(qū)表4、 創(chuàng)建Table Actions,使用定義好的parameter(同上)5、 找到對(duì)應(yīng)的index，添加actions6、找到對(duì)應(yīng)的table,添加actions(主要是重新收集表索引信息) 7、在workflow relation connection中的OLAP加入以下SQLAlter session set skip_unusable_indexes=true;具體的操作步.可以參考官方文.Oracle. Business Intelligence Applications Fusion Edition Installation and Configuration GuideE12083-0140 調(diào)度監(jiān)控與設(shè)計(jì)調(diào)度監(jiān)控與設(shè)計(jì)1. Workflows命名規(guī)范化2. Workflo