DataStage基礎(chǔ)培訓(xùn)教程

DataStage基礎(chǔ)培訓(xùn)

Jerry2006.03議程HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control2演示：HelloWorldExtractTransformLoan3HelloWorldDataStage

ComponentsDefineParameters&TablesHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control議程4DataStageArchitectureTarget(DatabaseorFile)ODBC/NativeDataStageConnectAPIDataStageServer(WinNT,Win2000orUNIX)ODBC/NativeDataSources(DatabaseorFile)DataStageConnectAPIDataStageConnectAPIDataStageConnectAPIDataflowDataflow5DataStageComponentsManager

DesignerDirectorMetadatacollectionandmanagement

DesignprocessflowRunjobs,checklogsandsetschedulesDataStageAdministratorCreate,Editprojects6HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control議程7全局變量與Job變量全局變量

--生命周期：整個(gè)Project --在Administrator中定義Job變量 --生命周期：一個(gè)Job --在Designer、Manager中定義8演示：定義一個(gè)Job變量在Designer中定義參數(shù)9Metadatadefinition元數(shù)據(jù)管理的重要組成部分在Manger或Design中定義演示： --importfromaflatfilein.txtformat --importfromanDBMStable10演示TableDefinition在Manage中定義Table11HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control議程12演示：生成事實(shí)表明細(xì)表事實(shí)表關(guān)聯(lián)聚合13HashFile用途： --左連接時(shí)用作副表

--多次被訪問(wèn)的數(shù)據(jù)集

--存儲(chǔ)其他臨時(shí)數(shù)據(jù)關(guān)鍵點(diǎn)：

--必須指定key --output的position必須與input一致

14Transformer用途： --提供豐富的運(yùn)算符和函數(shù)

--數(shù)據(jù)清洗、轉(zhuǎn)換

--關(guān)聯(lián)多個(gè)數(shù)據(jù)源關(guān)鍵點(diǎn)：

--副表的key必須被主表的某個(gè)字段關(guān)聯(lián)

--盡量避免兩個(gè)Transformer直接相連15Aggregator用途：

--Sum,Max,Min,Average等聚合函數(shù)

--一般用于生成事實(shí)表16HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control議程17DebugandTuningViewStatusandLogs -status,log,detail等多種視圖

-配合Monitor來(lái)查錯(cuò)、調(diào)優(yōu)18JobStatusNotCompiledCompiledResetRunningFinishedFinished(withwarning)Abort19ScheduleJobAddtoSchedule20HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control議程21AdministratorAddanewprojectModifyprojectproperties -字符集

-日志保留天數(shù)

-hashfileandwritecatchDefineenvironmentviable22ManagerImportandexportprojectsorjobs -兩種文件格式：.dsx.xml

-整個(gè)project,根據(jù)categoryTabledefinitionManageRoutine23演示：備份project24HelloWorldDataStage

ComponentsDefineParameter&TableHashFile、Transformer、AggregatorDirector&MonitorAdministrator&ManagerRoutine&Control議程25Routine一種自定義函數(shù)，使用VB