全時(shí)bo培訓(xùn)視屏-etl工具手冊(cè)編寫(xiě)

JasperETL工具說(shuō)主題：ETL抽取工具項(xiàng)目名稱：ETL抽取工具撰寫(xiě)單位：海鼎作者：勝版本號(hào)：0.1勝文檔名（JasperETL工具說(shuō)明背景ETL作業(yè)能夠在客戶環(huán)境中正常的運(yùn)行。ETL工具搭建好后,ETLETL常用功能和控一．ETL工具安二.ETL工程的導(dǎo)入和導(dǎo)ETL此處默認(rèn)的工程名為HD_ETLETL三.ETL工程的配BusDatabase0.1:業(yè)務(wù)庫(kù)（POS4數(shù)據(jù)庫(kù)）DW20.1:BI的HDBI用戶的數(shù)據(jù)庫(kù)DWDatebase0.1:BIdatatrans用戶的數(shù)據(jù)庫(kù)Src_cardnormal0.1:card的普通用戶數(shù)據(jù)庫(kù)Src_cardsecure0.1:card的機(jī)要用戶數(shù)據(jù)庫(kù)【：IDDBOracleETL進(jìn)入DIM_ETL_First1.0檢查錯(cuò)誤信息存放的excel文件夾在應(yīng)用服務(wù)器上是否存在（E:ETL/EDIL/EL_EO.xsETLPLSQLDATATRANS用戶登錄HDBI數(shù)據(jù)庫(kù),更新下面的內(nèi)容：2014/7/62014/7/5，insertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'cardhst','已完成',sysdate,'抽取卡流水信息成功');insertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'INVDRPT','已完成',sysdate,'抽取庫(kù)存日?qǐng)?bào)成功');insertintoETL_INC_LOGvalues(to_date('2014/7/5'yyyy.mm.dd''SDRPTS',',sysdate,sdrptsdrptinsertintoETL_INC_LOGvalues(to_date('2014/7/5'yyyy.mm.dd''BUYSsysdate,BUYinsertintoETL_INC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'BUSBILL','已完成',sysdate,'抽取供應(yīng)鏈表單成功');insertintoETL_procFAC_LOG','yyyy.mm.dd'),'APPLYCHAIN','已完成',sysdate,'加工庫(kù)存成功 'PAC_CARDSALE_DAY','已完成',sysdate,'加工會(huì)員成功');insertintoETL_procFAC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),'INVDRPT',已完成',sysdate,'加工庫(kù)存成功insertintoETL_procFAC_LOGvalues(to_date('2014/7/5','yyyy.mm.dd'),SALE',成',sysdate,'加工銷售成功');BIBIHDBIhdbivalues配置表，用于配置各類基本資料的分級(jí)代select*fromhdbi.hdbivaluesforupdate;ETL在數(shù)據(jù)庫(kù)中可以編譯DIV_ETLDIM_CARDNORMAL1.0抽取card基本資料DIM_ETL_GOODS1.0ETL_DIM_STORE1.0：抽取門(mén)店基本資料FAC_APPLYCHAIN0.1：抽取供應(yīng)鏈資料FAC_CARDNORMAL0.1：抽取card資料ETL_FAC_INVDRPT0.1：抽取庫(kù)存資料ETL_FAC_INV0.1：抽取庫(kù)存月報(bào)資料ETL_FAC_XS2.0：抽取銷售資料ETL_APPLYCHAIN0.1供應(yīng)鏈資料加載ETL_CARDPRO0.1ETL_INVPRO0.1ETL_PRO0.1 datatrans6庫(kù)，檢查hdbi_log表里面是否有邏輯報(bào)Select*from郵件的配郵件的推送人員郵箱，并在sendername和subject中增加客戶名稱。檢查excel對(duì)應(yīng)的文件 四．定時(shí)調(diào)度HD安裝包\HDETLETLpycron-0.5.9.0.exeETL參考 打開(kāi)要調(diào)度的作業(yè),選中【Scheduler[deprecated]】里面的【+】,選中要調(diào)度的任務(wù),ETL_CARDPRO0.1【Scheduler[deprecated],ShowviewScheduler[deprecated]】調(diào)度口令為：*****E:/ETL/TOS_DI-Win32-r78327-V5.0.2/jre/bin/java.exe-Xms256M- E:/ETL/TOS_DI-Win32-r78327-V5.0.2/jre/bin/java.exe將-Xms256M etl_hd.etl_cardpro_0_1.ETL_CARDPRO--context=Default%*里面的TOS_DI-Win32-r78327-Minute：設(shè)置分鐘*5,656分鐘執(zhí)pycron.log，如果作業(yè)完成的rc=0，表示運(yùn)行正確，rc=1表示運(yùn)行錯(cuò)誤rc1的情況下，要查看錯(cuò)誤日志里面記錄的錯(cuò)誤注意：不管是按照I的方法，還是II的方法,都必須將TOS_DI-Win32-r78327-V5.0.2文件夾下面的workspace一份到與TOS_DI-Win32-r78327-V5.0.2在同級(jí) 批量調(diào)度任3處地方需要調(diào)整：crontab.txt在標(biāo)準(zhǔn)環(huán)境：C:\ProgramFiles\pycron以一個(gè)客戶的門(mén)店基礎(chǔ)數(shù)據(jù)調(diào)度任務(wù)為例（已經(jīng)將TOS_DI-Win32-r78327-V5.0.2/去掉）調(diào)度任務(wù)為：*****D:/Java/jre6/bin/java.exe-Xms256M-Xmx1024M-Dfile.encoding=GBK- qdyk_etl.etl_dim_store_1_0.ETL_DIM_STORE--context=Default%*java（java存放的地址會(huì)有所不同java地址替換所有java地址用D:/Java/jre6/bin/java.exe替換方框中所有內(nèi)容 （ 用D:/etl_tool替換圖中方框中的所有內(nèi)容（qdyk_etl替換掉圖中畫(huà)線的所有內(nèi)容注意：不管是按照I的方法，還是II的方法,都必須將TOS_DI-Win32-r78327-V5.0.2文件夾下面的workspace一份到與TOS_DI-Win32-r78327-V5.0.2在同級(jí) 五.ETL常用功能和控【：IDJOB庫(kù)中創(chuàng)建好Schema注意：數(shù)據(jù)如果是DEC類型的字段,精度會(huì)丟失,配置的時(shí)候把精度加通過(guò)etl軟件的SchemaSchemaSchema”,可以把業(yè)務(wù)庫(kù)的字段傳遞過(guò)控件都在屏幕右邊的畫(huà)板中,這里介紹常見(jiàn)的控件tOracleInputtOracleInputschema中,tOracleInputtOracleOutput或tFileOutputExcel一起用tOracleOutput例如上面的將AREA表數(shù)據(jù)抽取結(jié)束轉(zhuǎn)到BRAND表的抽取,就用到了觸發(fā)器,一般觸發(fā)器我tOracleRowtOracleRow控件用來(lái)進(jìn)行對(duì)表的增刪改查的操作,也可以進(jìn)行過(guò)程操作，過(guò)程可以tfileOutputExcelexcelexcel存放的地址，文件名以及數(shù)據(jù)的存放tfileoutputexcel文件,tOracleInput一起連用,ETL_INC_LOGE:/ETL/SENDMAIL/ETL_INC_LOG.xlsETL_INC_LOG.xlstLogCatcher是用來(lái)捕獲tOracleRow,tOracleOutput,tContextLoad, dMail等控件在運(yùn)行中產(chǎn)生的錯(cuò)誤信息,一般和tFileOutExcel文件一起用,以便將所得信息存放在excel當(dāng)中注意：tOracleRow,tOracleOutput,tContextLoad,dMail控件的【錯(cuò)誤時(shí)終止】必須勾上,否dMail將在excel當(dāng)中的內(nèi)容通過(guò)郵件發(fā)送出tContextLoadtLoop控件（循環(huán)語(yǔ)句的使用select'lastday'key,to_char(max(fildate)+1,'yyyy-mm-dd')value