工作automaiton開發(fā)學(xué)習(xí)spdb edw automation說明

1、上海浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫項目ETL Automation說明文檔二二一年二月( 版本號 1.0 )本文檔及其里面所包含的為材料并且由 SPDB/NCR 共同擁有。都不得以任何本文檔中的進(jìn)行與傳播。SPDB/NCR，不得將材料泄露給第Copyright 2005 SPDB/NCR保留所有的權(quán)利。浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔目錄說明文檔1第一章 前言第二章 AUTOMATION體系架構(gòu)第三章 ETL環(huán)境部署3.1 AUTOMATION服務(wù)器架構(gòu)3.2 AUTOMATION任務(wù)部署3.3 ETL子系統(tǒng)3.4 ETL任務(wù)及依賴觸發(fā). 第四章 ETL流程設(shè)計4.1 S

2、A數(shù)據(jù)加載流程4.1.1 流程概述4.1.2 流程設(shè)計4.1.2.14.1.2.24.1.2.3接口設(shè)計_鏡像方式接口設(shè)計_文件方式接口任務(wù)說明4.2 PDM數(shù)據(jù)加載轉(zhuǎn)換流程4.3 應(yīng)用加載轉(zhuǎn)換流程4.4 備份流程第五章 ETL維護(hù)說明5.1 日常5.1.15.1.2.內(nèi)容與管理工具5.2 異常問題與處理5.3 附加程序說明第六章 AUTOMATION集成DATASTAGE說明6.1 體系架構(gòu)SPDB/NCR材料I浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔6.2 調(diào)用相關(guān)技術(shù)說明6.2.1 Automation調(diào)度6.2.2 DataStage命令行接口6.2.3 DataSt

3、age調(diào)用環(huán)境說明6.3 調(diào)用邏輯詳細(xì)設(shè)計6.3.1 數(shù)據(jù)庫連接方式的DataStage任務(wù)調(diào)用6.3.2 文本方式的DataStage任務(wù)調(diào)用6.4 DATASTAGE集成用例6.5 DATASTAGE集成問題與解決.6.5.1 DataStage JOB連接數(shù)據(jù)庫超時6.5.2 DataStage JOB始終處于Running狀態(tài)SPDB/NCR材料II浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔第一章 前言ETLAutotmaionETL本文檔詳細(xì)闡述了架構(gòu)和流程設(shè)計，以及Automation 維護(hù)操作說明。SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automatio

4、n 說明文檔第二章 Automation 體系架構(gòu)體系架構(gòu)描述：數(shù)據(jù)架構(gòu)描述：SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔從上圖可以看到目前加載步驟和數(shù)據(jù)：數(shù)據(jù)處理過程：源數(shù)據(jù)源數(shù)據(jù)提供方式為匯聚平臺鏡像或數(shù)據(jù)文本nn鏡像方式：匯聚平臺總控生成當(dāng)日數(shù)據(jù)庫鏡像文本方式：導(dǎo)出文本上傳到指定目錄SA 加載Automation 調(diào)用 DataStageJOB 完成 Stage Area 區(qū)的數(shù)據(jù)加載PDM 轉(zhuǎn)換Automation 調(diào)用 PDM 轉(zhuǎn)換任務(wù)完成從 SA 到 PDM 的數(shù)據(jù)轉(zhuǎn)換，PDM 和 EDW PDM，在目前流程中，POC PDM 優(yōu)先。應(yīng)用轉(zhuǎn)換POCA

5、utomation 調(diào)用應(yīng)用轉(zhuǎn)換任務(wù)完成從 PDM 到應(yīng)用的數(shù)據(jù)轉(zhuǎn)換，CIM、POC APL、EDW POC 應(yīng)用遷移、EDW 1104。數(shù)據(jù)質(zhì)量檢查EDWAutomation 調(diào)用 DQC 數(shù)據(jù)質(zhì)量檢查任務(wù)完成對 PDM 的數(shù)據(jù)質(zhì)量檢查數(shù)據(jù)備份Automation調(diào)用增量任務(wù)對 SA 進(jìn)行備份，每周調(diào)用全備任務(wù)對SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔Teradata 數(shù)據(jù)庫進(jìn)行全備。數(shù)據(jù)庫結(jié)構(gòu)：SDATA存放 Stage Area 數(shù)據(jù)DW_HDATA存放傳票文件歷史數(shù)據(jù)PDATA存放 POC PDM 數(shù)據(jù)PAPPL存放 POC 應(yīng)用數(shù)據(jù)PTEMP存放

6、POC 轉(zhuǎn)換臨時數(shù)據(jù)DBVIEW存放 POC PDM/PAPPL 的視圖DW_PDATA存放 EDW PDM 數(shù)據(jù)DW_PTEMP存放 EDW PDM 轉(zhuǎn)換臨時數(shù)據(jù)DW_PVIEW存放 EDW PDM 視圖DW_PAPPL存放 POC 應(yīng)用遷移（基于 EDW）相關(guān)數(shù)據(jù)DW_MDATA存放數(shù)據(jù)集市（1104）DW_CIMVIEW存放 CIM 視圖DW_DBVIEW存放 POC 應(yīng)用遷移數(shù)據(jù)DW_DQC存放數(shù)據(jù)質(zhì)量檢查結(jié)果DW_DQCVIEWSPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔存放 DQC 視圖SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automati

7、on 說明文檔第三章 ETL 環(huán)境部署3.1 Automation 服務(wù)器架構(gòu)3.2 Automation 任務(wù)部署SPDB/NCR材料服務(wù)器網(wǎng)絡(luò)位置運行任務(wù)備份任務(wù)SPDBETL1TeraData ETL 總調(diào)度服務(wù)器機(jī)柜位置：26 號機(jī)柜IP:10.100.189.221機(jī)器名：SPDB-ETL-01PDM（基礎(chǔ)數(shù)據(jù)轉(zhuǎn)換任務(wù), POC 和 EDW）APL（POC 應(yīng)用任務(wù)） BAK（備份任務(wù)） CIM（CIM 應(yīng)用任務(wù)）CTR（系統(tǒng)任務(wù)） CBS(系統(tǒng) SA 加載任務(wù)) CL4(績效系統(tǒng) SA 加載任務(wù)) CCS(呼叫中心 SA 加載任務(wù)) DZC(單證系統(tǒng) SA 加載任務(wù)) EPY(網(wǎng)銀

8、系統(tǒng) SA 加載任務(wù)) FAR(SA 加載任務(wù)) FUN(通 SA 加載任務(wù))浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔SPDB/NCR材料INK(支付網(wǎng)關(guān) SA 加載任務(wù)) IPP(前置系統(tǒng) SA 加載任務(wù)) PEN(企業(yè)年金 SA 加載任務(wù)) RMC(風(fēng)險系統(tǒng) SA 加載任務(wù)) RMP(個貸系統(tǒng) SA 加載任務(wù)) SFI(SAP FI 系統(tǒng) SA 加載任務(wù)) STR(SAP TR 系統(tǒng)SA 加載任務(wù)) SHR(SAP HR 系統(tǒng) SA 加載任務(wù))SPA(SAP PA 系統(tǒng) SA 加載任務(wù)) 114（1104 應(yīng)用任務(wù)） APL（EDW POC 遷移應(yīng)用任務(wù)）SPDBETL2D

9、atastage ETL 調(diào)度服務(wù)器機(jī)柜位置：30 號機(jī)柜IP:10.100.189.99機(jī)器名：SPDB-ETL-03CTR（系統(tǒng)任務(wù)） CBS(系統(tǒng) SA 加載任務(wù)) CL4(績效系統(tǒng) SA 加載任務(wù)) CCS(呼叫中心 SA 加載任務(wù)) DZC(單證系統(tǒng) SA 加載任務(wù)) EPY(網(wǎng)銀系統(tǒng) SA 加載任務(wù)) FAR(SA 加載任務(wù)) FUN(通 SA 加載任務(wù)) INK(支付網(wǎng)關(guān) SA 加載任務(wù)) IPP(前置系統(tǒng) SA 加載任務(wù)) PEN(企業(yè)年金 SA 加載任務(wù)) RMC(風(fēng)險系統(tǒng) SA 加載任務(wù)) RMP(個貸系統(tǒng) SA 加載任務(wù))SFI(SAP FI 系統(tǒng) SA 加載任務(wù)) ST

10、R(SAP TR 系統(tǒng) SA 加載任務(wù))SHR(SAP HR 系統(tǒng) SA 加載任PDM（基礎(chǔ)數(shù)據(jù)轉(zhuǎn)換任務(wù), POC 和 EDW）APL（POC 應(yīng)用任務(wù)） BAK（備份任務(wù)） CIM（CIM 應(yīng)用任務(wù)）浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔ETLAutomation 采機(jī)方式保證其中一臺發(fā)生異常時能夠正常運行流程，SPDBETL1 與 SPDBETL2 互為。3.3 ETL 子系統(tǒng)為了更好地管理 ETL 任務(wù)，我們把性質(zhì)相同的任務(wù)歸類，稱其為 ETL 子系統(tǒng)。日常數(shù)據(jù)加載的任務(wù)分為數(shù)據(jù)抽取加載和數(shù)據(jù)轉(zhuǎn)換兩大部分。數(shù)據(jù)抽取加載任務(wù)是將源數(shù)據(jù)通過 DataStage 抽取到目標(biāo)

11、數(shù)據(jù)庫的臨時數(shù)據(jù)，它們是以源數(shù)據(jù)為中心的，我們可以把相同數(shù)據(jù)源的任務(wù)一個 ETL子系統(tǒng)。的數(shù)據(jù)轉(zhuǎn)換并放入SPDB 的 PDM 數(shù)據(jù)數(shù)據(jù)轉(zhuǎn)換任務(wù)是將臨時數(shù)據(jù)庫中，也把 PDM 數(shù)據(jù)庫中的數(shù)據(jù)轉(zhuǎn)換到 SPDB 的應(yīng)用數(shù)據(jù)庫。，增加一個 ETL 子系統(tǒng)，它的任務(wù)用來實現(xiàn)為了與匯聚平臺進(jìn)行交互接口的作用。ETL 子系統(tǒng)的列表：SPDB/NCR材料ETL 子系統(tǒng)名描述CTR系統(tǒng)接口AIP個貸資產(chǎn)保全系統(tǒng)CBS系統(tǒng)CL4績效考核系統(tǒng)CCS呼叫中心系統(tǒng)DZC單證系統(tǒng)務(wù))SPA(SAP PA 系統(tǒng) SA 加載任務(wù))114（1104 應(yīng)用任務(wù)） APL（EDW POC 遷移應(yīng)用任務(wù)）SPDBETL3CIM OL

12、AP 服務(wù)器IP:10.100.181.54機(jī)器名：SPDB-OLAP-01APL（Cube 任務(wù)）浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔3.4 ETL 任務(wù)及依賴觸發(fā)以下文檔對目前 Automation 任務(wù)及依賴觸發(fā) SA 任務(wù)進(jìn)行了描述：D:SPDB-SDATA任務(wù)定義 EDWPDM 任務(wù)D:SPDB-PDATA任務(wù)定義 EDW APL 任務(wù)D:SPDB-POC應(yīng)用遷移定 CIM 任務(wù)D:SPDB-CIM任務(wù)定義及SPDB/NCR材料EPY支付網(wǎng)統(tǒng)FARFUN通INK網(wǎng)銀系統(tǒng)IPP前置系統(tǒng)PEN企業(yè)年金系統(tǒng)RMC對公風(fēng)險系統(tǒng)RMP個貸系統(tǒng)SFISAP-FI 系統(tǒng)STRS

13、AP-TR 系統(tǒng)SHRSAP-HR 系統(tǒng)SPASAP-PA 系統(tǒng)PDMPDM 數(shù)據(jù)轉(zhuǎn)換（EDW、POC）PREPDM 預(yù)處理APL應(yīng)用數(shù)據(jù)轉(zhuǎn)換CIMCIM 應(yīng)用1141104 應(yīng)用BAK備份浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔 1104 任務(wù)D:SPDB-1104任務(wù)定義 DQC 任務(wù)D:SPDB-DQC任務(wù)定義及POC PDM 任務(wù)POC APL 任務(wù)SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔第四章 ETL 流程設(shè)計整個 ETL 過程都是通過 DW Automation 來實現(xiàn)統(tǒng)一的流程化調(diào)度和運行管理。目前的整體流程圖如下：注：目前

14、POC 仍處于整體 ETL 流程中，POC 應(yīng)用遷移完成將去除。后，POC4.1 SA 數(shù)據(jù)加載流程4.1.1 流程概述SA 數(shù)據(jù)加載流程分為正常流程和應(yīng)急流程兩種方式，保證 SA 數(shù)據(jù)在正常流程加載發(fā)生異常時能夠及時更換加載流程順利進(jìn)行數(shù)據(jù)加載。正常流程即采用首選鏡像方式 SA 加載任務(wù)，應(yīng)急流程即采用備選文本方式 SA 加載任務(wù)，目前有部分由于沒有鏡像方式，在正常流程中采用備選文本方式。目前提供數(shù)據(jù)的方式如下：SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔整體流程圖如下：SPDB/NCR材料系統(tǒng)系統(tǒng)名稱加載方式目前方式提供時點AIP個貸資產(chǎn)保全系統(tǒng)鏡像、文本鏡

15、像不在此次上線范圍CBS系統(tǒng)鏡像、文本鏡像第二日 01:3002:30CL4績效考核系統(tǒng)鏡像、文本文本第二日 03:0004:00CCS呼叫中心系統(tǒng)鏡像、文本鏡像第二日 01:00DZC單證系統(tǒng)鏡像鏡像未確定EPY支付網(wǎng)統(tǒng)鏡像、文本文本第二日 04:00,未上線FAR鏡像、文本文本當(dāng)日 21:3022:00FUN通文本文本當(dāng)日 23:0022:30INK網(wǎng)銀系統(tǒng)鏡像、文本文本第二日 04:00，未上線IPP前置系統(tǒng)文本文本第二日 00:00PEN企業(yè)年金系統(tǒng)文本文本當(dāng)日 21:00RMC對公風(fēng)險系統(tǒng)鏡像、文本鏡像第二日 00:3001:00RMP個貸系統(tǒng)鏡像、文本鏡像當(dāng)日 22:3023:00

16、SFISAP-FI 系統(tǒng)ABAP 接口文本第二日 01:0002:00注：SAP 業(yè)務(wù)總帳提供 2次（第二日 01:00 和13:00 各一次）STRSAP-TR 系統(tǒng)ABAP 接口文本第二日 03:00SHRSAP-HR 系統(tǒng)ABAP 接口文本第二日 03:00SPASAP-PA 系統(tǒng)文本文本未確定浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔職責(zé)劃分：SPDB/NCR材料Automation主機(jī)啟動正常流程啟動備份流程（人工干預(yù)）日期錯誤接口文件日期執(zhí)行ETL_START腳本日期錯誤接口文件日期消息文件內(nèi)容總控操作失敗執(zhí)行ETL_START_F腳本日期正確總控操作日期正確是否完成

17、ETL抽取流程是否完成ETL抽取流程完成數(shù)據(jù)抽取執(zhí)行ETL_END腳本發(fā)送接口文件刪除匯聚鏡像完成數(shù)據(jù)抽取是否完成ETL轉(zhuǎn)換流程完成數(shù)據(jù)轉(zhuǎn)換ETL流程浦發(fā)銀行數(shù)據(jù)倉庫Automation整體流程啟動ETL數(shù)據(jù)轉(zhuǎn)換流程執(zhí)行數(shù)據(jù)庫加載腳本接收匯聚平臺鏡像刪除結(jié)果接口文件啟動備份數(shù)據(jù)抽取流程執(zhí)行文本加載腳本發(fā)送接口文件刪除匯聚平臺鏡像啟動正常數(shù)據(jù)抽取流程執(zhí)行數(shù)據(jù)庫加載腳本接收備份流程接口文件接收正常流程接口文件浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔負(fù)責(zé)用 DataStage 實現(xiàn)從源到 SA 的數(shù)據(jù)抽取。NCR 負(fù)責(zé) DataStage 任務(wù)的調(diào)度和流程。4.1.2 流程設(shè)計是

18、SA 數(shù)據(jù)加載的發(fā)起方，Automation 與它們通過接匯聚總控程序或互啟動流程。SA 數(shù)據(jù)加載由 Automation 通過設(shè)置系統(tǒng)開始任務(wù)和系統(tǒng)結(jié)束任務(wù)來，系統(tǒng)開始任務(wù)和系統(tǒng)結(jié)束任務(wù)與接口文件相對應(yīng)，其整體流程如下：4.1.2.1 接口設(shè)計_鏡像方式匯聚總控程序負(fù)責(zé)進(jìn)行鏡像生成，并發(fā)接口文件 1 給 Automation，Automation 收到接口文件 1 后，對接口文件日期進(jìn)行，如果判統(tǒng)的 SA 數(shù)據(jù)加載。Automation 完成某系統(tǒng)斷結(jié)果為，則啟動對SA 數(shù)據(jù)加載后，會發(fā)送接口文件 2 給匯聚總控程序，匯聚總控程序接收后會 對 鏡 像 進(jìn) 行 刪 除 ， 刪 除 鏡 像 操

19、作 完 成 后 會 發(fā) 送 接 口 3 給Automation,Automation 收到接口文件 3 后，對接口文件日期進(jìn)行判斷是否刪除鏡像，并日志。流程圖如下：SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔接口規(guī)范如下：接口 1：接口文件與各系統(tǒng)一一對應(yīng)；該接口文件指由匯聚平臺主機(jī)發(fā)送過來的消息文件，通知Automation進(jìn)行數(shù)據(jù)加載，其消息文件內(nèi)容會包含匯聚主機(jī)數(shù)據(jù)庫 Online 的日志，也生產(chǎn)系統(tǒng)主機(jī) BC 操作的日志。接口文件中內(nèi)容：nn標(biāo)志(0:/1:失敗)第一行：操作第二行及以下：操作日志內(nèi)容接口命名規(guī)范：dir.rmc_etl_startYYY

20、YMMDD dir.dzc_etl_startYYYYMMDD dir.rmp_etl_startYYYYMMDD dir.cl4_etl_startYYYYMMDD dir.ccs_etl_startYYYYMMDD dir.ink_etl_startYYYYMMDD dir.far_etl_startYYYYMMDDdir.cbs_etl_startYYYYMMDD對公風(fēng)險系統(tǒng)(單證系統(tǒng)對公資產(chǎn)保全)個貸系統(tǒng)績效考核系統(tǒng)呼叫中心(網(wǎng)銀系統(tǒng)系統(tǒng))系統(tǒng)其中，YYYYMMDD 為 8 位數(shù)據(jù)日期，而非系統(tǒng)日期；SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔接口文件

21、對應(yīng) Automation 任務(wù)： dir.rmc_etl_startYYYYMMDD：RMC_ETL_START dir.dzc_etl_startYYYYMMDD：DZC_ETL_START dir.rmp_etl_startYYYYMMDD：RMP_ETL_START dir.cl4_etl_startYYYYMMDD：CL4_ETL_START dir.ccs_etl_startYYYYMMDD：CCS_ETL_START dir.ink_etl_startYYYYMMDD：INK_ETL_START dir.far_etl_startYYYYMMDD： FAR_ETL_START d

22、ir.cbs_etl_startYYYYMMDD：CBS_ETL_START接口 2：接口文件與各系統(tǒng)一一對應(yīng)；接口文件中無內(nèi)容，為 0 字節(jié)文件；接口命名規(guī)范：dir.rmc_etl_endYYYYMMDD dir.dzc_etl_endYYYYMMDD dir.rmp_etl_endYYYYMMDD dir.cl4_etl_endYYYYMMDD dir.ccs_etl_endYYYYMMDD dir.ink_etl_endYYYYMMDD dir.far_etl_endYYYYMMDDdir.cbs_etl_endYYYYMMDD對公風(fēng)險系統(tǒng)(單證系統(tǒng)對公資產(chǎn)保全)個貸系統(tǒng)績效考核系統(tǒng)呼

23、叫中心(網(wǎng)銀系統(tǒng)系統(tǒng))系統(tǒng)其中，YYYYMMDD 為 8 位數(shù)據(jù)日期，而非系統(tǒng)日期； 接口文件對應(yīng) Automation 任務(wù)： dir.rmc_etl_endYYYYMMDD：RMC_ETL_END dir.dzc_etl_endYYYYMMDD：DZC_ETL_END dir.rmp_etl_endYYYYMMDD：RMP_ETL_END dir.cl4_etl_endYYYYMMDD：CL4_ETL_END dir.ccs_etl_endYYYYMMDD：CCS_ETL_END dir.ink_etl_endYYYYMMDD：INK_ETL_END dir.far_etl_endYYYY

24、MMDD：FAR_ETL_ENDSPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔dir.cbs_etl_endYYYYMMDD：CBS_ETL_END接口 3：接口文件與各系統(tǒng)一一對應(yīng)；接口文件中內(nèi)容：nn標(biāo)志(0:/1:失敗)第一行：鏡像刪除操作第二行及以下：操作日志內(nèi)容接口命名規(guī)范：dir.rmc_etl_delYYYYMMDD dir.dzc_etl_delYYYYMMDD dir.rmp_etl_delYYYYMMDD dir.cl4_etl_delYYYYMMDD dir.ccs_etl_delYYYYMMDD dir.ink_etl_delYYYYMM

25、DD dir.far_etl_delYYYYMMDDdir.cbs_etl_delYYYYMMDD對公風(fēng)險系統(tǒng)(單證系統(tǒng)對公資產(chǎn)保全)個貸系統(tǒng)績效考核系統(tǒng)呼叫中心(網(wǎng)銀系統(tǒng)系統(tǒng))系統(tǒng)其中，YYYYMMDD 為 8 位數(shù)據(jù)日期，而非系統(tǒng)日期； 接口文件對應(yīng) Automation 任務(wù)如下： dir.rmc_etl_delYYYYMMDD：RMC_ETL_DEL dir.dzc_etl_delYYYYMMDD：DZC_ETL_DEL dir.rmp_etl_delYYYYMMDD：RMP_ETL_DEL dir.cl4_etl_delYYYYMMDD：CL4_ETL_DEL dir.ccs_etl

26、_delYYYYMMDD：CCS_ETL_DEL dir.ink_etl_delYYYYMMDD：INK_ETL_DEL dir.far_etl_delYYYYMMDD：FAR_ETL_DEL dir.cbs_etl_delYYYYMMDD：CBS_ETL_DEL此外，SAP 系統(tǒng)采用 ABAP 接口提供數(shù)據(jù)，與 Automation 的交互只涉及到接口文件 1，其接口規(guī)范如下：dir.sfi_etl_start1YYYYMMDDdir.sfi_etl_start2YYYYMMDDSAP FI 系統(tǒng)（非 SAP 業(yè)務(wù)總賬部分）SAP FI 系統(tǒng)（SAP 業(yè)務(wù)總賬部分）SPDB/NCR材料浦東發(fā)

27、展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔dir.spa_etl_startYYYYMMDD dir.str_etl_startYYYYMMDD dir.shr_etl_startYYYYMMDD與 Automation 任務(wù)對應(yīng)如下：SAP PA 系統(tǒng)SAP TR 系統(tǒng)SAP HR 系統(tǒng)dir.sfi_etl_start1YYYYMMDD：SFI_ETL_START1 dir.sfi_etl_start2YYYYMMDD：SFI_ETL_START2 dir.spa_etl_startYYYYMMDD：SPA_ETL_START dir.str_etl_startYYYYMMDD：

28、STR_ETL_START dir.shr_etl_startYYYYMMDD：SHR_ETL_START注：dir.sfi_etl_start2YYYYMMDD 會傳送兩次，第一次不包含 SAP 離岸和SAP 離岸和總帳部分，第二次總帳部分。4.1.2.2 接口設(shè)計_文件方式進(jìn)行數(shù)據(jù)文本導(dǎo)出并上傳到指定目錄，并發(fā)送接口文件 4 給由Automation，Automation 收到接口文件 4 后，對接口文件日期進(jìn)行，如果，則啟動對統(tǒng)的 SA 數(shù)據(jù)加載。結(jié)果為流程圖如下：接口規(guī)范如下：接口 4：接口文件與各系統(tǒng)一一對應(yīng)；SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明

29、文檔接口文件中無內(nèi)容，為 0 字節(jié)文件；接口命名規(guī)范：dir.rmc_etl_start_fYYYYMMDD dir.dzc_etl_start_fYYYYMMDD dir.rmp_etl_start_fYYYYMMDD dir.cl4_etl_start_fYYYYMMDD dir.ccs_etl_start_fYYYYMMDD dir.ink_etl_start_fYYYYMMDD dir.far_etl_start_fYYYYMMDD dir.cbs_etl_start_fYYYYMMDD dir.fun_etl_start_fYYYYMMDD dir.ipp_etl_start_fYY

30、YYMMDD dir.pen_etl_start_fYYYYMMDD dir.sfi_etl_start1_fYYYYMMDD dir.sfi_etl_start2_fYYYYMMDD dir.spa_etl_start_fYYYYMMDD dir.str_etl_start_fYYYYMMDDdir.shr_etl_start_fYYYYMMDD對公風(fēng)險系統(tǒng)(單證系統(tǒng)對公資產(chǎn)保全)個貸系統(tǒng)績效考核系統(tǒng)呼叫中心(系統(tǒng))網(wǎng)銀系統(tǒng)系統(tǒng)通系統(tǒng)前置系統(tǒng)企業(yè)年金系統(tǒng)SAP FI 系統(tǒng)（非 SAP 業(yè)務(wù)總賬部分） SAP FI 系統(tǒng)（SAP 業(yè)務(wù)總賬部分） SAP PA 系統(tǒng)SAP TR 系統(tǒng)SAP HR

31、 系統(tǒng)其中，YYYYMMDD 為 8 位數(shù)據(jù)日期，而非系統(tǒng)日期； 接口文件對應(yīng) Automation 任務(wù)如下：dir.rmc_etl_start_fYYYYMMDD：RMC_ETL_START_F dir.dzc_etl_start_fYYYYMMDD：DZC_ETL_START_F dir.rmp_etl_start_fYYYYMMDD：RMP_ETL_START_F dir.cl4_etl_start_fYYYYMMDD：CL4_ETL_START_F dir.ccs_etl_start_fYYYYMMDD：CCS_ETL_START_F dir.ink_etl_start_fYYYYM

32、MDD：INK_ETL_START_F dir.far_etl_start_fYYYYMMDD：FAR_ETL_START_F dir.cbs_etl_start_fYYYYMMDD：CBS_ETL_START_F dir.fun_etl_start_fYYYYMMDD：FUN_ETL_START_F dir.ipp_etl_start_fYYYYMMDD：IPP_ETL_START_FSPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔dir.pen_etl_start_fYYYYMMDD：PEN_ETL_START_F dir.sfi_etl_start1_fYY

33、YYMMDD：SFI_ETL_START1_F dir.sfi_etl_start2_fYYYYMMDD：SFI_ETL_START2_F dir.spa_etl_start_fYYYYMMDD：SPA_ETL_START_F dir.str_etl_start_fYYYYMMDD：STR_ETL_START_F dir.shr_etl_start_fYYYYMMDD：SHR_ETL_START_F注：dir.sfi_etl_start2_fYYYYMMDD 會傳送兩次，第一次不包含 SAP 離岸SAP 離岸和和總帳部分，第二次總帳部分。4.1.2.3 接口任務(wù)說明接口文件 1 和 4 對應(yīng)的

34、 Automation 任務(wù)完成如下功能：接口文件日期：Automation 處理接口文件時需要對接口文件1 的日期當(dāng)天數(shù)據(jù)日期進(jìn)行，為了當(dāng)前 SA 系統(tǒng)數(shù)據(jù)日期，設(shè)計了數(shù)據(jù)表 ETL_TXDATE 存放在 Automation 知識庫中，按Automation 在接口文件日期字母和數(shù)據(jù)日期存放當(dāng)前數(shù)據(jù)日期，時會從該表獲取當(dāng)前數(shù)據(jù)日期，最后在某個SA 系統(tǒng)加載完之后會更新該表相總控操作統(tǒng)的數(shù)據(jù)日期。Automation 處理匯聚總控程序發(fā)送過來的接口文件時需要對接口文件 1的內(nèi)容進(jìn)行，如前接口文件 1 規(guī)范所述，接口文件中了總控操作返回的結(jié)果和日志，Automation 會獲取該結(jié)果值進(jìn)行日志

35、。，并且總控操作匯聚總控操作結(jié)果及日志簡要描述如下：結(jié)果011111日志描述create bcv and split bcv all successful BC create failedBCsplit failed Active VGfailedMount DatabasefailedDatabase OnlinefailedSPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔 Automation 備選任務(wù)狀態(tài)更新AutomationSA 采用了首選和備選兩份任務(wù)，PDM 轉(zhuǎn)換任務(wù)會同時依賴于這兩種方式任務(wù)，并由兩種方式任務(wù)來觸發(fā)。Automation 依賴是否滿

36、足取決于任務(wù)運行時間和運行狀態(tài)，無論采用哪式的 SA 數(shù)據(jù)加載，接口文件對應(yīng)的任務(wù)會把另外式任務(wù)的運行時間和運行狀態(tài)進(jìn)行同步更新，以滿足 PDM 與 SA 兩種方式任務(wù)的依賴加載都可以啟動 PDM 轉(zhuǎn)換任務(wù)。式的 SA，這樣就可以保證任何 Automation SA 任務(wù)重新運行次數(shù)重置Automation鏡像方式的 DataStage JOB 產(chǎn)生超時和一直 Running 問題，采取了補(bǔ)救措施,即由失敗的時候，程序DataStageJOB 運行，當(dāng) DataStageJOB自動重新啟動該 DataStage JOB。為了重新啟動的次數(shù)，設(shè)計 ETL_RUNCNT 表保存與 Automati

37、on 知識庫中，按照 SA 任務(wù)名稱和重啟次數(shù)存放。接口文件任務(wù)在每次運行時即 SA 數(shù)據(jù)加載前會把該表對應(yīng)系統(tǒng)任務(wù)的重啟次數(shù)清 0，保證程序的有效性。Automation接口文件 1 和 4 流程如下：接口文件日期(etl_txdate 表操作)，日期正確，則進(jìn)行，否則失敗；如果是鏡像方式，會接口文件內(nèi)容，則進(jìn)行，否則失??；更新另外式任務(wù)的運行時間和狀態(tài)，更新，則進(jìn)行，否則失??；Automation SA 任務(wù)重新運行次數(shù)重置為 0，任務(wù)執(zhí)行。接口文件 2 對應(yīng)的 Automaiton 任務(wù)完成如下功能： 發(fā)送消息文件Automation 完成 SA 某系統(tǒng)數(shù)據(jù)加載后，會向匯聚總控程序發(fā)送消

38、息文件，SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔通知總控刪除鏡像。 更新 ETL_TXDATE 表的數(shù)據(jù)日期Automation 完成 SA 某系統(tǒng)數(shù)據(jù)加載后，會更新 ETL_TXDATE 表中對統(tǒng)數(shù)據(jù)日期為最新的數(shù)據(jù)日期，準(zhǔn)備為下一次 SA 加載。接口文件 3 對應(yīng)的 Automation 任務(wù)完成如下功能： 總控操作Automation 接收匯聚總控程序在刪除鏡像操作后發(fā)送過來的接口文件，對接口文件內(nèi)容進(jìn)行，即總控刪除鏡像是否，同時會日志。4.2 PDM 數(shù)據(jù)加載轉(zhuǎn)換流程目前 POC PDM 和 EDW PDM 采用同一個 ETL 子系統(tǒng)。流程上，采取

39、 POC優(yōu)先策略，POC 依賴于的 59 張表和風(fēng)險的一張表，在 SA 數(shù)據(jù)加載上優(yōu)先對 POC 依賴的 SA 表進(jìn)行加載，與 POC 相關(guān)的 SA 表準(zhǔn)備就緒后，POC 進(jìn)行數(shù)據(jù)加載轉(zhuǎn)換，POC 數(shù)據(jù)加載完成以后（數(shù)據(jù)加載轉(zhuǎn)換流程。POC 應(yīng)用）,才開始 EDW PDM依據(jù)該流程策略，Automation 在 CTR ETL 子系統(tǒng)增加了一個 ETL 任務(wù)POC_ETL_END，用于POC（PDM、APL）任務(wù)完成后開始 EDW PDM 任務(wù)（即在 ETL 依賴上建立 POC_ETL_END 任務(wù)與 POC（PDM、APL）任務(wù)的依賴和觸發(fā)，同時建立 EDW PDM 任務(wù)與 POC_ETL_

40、END 的依賴關(guān)系）；增加一個 ETL 任務(wù) EDW_ETL_END，用于標(biāo)志 EDW PDM 任務(wù)結(jié)束。4.3 應(yīng)用加載轉(zhuǎn)換流程應(yīng)用目前POC APL、EDW APL、CIM、1104、DQC，在 ETL 依賴關(guān)系上，POC APL 依賴與 POC PDM，EDW APL（POC 應(yīng)用遷移）、CIM、1104、DQC 依賴于 EDW PDM。CIM、1104、DQC 應(yīng)用任務(wù)，在 CTRETL 子系統(tǒng)分別增加了以下開始和結(jié)束任務(wù)用于流程。 CIM：CIM_ETL_START、CIM_ETL_ENDSPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔1104：1104

41、_ETL_START、1104_ETL_END DQC：DQC_ETL_START、DQC_ETL_END目前流程中，CIM 應(yīng)用在依賴的 EDW PDM 任務(wù)完成以后開始運行，1104應(yīng)用在 EDW PDM 整體完成以后開始運行，DQC 應(yīng)用在 CIM 應(yīng)用任務(wù)完成之后開始運行。其中，1104 應(yīng)用的 1104_ETL_START 任務(wù)不同于常規(guī) Automation 流程，它會當(dāng)前日期是否為月末、半年末，在、月末、半年末生成文件來觸發(fā)相應(yīng) 1104 任務(wù)。4.4 備份流程SA 備份Cube 備份1104 備份NetVault備份任務(wù)知識庫備份、每周全備。具體的流程如下：注：SA 備份和每周

42、全備采用了雙備份，目前流程中。SA 備份只做了問題：每周全備由于是備份而且是雙備份，運行時間較長，有可能會第（第二日數(shù)據(jù)最早就緒時間為 21:00），需要解決。二日數(shù)據(jù)加載SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔4.5任務(wù)處理流程主要任務(wù)處理流程如下圖：SPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔第五章 ETL 維護(hù)說明5.1 日常5.1.1內(nèi)容 Automation 任務(wù)運行狀況按時檢查 Automation 任務(wù)運行情況，當(dāng)發(fā)生異常時需要及時予以解決。 Automation 服務(wù)SPDB-ETL-03(10.100.18

43、9.99) Automation 服務(wù)： ETLAGT 、 ETLCLN 、ETLMASETLMSG、ETLRCV、ETLSCH、ETLWDGSPDB-ETL-01(10.100.189.221) Automation 服務(wù)： ETLAGT 、ETLCLN 、ETLMASETLMSG、ETLRCV、ETLSCH、ETLWDGSPDB-OLAP-01 (10.100.181.54 ) Automation 服務(wù)： ETLAGT、ETLCLN、ETLMASETLMSG、ETLRCV、ETLWDG OLAP 服務(wù)SPDB-OLAP (10.100.181.54 ) AS 服務(wù)： MSSQLServe

44、rOLAPService5.1.2與管理工具 ETL_ADMIN 管理工具ETL Automation 提供了圖形操作界面 (GUI) 的管理程序，通過此管理程序可以定義ETL Automation 中任務(wù) (Job) 的各項屬性, 例如任務(wù)所對應(yīng)的任務(wù)數(shù)據(jù)來源(Job Source),任務(wù)執(zhí)行時間窗口, 任務(wù)流、任務(wù)依賴,每個任務(wù)執(zhí)行狀態(tài)和日志。并可以通過管理運行/ETL/bin/ETL Admin.jar（鼠標(biāo)雙擊）啟動 Automation 管理工具或在一MS-DOS 窗口中輸入并執(zhí)行下列的指令：java -jar ETLAdmin.jarSPDB/NCR材料浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫

45、Automation 說明文檔ETL任務(wù)狀態(tài)ODBC DataSource名ETL任務(wù)名AutomationAutomation數(shù)據(jù)庫名 ETL_MONITOR工具ETL Automation 提供了圖形操作界面 (GUI) 的程序，通過過此程序可以實時看到目前在 ETL Automation 中有那些任務(wù)正在等待狀態(tài)中(Pending), 以及有那些任務(wù)正在執(zhí)行中 (Running)，同時, 可以通過程序看到 Automation 任務(wù)在某些狀況下所產(chǎn)生的例外實時地采取對應(yīng)措施。(Event) 以告知維護(hù)運行/ETL/bin/ETLMonitor.jar（鼠標(biāo)雙擊）啟動 Automation

46、MS-DOS 窗口中輸入并執(zhí)行下列的指令：java -jar ETLMonitor.jar工具或在一Event窗口ODBC DataSource名Automation用戶AutomationAutomation 數(shù)據(jù)庫 Pending窗口Running窗口 ETL_MONITOR執(zhí)行 tl_monitor.pl工具（DOS 方式）推薦腳本查看所有任務(wù)的運行狀況（在DOS 窗口下，進(jìn)入D:ETLbin 目錄，輸入：etl_monitor.pl）SPDB/NCR材料Automation用戶ETL子系統(tǒng)名浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫Automation 說明文檔注：ETL 任務(wù)狀態(tài)說明：Automat

47、ion 任務(wù)的狀態(tài)如下幾種情況：Pending：任務(wù)已經(jīng)處于等待運行狀態(tài)y：任務(wù)已處于準(zhǔn)備狀態(tài)Running：任務(wù)正在運行狀態(tài)Done：任務(wù)已經(jīng)Failed：任務(wù)失敗完成接收到下日的文件，下一日任務(wù)開始接收到文件任務(wù)PendingRunningDone任務(wù)失敗SPDB/NCR材料任務(wù)狀態(tài)重置Failedy圖中第一列為ETL Server名稱，第二列為ETL子系統(tǒng)， 第三列為ETL任務(wù)名稱，第四列為運行日期，第五列為ETL任務(wù)狀態(tài)，第六列為ETL任務(wù)的開始日期， 第七列分別為ETL任務(wù)的結(jié)束日期。浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔5.2 異常問題與處理異常問題處理在日常過

48、程中產(chǎn)生的問題情況的列表及分析，正和處理。目前，Automation 流程常流程和應(yīng)急流程中產(chǎn)生的問題正常運行時間為當(dāng)日 21:00明日 13:00，如果某日 Automation 因為某種導(dǎo)致加載時間后延，需要及時對進(jìn)行分析和解決，后繼流程能夠繼續(xù)運行。5.2.1 接口處理問題5.2.1.1 鏡像方式 總控操作失敗匯聚平臺總控程序操作完成后會把消息文件發(fā)送給Automation 以啟動 ETL 流程。消息文件內(nèi)容：第一行：操作標(biāo)志(0:/1:失敗)第二行及以下：操作日志內(nèi)容如果總控鏡像操作失敗，Automation 的 ETL 流程如下：被啟動，產(chǎn)生的錯誤提示ETLMonitor 錯誤提示：

49、 , _ETL_START invoke job script 任務(wù)腳本名 failedETLAdmin 查看詳細(xì)日志：日志第一行狀態(tài)標(biāo)志為”1” 表示總控操作失敗。詳細(xì)日志第二行以下了總控操作哪項環(huán)節(jié)失敗，具體錯誤及處理如下：SPDB/NCR材料流程序號問題點日志描述處理正常流程1BC 創(chuàng)建失敗狀態(tài)標(biāo)志為”1”error:EVA BC create failed浦發(fā) 、余非，由浦發(fā)確認(rèn)鏡像失敗 并予以解決，如果能夠在短時2BC 拆分失敗狀態(tài)標(biāo)志為”1” error:EVA BC split failed3Active VG 失敗狀態(tài)標(biāo)志為”1”浦東發(fā)展銀行企業(yè)級數(shù)據(jù)倉庫 Automation 說明文檔 消息文件日期錯誤匯聚平臺總控程序操作完成后會把消息文件發(fā)送給 Automation 以啟動程。消息文件的規(guī)范如下：ETL 流dir.cbs_etl_startYYYYMMDD系統(tǒng)其中，YYYYMMDD 為 8 位數(shù)據(jù)日期，而非系統(tǒng)日期如果匯聚鏡像，但消息文件日期錯誤，Automation 的 ETL 流程被啟動，產(chǎn)生的錯誤提示如下情況：ETLMonitor 錯誤提示：, _