mps1項(xiàng)目和腳本基本配置信息相關(guān)架構(gòu)import說(shuō)明

1、資源管理方式利用連接到 MCUK 的網(wǎng)絡(luò)用戶名 metasphere_support_3698 ormetasphere_support_3699or metasphere_support_3700 HYPERLINK mailto:ssh10.1.10.66 ssh10.1.10.66mmrootmc1024!10.1.10.66rootmc1324!開(kāi)始 ETL 工具 kettle 連接一個(gè) Reitory，該中保存所有ETL 的工作程序本地 Reitory 配置為Connection Name: rep_mcmgp_uk Connection Type:Host Name: 192.16

2、8.254.102Database Name: rep_mcmgp_uk Port Number: 3306User Name: rootPassword:以下所有資源都于 Reitory中Reitory: rep_mcmgp_ukLogin: adminPassword: adminUK Reitory 配置為 (需要通過(guò)連接)Connection Name: rep_uk_66 Connection Type:Host Name: 10.1.10.66 Database Name: rep_uk_66 Port Number: 3306User Name: rootPassword: mc

3、1324!于 Reitory以下所有資源都中Reitory: rep_uk_66Login: adminPassword: adminConnection 命名格式: CN_mgp_uk_databaseName說(shuō)明：databaseName 表示數(shù)據(jù)庫(kù)名稱如： oracle、Sqlserver。Transformation 命名格式：TR_mps_mgp_import_function說(shuō)明：function 表示轉(zhuǎn)換的功能。例如：TR_mps_mgp_import_Payables_Tax即導(dǎo)入 Payables_Tax 表。Job 命名格式：JF_mps_ mgp_import_uk說(shuō)明：

4、將 mps 數(shù)據(jù)導(dǎo)入。Directory 命名格式：MPS_MGP_IMPORT_UK說(shuō)明：MPS_MGP_IMPORT 目錄。Log 文件命名格式：Log_mps_mgp_import_datetime(yyyyMMdd_HHmmss)說(shuō)明：datetime 表示日期時(shí)間，精確到秒。ETL 服務(wù)器目錄結(jié)構(gòu)本地環(huán)境IP：192.168.254.89環(huán)境用戶: kettle: 123456/home/kettle/mps/mgp_uk/ETL 環(huán)境總目錄/home/kettle/data-ergationETL 工具目錄/home/kettle/.kettleETL 環(huán)境配置文件，系統(tǒng)默認(rèn)/ho

5、me/kettle/mps/mgp_uk/scriptETL 工作配置文件存放目錄/home/kettle/mps/mgp_uk/logETL 日志文件UK 環(huán)境IP：10.1.10.66環(huán)境用戶: mmroot: mc1024!數(shù)據(jù)庫(kù)連接參數(shù)本地環(huán)境UK 環(huán)境OracleIP10.1.10.66:1521SID/ServiceNamemc用戶名mctest3mctestSQLServerIP10.1.10.70:1085DBNameMPS_MGP_egration用戶名sauniverse10OracleIP192.168.254.37:1521SID/ServiceNamemc用戶名mct

6、est3mctestSQLServerIP192.168.254.93:1433DBNameMPS_MGP_egration用戶名sa123456/home/mmroot /mps/mgp_uk/ETL 環(huán)境總目錄/home/mmroot/data-ergationETL 工具目錄/home/mmroot/.kettleETL 環(huán)境配置文件，系統(tǒng)默認(rèn)/home/mmroot /mps/mgp_uk/scriptETL 工作配置文件存放目錄/home/mmroot /mps/mgp_uk/logETL 日志文件Config 列表格式： mps_mgp_import_uk.sh說(shuō)明： 執(zhí)行kett

7、le 的指令。源表數(shù)據(jù)庫(kù)說(shuō)明：有七張?jiān)幢恚?Payables_Tax 、 Payables_Header 、 Payables_Distributions 、General_Ledger_Journals 、B于導(dǎo)入 ；有一張 u_lasttime 表_Details 、Creditor_Address_Master 、Creditor_master ）用系統(tǒng)時(shí)間，用于增量的時(shí)間比較。Kettle 轉(zhuǎn)換和任務(wù)一共有 9 個(gè)轉(zhuǎn)換，即有 7 個(gè)是表導(dǎo)入（其中 Creditor_master 表的 NOTEINDX 字段需類(lèi)型轉(zhuǎn)換 to_number(NOTEINDX)），1 個(gè)是臨時(shí)時(shí)間 tmp_time，1 個(gè)是時(shí)間 last_time。一共有 1 個(gè)任務(wù)，用于執(zhí)行 9 個(gè)轉(zhuǎn)換：一開(kāi)始是當(dāng)前系統(tǒng)時(shí)間，把它作為臨時(shí)時(shí)間寫(xiě)入源數(shù)據(jù)庫(kù) u_lasttime 表的