DataService操作手冊

1、DataServices培訓(xùn)總結(jié)-操作手冊目錄一、DS簡介二、DS數(shù)據(jù)力口載方式 三、DS進(jìn)行數(shù)據(jù)抽取模型開發(fā)的基本過程 四、DS創(chuàng)建數(shù)據(jù)源系統(tǒng)和目標(biāo)系統(tǒng)的數(shù)據(jù)存儲 1、Oracle數(shù)據(jù)庫作為數(shù)據(jù)源系統(tǒng) 2、ECC乍為數(shù)據(jù)源系統(tǒng)3、HAN徽據(jù)庫作為目標(biāo)系統(tǒng) 五、全量力口載過程 1、倉U建 Project 和 Job2、導(dǎo)入源表的元數(shù)據(jù)到資源庫 3、創(chuàng)建 Data Flow 4、設(shè)置源表和目標(biāo)表 5、手工執(zhí)行 Job六、基于表比較的增量加載 1、在Job下定義工作流 2、在工作流中定義數(shù)據(jù)流 3、力口入 Table Comparison 控件4、設(shè)置 Table Comparison 控件七、基

2、于時(shí)間戳的增量加載 1、在Job下定義工作流 2、定義Script控件3、定義處理新增數(shù)據(jù)的數(shù)據(jù)流和處理更新數(shù)據(jù)的數(shù)據(jù)流.八、DS中常用控件介紹1、Key Generation 2、Case3、Merge4、Validation 5、設(shè)置過濾器和斷點(diǎn) 九、定義 Job 定期執(zhí)行 1、登錄 Data Services Management Console 2、定義 Batch Job Schedules 十、其他注意事項(xiàng)一、DS簡介SAP BusinessObjects Data Services 是通過 SAP HANAI證的 ETL工具。 采用數(shù)據(jù)批量處理的方式，定期執(zhí)行后臺作業(yè)，將數(shù)據(jù)從多

3、個(gè)業(yè)務(wù)系統(tǒng)中抽取出來，并進(jìn)行必要的處理（轉(zhuǎn)換，合并，過濾，清洗） ，然后再加載到HAN徽據(jù)庫中。DS的組件之間的關(guān)系：Management Consol :管理控制臺是網(wǎng)頁版DS管理工具，可以進(jìn)行一些系統(tǒng)配置和定義Job執(zhí)行Designer :Designer是一個(gè)具有易于使用的圖形用戶界面的開發(fā)工具。它允許開發(fā)人員定義包括數(shù)據(jù)映射，轉(zhuǎn)換和控制邏輯的數(shù)據(jù)管理應(yīng)用程序，創(chuàng)建包含工作流（作業(yè)執(zhí)行定義)和數(shù)據(jù)流(數(shù)據(jù)轉(zhuǎn)換定義)的應(yīng)用程序Repository ：應(yīng)用程序設(shè)計(jì)器使用的本地資源庫用來存儲Data Services 對象(如項(xiàng)目，作業(yè)，工作流，和數(shù)據(jù)流)的定義和源和目標(biāo)的元數(shù)據(jù)Job ser

4、ver ：作業(yè)服務(wù)器啟動數(shù)據(jù)移動的從多個(gè)不同種類的源集成數(shù)據(jù)的引擎，執(zhí)行復(fù)雜的數(shù)據(jù)轉(zhuǎn)換，并管理從ERP系統(tǒng)和其他源的抽取和事務(wù)2、 DS 數(shù)據(jù)加載方式全量加載增量上載a) 基于表比較作業(yè)在執(zhí)行時(shí)讀取數(shù)據(jù)源和目標(biāo)中的全部數(shù)據(jù)，在服務(wù)器的內(nèi)存中進(jìn)行比較，計(jì)算數(shù)據(jù)差異b) 時(shí)間戳增量需要在數(shù)據(jù)源中添加時(shí)間戳字段，一般為創(chuàng)建時(shí)間和最后修改時(shí)間，在抽取作業(yè)中定義對兩個(gè)時(shí)間戳字段進(jìn)行對比，符合條件的創(chuàng)建時(shí)間條目進(jìn)行插入，符合條件的修改時(shí)間條目進(jìn)行更新c) 利用數(shù)據(jù)庫CDC( changed data capture )首先需要開啟數(shù)據(jù)庫的 CDC服務(wù)，為數(shù)據(jù)庫實(shí)例啟用 CDC功能，為源表啟用CDC功能。在

5、這種模式下，DS的增量更新不再直接訪問源表，而是在與源表相關(guān)的變更記錄表中讀取增量3、 DS 進(jìn)行數(shù)據(jù)抽取模型開發(fā)的基本過程為數(shù)據(jù)源創(chuàng)建數(shù)據(jù)存儲導(dǎo)入源表的元數(shù)據(jù)到資源庫為SAP HANAB標(biāo)系統(tǒng)創(chuàng)建數(shù)據(jù)存儲新建DS項(xiàng)目和批量作業(yè)新 建 DS 數(shù) 據(jù) 流 ： 定 義 源 表 和 目 標(biāo) 表 ， 定 義 變 量 、 編 輯 Query 和Map_CDC_Operation執(zhí)行批量作業(yè)4、 DS 創(chuàng)建數(shù)據(jù)源系統(tǒng)和目標(biāo)系統(tǒng)的數(shù)據(jù)存儲1、 Oracle 數(shù)據(jù)庫作為數(shù)據(jù)源系統(tǒng)登錄Data Services Designer ，在本地對象庫的數(shù)據(jù)存儲頁簽中單擊鼠標(biāo)右鍵，選擇新建菜單創(chuàng)建數(shù)據(jù)存儲"

6、EAM_TEST在彈出的對話框中輸入 EAM據(jù)庫的連接信息2、ECC作為數(shù)據(jù)源系統(tǒng)同樣在創(chuàng)建 DataStore時(shí)，輸入ECC勺連接信息3、HAN徽據(jù)庫作為目標(biāo)系統(tǒng)在創(chuàng)建DataStore時(shí)，輸入HAN徽據(jù)庫的連接信息五、全量加載過程1、創(chuàng)建Project 和 Job在本地對象庫的project 頁簽中單擊鼠標(biāo)右鍵，選擇新建菜單，創(chuàng)建項(xiàng)目 “ ERP_D”S。雙擊該項(xiàng)目，在“Project Area ”，可以在該項(xiàng)目下創(chuàng)建Job2、導(dǎo)入源表的元數(shù)據(jù)到資源庫在本地對象庫的數(shù)據(jù)存儲頁簽中，選擇源系統(tǒng)的數(shù)據(jù)存儲，單擊鼠標(biāo)郵件，選擇“Import By Name"，輸入需要導(dǎo)入到資源庫的表名

7、稱。導(dǎo)入成功后，在數(shù)據(jù)存儲的 table 目錄下可以看到導(dǎo)入的表3、創(chuàng)建Data Flow單擊 “ General ” Job， 在右邊空白區(qū)域單擊鼠標(biāo)郵件，選擇 “ Add New” -“ Data Flow”4、設(shè)置源表和目標(biāo)表單擊創(chuàng)建的Data Flow ,將需要導(dǎo)入到 HANA據(jù)庫中的源表拖入到 Data Flow區(qū)域中，將Data Flow 區(qū)域右側(cè)的工具條中的模版表拖入Data Flow 區(qū)域創(chuàng)建模版表輸入模版表名稱、HANA目標(biāo)系統(tǒng)的數(shù)據(jù)存儲、HAN峨據(jù)庫存放DS抽取數(shù)據(jù)表的用戶名。連接源表和目標(biāo)表雙擊模版表，設(shè)置“Options ”中的“Use NVARCHAR for VAR

8、CHA” R5、手工執(zhí)行Job選才Jo Job,單擊鼠標(biāo)右鍵，選擇“ Execute”執(zhí)行成功之后，在 HAN徽據(jù)庫中的ERPDSUSER可以看到“ T161T',可以查看數(shù) 據(jù)表的內(nèi)容。執(zhí)行過程信息和結(jié)果可以在監(jiān)控器中查看。六、基于表比較的增量加載1、在Job 下定義工作流2、在工作流中定義數(shù)據(jù)流在數(shù)據(jù)流中定義源表和模版表，執(zhí)行 Job， 執(zhí)行成功之后，在目標(biāo)系統(tǒng)數(shù)據(jù)存儲的Template Table 目錄下可以看到創(chuàng)建的模版表3、加入Table_Comparison 控件選擇模版表，單擊鼠標(biāo)郵件，選擇“Import Table ”。模版表會更新為Tables 目錄下的數(shù)據(jù)表。通過將

9、轉(zhuǎn)換- 數(shù)據(jù)集成中的“Table_Comparison ”控件拖入到數(shù)據(jù)流中的方式添加“ Table_Comparison ”控件將源表連接“Table_Comparison ”控件， “ Table_Comparison ”控件連接目標(biāo)表。4、設(shè)置Table_Comparison 控件雙擊“ Table_Comparison ”控件，設(shè)置相關(guān)參數(shù)：比較的目標(biāo)表、表的主鍵，需要比較的字段。當(dāng)需要比較的字段為空時(shí)，會比較所有字段。建議按照需要填寫需要比較的字段，可以加快處理速度。保存后執(zhí)行Job。七、基于時(shí)間戳的增量加載1、在Job 下定義工作流在工作流中定義Script 控件，讀取數(shù)據(jù)抽取后最

10、新的創(chuàng)建時(shí)間和更改時(shí)間，定義一個(gè)處理新增數(shù)據(jù)的數(shù)據(jù)流和一個(gè)處理更新數(shù)據(jù)的數(shù)據(jù)流2、定義Script 控件在 Script 控件中需要使用變量存放讀取的最新的創(chuàng)建時(shí)間和最新的更改時(shí)間。選擇Job,在工具欄選擇“ Variables ”按鈕，創(chuàng)建全局變量雙擊“Script ”控件，編寫SQL語句，從HAN徽據(jù)庫表中讀取最新的創(chuàng)建時(shí)間和更改時(shí)間3、定義處理新增數(shù)據(jù)的數(shù)據(jù)流和處理更新數(shù)據(jù)的數(shù)據(jù)流雙擊“EBAN_NeW數(shù)據(jù)流，加載源表，Query, Map_CDC_Operation控件和目標(biāo)表雙擊Query， 在輸出字段中增加“ Sequence” 和 “ Operation ”兩個(gè)字段。“ Sequ

11、ence”字段使用函數(shù)gen_row_num()進(jìn)行賦值，“Operation ”賦值為 I '在Quey中設(shè)置Where條件雙擊 Map_CDC_Operation控件，設(shè)置 CDC Columns同樣的方式定義“ EBAN_Upd數(shù)據(jù)流，在Query的where條件中定義為在 Query 的數(shù)據(jù)結(jié)果中增加“ Sequence” 和 “ Operation ” 兩個(gè)字段。“ Sequence”字段使用函數(shù)gen_row_num()進(jìn)行賦值，“Operation "賦值為U'保存后，執(zhí)行Job?？梢酝ㄟ^修改源系統(tǒng)數(shù)據(jù)測試基于時(shí)間戳的增量加載。八、DS 中常用控件介紹1

12、、 Key_Generation在源表基礎(chǔ)上為目標(biāo)表重新生成主鍵在Query中增加“ ID”字段，賦值為0。在 Key_Generation 控件中設(shè)置目標(biāo)表、主鍵字段、主鍵值增加量2、 Case將源表根據(jù)規(guī)則進(jìn)行拆分雙擊 Case 控件，設(shè)置拆分條件當(dāng) SOURCE = 1時(shí)，輸出 SPFLI_1,當(dāng) SOURCE =2寸，率出 SPFLI_23、 Merge將具有同樣數(shù)據(jù)結(jié)構(gòu)的源表進(jìn)行合并Source，在Query中增加輸出字段Source,賦值為1。在Queryl中增加輸出字段 賦值為2。在Merge中將兩個(gè)表的內(nèi)容合并輸出。4、 Validation提取數(shù)據(jù)源表中的正確數(shù)據(jù)，將錯(cuò)誤數(shù)據(jù)

13、單獨(dú)存放在其他表中雙擊 Validation 控件，設(shè)置“Validation Rule ”5、設(shè)置過濾器和斷點(diǎn)過濾器和斷點(diǎn)結(jié)合使用，用于設(shè)置Debug的條件選擇源表到目標(biāo)表的連接線，單擊鼠標(biāo)右鍵，選擇Set Filter/Breakpoint ，設(shè)置Debug條件（當(dāng)滿足某種條件時(shí)進(jìn)入斷點(diǎn)，或者在滿足過濾條件的同時(shí)執(zhí)行多少條數(shù)據(jù)后時(shí)進(jìn)入斷點(diǎn)）選擇Job,單擊鼠標(biāo)右鍵，選擇 Start debug工具欄上的按鈕可以控制執(zhí)行下一條數(shù)據(jù)、繼續(xù)執(zhí)行、終止DebugDebug過程中進(jìn)入斷點(diǎn)后，可以一次查看數(shù)據(jù)加載結(jié)果九、定義Job 定期執(zhí)行1、登錄Data Services Management Co

14、nsole單擊工具欄的“Data Services Management Console ”按鈕進(jìn)入 Data Services Management Console 的登錄界面單擊進(jìn)入Administrator 界面2、定義Batch Job Schedules在 Batch Job Configuration 頁簽選擇Add Schedules進(jìn)入批量執(zhí)行Job 的設(shè)置界面可以設(shè)置每周的某一天執(zhí)行（一周執(zhí)行一次）或則每月的某一天執(zhí)行（一個(gè)月執(zhí)行一次） ，也可以設(shè)置為每天都執(zhí)行。都選“Recurring ”則會定期循環(huán)執(zhí)行，否則只執(zhí)行一次?？梢栽O(shè)置一天執(zhí)行一次，也可以一天執(zhí)行多次，設(shè)置開始執(zhí)

15、行時(shí)間。上圖中如果設(shè)置為一天多次執(zhí)行，開始時(shí)間為上午1 點(diǎn)，持續(xù)時(shí)間為600 分鐘，間隔時(shí)間為360 分鐘，則Job 會在一天的上午1 點(diǎn)和上午6 點(diǎn)各執(zhí)行一次。如果設(shè)置時(shí)間間隔為240 分鐘，則Job 會在一天的上午1 點(diǎn)、上午5 點(diǎn)和上午9 點(diǎn)各執(zhí)行一次。（總持續(xù)時(shí)間不超過10 小時(shí)） 。十、其他注意事項(xiàng)1、客戶端安裝包需要注意和服務(wù)器 DS版本一致2、在第一次登錄 CMS言息時(shí)，無法成功。ping sapdstest 也失敗，需要在 host 文件中添加對應(yīng)的地址和域名3、 連接 Oracle 數(shù)據(jù)庫作為數(shù)據(jù)源時(shí)，需要在客戶端上安裝Oracle 客戶端， 設(shè)置tnsname.ora文件，設(shè)置環(huán)境變量ORACLE_HOMEW重啟服務(wù)器；連接HAN徽據(jù)庫時(shí)，需要安裝 HAN喈戶端4、在連接ECC作為數(shù)據(jù)源時(shí)，需要開啟系統(tǒng)跨客戶端編輯權(quán)