KETTLE基礎(chǔ)培訓(xùn)課件

1、Kettle 基礎(chǔ)基礎(chǔ)培訓(xùn)培訓(xùn) KETTLE基礎(chǔ)培訓(xùn)目錄一、一、ETL介紹介紹二、二、 Kettle 介紹介紹三、三、 Kettle的要求環(huán)境（的要求環(huán)境（JDK版本）、安裝、基本操作。版本）、安裝、基本操作。四、四、 Kettle的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）五、基于表對表的同步五、基于表對表的同步六、基于文件到表的同步六、基于文件到表的同步七、基于表到文件的同步七、基于表到文件的同步八、八、 JAVASCRIPT的基本應(yīng)用的基本應(yīng)用九、文件九、文件FTP下載、上傳。下載、上傳。十、作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換。十、作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換。十一、啟動(dòng)腳本說明。十一、啟

2、動(dòng)腳本說明。十二、十二、 JAVA調(diào)用作業(yè)、轉(zhuǎn)換調(diào)用作業(yè)、轉(zhuǎn)換十三、使用原則十三、使用原則KETTLE基礎(chǔ)培訓(xùn)簡介ETL ETL(即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程)作為BI/DW（Business Intelligence）的核心和靈魂，能夠按照統(tǒng)一的規(guī)則集成并提高數(shù)據(jù)的價(jià)值，是負(fù)責(zé)完成數(shù)據(jù)從數(shù)據(jù)源向目標(biāo)數(shù)據(jù)倉庫轉(zhuǎn)化的過程，是實(shí)施數(shù)據(jù)倉庫的重要步驟。 ETL是數(shù)據(jù)抽?。‥xtract）、清洗（Cleaning）、轉(zhuǎn)換（Transform）、裝載（Load）的過程。是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。KET

3、TLE基礎(chǔ)培訓(xùn)簡介Kettle Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。 Kettle 中文名稱叫水壺。 Kettle這個(gè)ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個(gè)圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。 Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。KETTLE基礎(chǔ)培訓(xùn)KETTLE的要求環(huán)境（的要求環(huán)境（JDK版本）、安裝、基本操作版本）、安裝、基本操作 KETTL

4、E要求先安裝JDK1.5版本或以上 無需安裝下載后直接運(yùn)行spoon.bat即可5KETTLE基礎(chǔ)培訓(xùn)KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換） Kettle中有兩種腳本文件，transformation（轉(zhuǎn)換，后綴為.ktr）和job（作業(yè), 后綴為.kjb），transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，好比工廠里的生產(chǎn)流水線，每個(gè)組件相當(dāng)于一個(gè)員工；job則完成整個(gè)工作流的控制，好比工廠里的管理。 如果用記事本打開文件可發(fā)現(xiàn)轉(zhuǎn)換和作業(yè)都是xml類型文件。6KETTLE基礎(chǔ)培訓(xùn)KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）7 作業(yè)：分串行執(zhí)行和并行執(zhí)行，串行執(zhí)行是先執(zhí)行完其中一條

5、線再執(zhí)行另一條線，并行是兩條線同時(shí)執(zhí)行，同一條線上的兩個(gè)步聚會先執(zhí)行前面的再執(zhí)行后面的，每個(gè)步驟執(zhí)行結(jié)果分兩種：true(成功)/false(失敗),根據(jù)返回結(jié)果可以控制流程走向。KETTLE基礎(chǔ)培訓(xùn)KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）8 作業(yè)流程圖說明KETTLE基礎(chǔ)培訓(xùn)KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）9 轉(zhuǎn)換：一傳遞分復(fù)制和分發(fā)兩種模式。開始所有步驟同時(shí)運(yùn)行，記錄會從最前端的步驟向后傳遞，傳遞到相應(yīng)步驟則該記錄被該步驟作相應(yīng)處理，處理完成再把記錄往后傳遞，記錄KETTLE基礎(chǔ)培訓(xùn)KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）10 復(fù)制：把一份數(shù)據(jù)復(fù)制成多份，后面步驟

6、各占一份。 分發(fā)：把一份數(shù)據(jù)平均分配給后面步驟。KETTLE基礎(chǔ)培訓(xùn)基于表對表的同步11 表對表同步是最基本的同步方式之一 實(shí)現(xiàn)步驟：一、建立源庫連接和目標(biāo)庫連接二、使用表輸入組件進(jìn)行源表數(shù)據(jù)讀取三、對記錄進(jìn)行適配整理四、使用表輸出組件輸出到目標(biāo)表KETTLE基礎(chǔ)培訓(xùn)KETTLE的組件的類型基本說明（作業(yè)與轉(zhuǎn)換）12 新建一個(gè)轉(zhuǎn)換：文件新建轉(zhuǎn)換KETTLE基礎(chǔ)培訓(xùn)基于表對表的同步13KETTLE基礎(chǔ)培訓(xùn)基于表對表的同步14KETTLE基礎(chǔ)培訓(xùn)基于表對表的同步15KETTLE基礎(chǔ)培訓(xùn)基于表對表的同步16KETTLE基礎(chǔ)培訓(xùn)基于文件到表的同步17 新建一個(gè)轉(zhuǎn)換 流程：從文件讀取記錄插入到數(shù)據(jù)庫中K

7、ETTLE基礎(chǔ)培訓(xùn)基于文件到表的同步18KETTLE基礎(chǔ)培訓(xùn)基于文件到表的同步19KETTLE基礎(chǔ)培訓(xùn)基于文件到表的同步20KETTLE基礎(chǔ)培訓(xùn)基于表到文件的同步21 新建一個(gè)轉(zhuǎn)換 實(shí)現(xiàn)從表里讀取記錄生成文件KETTLE基礎(chǔ)培訓(xùn)基于表到文件的同步22KETTLE基礎(chǔ)培訓(xùn)基于表到文件的同步23KETTLE基礎(chǔ)培訓(xùn)基于表到文件的同步24KETTLE基礎(chǔ)培訓(xùn)JAVASCRIPT的基本應(yīng)用25KETTLE基礎(chǔ)培訓(xùn)文件FTP下載、上傳26 作業(yè)：FTP下載 從FTP上下載相應(yīng)文件到指定目錄下KETTLE基礎(chǔ)培訓(xùn)文件FTP下載、上傳27KETTLE基礎(chǔ)培訓(xùn)文件FTP下載、上傳28KETTLE基礎(chǔ)培訓(xùn)文件F

8、TP下載、上傳29 作業(yè)：FTP上傳 上傳本地文件到相應(yīng)FTP指定目錄上KETTLE基礎(chǔ)培訓(xùn)文件FTP下載、上傳30KETTLE基礎(chǔ)培訓(xùn)作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換31 文件新建作業(yè) 作業(yè)可以調(diào)用作業(yè)，這樣方便流程控制。KETTLE基礎(chǔ)培訓(xùn)作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換32KETTLE基礎(chǔ)培訓(xùn)作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換33 作業(yè)也可以調(diào)用轉(zhuǎn)換KETTLE基礎(chǔ)培訓(xùn)作業(yè)調(diào)用作業(yè)、轉(zhuǎn)換34KETTLE基礎(chǔ)培訓(xùn)啟動(dòng)腳本說明35 KETTLE程序啟動(dòng)分兩種，一種是作業(yè)、一種是轉(zhuǎn)換。 作業(yè)調(diào)用啟動(dòng)腳本： kitchen.sh（ kitchen.bat） 轉(zhuǎn)換調(diào)用啟動(dòng)腳本： pan.sh（ pan.bat)KETTLE基礎(chǔ)培訓(xùn)啟動(dòng)腳本說

9、明36 kitchen.sh（span.sh）說明KETTLE基礎(chǔ)培訓(xùn)啟動(dòng)腳本說明37 Kitchen.bat(span.bat)說明KETTLE基礎(chǔ)培訓(xùn)啟動(dòng)腳本說明38 WINDOWS系統(tǒng)下的作業(yè)啟動(dòng)腳本寫法 /file 作業(yè)入口路徑 /level 日志輸出等級 /logfile 日志輸出文件KETTLE基礎(chǔ)培訓(xùn)啟動(dòng)腳本說明39 LINUX系統(tǒng)下的啟動(dòng)腳本寫法KETTLE基礎(chǔ)培訓(xùn)啟動(dòng)腳本說明40 轉(zhuǎn)換調(diào)動(dòng)腳本寫法 WINDOWS和LINUX系統(tǒng)的啟動(dòng)腳本的寫法基本一樣，就是pan.sh/pan.bat的區(qū)別KETTLE基礎(chǔ)培訓(xùn)Java調(diào)用 引用Kettle jar包KETTLE基礎(chǔ)培訓(xùn)Jav

10、a調(diào)用JOB傳入變量傳入變量JOB文件設(shè)置變量：變量變量傳遞：傳遞：Variable substitution 選中KETTLE基礎(chǔ)培訓(xùn)Java調(diào)用JOB調(diào)用JOBJobMeta jobMeta = new JobMeta(jobPath, null);JVM設(shè)置變量：System.getProperties().setProperty(key, value);Job job=new Job(null, jobMeta);job.start();job.waitUntilFinished();KETTLE基礎(chǔ)培訓(xùn)Java調(diào)用KTR 傳入變量KETTLE基礎(chǔ)培訓(xùn)Java調(diào)用KTR 調(diào)用ktrTr

11、ansMeta localTransMeta = localTransMeta = new TransMeta(ktrPath);設(shè)置變量localTransMeta.setVariable(key,value)Trans tran=new Trans(localTransMeta )tran.execute(null);tran.waitUntilFinished();KETTLE基礎(chǔ)培訓(xùn)使用原則 可以使用sql 來做的一些操作盡量用sql ； Group , merge , stream lookup ,split field 這些操作都是比較慢的，想辦法避免它們.能用sql 就用sql 盡量避免使用update , delete 操作，尤其是update , 如果可以把update 變成先delete , 后insert . 盡量不要用kettle 的calculate 計(jì)算步驟，能用數(shù)據(jù)庫本身的sql 就用sql ,不能用sql 就盡量想辦法用procedure , 實(shí)在不行才是calculate 步驟.