自己總結(jié)的Kettle使用方法和成果

本文格式為Word版，下載可任意編輯——自己總結(jié)的Kettle使用方法和成果KETTLE使用自己總結(jié)的Kettle使用方法和成果說(shuō)明

簡(jiǎn)介

Kettle是一款國(guó)外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運(yùn)行，綠色無(wú)需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中文名稱叫水壺，該項(xiàng)目的主程序員MATT希望把各種數(shù)據(jù)放到一個(gè)壺里，然后以一種指定的格式流出。Kettle這個(gè)ETL工具集，它允許你管理來(lái)自不同數(shù)據(jù)庫(kù)的數(shù)據(jù)，通過(guò)提供一個(gè)圖形化的用戶環(huán)境來(lái)描述你想做什么，而不是你想怎么做。

Kettle中有兩種腳本文件，transformation和job，transformation完成針對(duì)數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個(gè)工作流的控制。

Kettle可以在/網(wǎng)站下載到。

注：ETL，是英文Extract-Transform-Load的縮寫，用來(lái)描述將數(shù)據(jù)從來(lái)源端經(jīng)過(guò)萃?。╡xtract）、轉(zhuǎn)置（transform）、加載（load）至目的端的過(guò)程。ETL一詞較常用在數(shù)據(jù)倉(cāng)庫(kù)，但其對(duì)象并不限于數(shù)據(jù)倉(cāng)庫(kù)。

下載和安裝

首先，需要下載開源免費(fèi)的pdi-ce軟件壓縮包，當(dāng)前最新版本為5.20.0。下載網(wǎng)址：/projects/pentaho/files/DataIntegration/然后，解壓下載的軟件壓縮包：pdi-ce--209.zip，解壓后會(huì)在當(dāng)前目錄下上傳一個(gè)目錄，名為data-integration。由于Kettle是使用Java開發(fā)的，所以系統(tǒng)環(huán)境需要安裝并且配置好JDK。?Kettle可以在/網(wǎng)站下載

?下載kettle壓縮包，因kettle為綠色軟件，解壓縮到任意本地路徑即可。

運(yùn)行Kettle

進(jìn)入到Kettle目錄，假使Kettle部署在windows環(huán)境下，雙擊運(yùn)行spoon.bat或Kettle.exe文件。Linux用戶需要運(yùn)行spoon.sh文件，進(jìn)入到Shell提醒行窗口，進(jìn)入到解壓目錄中執(zhí)行下面的命令：

#chmod+xspoon.sh

#nohup./spoon.sh&后臺(tái)運(yùn)行腳本

這樣就可以開啟配置Kettle腳本的UI界面。

Kettle的簡(jiǎn)單使用

首先，點(diǎn)擊“文件—新建—轉(zhuǎn)換〞菜單創(chuàng)立一個(gè)轉(zhuǎn)換。

我們可以看到轉(zhuǎn)換的主對(duì)象數(shù)和核心對(duì)象區(qū)域，然后我們添加一個(gè)DB連接。選擇“注對(duì)象數(shù)〞，雙擊“轉(zhuǎn)換2〞標(biāo)簽下的“DB連接〞會(huì)彈出一個(gè)設(shè)置窗口。填入連接名稱，選擇連接類型，配置數(shù)據(jù)庫(kù)設(shè)置，然后測(cè)試下配置是否正確。

由于Kettle沒(méi)有將所有的數(shù)據(jù)庫(kù)的Driver文件集成，所以假使想連接指定的數(shù)據(jù)庫(kù)，需要自己下載JDBC驅(qū)動(dòng)，放入到解壓目錄下的lib目錄中。添加完JDBC驅(qū)動(dòng)后，必需重啟下Kettle才能加載驅(qū)動(dòng)。1）Oracle的JDBC驅(qū)動(dòng)：ojdbc6.jar

2）MySQL的JDBC驅(qū)動(dòng)：mysql-connector-java-5.1.32.jar

注：在轉(zhuǎn)換之前需要?jiǎng)?chuàng)立轉(zhuǎn)換所需的表，原始表和轉(zhuǎn)換的目標(biāo)表。

點(diǎn)擊“核心對(duì)象〞標(biāo)簽頁(yè)中的“輸入〞，選擇“表輸入〞拖到“轉(zhuǎn)換〞區(qū)域。雙擊“表輸入〞圖標(biāo)彈出表輸入對(duì)話框，填入步驟名稱，選擇數(shù)據(jù)庫(kù)連接，點(diǎn)擊“獲取SQL查詢語(yǔ)句〞，或者直接寫入SQL語(yǔ)句，填寫附件信息，點(diǎn)擊“預(yù)覽〞按鈕查看執(zhí)行結(jié)果，沒(méi)有錯(cuò)誤，點(diǎn)擊“確認(rèn)〞關(guān)閉對(duì)話框。

點(diǎn)擊“核心對(duì)象〞—“輸出〞，選擇“Excel輸出〞拖入到轉(zhuǎn)換區(qū)，雙擊Excel輸出圖標(biāo)，彈出對(duì)話框，選擇文件名和其它附加參數(shù)，點(diǎn)擊確認(rèn)。

點(diǎn)擊輸入表的圖標(biāo)，同時(shí)按下shift鍵，再點(diǎn)擊輸出文件，將兩者連接起來(lái)。然后雙擊Excel輸出進(jìn)行配置。

最終一步就是執(zhí)行kettle腳本，點(diǎn)擊工具欄上的綠色箭頭即可。

點(diǎn)擊“啟動(dòng)〞開始轉(zhuǎn)換，在轉(zhuǎn)換過(guò)程中會(huì)出現(xiàn)轉(zhuǎn)換的信息，如下圖所示。

完成轉(zhuǎn)換后，我們可以Excel輸出目錄中查看轉(zhuǎn)換結(jié)果。注：時(shí)間字段換到Excel為空，修改SELECT語(yǔ)句中使用TO_CHAR轉(zhuǎn)換成字符串，例如：TO_CHAR(START_TIM