ch02Kettle工具的初步使用

Kettle工具的初步使用新工科建設(shè)之路·數(shù)據(jù)科學(xué)與大數(shù)據(jù)系列樣本數(shù)據(jù)處理第二章01Kettle的安裝Kettle是一個(gè)Java程序，因此運(yùn)行此工具前，必須安裝Sun公司（已被Oracle公司收購(gòu)）的Java運(yùn)行環(huán)境1.4或者更高版本。Kettle的安裝登錄Java的官網(wǎng)后，進(jìn)入下載頁(yè)面，選擇當(dāng)前最新的Java版本下載。安裝完畢后，需要對(duì)表2-1的環(huán)境變量進(jìn)行配置。Java的安裝Java的安裝對(duì)表2-1中的環(huán)境變量進(jìn)行配置的操作步驟如下。（1）在“我的電腦”上單擊鼠標(biāo)右鍵，在彈出的快捷菜單中選擇“屬性”命令，如圖2-1所示。Java的安裝（2）在打開(kāi)的窗口中單擊“高級(jí)系統(tǒng)設(shè)置”選項(xiàng)，如圖2-2所示。Java的安裝（3）在打開(kāi)的“系統(tǒng)屬性”對(duì)話框中單擊“環(huán)境變量”按鈕，如圖2-3所示。Java的安裝（4）在打開(kāi)的“環(huán)境變量”對(duì)話框中單擊“系統(tǒng)變量”列表框下的“新建”按鈕，如圖2-4所示。Java的安裝（5）在打開(kāi)的“新建系統(tǒng)變量”對(duì)話框（見(jiàn)圖2-5）中以新建的方式配置JAVA_HOME環(huán)境變量。Java的安裝填寫(xiě)完畢后，單擊“確定”按鈕，完成新建環(huán)境變量JAVA_HOME的配置，如圖2-6所示。Java的安裝配置完成后，“環(huán)境變量”對(duì)話框的“系統(tǒng)變量”列表框會(huì)顯示該變量，如圖2-7所示。Java的安裝（7）CLASSPATH環(huán)境變量的值為“；%JAVA_HOME%lib\dtjar；%JAVAHOME%lib\tools.jar"，如圖2-8所示。填寫(xiě)完畢后，單擊“確定”按鈕，完成新建環(huán)境變量CLASSPATH的配置。此時(shí)，界面返回到如圖2-9所示的“環(huán)境變量”對(duì)話框。Java的安裝（8）如圖2-9所示，在“系統(tǒng)變量”列表框中單擊“Path"，接著單擊“編輯”按鈕，以追加的方式開(kāi)始配置Path環(huán)境變量。Java的安裝（9）在“編輯環(huán)境變量”對(duì)話框中單擊“編輯文本”按鈕，如圖2-10所示，打開(kāi)“編輯系統(tǒng)變量”對(duì)話框。Java的安裝（10）在“編輯系統(tǒng)變量”對(duì)話框中“變量值”文本框中文本的最后面增添“%JAVAHOME%\bin；%JAVA_HOME%\jre\bin”，如圖2-11所示，單擊“確定”按鈕，完成環(huán)境變量Path的配置。Java的安裝（11）配置完畢后，單擊所有對(duì)話框的“確定”按鈕，關(guān)閉所有對(duì)話框，返回桌面。（12）在Windows的桌面按“Win+R”組合鍵，在打開(kāi)的“運(yùn)行”對(duì)話框的“打開(kāi)”文本框中輸入“cmd"，如圖2-12所示，單擊“確定”按鈕，調(diào)出命令窗口。Java的安裝（13）在命令窗口中輸入“java-version”和“javac”命令，若出現(xiàn)類似圖2-13的輸出提示，則表明Java的環(huán)境變量配置正確。Kettle的下載安裝與Spoon的啟動(dòng)ettle是作為一個(gè)獨(dú)立的壓縮包被發(fā)布的，我們可以從官網(wǎng)選擇最新的版本下載。下載完畢后，解壓下載的文件，雙擊spoon.bat即可使用。為了方便使用，可以為spoon.bat創(chuàng)建一個(gè)Windows桌面快捷方式。創(chuàng)建快捷方式后，在新創(chuàng)建的快捷方式上單擊鼠標(biāo)右鍵，在彈出的快捷菜單中選擇“屬性”命令，就會(huì)在系統(tǒng)打開(kāi)的屬性對(duì)話框中顯示“快捷方式”選項(xiàng)卡。在這個(gè)選項(xiàng)卡下單擊“更改圖標(biāo)”按鈕，可以為這個(gè)快捷方式選中一個(gè)容易識(shí)別的圖標(biāo)，一般選擇Kettle目錄下的spoon.ico文件。02Kettle的使用1.步驟步驟是轉(zhuǎn)換中的基本組成部分。它是一個(gè)圖形化的組件，我們可以通過(guò)配置步驟的參數(shù)，使它完成相應(yīng)的功能。一個(gè)步驟有如下幾個(gè)關(guān)鍵特性（1）步驟需要有一個(gè)唯一的名字。（2）每個(gè)步驟都會(huì)讀/寫(xiě)數(shù)據(jù)行。（3）步驟之間通過(guò)跳進(jìn)行數(shù)據(jù)行的單向傳輸。（4）大多數(shù)的步驟都可以有多個(gè)輸出跳。（5）在運(yùn)行轉(zhuǎn)換時(shí)，一個(gè)線程運(yùn)行一個(gè)步驟，所有步驟的線程幾乎同時(shí)運(yùn)行。Kettle的使用2.轉(zhuǎn)換的跳就是步驟之間帶箭頭的連線，跳定義了步驟之間進(jìn)行數(shù)據(jù)傳輸?shù)膯蜗蛲ǖ馈Ｗ⒁猓阂驗(yàn)樵谵D(zhuǎn)換里每個(gè)步驟都依賴前一個(gè)步驟獲取字段值，所以當(dāng)創(chuàng)建新跳時(shí)，跳的方向是單向的，而不能是雙向循環(huán)的。一方面，數(shù)據(jù)沿著轉(zhuǎn)換里的步驟移動(dòng)而形成一條從頭到尾的數(shù)據(jù)通路；另一方面，轉(zhuǎn)換里的步驟幾乎是同時(shí)啟動(dòng)的，所以不可能判斷出哪個(gè)步驟是第一個(gè)啟動(dòng)的步驟。Kettle的使用3.數(shù)據(jù)行數(shù)據(jù)以數(shù)據(jù)行的形式沿著步驟移動(dòng)。一個(gè)數(shù)據(jù)行是零到多個(gè)字段的集合。字段包括下面幾種數(shù)據(jù)類型。（1）String:字符類型數(shù)據(jù)。（2）Number:雙精度浮點(diǎn)數(shù)。（3）Integer:帶符號(hào)長(zhǎng)整型（64位）。（4）Bignumber:任意精度數(shù)值。（5）Date:帶毫秒精度的日期時(shí)間值。（6）Boolean:取值為true和false的布爾值。（7）Binary:為二進(jìn)制字段，可以包括圖形、聲音、視頻及其他類型的二進(jìn)制數(shù)據(jù)。Kettle的使用第一個(gè)轉(zhuǎn)換案例1.創(chuàng)建轉(zhuǎn)換運(yùn)行Spoon.bat后，Kettle將啟動(dòng)Spoon，進(jìn)入可視化編程界面。啟動(dòng)完畢后的Spoon可視化編程界面如圖2-15所示。第一個(gè)轉(zhuǎn)換案例在Spoon界面的快捷工具欄中單擊囚按鈕，在下拉菜單中選擇“轉(zhuǎn)換”命令，如圖2-16所示，這樣就創(chuàng)建了一個(gè)轉(zhuǎn)換文件。第一個(gè)轉(zhuǎn)換案例單擊按鈕（見(jiàn)圖2-17），在打開(kāi)的對(duì)話框中重命名該轉(zhuǎn)換文件，設(shè)置保存路徑，單擊“保存”按鈕，如圖2-18所示，可以保存該轉(zhuǎn)換文件。第一個(gè)轉(zhuǎn)換案例如圖2-19所示，窗口中空白的地方被稱為空畫(huà)布?？梢栽谶@個(gè)空畫(huà)布上進(jìn)行可視化編程。2.核心對(duì)象在“核心對(duì)象”選項(xiàng)卡中，以文件夾的方式存放了各種類型的步驟，單擊某個(gè)文件夾即可展開(kāi)該文件夾里面所有的步驟。也可在左上角的“步驟”搜索框中，輸入步驟的大體名稱，進(jìn)行模糊查找。查找的結(jié)果中將顯示符合查找條件的步驟位于哪個(gè)文件夾下。注意：在核心對(duì)象中的步驟上雙擊，該步驟將出現(xiàn)在右邊的畫(huà)布中，并自動(dòng)連接上一個(gè)步驟。第一個(gè)轉(zhuǎn)換案例第一個(gè)轉(zhuǎn)換案例如圖2-20所示，“核心對(duì)象”選項(xiàng)卡位于Spoon界面的左上角，在“主對(duì)象樹(shù)”選項(xiàng)卡的右邊。配置“表輸入”步驟3.可視化編程配置“MicrosoftExcel輸出”步驟創(chuàng)建步驟創(chuàng)建轉(zhuǎn)換的跳，連接步驟運(yùn)行轉(zhuǎn)換第一個(gè)轉(zhuǎn)換案例第一個(gè)轉(zhuǎn)換案例4.執(zhí)行結(jié)果執(zhí)行完畢后，輸出的文件被保存在“MicrosoftExcel輸出”步驟設(shè)置的路徑下。該轉(zhuǎn)換的輸出路徑為C：\Users\45812\Desktop\etlktr\outfile.xlsx，如圖2-37所示。5.狀態(tài)欄如圖2-42所示，狀態(tài)欄顯示一系列調(diào)試運(yùn)行程序的按鈕。第一個(gè)轉(zhuǎn)換案例第一個(gè)轉(zhuǎn)換案例6.主對(duì)象樹(shù)在進(jìn)行可視化編程的過(guò)程中，在畫(huà)布上每增添一個(gè)步驟、一個(gè)跳等，系統(tǒng)都會(huì)在主對(duì)象樹(shù)中記錄并呈現(xiàn)出來(lái)，如圖2-44所示。7.參數(shù)配置Kettle的參數(shù)配置分為環(huán)境變量配置和命名參數(shù)配置兩類。環(huán)境變量的配置路徑為C：\Users45812kettle\perties（45812表示此Windows下的用戶）。命名參數(shù)配置:在當(dāng)前轉(zhuǎn)換畫(huà)布上空白的地方單擊鼠標(biāo)右鍵，在彈出的快捷菜單中選擇“轉(zhuǎn)換設(shè)置CTRLL”命