ETL工具-KETTLE研究及實踐

2023/2/4IVOConfidential1ETL工具研究

---KETTLE田浩元2014.12.10ETL是什么？ETL（數(shù)據(jù)倉庫技術(shù)）ETL，是英文Extract-Transform-Load的縮寫，用來描述將數(shù)據(jù)從來源端經(jīng)過萃?。╡xtract）、轉(zhuǎn)置（transform）、加載（load）至目的端的過程。ETL一詞較常用在數(shù)據(jù)倉庫，但其對象并不限于數(shù)據(jù)倉庫。ETL是構(gòu)建數(shù)據(jù)倉庫的重要一環(huán)，用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。 ---From百度百科KETTLE介紹Kettle是一款國外開源的ETL工具，純java編寫，可以在Window、Linux、Unix上運行，綠色無需安裝，數(shù)據(jù)抽取高效穩(wěn)定。Kettle中文名稱叫水壺，該項目的主程序員希望把各種數(shù)據(jù)放到一個壺里，然后以一種指定的格式流出。KETTLE介紹Kettle這個ETL工具集，它允許你管理來自不同數(shù)據(jù)庫的數(shù)據(jù)，通過提供一個圖形化的用戶環(huán)境來描述你想做什么，而不是你想怎么做。Kettle中有兩種腳本文件，transformation和job，transformation完成針對數(shù)據(jù)的基礎(chǔ)轉(zhuǎn)換，job則完成整個工作流的控制。KETTLE實踐Kettle是一款免安裝軟件；Spoon.bat是window下運行的批處理文件Spoon.sh則是LinuxKETTLE實踐歡迎界面KETTLE實踐該怎么理解KETTLE輸入輸出轉(zhuǎn)換邏輯KETTLE功能簡介輸入—表輸入選擇表輸入，點擊鼠標(biāo)右鍵，選擇編輯步驟。步驟名稱可以更改，一般更改為和輸入表相關(guān)的名稱。數(shù)據(jù)庫連接：選擇一個已建好的數(shù)據(jù)庫連接，也可以新建一個。點擊”獲取SQL查詢語句”,可彈出數(shù)據(jù)庫瀏覽器，選擇自己需要的表或視圖。選擇好表或視圖后，SQL區(qū)域會顯示相應(yīng)的SQL，如選擇在SQL里包含字段名，你所選擇的表的所有字段均會顯示.在SQL區(qū)域用戶可手動修改SQL語句。輸出—Excel輸出Excel輸出編輯步驟選項，有六個選項卡。文件選項卡：文件名選擇輸出文件保存的路徑。內(nèi)容選項卡：一般不需做修改。字段選項卡：點擊獲取字段，輸入流中的字段全部會獲取到，不需要的字段，可選中不需要的行，右鍵刪除。輸出—插入/更新插入/更新:若流里的數(shù)據(jù)在目標(biāo)表中不存在，執(zhí)行插入，否則執(zhí)行更新，數(shù)據(jù)量不大的情況下，一般采用插入/更新操作。輸出—更新這個步驟類似于插入/更新步驟，除了對數(shù)據(jù)不作插入操作之外。它僅僅執(zhí)行更新操作輸出—刪除這個步驟類似于更新步驟，除了不更新操作之外，其他的行均被刪除輸出—表輸出這個步驟可以存儲信息到數(shù)據(jù)中轉(zhuǎn)換—去除重復(fù)記錄這個步驟從輸入流中移除重復(fù)的記錄增加計數(shù)器到輸出:如果想知道多少重復(fù)行被去掉，就勾選此項。字段名：用來比較的字段的字段名稱。轉(zhuǎn)換—拆分字段這個步驟允許根據(jù)分隔符來拆分字段。步驟名稱：在單一轉(zhuǎn)換中必須唯一需要拆分的字段：想要拆分的字段的名稱。分隔符：決定字段結(jié)束的分隔符字段：拆分形成的字段列表。例如：某字段包含：(123,456,789),使用逗號(,)分割符，可將字段分成三個段。流程—過濾記錄這個步驟根據(jù)條件和比較符來過濾記錄。發(fā)送true數(shù)據(jù)給步驟：指定條件返回true的數(shù)據(jù)將發(fā)送到此步驟True和false步驟必須指定。發(fā)送false數(shù)據(jù)給步驟：指定條件返回false的數(shù)據(jù)將發(fā)送到此步驟。連接—記錄集連接（Mergejoin）這個步驟將來自兩個不同的步驟輸入的數(shù)據(jù)執(zhí)行一個高效的合并。合并選項包括INNER，LEFTOUTER,RIGHTOUTER,FULLOUTER.這個步驟將輸入的行按照指定的字段存儲被合并的兩個步驟，必須按照相同的段進(jìn)行排序。KETTLE實踐要求：將CMS數(shù)據(jù)庫中的報案記錄表，篩選出需要的欄位，

插入到KPI數(shù)據(jù)庫表中該怎么做？程式使用定時器實現(xiàn)Exportimport？太浪費時間如何使用KETTLE實現(xiàn)這就是KETTLE實現(xiàn)->替換NULL值->KETTLE實踐1、數(shù)據(jù)的來源（輸入）有哪些？2、中間的邏輯處理（轉(zhuǎn)換等）能做什么？3、數(shù)據(jù)可以輸出到什么地方？只能輸出到數(shù)據(jù)庫嗎？KETTLE實踐實踐1：KPI第三項要求：記錄報案，每個2分

插入到KPI數(shù)據(jù)庫表user_kpi_score中KETTLE實踐實踐2：KPI第四項要求：track報案，每個2分

插入到KPI數(shù)據(jù)庫表user_kpi_score中KETTLE實踐實踐3：KPI第五項要求：firstcall，secondcall，每個5分，

每人每天最高10分

插入到KPI數(shù)據(jù)庫表user_kpi_score中KETTLE實踐實踐4：解析CIM座機(jī)電話記錄要求：從系統(tǒng)課共享