《數(shù)據(jù)導(dǎo)入與預(yù)處理應(yīng)用》課程實驗教學(xué)大綱

數(shù)據(jù)導(dǎo)入與預(yù)處理應(yīng)用》實驗教學(xué)大綱一、課程基本情況課程代碼：1139課程名稱：數(shù)據(jù)導(dǎo)入與預(yù)處理應(yīng)用/DataImportandPreprocessing課程類別：專業(yè)必修課學(xué)分：3總學(xué)時：48實驗/實踐學(xué)時：18適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)適用對象：本科先修課程：Python程序設(shè)計、Linux基礎(chǔ)、數(shù)據(jù)庫原理與應(yīng)用二、課程簡介《數(shù)據(jù)導(dǎo)入與預(yù)處理應(yīng)用》是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門專業(yè)基礎(chǔ)必修課。本課程詳細(xì)介紹了如何利用Kettle的各種組件完成數(shù)據(jù)預(yù)處理中的數(shù)據(jù)抽取、數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)轉(zhuǎn)換工作。同時通過一系列案例的講解和實驗的操作演練，使得學(xué)生熟練掌握常用的Kettle組件，利用這些組件獨立完成數(shù)據(jù)預(yù)處理工作，并具備性能調(diào)優(yōu)、簡單方案設(shè)計的能力。數(shù)據(jù)導(dǎo)入與預(yù)處理是大數(shù)據(jù)項目處理流程中前端的一個環(huán)節(jié)。通過數(shù)據(jù)預(yù)處理，可以為后續(xù)的數(shù)據(jù)挖掘工作提供一個高質(zhì)量，高抽象度的數(shù)據(jù)集，提高數(shù)據(jù)挖掘的效率。通過該課程的學(xué)習(xí)，使學(xué)生具備有數(shù)據(jù)預(yù)處理方案設(shè)計與實施的能力。三、實驗項目及學(xué)時安排序號實驗/實踐項目名稱實驗學(xué)時實驗類型每組人數(shù)實驗要求對應(yīng)的課程教學(xué)目標(biāo)1實驗一、復(fù)雜表頭的Excel數(shù)據(jù)源處理1設(shè)計性1必做3、42實驗二、合并多個Excel文件1設(shè)計性1必做3、43實驗三、用Kettle生成測試數(shù)據(jù)1驗證性1選做3、44實驗四、數(shù)據(jù)全量、增量、比較更新1驗證性1必做3、45實驗五、字符串操作（去空，值替換，補位）1設(shè)計性1必做3、46實驗六、字段的拆分、合并、值映射1驗證性1必做3、47實驗七、去除重復(fù)的數(shù)據(jù)1設(shè)計性1必做3、48實驗八、異常數(shù)據(jù)分流1設(shè)計性1必做3、49實驗九、數(shù)據(jù)質(zhì)量統(tǒng)計1驗證性1必做4、510實驗十、多數(shù)據(jù)源合并1驗證性1必做4、511實驗十一、沒有數(shù)據(jù)流入時停止操作1驗證性1選做3、412實驗十二、子轉(zhuǎn)換1驗證性1必做3、413實驗十三、發(fā)送郵件1驗證性1選做3、414實驗十四、數(shù)據(jù)分流1.5驗證性1必做3、415實驗十五、作業(yè)的創(chuàng)建與定時調(diào)度1.5驗證性1必做3、416實驗十六、批量加載1驗證性1選做3、417實驗十七、查找表映射1驗證性1必做3、4合計18四、實驗內(nèi)容實驗一復(fù)雜表頭的Excel數(shù)據(jù)源處理實驗?zāi)康模豪肒ettle的“Excel輸入”等組件，完成復(fù)雜表頭的Excel數(shù)據(jù)源處理。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：實驗內(nèi)容熟練掌握Kettle的“Excel輸入”組件的使用，完成復(fù)雜表頭的Excel數(shù)據(jù)源處理。實驗步驟（1）根據(jù)內(nèi)容要求完成復(fù)雜表頭的Excel數(shù)據(jù)源處理的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Insight創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，驗證設(shè)計的合理性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗二合并多個excel文件實驗?zāi)康模??利用Kettle的“Excel輸入”等組件，完成合并多個Excel文件。實驗設(shè)備：計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：實驗內(nèi)容熟練掌握Kettle的“Excel輸入”組件，命名參數(shù)，通配符的使用，完成合并多個Excel文件。實驗步驟（1）根據(jù)內(nèi)容要求完成合并多個excel文件的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證設(shè)計的合理性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗三用Kettle生成測試數(shù)據(jù)實驗?zāi)康模豪肒ettle的“生成隨機數(shù)”，“JavaScript代碼”組件，生成測試數(shù)據(jù)。實驗設(shè)備：計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1.實驗內(nèi)容通過Kettle的“生成隨機數(shù)”生成隨機0~1的小數(shù)，隨機的字符串，隨機的整數(shù)。再利用“JavaScript代碼”編寫代碼處理隨機的數(shù)或字符串，輸出一定范圍的小數(shù)，日期和有一定規(guī)律形式的整數(shù)，實現(xiàn)生成不同類型的測試數(shù)據(jù)。實驗步驟根據(jù)內(nèi)容要求完成用Kettle生成測試數(shù)據(jù)的邏輯設(shè)計。(2)根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。根據(jù)實驗要求，利用Insight創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。完成實驗測試，查看實驗結(jié)果，驗證設(shè)計的合理性。撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗四數(shù)據(jù)全量、增量、比較更新實驗?zāi)康模??利用Kettle的“表輸入”，“表輸入出”，”JavaScript代碼”組件，實現(xiàn)數(shù)據(jù)全量更新。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容熟練掌握Kettle的“JavaScript代碼”，“表輸入”，“表輸入出”組件的使用，實現(xiàn)數(shù)據(jù)全量更新。2?實驗步驟(1)根據(jù)內(nèi)容要求完成用數(shù)據(jù)全量、增量、比較更新的邏輯設(shè)計。(2)根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗五字符串操作(去空，值替換，補位)實驗?zāi)康模??利用Kettle的“過濾記錄”，“字符串替換”，“字符串操作”組件，實現(xiàn)記錄的過濾，字符串替換及字符串的去空格功能。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容熟練掌握Kettle的“過濾記錄”，“字符串替換”，“字符串操作”等組件的使用，實現(xiàn)記錄的過濾，字符串替換及字符串的去空格功能。2?實驗步驟(1)根據(jù)內(nèi)容要求完成用Kettle完成字符串操作(去空，值替換，補位)實驗的邏輯設(shè)計。(2)根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗六字段的拆分、合并、值映射實驗?zāi)康模??利用Kettle的“拆分字段”，“字段選擇”，“值映射”“JavaScript代碼”組件，實現(xiàn)字段的拆分、合并、值映射。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：實驗內(nèi)容熟練掌握Kettle的“拆分字段”，“字段選擇”，“值映射”“JavaScript代碼”等組件的使用，實現(xiàn)字段的拆分、合并、值映射。實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成字段的拆分、合并、值映射實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗七去除重復(fù)的數(shù)據(jù)實驗?zāi)康模??利用Kettle的“去除重復(fù)記錄”組件，實現(xiàn)去除重復(fù)數(shù)據(jù)。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容通過Kettle的“阻塞數(shù)據(jù)直到步驟都完成”對多張表格的外鍵進行排序，然后通過“記錄集連接”進行多表連接，再通過“字段選擇”選擇合適的字段輸出到表格，實現(xiàn)去除重復(fù)數(shù)據(jù)。2?實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成去除重復(fù)的數(shù)據(jù)實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗八異常數(shù)據(jù)分流實驗?zāi)康模?.利用Kettle的“Excel輸入"，“表輸出"，“MicrosoftExcel輸出"組件和“Errorhandingofstep"跳，實現(xiàn)異常數(shù)據(jù)的分流。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容通過“Excel輸入”讀入表格的記錄，其中，日期格式為多種格式的。然后通過“表輸出”保存日期格式正確的記錄，再通過“Errorhandingofstep"跳和“MicrosoftExcel輸出”組件，把日期格式不正確的記錄輸出到Excel表格，實現(xiàn)數(shù)據(jù)異常數(shù)據(jù)的分流。2?實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成異常數(shù)據(jù)分流實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗九數(shù)據(jù)質(zhì)量統(tǒng)計實驗?zāi)康模??利用Kettle的“分組”，“JavaScript代碼”，“字段選擇”組件，實現(xiàn)數(shù)據(jù)質(zhì)量統(tǒng)計。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容通過Kettle的“JavaScript代碼”對表格的記錄進行質(zhì)量分類，然后通過“字段選擇”生成帶質(zhì)量標(biāo)志位字段的數(shù)據(jù)，再通過“分組”統(tǒng)計數(shù)據(jù)的質(zhì)量問題。2?實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成數(shù)據(jù)質(zhì)量統(tǒng)計實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十多數(shù)據(jù)源合并實驗?zāi)康模??利用Kettle的“追加流”等組件，完成多個數(shù)據(jù)源的合并。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容通過Kettle的“字段選擇”選擇要最終輸出的字段到下一個步驟“追加流”（實驗中必須保證每個數(shù)據(jù)源經(jīng)過字段選擇后，輸出的字段都是一致的），再通過“追加流”設(shè)置2個數(shù)據(jù)源的合并順序，然后通過“追加流”進行多個據(jù)源的合并。2?實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成多數(shù)據(jù)源合并實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十一沒有數(shù)據(jù)流入時停止操作實驗?zāi)康模??利用Kettle的“阻塞數(shù)據(jù)直到步驟都完成”，“檢測空流”，“中止”等組件，實現(xiàn)Kettle轉(zhuǎn)換流程的控制。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容通過掌握Kettle的“阻塞數(shù)據(jù)直到步驟都完成”，“檢測空流”,“中止”等組件的使用，實現(xiàn)Kettle轉(zhuǎn)換流程的控制。2?實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成沒有數(shù)據(jù)流入時停止操作實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十二子轉(zhuǎn)換實驗?zāi)康模??利用Kettle的“映射輸入規(guī)范”，“映射輸出規(guī)范”，“映射”組件，生成轉(zhuǎn)換和作業(yè)。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容熟練掌握Kettle的“映射輸入規(guī)范”，“映射輸出規(guī)范”，“映射”，“JavaScript代碼”，“分組”等組件的使用，實現(xiàn)調(diào)用子轉(zhuǎn)換進行數(shù)據(jù)質(zhì)量統(tǒng)計。2?實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成子轉(zhuǎn)換實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十三發(fā)送郵件實驗?zāi)康模??利用Kettle的“發(fā)送郵件”，“自定義常量數(shù)據(jù)”組件，完成向一個指定的郵箱發(fā)送郵件。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容通過Kettle的“自定義常量數(shù)據(jù)”設(shè)置發(fā)送郵件的發(fā)件人、收件人地址信息，并將這些數(shù)據(jù)傳輸給“發(fā)送郵件”，通過運行“發(fā)送郵件”，最終將郵件發(fā)送到收件人郵箱中。2?實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成發(fā)送郵件操作實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十四數(shù)據(jù)分流實驗?zāi)康模?.利用Kettle的“Selectvalues",“ModifiedJavaScriptValue",“Filterrows"組件，實現(xiàn)數(shù)據(jù)分流。實驗設(shè)備：1?計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1?實驗內(nèi)容通過掌握Kettle的“ModifiedJavaScriptValue"對表格的“講師”字段進行分組后分流序，然后通過“Filterrows"等組件輸出分流后的數(shù)據(jù)到表格，實現(xiàn)數(shù)據(jù)分流。2?實驗步驟(1)根據(jù)內(nèi)容要求完成用Kettle完成數(shù)據(jù)分流操作實驗的邏輯設(shè)計。(2)根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作，下載數(shù)據(jù)源。根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十五作業(yè)的創(chuàng)建與定時調(diào)度實驗?zāi)康模?.利用Kettle的“START",“Transformation",“Success"組件，實現(xiàn)作業(yè)的創(chuàng)建與定時調(diào)度。實驗設(shè)備：1.計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：實驗內(nèi)容通過掌握Kettle的“START",“Transformation",“Success"等組件的使用，實現(xiàn)作業(yè)的創(chuàng)建與定時調(diào)度實驗步驟(1)根據(jù)內(nèi)容要求完成用Kettle完成作業(yè)的創(chuàng)建與定時調(diào)度操作實驗的邏輯設(shè)計。(2)根據(jù)設(shè)計要求,完成實驗準(zhǔn)備工作。根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。完成實驗測試,查看實驗結(jié)果,驗證實驗結(jié)果的正確性。撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十六批量加載實驗?zāi)康模??利用Kettle的“生成記錄"組件，生成批量數(shù)據(jù)，利用這些數(shù)據(jù)實現(xiàn)Kettle在mySQL數(shù)據(jù)數(shù)據(jù)進行批量加載。實驗設(shè)備：1.計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：實驗內(nèi)容通過掌握“生成記錄"，“MySQL批量加載"，“文本文件輸入"等組件的使用，實現(xiàn)Kettle在mySQL數(shù)據(jù)數(shù)據(jù)進行批量加載。實驗步驟(1)根據(jù)內(nèi)容要求完成用Kettle完成批量加載操作實驗的邏輯設(shè)計。(2)根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程和實驗結(jié)果。實驗十七查找表映射實驗?zāi)康模??利用Kettle的“合并排序"等組件，構(gòu)建面向?qū)ο蠓治龅臄?shù)據(jù)倉庫。實驗設(shè)備：1.計算機、Kettle平臺軟件實驗主要內(nèi)容及步驟：1.實驗內(nèi)容通過掌握Kettle的“排序記錄”，“合并排序”，“字段選擇”等組件的使用，構(gòu)建面向?qū)ο蠓治龅臄?shù)據(jù)表格，實現(xiàn)查找表映射。實驗步驟（1）根據(jù)內(nèi)容要求完成用Kettle完成查找表映射操作實驗的邏輯設(shè)計。（2）根據(jù)設(shè)計要求，完成實驗準(zhǔn)備工作。（3）根據(jù)實驗要求，利用Kettle創(chuàng)建轉(zhuǎn)換、可視化編程、進行各組件的配置、運行程序。（4）完成實驗測試，查看實驗結(jié)果，驗證實驗結(jié)果的正確性。（5）撰寫實驗報告，整理實驗數(shù)據(jù)，記錄完備的實驗過程