數(shù)據(jù)采集與預(yù)處理 課程教學(xué)大綱

《數(shù)據(jù)采集與預(yù)處理》課程教學(xué)大綱一、課程簡介課程中文名數(shù)據(jù)采集與預(yù)處理課程英文名Datacollectionandpreprocessing雙語授課□是否課程代碼10112164課程學(xué)分4總學(xué)時數(shù)64（含實踐32）課程類別□通識教育課程□公共基礎(chǔ)課程專業(yè)教育課程□綜合實踐課程□教師教育課程課程性質(zhì)必修□選修□其他課程形態(tài)□線上線下□線上線下混合式□社會實踐□虛擬仿真實驗教學(xué)考核方式□閉卷□開卷□課程論文課程作品□匯報展示報告課堂表現(xiàn)□階段性測試平時作業(yè)□其他（可多選）開課學(xué)院大數(shù)據(jù)與智能工程開課系(教研室)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)面向?qū)I(yè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)開課學(xué)期第3學(xué)期先修課程Python程序設(shè)計后續(xù)課程無選用教材1.朱曉姝、許桂秋.大數(shù)據(jù)預(yù)處理.人民郵電出版社,2019.參考書目1.MattCasters（馬特·卡斯特），RolandBouman（羅蘭·布曼），JosvanDongen（喬斯·凡·東恩）.PentahoKettle解決方案：使用PDI構(gòu)建開源ETL解決方案.\o"電子工業(yè)出版社"電子工業(yè)出版社，2014.課程資源1.數(shù)據(jù)獲取與預(yù)處理.網(wǎng)易云課堂./course/2001353005?tid=2001578010#/info課程簡介數(shù)據(jù)采集與預(yù)處理是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的必修核心課程，旨在讓學(xué)生主流的數(shù)據(jù)采集技術(shù)和大數(shù)據(jù)預(yù)處理方法和工具，具備采集大數(shù)據(jù)并對其進行預(yù)處理的能力。課程內(nèi)容包括正則表達式、網(wǎng)絡(luò)爬蟲、數(shù)據(jù)預(yù)處理背景及其意義、數(shù)據(jù)預(yù)處理理論方法、數(shù)據(jù)預(yù)處理工具（Kettle）、Kettle的使用等。二、課程目標(biāo)表1課程目標(biāo)序號具體課程目標(biāo)課程目標(biāo)1能夠應(yīng)用數(shù)學(xué)、計算機科學(xué)和數(shù)據(jù)采集與預(yù)處理的基本原理，在數(shù)據(jù)采集與預(yù)處理流程的構(gòu)思與設(shè)計階段，通過文獻研究、實驗試驗、工程推理、數(shù)學(xué)建模等方法，識別、表達、分析復(fù)雜數(shù)據(jù)采集與預(yù)處理問題及其解決方法、識別和判斷數(shù)據(jù)采集與預(yù)處理問題的關(guān)鍵環(huán)節(jié)和參數(shù)，已獲得數(shù)學(xué)模型、工程知識庫等有效結(jié)論。課程目標(biāo)2能夠利用數(shù)據(jù)采集與預(yù)處理基礎(chǔ)知識，以及計算機及軟件工程等相關(guān)領(lǐng)域的專業(yè)知識、技能與工具，設(shè)計針對數(shù)據(jù)采集與預(yù)處理問題的解決方案，解決實際數(shù)據(jù)采集與預(yù)處理全過程中遇到的復(fù)雜工程問題，并能夠在設(shè)計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識，考慮社會、健康、安全、法律、文化以及環(huán)境等因素。課程目標(biāo)3能夠針對數(shù)據(jù)采集與預(yù)處理過程中涉及的復(fù)雜工程問題，選擇和使用恰當(dāng)?shù)臄?shù)據(jù)采集和預(yù)處理工具，進行信息的采集、預(yù)處理、表達、建模、設(shè)計、模擬、驗證，并能夠在實踐中了解國內(nèi)主流數(shù)據(jù)采集和預(yù)處理平臺在不同應(yīng)用場景中的優(yōu)勢和局限性；樹立使用國產(chǎn)軟件、保護版權(quán)的意識，激發(fā)民族自豪感；堅持自主創(chuàng)新，為建設(shè)世界科技強國而奮斗。表2-1課程目標(biāo)與畢業(yè)要求對應(yīng)關(guān)系畢業(yè)要求指標(biāo)點課程目標(biāo)畢業(yè)要求3：能夠針對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題，綜合應(yīng)用數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)基本原理和方法，設(shè)計、開發(fā)滿足特定應(yīng)用需求的系統(tǒng)方案，并能夠在設(shè)計環(huán)節(jié)中體現(xiàn)創(chuàng)新意識，考慮社會、健康、安全、法律、文化以及環(huán)境等多維度協(xié)同發(fā)展因素。【H】3.2能夠根據(jù)實際目標(biāo)和解決方案，設(shè)計或開發(fā)出大數(shù)據(jù)應(yīng)用系統(tǒng)及說明文檔，并能夠在設(shè)計和開發(fā)過程中體現(xiàn)創(chuàng)新性。課程目標(biāo)1畢業(yè)要求5：能夠針對大數(shù)據(jù)應(yīng)用領(lǐng)域的復(fù)雜工程問題，選擇和使用恰當(dāng)?shù)募夹g(shù)、資源和現(xiàn)代工程工具，進行信息表達、建模、設(shè)計、模擬、驗證，并能夠在實踐中了解這些工具使用的局限性?！綧】5.2能夠正確選擇和使用恰當(dāng)?shù)能浻布脚_、數(shù)據(jù)處理工具、現(xiàn)代工程工具和大數(shù)據(jù)框架，提高解決問題效率。課程目標(biāo)2畢業(yè)要求6：基于大數(shù)據(jù)應(yīng)用領(lǐng)域相關(guān)背景知識，能夠合理分析和評價大數(shù)據(jù)應(yīng)用實踐和復(fù)雜工程問題解決方案對社會、健康、安全、法律以及文化的影響，并理解應(yīng)承擔(dān)的責(zé)任?！綥】6.1了解大數(shù)據(jù)應(yīng)用相關(guān)領(lǐng)域的技術(shù)標(biāo)準(zhǔn)體系、知識產(chǎn)權(quán)、產(chǎn)業(yè)政策和法律法規(guī)，理解不同社會文化對工程活動的影響。課程目標(biāo)3三、課程學(xué)習(xí)內(nèi)容與方法（一）理論學(xué)習(xí)內(nèi)容及要求表3-1課程目標(biāo)、學(xué)習(xí)內(nèi)容和教學(xué)方法對應(yīng)關(guān)系序號課程模塊學(xué)習(xí)內(nèi)容學(xué)習(xí)任務(wù)課程目標(biāo)學(xué)習(xí)重點難點教學(xué)方法學(xué)時1數(shù)據(jù)采集1.數(shù)據(jù)采集概述1.拓展閱讀：閱讀數(shù)據(jù)采集相關(guān)的文獻，查閱網(wǎng)絡(luò)爬蟲相關(guān)案例，學(xué)習(xí)國內(nèi)主流的數(shù)據(jù)采集工具課程目標(biāo)1重點：1.數(shù)據(jù)采集技術(shù)算法的實現(xiàn)2.網(wǎng)絡(luò)爬蟲算法實現(xiàn)難點：3.正則表達式的應(yīng)用1.課堂講授：能夠引導(dǎo)學(xué)生對數(shù)據(jù)采集的興趣促進學(xué)生對正則表達的理解42.數(shù)據(jù)采集技術(shù)算法3.正則表達式課程目標(biāo)24.網(wǎng)絡(luò)爬蟲5.國內(nèi)主流的數(shù)據(jù)采集工具課程目標(biāo)32數(shù)據(jù)預(yù)處理綜述1.數(shù)據(jù)預(yù)處理背景1.拓展閱讀：閱讀預(yù)處理相關(guān)的文獻，學(xué)習(xí)國內(nèi)主流的數(shù)據(jù)預(yù)處理工具課程目標(biāo)1重點：1.數(shù)據(jù)預(yù)處理的目的2.數(shù)據(jù)與處理流程1.講授法：能夠引導(dǎo)學(xué)生理解數(shù)據(jù)預(yù)處理概念，掌握數(shù)據(jù)預(yù)處理的目的與流程42.數(shù)據(jù)預(yù)處理的目的3.數(shù)據(jù)預(yù)處理的流程4.國內(nèi)主流的數(shù)據(jù)預(yù)處理的工具課程目標(biāo)33數(shù)據(jù)預(yù)處理技術(shù)1.數(shù)據(jù)清理1.個人作業(yè)：完成課后布置的數(shù)據(jù)歸約、數(shù)據(jù)變換等作業(yè)課程目標(biāo)1重點：1.數(shù)據(jù)清理2.數(shù)據(jù)集成難點：1.數(shù)據(jù)規(guī)約2.數(shù)據(jù)變換1.講授法：能夠引導(dǎo)學(xué)生熟悉并掌握數(shù)據(jù)預(yù)處理相關(guān)技術(shù)方法52.數(shù)據(jù)集成3.數(shù)據(jù)歸約課程目標(biāo)24.數(shù)據(jù)變換4Kettle工具的初步使用1.Kettle簡介及其安裝1.拓展閱讀：閱覽kettle相關(guān)數(shù)據(jù)，熟悉其使用方法及應(yīng)用場景課程目標(biāo)3重點：1.Kettle使用方法及應(yīng)用場景1.實驗指導(dǎo)：能夠促使學(xué)生更快的熟悉Kettle工具22.Kettle使用方法及應(yīng)用場景5數(shù)據(jù)導(dǎo)入與導(dǎo)出1.基于文件的數(shù)據(jù)導(dǎo)入與導(dǎo)出1.個人作業(yè)：完成課后布置的不同數(shù)據(jù)源的數(shù)據(jù)導(dǎo)入與導(dǎo)出任務(wù)課程目標(biāo)2重點：1.基于文件的數(shù)據(jù)導(dǎo)入與導(dǎo)出難點：2.基于數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入與導(dǎo)出1.實驗指導(dǎo)：能夠促使學(xué)生更快的使用Kettle進行數(shù)據(jù)的導(dǎo)入與導(dǎo)出42.基于數(shù)據(jù)庫的數(shù)據(jù)導(dǎo)入與導(dǎo)出3.基于Web的數(shù)據(jù)導(dǎo)入與導(dǎo)出4.基于CDC變更數(shù)據(jù)的導(dǎo)入與導(dǎo)出6Kettle數(shù)據(jù)清洗1.Kettle數(shù)據(jù)清洗概述1.個人作業(yè)：完成課后布置的利用Kettle清洗數(shù)據(jù)的任務(wù)課程目標(biāo)1重點：1.字符串處理2.數(shù)據(jù)排重難點：1.數(shù)據(jù)校驗2.Kettle的腳本使用1.實驗指導(dǎo)：能夠促使學(xué)生更快的掌握Kettle爭對不同問題的解決方法62.Kettle字符串處理課程目標(biāo)23.Kettle數(shù)據(jù)排重4.Kettle數(shù)據(jù)校驗6.Kettle使用腳本進行數(shù)據(jù)清理課程目標(biāo)37構(gòu)建數(shù)據(jù)倉庫1.構(gòu)建維度表1.拓展閱讀：查閱數(shù)據(jù)倉庫相關(guān)概念，理解維度表和事實表課程目標(biāo)2重點：1.構(gòu)建維度表2.構(gòu)建事實表1.課堂講授：能夠引導(dǎo)學(xué)生掌握數(shù)據(jù)倉庫及維度表和事實表的概念32.構(gòu)建事實表3.數(shù)據(jù)剖析8Kettle作業(yè)設(shè)計1.作業(yè)的概念及組成1.個人作業(yè)：完成課后布置的Kettle作業(yè)創(chuàng)建及執(zhí)行等任務(wù)課程目標(biāo)1重點：1.作業(yè)的執(zhí)行方式難點：1.變量與監(jiān)控1.實驗指導(dǎo)：能夠促使學(xué)生更快的掌握Kettle作業(yè)的概念及其執(zhí)行方式42.作業(yè)的執(zhí)行方式課程目標(biāo)23.作業(yè)創(chuàng)建及常用作業(yè)項4.變量與監(jiān)控課程目標(biāo)3實驗學(xué)習(xí)內(nèi)容及要求表3-2課程目標(biāo)、學(xué)習(xí)內(nèi)容和教學(xué)方法對應(yīng)關(guān)系序號項目名稱項目來源教學(xué)目標(biāo)（觀測點、重難點）學(xué)時數(shù)項目類型要求每組人數(shù)教學(xué)方法課程目標(biāo)1實驗1：復(fù)雜表頭的Excel數(shù)據(jù)源處理實驗教材1.掌握轉(zhuǎn)換的創(chuàng)建方法2設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)12.掌握步驟的參數(shù)配置3.運行轉(zhuǎn)換并輸出結(jié)果2實驗2：合并多個excel文件實驗教材1.完成Excel文件輸入輸出步驟的配置2設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)22.理解多個文件合并的原理3.完成Excel文件輸出步驟的配置3實驗3：用Kettle生成測試數(shù)據(jù)實驗教材1.掌握測試數(shù)據(jù)隨機生成方法2設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)32.完成測試數(shù)據(jù)步驟參數(shù)配置4.完成測試數(shù)據(jù)轉(zhuǎn)換輸出4實驗4：數(shù)據(jù)全量、增量、比較更新實驗教材1.理解數(shù)據(jù)全量、增量概念4設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)12.完成數(shù)據(jù)全量、增量及比較更新操作3.完成轉(zhuǎn)換運行輸出5實驗5：字符串操作實驗教材1.掌握字符串去空方法6設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)32.完成字符串值替換操作3.掌握字符串補位操作4.完成字符串操作的轉(zhuǎn)換運行輸出6實驗6：字段的拆分、合并、值映射實驗教材1.完成字段拆分步驟的參數(shù)配置4設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)22.完成字段合并步驟的參數(shù)配置3.完成字段值映射步驟的參數(shù)配置7實驗7：去除重復(fù)的數(shù)據(jù)實驗教材1.掌握去除重復(fù)數(shù)據(jù)的原理方法4設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)22.理解數(shù)據(jù)對象之間相似度的計算方法3.完成數(shù)據(jù)去重轉(zhuǎn)換的運行輸出8實驗8：異常數(shù)據(jù)分流實驗教材1.理解異常數(shù)據(jù)的概念4設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)12.掌握異常數(shù)據(jù)分流的轉(zhuǎn)換設(shè)計3.完成數(shù)據(jù)分流轉(zhuǎn)換的運行輸出9實驗9：數(shù)據(jù)質(zhì)量統(tǒng)計實驗教材1.理解數(shù)據(jù)質(zhì)量的衡量方法4設(shè)計研究必做1實驗指導(dǎo)課程目標(biāo)32.掌握常用的數(shù)據(jù)質(zhì)量標(biāo)準(zhǔn)3.完成數(shù)據(jù)質(zhì)量統(tǒng)計的轉(zhuǎn)換運行輸出四、課程考核（一）考核內(nèi)容與考核方式表4-1課程目標(biāo)、考核內(nèi)容與考核方式對應(yīng)關(guān)系課程目標(biāo)考核內(nèi)容所屬學(xué)習(xí)模塊/項目考核占比考核方式課程目標(biāo)11.數(shù)據(jù)采集與預(yù)處理的目的、流程模塊1、2、3、6、8項目1-446%課堂交互實驗報告課后練習(xí)閉卷考試2.數(shù)據(jù)清洗的基本原理、目的、流程和經(jīng)典方法3.作業(yè)的概念、組成及其執(zhí)行方式4.數(shù)據(jù)集的合并、重塑和轉(zhuǎn)換課程目標(biāo)21.文件數(shù)據(jù)、數(shù)據(jù)庫數(shù)據(jù)、web數(shù)據(jù)等的導(dǎo)入與導(dǎo)出操作模塊1、3、5、6、7、8項目5-735%課堂交互實驗報告課后練習(xí)閉卷考試2.維度表和事實表的構(gòu)建，數(shù)據(jù)的剖析及捕獲3.數(shù)據(jù)排重，腳本組件進行數(shù)據(jù)清理4.作業(yè)創(chuàng)建及常用作業(yè)項，變量與監(jiān)控5.文本文件、二進制文件以及數(shù)據(jù)庫文件的導(dǎo)入導(dǎo)出課程目標(biāo)31.國內(nèi)主流的數(shù)據(jù)采集與預(yù)處理工具的優(yōu)勢和局限性模塊1、2、4、6、8項目8-919%課堂交互實驗報告課后練習(xí)閉卷考試2.Kettle工具的安裝、操作3.Kettle使用方法及應(yīng)用場景表4-2課程目標(biāo)與考核方式矩陣關(guān)系課程目標(biāo)考核方式考核占比平時考核（40%）期末考核（60%）課堂交互（10%）實驗報告（20%）課后練習(xí)（10%）課程目標(biāo)160%60%40%40%46%=10%*60%+20%*60%+10%*40%+60%*40%課程目標(biāo)230%20%40%40%35%=10%*30%+20%*20%+10%*40%+60%*40%課程目標(biāo)310%20%20%20%19%=10%*10%+20%*20%+10%*20%+60%*20%（二）成績評定1.平時成績評定（1）課堂交互（25分）：通過學(xué)生在課堂上發(fā)言、回答提問情況，評價學(xué)生的課程參與能力。（包括理想信念、家國情懷、社會責(zé)任、學(xué)習(xí)態(tài)度、學(xué)習(xí)興趣、團隊合作與終身學(xué)習(xí)意識等）（2）實驗報告（50分）：圍繞課程的學(xué)習(xí)目標(biāo)進行作業(yè)的設(shè)計。如讓學(xué)生簡述大數(shù)據(jù)的認(rèn)識，考核學(xué)生對于大數(shù)據(jù)相關(guān)概念的理解情況，幫助學(xué)生將定義轉(zhuǎn)化為自己的理解。（3）課后練習(xí)（25分）：學(xué)生收集課程知識相關(guān)資料的能力，研究并提出問題的能力，解決實際問題能力和合作研究能力；2.期末成績評定期末考試主要考察學(xué)生對數(shù)據(jù)采集與預(yù)處理知識體系、研究范疇和研究方向，數(shù)據(jù)采集與預(yù)處理領(lǐng)域的認(rèn)識和構(gòu)架的基本概念等，要求學(xué)生掌握使用數(shù)據(jù)采集與預(yù)處理工作平臺Kettle進行數(shù)據(jù)處理的方法、各種類型數(shù)據(jù)在實踐中的采