Python數(shù)據(jù)挖掘與機器學(xué)習(xí)第2版- 教學(xué)大綱

《數(shù)據(jù)挖掘與機器學(xué)習(xí)》課程教學(xué)大綱一、課程信息課程名稱數(shù)據(jù)挖掘與機器學(xué)習(xí)英文名稱DataMiningandMachineLearning課程編碼316042412課程類別專業(yè)核心課程是否為混合式課程否課程性質(zhì)必修學(xué)分3.5學(xué)時總學(xué)時：72理論學(xué)時36實踐/實驗學(xué)時36線上拓展學(xué)時適用專業(yè)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)建議修讀學(xué)期第5學(xué)期先修課程數(shù)據(jù)庫系統(tǒng)與應(yīng)用，Python數(shù)據(jù)分析與可視化、優(yōu)化理論與方法考核方式考試(√)考查()成績構(gòu)成及比例：過程性評價（平時作業(yè)、期中考試、課內(nèi)實驗）50%結(jié)果性評價（期末考試）50%大綱執(zhí)筆人大綱審核人注：線上拓展學(xué)時為教師安排學(xué)生利用課余時間完成線上學(xué)習(xí)的學(xué)時。二、課程簡介數(shù)據(jù)挖掘與機器學(xué)習(xí)是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門核心基礎(chǔ)課，也是進行數(shù)據(jù)分析和處理必不可少的基礎(chǔ)。通過本課程的學(xué)習(xí)，使學(xué)生掌握數(shù)據(jù)預(yù)處理技術(shù)（包括數(shù)據(jù)度量、數(shù)據(jù)清理、數(shù)據(jù)集成和轉(zhuǎn)換等方法）和數(shù)據(jù)挖掘與機器學(xué)習(xí)技術(shù)（包括分類、預(yù)測、關(guān)聯(lián)和聚類的概念與技術(shù)），并且熟悉數(shù)據(jù)挖掘與機器學(xué)習(xí)基本原理和發(fā)展方向，提升解決復(fù)雜數(shù)據(jù)工程問題能力，激發(fā)學(xué)生科技報國的家國情懷和使命擔當，鍛煉創(chuàng)造性思維和創(chuàng)新性實踐能力，具備初步的科研能力和創(chuàng)造能力。數(shù)據(jù)挖掘與機器學(xué)習(xí)作為理論和實踐結(jié)合的課程，其先修課是概率論與數(shù)理統(tǒng)計、Python數(shù)據(jù)分析與可視化、優(yōu)化理論與應(yīng)用，這三門課程為本課程提供理論基礎(chǔ)與實踐工具。本課程也是行業(yè)大數(shù)據(jù)分析、大數(shù)據(jù)處理綜合實踐、數(shù)據(jù)挖掘課程設(shè)計等專業(yè)課的重要基礎(chǔ)。三、課程內(nèi)容及要求（一）引言（2學(xué)時）1.教學(xué)內(nèi)容理論教學(xué)（2學(xué)時）：（1）掌握數(shù)據(jù)挖掘與機器學(xué)習(xí)的概念、內(nèi)容。（2）數(shù)據(jù)挖掘的任務(wù)、數(shù)據(jù)源、存在的問題與常用工具。（3）數(shù)據(jù)挖掘與機器學(xué)習(xí)課程的核心地位和學(xué)習(xí)目標（思政教育內(nèi)容：我國大數(shù)據(jù)政務(wù)平臺、大數(shù)據(jù)醫(yī)療平臺等優(yōu)秀的公司案例，展示中國目前蓬勃開展的數(shù)據(jù)挖掘技術(shù)，培養(yǎng)學(xué)生的愛國情懷，同時幫助學(xué)生樹立專業(yè)自信心）。2.基本要求（1）數(shù)據(jù)分析與數(shù)據(jù)挖掘的基本內(nèi)容及其聯(lián)系和區(qū)別，數(shù)據(jù)挖掘與機器學(xué)習(xí)的基本內(nèi)容及其聯(lián)系和區(qū)別。（2）要求學(xué)生掌握數(shù)據(jù)挖掘和機器學(xué)習(xí)中存在的主要問題，數(shù)據(jù)建模的常用工具以及Python數(shù)據(jù)挖掘與機器學(xué)習(xí)的常用庫。3.重點及難點重點：數(shù)據(jù)挖掘與機器學(xué)習(xí)的基本流程。難點：數(shù)據(jù)挖掘與機器學(xué)習(xí)的主要問題。4.教學(xué)模式：課堂講述與討論5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成數(shù)據(jù)挖掘與機器學(xué)習(xí)基本概念的知識性作業(yè)；（2）要求學(xué)生閱讀文獻或查閱資料，完成數(shù)據(jù)挖掘與機器學(xué)習(xí)發(fā)展的綜述性書面作業(yè)；（二）Python數(shù)據(jù)分析與挖掘基礎(chǔ)（4學(xué)時）1.教學(xué)內(nèi)容理論教學(xué)（2學(xué)時）：（1）掌握Python編程基礎(chǔ)。（2）數(shù)據(jù)Numpy、Pandas、matplotlib數(shù)據(jù)分析與可視化。2.基本要求（1）Python編程基礎(chǔ)。（2）Numpy、Pandas、matplotlib數(shù)據(jù)分析與可視化用法。3.重點及難點重點：Numpy、Pandas、matplotlib的基本用法。難點：數(shù)據(jù)挖掘數(shù)據(jù)建模編程基礎(chǔ)。4.教學(xué)模式：課堂講述與實踐5.作業(yè)及課外學(xué)習(xí)要求數(shù)據(jù)分析與可視化編程實踐練習(xí)；（三）認識數(shù)據(jù)（4學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（2學(xué)時）（1）數(shù)據(jù)對象的屬性及其類型。（2）數(shù)據(jù)的基本統(tǒng)計描述。（3）數(shù)據(jù)可視化。（4）數(shù)據(jù)對象的相似性度量。（思政融入點：特征選擇時，通過算法選擇出對識別有重大貢獻的特征，堅決淘汰不良文化（貢獻小)的影響。）實驗教學(xué)（2學(xué)時）（1）數(shù)據(jù)對象及其相似性度量的Python實現(xiàn)。（2）數(shù)據(jù)對象的統(tǒng)計描述及Python和Scipy實現(xiàn)。2.基本要求：（1）掌握數(shù)據(jù)對象及其屬性和類型；（2）掌握數(shù)據(jù)對象的相似性度量；（3）掌握并能實驗數(shù)據(jù)中心趨勢和散度的度量方法，數(shù)據(jù)直方圖、散點圖等數(shù)據(jù)可視化方法，數(shù)據(jù)相似性和相異性的度量方法。3.重點及難點：重點：數(shù)據(jù)對象的屬性類型、相似性度量。難點：具有混合數(shù)據(jù)類型屬性的數(shù)據(jù)對象相似性度量。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成數(shù)據(jù)對象相關(guān)基本概念的知識性作業(yè)；（2）要求學(xué)生完成數(shù)據(jù)對象相似性度量的習(xí)題；（3）要求學(xué)生編程環(huán)境中完成數(shù)據(jù)對象的相似性度量和數(shù)據(jù)的統(tǒng)計描述；（四）數(shù)據(jù)預(yù)處理（6學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（4學(xué)時）（1）數(shù)據(jù)預(yù)處理的必要性。（2）數(shù)據(jù)清洗。（3）數(shù)據(jù)異常值檢測。（4）數(shù)據(jù)集成。（5）數(shù)據(jù)標準化。（6）數(shù)據(jù)規(guī)約（思政融入點：“橫看成嶺側(cè)成峰，遠近高低各不同”，從不同維度探索高維數(shù)據(jù)，看清事物全貌。）。實驗教學(xué)（2學(xué)時）（1）利用Pandas進行數(shù)據(jù)清洗。（2）利用sklearn進行數(shù)據(jù)預(yù)處理。2.基本要求：（1）掌握數(shù)據(jù)預(yù)處理的基本過程；（2）掌握數(shù)據(jù)預(yù)處理的算法和方法；（3）掌握并能實驗處理數(shù)據(jù)相關(guān)性的方法、數(shù)據(jù)規(guī)范化方法以及主成分分析方法。3.重點及難點：重點：數(shù)據(jù)預(yù)處理的內(nèi)容及其典型算法和方法。難點：數(shù)據(jù)規(guī)約中的屬性選擇、維度規(guī)約、數(shù)據(jù)壓縮以及傅里葉變換、小波變換和PCA主成分分析。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成數(shù)據(jù)預(yù)處理相關(guān)基本概念的知識性作業(yè)；（2）要求學(xué)生完成數(shù)據(jù)異常值檢測編程實現(xiàn)；（3）要求學(xué)生編程實現(xiàn)PCA數(shù)據(jù)屬性約減；（4）要求學(xué)生查閱資料，完成數(shù)據(jù)預(yù)處理綜述的書面作業(yè)。（五）回歸分析（6學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（4學(xué)時）（1）回歸分析概述。（2）一元線性回歸分析。（3）多元線性回歸。（4）邏輯回歸。（5）多項式回歸。（6）其他回歸分析方法。實驗教學(xué)（2學(xué)時）（1）回歸分析的一般過程。（2）回歸分析的Python實現(xiàn)。2.基本要求：（1）掌握數(shù)據(jù)分析回歸分析的過程；（2）掌握一元線性回歸模型的參數(shù)估計；（3）理解多元線性回歸模型；（4）了解多元線性回歸的假設(shè)檢驗及其評價；（5）掌握邏輯回歸；（6）掌握嶺回歸、lasso回歸及彈性回歸和逐步回歸；（7）掌握利用Python進行數(shù)據(jù)的回歸分析；3.重點及難點：重點：線性回歸、多項式回歸。難點：回歸分析中的過擬合及正則化處理。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成回歸分析相關(guān)基本概念的知識性作業(yè)；（2）要求學(xué)生完成數(shù)據(jù)回歸分析實驗。（六）關(guān)聯(lián)分析分析（6學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（4學(xué)時）（1）關(guān)聯(lián)規(guī)則分析概述（2）頻繁項集挖掘方法（融入點:在Apriori算法中，計算頻繁項集需要屢次重復(fù)掃描數(shù)據(jù)庫，引導(dǎo)學(xué)生“成功不是一蹴而就的，需多維度培養(yǎng)和做煉自己的耐心”，強調(diào)工匠精神的重要性。）（3）關(guān)聯(lián)規(guī)則評估方法實驗教學(xué)（2學(xué)時）（1）Apriori算法及其應(yīng)用。（2）FP-growth算法及其應(yīng)用。2.基本要求：（1）理解了解關(guān)聯(lián)規(guī)則的基本思想、概念和意義；（2）熟練掌握頻繁項集、閉項集和關(guān)聯(lián)規(guī)則的概念；（3）理解頻繁模式挖掘的路線圖；（4）掌握Apriori算法：使用候選項集找頻繁項集；（5）掌握由頻繁項集產(chǎn)生關(guān)聯(lián)規(guī)則的方法；（6）理解提高Apriori算法有效性的方法；（7）掌握挖掘頻繁項集的模式增長方法；（8）理解解強關(guān)聯(lián)規(guī)則不一定是有趣的；（9）使用提升度進行相關(guān)分析；3.重點及難點：重點：Apriori算法及其應(yīng)用。難點：FP-growth算法。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成回歸分析相關(guān)基本概念的知識性作業(yè)；（2）Apriori算法解決頻繁項挖掘；（2）要求學(xué)生完成數(shù)據(jù)關(guān)聯(lián)分析實驗；（七）分類（有監(jiān)督學(xué)習(xí)）（14學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（8學(xué)時）（1）分類的基本思想；（2）典型的分類算法：決策樹規(guī)約、KNN、SVM、樸素貝葉斯；（3）模型評估與選擇；（思政融入點:將分類中常見的過度擬合現(xiàn)象，引入結(jié)合孔子在《論語先進》中“過猶不及”的案例進行闡述分析，任何事都要有限度，適可而止，潛移默化生活處世哲學(xué)“物極必反，盛極而衰”的道理。）（4）組合學(xué)習(xí)；（5）利用Python實現(xiàn)模型的評估與選擇；實驗教學(xué)（6學(xué)時）（1）典型分類算法及其應(yīng)用。（2）模型評估與選擇。2.基本要求：（1）理解分類及預(yù)測的基本思想、概念和意義；（2）掌握常用的分類及預(yù)測算法（或模型）；（3）掌握利用Python實現(xiàn)各種分類算法的方法；（4）掌握分類算法的評估與模型選擇方法；（5）掌握集成學(xué)習(xí)的思想，隨機森林實現(xiàn)；3.重點及難點：重點：分類算法（決策樹、SVM、樸素貝葉斯、KNN）及其應(yīng)用。難點：模型評估與選擇。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成數(shù)據(jù)分類相關(guān)基本概念的知識性作業(yè)；（2）典型分類算法實現(xiàn)；（八）聚類（無監(jiān)督學(xué)習(xí)）（12學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（8學(xué)時）（1）聚類分析的概念；（2）K-Means聚類；（3）層次聚類方法；（4）基于密度的方法；（5）其他聚類算法（FCM聚類，EM聚類）；（6）聚類評估；（思政融入點：1.“物以類聚、人以群分”，生活中很多事物因某些內(nèi)在特征呈現(xiàn)出自動聚集特征，引入聚類分析的算法思想；2.飛行數(shù)據(jù)聚類分析，分析飛行數(shù)據(jù)之間關(guān)聯(lián)和飛行行為效能評估，樹立利用科技解決實際問題的意識。）（7）利用Python實現(xiàn)聚類算法；實驗教學(xué)（4學(xué)時）（1）典型聚類算法及其應(yīng)用。（2）聚類模型的評估。2.基本要求：（1）掌握K-Means聚類、層次聚類、基于密度的聚類和其他常用方法；（2）掌握聚類模型的評估方法；（3）掌握利用sklearn實現(xiàn)聚類的方法；3.重點及難點：重點：典型聚類算法及其性能評估。難點：EM算法。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成數(shù)據(jù)聚類相關(guān)基本概念的知識性作業(yè)；（2）典型聚類算法實現(xiàn)；（3）查閱資料或閱讀文獻，完成聚類分析發(fā)展的綜述性書面作業(yè)；（九）神經(jīng)網(wǎng)絡(luò)（4學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（2學(xué)時）（1）神經(jīng)網(wǎng)絡(luò)基礎(chǔ)；（2）BP神經(jīng)網(wǎng)絡(luò)；（3）深度學(xué)習(xí)及CNN介紹；實驗教學(xué)（2學(xué)時）（1）BP算法實現(xiàn)。（2）BP算法應(yīng)用及Sklearn實現(xiàn)。2.基本要求：（1）掌握感知機與BP神經(jīng)網(wǎng)絡(luò)的原理；（2）了解深度學(xué)習(xí)基礎(chǔ)；（4）掌握利用Python實現(xiàn)BP網(wǎng)絡(luò)；3.重點及難點：重點：BP神經(jīng)網(wǎng)絡(luò)。難點：BP算法實現(xiàn)。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成神經(jīng)網(wǎng)絡(luò)相關(guān)基本概念的知識性作業(yè)；（2）BP算法實現(xiàn)；（十）離群點檢測（4學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（2學(xué)時）（1）離群點概述；（2）離群點分類；（3）離群點檢測常用方法；（思政融入點融入點：1.使用離群點檢驗可以檢測出保險欺詐、電信詐騙、信用卡盜刷、電子商務(wù)欺詐等小概率事件，引入知名影星偷稅漏稅的案例，教育學(xué)生要具備正確的三觀，不違法亂紀、不存片幸心理,腳踏實地做人做事；2.離群點通常會被當作噪聲而忽略，這就需要學(xué)生在數(shù)據(jù)挖掘過程中學(xué)會辯證看待問題，具體情況具體分析。）（4）sklearn中的異常值檢測方法；實驗教學(xué)（2學(xué)時）（1）典型聚類算法及其應(yīng)用。（2）聚類模型的評估。2.基本要求：（1）理解離群點的概念和類型；（2）理解離群點檢測的挑戰(zhàn)；（3）理解基于統(tǒng)計學(xué)的離群點檢測方法；（4）理解基于臨近性的離群點檢測方法；（5）理解基于聚類的離群點檢測方法；（6）掌握利用Python進行異常值檢測的方法。3.重點及難點：重點：典型離群點檢測算法及其應(yīng)用。難點：離群點的預(yù)測。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）要求學(xué)生完成數(shù)據(jù)離群點檢測相關(guān)基本概念的知識性作業(yè)；（2）典型離群點檢測算法實現(xiàn)；（3）查閱資料或閱讀文獻，完成離群點檢測的綜述性書面作業(yè)；（十一）時序數(shù)據(jù)與文本數(shù)據(jù)挖掘（8學(xué)時）1.教學(xué)內(nèi)容：理論教學(xué)（4學(xué)時）（1）文本數(shù)據(jù)挖掘方法；（2）時序數(shù)據(jù)挖掘方法；實驗教學(xué)（4學(xué)時）（1）時序數(shù)據(jù)分析應(yīng)用。（2）文本數(shù)據(jù)分析應(yīng)用。2.基本要求：（1）掌握文本數(shù)據(jù)挖掘內(nèi)容與時序數(shù)據(jù)挖掘方法；（2）掌握利用Python進行綜合數(shù)據(jù)分析；3.重點及難點：重點：文本數(shù)據(jù)與時序數(shù)據(jù)分析挖掘。難點：時序數(shù)據(jù)挖掘。4.教學(xué)模式：課堂講述與討論，上機實驗5.作業(yè)及課外學(xué)習(xí)要求（1）時序數(shù)據(jù)與文本數(shù)據(jù)挖掘應(yīng)用；（3）查閱資料或閱讀文獻，完成文本數(shù)據(jù)挖掘技術(shù)發(fā)展的綜述性書面作業(yè)；四、教學(xué)安排及學(xué)時分配教學(xué)環(huán)節(jié)及學(xué)時主要內(nèi)容學(xué)時分配授課習(xí)題課實驗網(wǎng)絡(luò)其它小計第1章引言202第2章Python數(shù)據(jù)分析與可視化224第2章認識數(shù)據(jù)224第3章數(shù)據(jù)預(yù)處理426第5章回歸分析426第6章關(guān)聯(lián)分析426第7章分類82414第8章聚類62412第9章神經(jīng)網(wǎng)絡(luò)224第10章離群點檢測224第11章時序數(shù)據(jù)與文本數(shù)據(jù)挖掘448總計4242672五、實驗部分教學(xué)內(nèi)容和要求序號實驗項目名稱實驗內(nèi)容及要求學(xué)時實驗類型演示驗證設(shè)計綜合1數(shù)據(jù)分析與可視化給定數(shù)據(jù)集進行數(shù)據(jù)分析與可視化2√2認識數(shù)據(jù)打開一數(shù)據(jù)集，進行探索性分析，并進行數(shù)據(jù)對象的相似性度量2√3數(shù)據(jù)預(yù)處理給定數(shù)據(jù)集進行預(yù)處理2√4回歸分析回歸算法實現(xiàn)及應(yīng)用2√5關(guān)聯(lián)分析給定數(shù)據(jù)集進行關(guān)聯(lián)分析2√√6分類分類算法實現(xiàn)及其應(yīng)用4√√7聚類聚類算法實現(xiàn)及其應(yīng)用