機(jī)器學(xué)習(xí)原理及應(yīng)用 -教學(xué)大綱、授課計(jì)劃

《機(jī)器學(xué)習(xí)》課程教學(xué)大綱課程英文名稱（MachineLearning）課程編號：01522722學(xué)分：2學(xué)時(shí)：32開課學(xué)期：2適用學(xué)科：計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、電子信息課程性質(zhì)：基礎(chǔ)課開課單位：軟件學(xué)院課程的性質(zhì)及目標(biāo)機(jī)器學(xué)習(xí)是計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、電子信息專業(yè)的基礎(chǔ)選修課。該課程介紹機(jī)器學(xué)習(xí)的基本概念，如監(jiān)督學(xué)習(xí)、無監(jiān)督學(xué)習(xí)、半監(jiān)督學(xué)習(xí)等，讓學(xué)生理解不同類型的機(jī)器學(xué)習(xí)問題和解決方法；該課程介紹一些常見的機(jī)器學(xué)習(xí)算法，如線性回歸、邏輯回歸、決策樹、支持向量機(jī)等，讓學(xué)生了解這些算法的原理和應(yīng)用；該課程介紹模型評估的方法和指標(biāo)，如準(zhǔn)確率、精確率、召回率、F1分?jǐn)?shù)等，以及如何調(diào)整模型的參數(shù)以獲得更好的性能；該課程介紹如何進(jìn)行特征選擇和特征轉(zhuǎn)換以提高模型的性能；該課程通過實(shí)踐項(xiàng)目來應(yīng)用所學(xué)的知識，如使用Python編程語言和相關(guān)機(jī)器學(xué)習(xí)庫（如scikit-learn、TensorFlow、PyTorch等）實(shí)現(xiàn)簡單的機(jī)器學(xué)習(xí)模型。機(jī)器學(xué)習(xí)課程的目的是讓學(xué)生建立對機(jī)器學(xué)習(xí)的基本理解和技能，為他們在未來深入研究這一領(lǐng)域打下基礎(chǔ)。課程的教學(xué)內(nèi)容及要求機(jī)器學(xué)習(xí)基礎(chǔ)：介紹機(jī)器學(xué)習(xí)的定義、發(fā)展歷史、基本符號和術(shù)語、分類、機(jī)器學(xué)習(xí)過程以及工具的使用。機(jī)器學(xué)習(xí)的過程涵蓋了數(shù)據(jù)的收集、預(yù)處理、特征工程、模型選擇、訓(xùn)練、評估和優(yōu)化等多個(gè)步驟，強(qiáng)調(diào)數(shù)據(jù)驅(qū)動(dòng)的模型構(gòu)建過程。介紹幾種常用的評估方法，包括留出法、交叉驗(yàn)證法、留一法交叉驗(yàn)證和自助法，探討如何調(diào)整模型參數(shù)以優(yōu)化性能，介紹不同的性能度量，如錯(cuò)誤率、準(zhǔn)確率、查準(zhǔn)率、召回率、F1分?jǐn)?shù)、ROC曲線和AUC。介紹回歸分析的基本內(nèi)容，涵蓋一元線性回歸、多元線性回歸、對率回歸、多項(xiàng)式回歸、正則化回歸等多個(gè)主題的原理、參數(shù)求解方法、代碼實(shí)現(xiàn)、回歸模型的評價(jià)指標(biāo)，介紹如何構(gòu)建房價(jià)預(yù)測模型和信用卡欺詐行為分類模型。介紹決策樹的基礎(chǔ)知識，包括決策樹的概念、優(yōu)缺點(diǎn)、信息增益、增益率和基尼指數(shù)等劃分準(zhǔn)則，介紹決策樹的建立過程、多變量決策樹、隨機(jī)森林、梯度提升樹、回歸決策樹、回歸加權(quán)平均樹、隨機(jī)森林回歸樹和梯度提升回歸樹。通過兩個(gè)實(shí)踐案例，分別是構(gòu)建巴黎住房分類模型和航班價(jià)格預(yù)測模型，展示了決策樹模型在實(shí)際場景中的應(yīng)用。介紹神經(jīng)元模型和各種激活函數(shù)、感知機(jī)模型和多層前饋神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu)、原理、參數(shù)和實(shí)現(xiàn)方式。通過案例展示如何利用感知機(jī)和多層感知機(jī)構(gòu)建一個(gè)南瓜子分類模型。介紹線性分類、最大間隔分類的原理、硬間隔SVM和軟間隔SVM的模型、對偶問題的求解和松弛變量的概念、核支持向量機(jī)，利用兩種SVM模型構(gòu)建手機(jī)價(jià)格分類模型。介紹貝葉斯分類器的基本原理，包括貝葉斯決策論和極大似然估計(jì)，并詳細(xì)探討樸素貝葉斯分類器和半樸素貝葉斯分類器的相關(guān)概念和方法。介紹貝葉斯網(wǎng)絡(luò)的定義、結(jié)構(gòu)特征、學(xué)習(xí)和推斷方法，展示了貝葉斯分類器在實(shí)踐中的廣泛應(yīng)用。最后構(gòu)建鳶尾花分類模型。介紹基于劃分的聚類算法、基于層次的聚類算法、基于密度的聚類算法、譜聚類算法等，對每種算法的原理和步驟進(jìn)行詳細(xì)講解，介紹聚類評估的方法，最后，通過應(yīng)用聚類算法對客戶進(jìn)行細(xì)分。介紹主成分分析（PCA）算法和奇異值分解（SVD）的原理和算法步驟，通過生物體基因進(jìn)行降維的實(shí)例展示如何利用PCA和SVD對數(shù)據(jù)進(jìn)行降維操作。介紹三種重要的集成學(xué)習(xí)方法：自助聚合法（Bagging）、可提升算法（Boosting）和堆疊算法（Stacking）。以構(gòu)建紅酒分類模型為例，分別演示了利用Bagging、Boosting和Stacking三種集成學(xué)習(xí)方法來實(shí)現(xiàn)模型的搭建和優(yōu)化。三、課程學(xué)時(shí)分配教學(xué)內(nèi)容理論學(xué)時(shí)實(shí)驗(yàn)（實(shí)踐）學(xué)時(shí)備注第一章緒論2第二章模型評估與調(diào)優(yōu)2第三章回歸分析4第四章決策樹4第五章神經(jīng)網(wǎng)絡(luò)4第六章支持向量機(jī)4第七章貝葉斯分類器2第八章聚類分析6第九章降維技術(shù)2第十章集成學(xué)習(xí)2合計(jì)學(xué)時(shí)32四、教學(xué)與考核方式教學(xué)環(huán)節(jié)包括：課堂講授和上機(jī)實(shí)踐。通過本課程各個(gè)教學(xué)環(huán)節(jié)的教學(xué)，重點(diǎn)培養(yǎng)學(xué)生分析問題解決問題的能力。（一）課堂講授1.教學(xué)方法上采用啟發(fā)式、討論式教學(xué)，在課堂上多提問題，安排相關(guān)的自學(xué)內(nèi)容，激發(fā)學(xué)生主動(dòng)學(xué)習(xí)的興趣，鼓勵(lì)學(xué)生自學(xué)，培養(yǎng)學(xué)生獨(dú)立思考、分析問題和解決問題的能力。2.在教學(xué)內(nèi)容上，重點(diǎn)講授回歸分析、分類分析、聚類分析所用到的技術(shù)，使學(xué)生掌握各類算法的理論和應(yīng)用，注意培養(yǎng)學(xué)生數(shù)據(jù)分析能力，為以后的專業(yè)學(xué)習(xí)打下堅(jiān)實(shí)基礎(chǔ)。3.在教學(xué)過程中采用多媒體教學(xué)，增強(qiáng)教學(xué)的直觀性。（二）上機(jī)實(shí)踐選擇經(jīng)典項(xiàng)目案例進(jìn)行分析，指導(dǎo)學(xué)生完成上機(jī)實(shí)踐內(nèi)容，上機(jī)報(bào)告完成情況作為評定課程學(xué)習(xí)成績的依據(jù)。表4實(shí)踐項(xiàng)目名稱序號實(shí)踐項(xiàng)目名稱類型要求備注1回歸分析驗(yàn)證性必做2決策樹分類驗(yàn)證性必做3神經(jīng)網(wǎng)絡(luò)分類驗(yàn)證性必做4支持向量機(jī)分類驗(yàn)證性必做5貝葉斯分類驗(yàn)證性必做6DBSCAN聚類分析驗(yàn)證性必做7PCA降維驗(yàn)證性必做六、考核方式（一）上機(jī)作業(yè)（成績占比70%）：為了促使學(xué)生更好掌握本課程涉及到的重要大數(shù)據(jù)分析方法，本課程特設(shè)置上機(jī)作業(yè)環(huán)節(jié)，要進(jìn)行八個(gè)實(shí)踐項(xiàng)目的實(shí)驗(yàn)驗(yàn)證，具體內(nèi)容見表4，撰寫上機(jī)報(bào)告，上機(jī)作業(yè)總分80分。（二）項(xiàng)目作業(yè)（成績占比30%）：為了測試學(xué)生對機(jī)器學(xué)習(xí)原理的理解和踐能力，學(xué)生可選擇自己感興趣的業(yè)務(wù)領(lǐng)域、合適的方法和工具完成一個(gè)實(shí)際的分類分析（聚類分析、回歸分析）項(xiàng)目。項(xiàng)目作業(yè)包括確定業(yè)務(wù)需求、收集數(shù)據(jù)、數(shù)據(jù)清洗、數(shù)據(jù)拆分、訓(xùn)練模型、評估模型等各個(gè)方面，通過此實(shí)踐來考核學(xué)生的基本理論知識和實(shí)踐能力。表5成績構(gòu)成方式方式說明考核方式上機(jī)作業(yè)項(xiàng)目作業(yè)占總成績比例70%30%工作方式個(gè)人個(gè)人成果形式上機(jī)報(bào)告（電子文檔）項(xiàng)目報(bào)告（電子文檔）評估課程目標(biāo)目標(biāo)1目標(biāo)2表6上機(jī)作業(yè)的考核標(biāo)準(zhǔn)基本要求考核標(biāo)準(zhǔn)及格標(biāo)準(zhǔn)1.問題描述（10分）2.解決方案（40分）。3.代碼實(shí)現(xiàn)和結(jié)果（50分）4.規(guī)定時(shí)間完成。5.要求獨(dú)立完成。1.要給出要解決的問題，考核描述問題的準(zhǔn)確程度，每一處不準(zhǔn)確扣2分，扣完10分為止。2.給出解決此問題的中間步驟結(jié)果。中間結(jié)果錯(cuò)一處扣10分，扣完40分為止。3.針對實(shí)現(xiàn)代碼和結(jié)果展示考核，代碼錯(cuò)誤或者結(jié)果展示錯(cuò)誤得0分。4.規(guī)定時(shí)間完成，否則視為不交作業(yè)及0分。5.獨(dú)立完成，抄襲得0分。按規(guī)定時(shí)間獨(dú)立完成，且按考核標(biāo)準(zhǔn)中1、2、3項(xiàng)總分大于等于60為及格。表7項(xiàng)目作業(yè)的考核標(biāo)準(zhǔn)基本要求考核標(biāo)準(zhǔn)及格標(biāo)準(zhǔn)1.明確需求，收集和清洗數(shù)據(jù)（30分）。2.解決方案（30分）3.代碼實(shí)現(xiàn)和結(jié)果可視化分析（40分）4.規(guī)定時(shí)間完成5.要求獨(dú)立完成1.給出要解決的問題，給出數(shù)據(jù)集的來源和清洗數(shù)據(jù)的方法。少一項(xiàng)扣10分，中間結(jié)果錯(cuò)一處扣10分，扣完30分為止。2.給出問題的解決方案，根據(jù)方案闡述是否清晰、邏輯是否正確給分。3.針對實(shí)現(xiàn)代碼和結(jié)果可視化分析進(jìn)行考核，代碼錯(cuò)誤或者結(jié)果展示分析錯(cuò)誤得0分。4.規(guī)定時(shí)間完成，否則視為不交作業(yè)得0分。5.獨(dú)立完成，抄襲得0分。按規(guī)定時(shí)間獨(dú)立完成，且按考核標(biāo)準(zhǔn)中1、2、3項(xiàng)總分大于等于60為及格五、推薦教材與主要參考書目[1]《機(jī)器學(xué)習(xí)原理及應(yīng)用》，殷麗鳳等，機(jī)械工業(yè)出版社，2024年[2]《機(jī)器學(xué)習(xí)》，周志華著，清華大學(xué)出版社，2016年[3]《Python機(jī)器學(xué)習(xí)》，陳斌譯，機(jī)械工業(yè)出版社，2021年[4]《機(jī)器學(xué)習(xí)應(yīng)用實(shí)戰(zhàn)》，劉袁緣等，清華大學(xué)出版社，2022年[5]《機(jī)器學(xué)習(xí)實(shí)戰(zhàn)》，李銳等譯，人民郵電出版社，2022年執(zhí)筆人（簽字）： 殷麗鳳 制定時(shí)間：教學(xué)日歷學(xué)年第1學(xué)期教學(xué)單位軟件學(xué)院課程名稱機(jī)器學(xué)習(xí)課程編號

學(xué)時(shí)32學(xué)分2適用專業(yè)軟件工程、電子信息授課教師職稱職務(wù)教師學(xué)時(shí)分配課堂講授自學(xué)指導(dǎo)學(xué)術(shù)研討專題報(bào)告上機(jī)其它32使用教材名稱出版社出版時(shí)間獲獎(jiǎng)情況機(jī)器學(xué)習(xí)清華大學(xué)出版社2022年9月全國優(yōu)秀教材一等獎(jiǎng)參考書目Python機(jī)器學(xué)習(xí)手冊從數(shù)據(jù)預(yù)處理到深度學(xué)習(xí)清華大學(xué)出版社2022年1月機(jī)器學(xué)習(xí)應(yīng)用實(shí)戰(zhàn)清華大學(xué)出版社2022年4月教學(xué)要求1、要求掌握的基本知識了解機(jī)器學(xué)習(xí)的發(fā)展歷程和應(yīng)用領(lǐng)域，理解機(jī)器學(xué)習(xí)的定義，掌握模型評估和選擇的方法，掌握各種學(xué)習(xí)模型的各自特點(diǎn)以及相應(yīng)的應(yīng)用領(lǐng)域。2、要求掌握的基本理論和方法（1）了解UML中各種圖在系統(tǒng)中的作用及其重要性；（2）理解線性模型、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、貝葉斯分類器、集成學(xué)習(xí)和聚類等模型的相關(guān)特點(diǎn)；（3）理解線性模型、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、貝葉斯分類器、集成學(xué)習(xí)和聚類等模型的算法推導(dǎo)過程；（4）掌握線性模型、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、貝葉斯分類器、集成學(xué)習(xí)和聚類等模型的算法實(shí)現(xiàn)過程。3、要求掌握的基本技能掌握貝葉斯、KNN、支持向量機(jī)、決策樹、深度學(xué)習(xí)網(wǎng)絡(luò)等機(jī)器學(xué)習(xí)方法及其使用，能夠使用這些方法解決實(shí)際應(yīng)用問題。教學(xué)目的機(jī)器學(xué)習(xí)課程為軟件工程專業(yè)電子信息方向研究生所開設(shè)的一門專業(yè)選修課。它的目的是向?qū)W生介紹機(jī)器學(xué)習(xí)的相關(guān)術(shù)語、相關(guān)概念，使學(xué)生了解機(jī)器學(xué)習(xí)的發(fā)展動(dòng)態(tài)，能夠查閱該領(lǐng)域的中英文文獻(xiàn)。理解回歸模型、決策樹、神經(jīng)網(wǎng)絡(luò)、支持向量機(jī)、貝葉斯分類器、集成學(xué)習(xí)和聚類等模型的工作原理，掌握這些機(jī)器學(xué)習(xí)模型的算法實(shí)現(xiàn)。使學(xué)生能夠利用所掌握的機(jī)器學(xué)習(xí)模型解決實(shí)際應(yīng)用問題的流程來解決各種應(yīng)用領(lǐng)域的問題?？己朔绞酱笞鳂I(yè)成績計(jì)算方法總成績=平時(shí)成績×50%+大作業(yè)×50%平時(shí)成績包括：作業(yè)（占總成績20%），上機(jī)報(bào)告（30%）課時(shí)安排從第1周至第8周星期二／5一6節(jié)星期四／1一2節(jié)星期／一節(jié)星期／一節(jié)研309教室研309教室教室教室周次課次教學(xué)方式教學(xué)內(nèi)容學(xué)習(xí)重點(diǎn)及要求備注(作業(yè))11啟發(fā)講授第一章緒論什么是機(jī)器學(xué)習(xí)基本術(shù)語機(jī)器學(xué)習(xí)需要哪些數(shù)學(xué)基礎(chǔ)知識額機(jī)器學(xué)習(xí)需要哪些python基礎(chǔ)知識機(jī)器學(xué)習(xí)的發(fā)展歷程機(jī)器學(xué)習(xí)的應(yīng)用現(xiàn)狀學(xué)習(xí)重點(diǎn)：機(jī)器學(xué)習(xí)的定義和相關(guān)術(shù)語要求：熟悉機(jī)器學(xué)習(xí)的相關(guān)定義了解機(jī)器學(xué)習(xí)需要哪些數(shù)學(xué)知識和python知識作業(yè)：查閱機(jī)器學(xué)習(xí)的發(fā)展歷史12啟發(fā)講授模型評估與選擇2.1經(jīng)驗(yàn)誤差與過擬合2.2評估方法2.3性能度量學(xué)習(xí)重點(diǎn)：欠擬合和過擬合的定義數(shù)據(jù)集劃分的留出法、交叉驗(yàn)證法和自助法性能度量中的錯(cuò)誤率、查準(zhǔn)率、查全率。要求：1、掌握欠擬合和過擬合的定義2、掌握數(shù)據(jù)集劃分的三種方法，即留出法、交叉驗(yàn)證法和自助法3、掌握性能度量中的錯(cuò)誤率、查準(zhǔn)率、查全率的定義。作業(yè)：教材習(xí)題中的2.1,2.2和2.4三道題21啟發(fā)講授2.4比較檢驗(yàn)第三章線性模型2.1基本形式2.2線性回歸學(xué)習(xí)重點(diǎn)：一元線性回歸的模型以及參數(shù)的求解過程多元線性回歸的模型以及參數(shù)的求解過程要求：通過某種編程語言實(shí)現(xiàn)一元線性回歸模型和多元線性回歸模型熟悉線性回歸的定義上機(jī)報(bào)告：自己尋找數(shù)據(jù)集，編程實(shí)現(xiàn)一元線性回歸和多元線性回歸（不允許調(diào)用工具包）。周次課次教學(xué)方式教學(xué)內(nèi)容學(xué)習(xí)重點(diǎn)及要求備注(作業(yè))22啟發(fā)講授第三章線性模型3.3對數(shù)幾率回歸3.4線性判別分析3.5多分類學(xué)習(xí)學(xué)習(xí)重點(diǎn)：對數(shù)幾率回歸模型以及相應(yīng)參數(shù)的求解過程梯度下降法要求：了解線性判別分析的思想理解多分類學(xué)習(xí)模型掌握對數(shù)幾率回歸模型的定義以及相應(yīng)參數(shù)的求解過程。作業(yè)：選擇兩個(gè)UCI數(shù)據(jù)集，比較10折交叉驗(yàn)證法和留一法所估計(jì)的對率回歸的錯(cuò)誤率。31啟發(fā)講授第四章決策樹4.1基本流程4.2劃分選擇學(xué)習(xí)重點(diǎn)：決策樹算法思想屬性特征選擇的三種方法，如信息增益、增益率、基尼指數(shù)要求：理解決策樹算法的基本流程掌握信息增益、增益率、基尼指數(shù)這三種劃分選擇方法作業(yè)：復(fù)習(xí)信息增益、增益率和基尼指數(shù)的定義32啟發(fā)講授第四章決策樹4.3剪枝處理4.4連續(xù)與缺失值4.5多變量決策樹學(xué)習(xí)重點(diǎn)：預(yù)剪枝和后剪枝連續(xù)值和缺失值處理要求：掌握決策樹的預(yù)剪枝和后剪枝兩種方法掌握連續(xù)值和缺失值處理方法了解多變量決策樹上機(jī)報(bào)告：分別用信息增益、增益率和基尼指數(shù)作為劃分選擇方法實(shí)現(xiàn)決策樹模型41啟發(fā)講授神經(jīng)網(wǎng)絡(luò)5.1神經(jīng)元模型5.2感知機(jī)和多層網(wǎng)絡(luò)5.3誤差逆?zhèn)鞑ニ惴▽W(xué)習(xí)重點(diǎn)：神經(jīng)元模型多層網(wǎng)絡(luò)誤差逆?zhèn)鞑ニ惴ㄒ螅豪斫馍窠?jīng)元模型理解感知機(jī)和多層網(wǎng)絡(luò)掌握誤差逆?zhèn)鞑ニ惴ㄗ鳂I(yè)：復(fù)習(xí)感知機(jī)損失函數(shù)的推導(dǎo)過程周次課次教學(xué)方式教學(xué)內(nèi)容學(xué)習(xí)重點(diǎn)及要求備注(作業(yè))42啟發(fā)講授第五章神經(jīng)網(wǎng)絡(luò)5.4全局最小與局部極小5.5其它常見神經(jīng)網(wǎng)絡(luò)5.6深度學(xué)習(xí)學(xué)習(xí)重點(diǎn)：誤差全局最小和局部極小要求：理解神經(jīng)網(wǎng)絡(luò)誤差的全局最小和局部極小了解常見的幾種神經(jīng)網(wǎng)絡(luò)理解深度學(xué)習(xí)上機(jī)報(bào)告：實(shí)現(xiàn)誤差逆?zhèn)鞑ニ惴?，完成相?yīng)上機(jī)報(bào)告51啟發(fā)講授支持向量機(jī)6.1間隔與支持向量6.2對偶問題6.3核函數(shù)學(xué)習(xí)重點(diǎn)：支持向量的定義核函數(shù)要求：理解間隔和支持向量的定義了解對偶問題掌握核函數(shù)作業(yè)：什么是間隔，支持向量，核函數(shù)？52啟發(fā)講授第六章支持向量機(jī)6.4軟間隔與正則化6.5支持向量回歸6.6核方法學(xué)習(xí)重點(diǎn)：軟間隔與正則化支持向量回歸要求：理解軟間隔與正則化的思想掌握支持向量回歸模型了解核方法作業(yè)：寫出支持向量機(jī)損失函數(shù)的推導(dǎo)過程？61啟發(fā)講授貝葉斯分類器7.1貝葉斯決策論7.2極大似然估計(jì)7.3樸素貝葉斯分類器學(xué)習(xí)重點(diǎn)：樸素貝葉斯分類器