《機(jī)器學(xué)習(xí)與模式識別》理論教學(xué)大綱

《機(jī)器學(xué)習(xí)與模式識別》理論教學(xué)大綱（MachineLearningandPatternRecognition）課程代碼：0600076總學(xué)時：48學(xué)時（其中：講課32學(xué)時、實驗16學(xué)時）先修課程：程序設(shè)計基礎(chǔ)與應(yīng)用、數(shù)據(jù)結(jié)構(gòu)、高等數(shù)學(xué)、算法導(dǎo)論一、課程的性質(zhì)、目的與任務(wù)《機(jī)器學(xué)習(xí)與算法導(dǎo)論》是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的一門專業(yè)選修課程。其教學(xué)重點是使學(xué)生掌握常見機(jī)器學(xué)習(xí)算法，包括算法的主要思想和基本步驟，并通過編程練習(xí)和典型應(yīng)用實例加深了解；同時對機(jī)器學(xué)習(xí)的一般理論，如假設(shè)空間、采樣理論、計算學(xué)習(xí)理論，以及無監(jiān)督學(xué)習(xí)和強(qiáng)化學(xué)習(xí)有所了解。模式識別部分是研究計算機(jī)模式識別的基本理論、方法和應(yīng)用。通過本課程的學(xué)習(xí)，使學(xué)生掌握模式識別的基本概念、基本原理、基本分析方法和算法，培養(yǎng)學(xué)生利用模式識別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實際問題的能力。學(xué)生通過本門課程的學(xué)習(xí)，能夠?qū)C(jī)器學(xué)習(xí)和模式識別的內(nèi)容有一個較為全面的了解和認(rèn)識，更深刻地理解機(jī)器學(xué)習(xí)的實質(zhì)內(nèi)容，使學(xué)生具備前沿的計算機(jī)技術(shù)必要的專業(yè)知識。從而，為學(xué)生今后從事數(shù)據(jù)分析與挖掘與計算機(jī)技術(shù)前沿研究，以及相關(guān)領(lǐng)域的科學(xué)研究做好理論和技術(shù)上的準(zhǔn)備。二、教學(xué)基本內(nèi)容與基本要求(1)基本內(nèi)容本課程主要介紹決策論與信息論基礎(chǔ)、概率分布、回歸的線性模型、分類的線性模型、核方法、支持向量機(jī)、圖模型、混合模型和期望最大化、隱Markov模型和條件隨機(jī)場模型、統(tǒng)計決策方法、概率密度函數(shù)的估計、線性分類器、非線性分類器、其他分類方法、特征選擇、特征提取、非監(jiān)督模式識別、模式識別系統(tǒng)的評價等。(2)基本要求①通過對機(jī)器學(xué)習(xí)與模式識別基本概念、原理、和基本方法的講解，讓學(xué)生理解并掌握機(jī)器學(xué)習(xí)和模式識別的基本技術(shù)。②培養(yǎng)學(xué)生利用模式識別方法，運(yùn)用技能解決本專業(yè)和相關(guān)領(lǐng)域的實際問題的能力。③鼓勵學(xué)生運(yùn)用知識解決各自學(xué)科的實際問題，培養(yǎng)他們的獨(dú)立科研的能力和理論聯(lián)系實際的能力。三、教學(xué)及實驗課時分配教學(xué)及實驗課時分配序號章節(jié)內(nèi)容講課實驗其他合計第一章緒論22第二章概率分布22第三章回歸的線性模型224第四章分類的線性模型224第五章神經(jīng)網(wǎng)絡(luò)325第六章核方法224第七章稀疏核集224第八章圖模型224第九章混合模型和EM22第十章隱Markov模型和條件隨機(jī)場模型22第十一章特征選擇224第十二章特征提取22第十三章非監(jiān)督模式識別22第十四章模式識別系統(tǒng)的評價325總復(fù)習(xí)結(jié)課復(fù)習(xí)22合計321648四、教學(xué)內(nèi)容(1)緒論教學(xué)重點、難點：決策論與信息論基礎(chǔ)、損失函數(shù)、錯分率的最小化、期望損失的最小化等；相對熵、互信息。模式與模式識別、模式識別的主要方法、監(jiān)督模式識別與非監(jiān)督模式識別、模式識別系統(tǒng)舉例、模式識別系統(tǒng)的典型構(gòu)成。課程的考核要求：熟悉機(jī)器學(xué)習(xí)與模式識別的基本定義和術(shù)語；基本數(shù)學(xué)知識。了解：了解機(jī)器學(xué)習(xí)與模式識別的研究范圍和內(nèi)容。理解：決策論與信息論基礎(chǔ)、損失函數(shù)、錯分率的最小化、期望損失的最小化等；相對熵、互信息。模式與模式識別、模式識別的主要方法、監(jiān)督模式識別與非監(jiān)督模式識別、模式識別系統(tǒng)舉例、模式識別系統(tǒng)的典型構(gòu)成等概念。掌握：掌握決策論與信息論基礎(chǔ)、模式識別的主要方法。應(yīng)用：與實際問題相呼應(yīng)。(2)概率分布教學(xué)重點、難點：高斯分布、混合高斯分布、Dirichlet分布、beta分布等。課程的考核要求：熟悉最大似然估計、貝葉斯估計與貝葉斯學(xué)習(xí)、概率密度估計的非參數(shù)方法。了解：最大似然估計、充分統(tǒng)計量、共軛先驗、無信息先驗等。非參數(shù)方法：核密度估計、近鄰法理解：neyman-pearson決策與roc曲線、正態(tài)分布時的統(tǒng)計決策、錯誤率的計算、、概率密度函數(shù)的估計掌握：掌握最小錯誤率貝葉斯決策、最小風(fēng)險貝葉斯決策、兩類錯誤率。應(yīng)用：離散概率模型下的統(tǒng)計決策舉例。(3)回歸的線性模型教學(xué)重點、難點：貝葉斯線性回歸。課程的考核要求：熟悉線性基函數(shù)模型。了解：貝葉斯模型比較。理解：等價核的概念。掌握：掌握貝葉斯模型。應(yīng)用：各種分布的具體應(yīng)用。(4)分類的線性模型教學(xué)重點、難點：最優(yōu)分類超平面與線性支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：fisher線性判別分析。理解：多類線性分類器。掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別應(yīng)用：分類模型的具體應(yīng)用。(5)神經(jīng)網(wǎng)絡(luò)教學(xué)重點、難點：神經(jīng)網(wǎng)絡(luò)的正則化。課程的考核要求：熟悉各種神經(jīng)網(wǎng)絡(luò)及其梯度下降的概念。了解：hessian矩陣及混合密度網(wǎng)絡(luò)。理解：貝葉斯神經(jīng)網(wǎng)絡(luò)、多層感知器神經(jīng)網(wǎng)絡(luò)。掌握：前饋神經(jīng)網(wǎng)絡(luò)及神經(jīng)網(wǎng)絡(luò)的訓(xùn)練應(yīng)用：進(jìn)行神經(jīng)網(wǎng)絡(luò)實驗的具體應(yīng)用。(6)核方法教學(xué)重點、難點：構(gòu)造核函數(shù)課程的考核要求：熟悉對偶表示、徑向基函數(shù)網(wǎng)絡(luò)、Nadaraya-Watson模型了解：Laplace逼近理解：高斯過程模型用于回歸和分類。掌握：高斯過程應(yīng)用：核方法與神經(jīng)網(wǎng)絡(luò)的聯(lián)系。(7)稀疏核集教學(xué)重點、難點：最優(yōu)分類超平面與線性支持向量機(jī)、用于多分類和回歸的支持向量機(jī)。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：各種變種理解：多類線性分類器以及最大邊緣分類器。掌握：統(tǒng)計學(xué)習(xí)理論應(yīng)用：稀疏核集的具體應(yīng)用。(8)圖模型教學(xué)重點、難點：Markov隨機(jī)場。課程的考核要求：熟悉因子分解。了解：循環(huán)置信傳播理解：圖模型中的推斷掌握：條件獨(dú)立的內(nèi)容應(yīng)用：置信網(wǎng)絡(luò)的具體應(yīng)用。(9)混合模型和期望最大化算法教學(xué)重點、難點：高斯混合模型的參數(shù)估計、EM一般算法及其應(yīng)用課程的考核要求：、EM一般算法及其應(yīng)用、最大似然估計、EM算法、貝葉斯線性回歸了解：伯努利分布的混合理解：高斯混合模型的參數(shù)估計。掌握：最大似然估計、EM算法、貝葉斯線性回歸應(yīng)用：貝葉斯線性回歸的EM算法。(10)隱Markov模型和條件隨機(jī)場模型教學(xué)重點、難點：隱Markov模型、條件隨機(jī)場及其應(yīng)用課程的考核要求：熟悉隱Markov模型、條件隨機(jī)場及其應(yīng)用、Viterbi算法了解：Baum-Welch算法等理解：向前-向后算法掌握：熟悉隱Markov模型、條件隨機(jī)場及其應(yīng)用、Viterbi算法應(yīng)用：隱Markov模型和條件隨機(jī)場模型的具體應(yīng)用。(11)特征選擇教學(xué)重點、難點：特征選擇的最優(yōu)算法課程的考核要求：特征的評價準(zhǔn)則、特征選擇的最優(yōu)算法了解：特征選擇的次優(yōu)算法理解：特征選擇的遺傳算法掌握：以分類性能為準(zhǔn)則的特征選擇方法應(yīng)用：特征選擇的具體應(yīng)用。(12)特征提取教學(xué)重點、難點：基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示。課程的考核要求：熟悉基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。了解：karhunen-loeve變換理解：非線性變換方法掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。應(yīng)用：5k-l變換在人臉識別中的應(yīng)用舉例(13)非監(jiān)督模式識別教學(xué)重點、難點：基于模型的方法、動態(tài)聚類算法課程的考核要求：熟悉基于模型的方法、動態(tài)聚類算法、模糊聚類方法了解：自組織映射神經(jīng)網(wǎng)絡(luò)理解：分級聚類方法掌握：混合模型的估計、基于模型的方法、動態(tài)聚類算法、模糊聚類方法應(yīng)用：非監(jiān)督模式識別的具體應(yīng)用。(14)模式識別系統(tǒng)的評價教學(xué)重點、難點：有限樣本下錯誤率的區(qū)間估計問題課程的考核要求：熟悉監(jiān)督模式識別方法的錯誤率估計方法了解：非監(jiān)督模式識別系統(tǒng)性能的評價理解：特征提取與選擇對分類器性能估計的影響掌握：監(jiān)督模式識別方法的錯誤率估計方法應(yīng)用：從分類的顯著性推斷特征與類別的關(guān)系五、教學(xué)方法與教學(xué)手段(1)教學(xué)方法機(jī)器學(xué)習(xí)與模式識別是一門理論與實踐并重的課程，因此，本課程采用理論課程教學(xué)與實驗課程教學(xué)相結(jié)合的方法。通過對知識點和典型例題的講解分析以及上機(jī)實驗的指導(dǎo)答疑，發(fā)揮學(xué)生思考問題的主動性和創(chuàng)造性，能用編寫常用機(jī)器學(xué)習(xí)算法。(2)教學(xué)手段利用多媒體、CAI課件等現(xiàn)代化教學(xué)手段，提高教學(xué)質(zhì)量。六、建議教材與參考書目（1）參考教材：周志華，《機(jī)器學(xué)習(xí)》，清華大學(xué)出版社，2016（2）參考書目①Bishop,C.M.PatternRecognitionandMachineLearning,SpringScienceBusinessMedia.2006②Mitchell,T.M.MachineLearning,TheMcGraw-HillCompanies,Inc.2007③SergiosTheodoridis，模式識別，電子工業(yè)出版社，2016七、大綱編寫的依據(jù)與說明本課程教學(xué)大綱，是根據(jù)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)培養(yǎng)目標(biāo)和基本要求，結(jié)合本課程的性質(zhì)，經(jīng)學(xué)校教學(xué)委員會審定后編寫的。本課程主要介紹決策論與信息論基礎(chǔ)、概率分布、回歸的線性模型、分類的線性模型、核方法、支持向量機(jī)、圖模