機器學習與模式識別-教學大綱

《機器學習與模式識別》教學大綱課程編號：071243B課程類型：□通識教育必修課□通識教育選修課■專業(yè)必修課 □專業(yè)選修課□學科基礎課總學時：48 講課學時：32實驗（上機）學時：16學分：3適用對象：計算機科學與技術專業(yè)先修課程：程序設計基礎與應用、數(shù)據(jù)結(jié)構(gòu)、高等數(shù)學、算法導論一、教學目標《機器學習與算法導論》是計算機科學技術專業(yè)的一門專業(yè)選修課程。本課程是面向計算機技術開設的專業(yè)選修課。其教學重點是使學生掌握常見機器學習算法，包括算法的主要思想和基本步驟，并通過編程練習和典型應用實例加深了解；同時對機器學習的一般理論，如假設空間、采樣理論、計算學習理論，以及無監(jiān)督學習和強化學習有所了解。模式識別部分是研究計算機模式識別的基本理論、方法和應用。通過本課程的學習，使學生掌握模式識別的基本概念、基本原理、基本分析方法和算法，培養(yǎng)學生利用模式識別方法，運用技能解決本專業(yè)和相關領域的實際問題的能力。學生通過本門課程的學習，能夠?qū)C器學習和模式識別的內(nèi)容有一個較為全面的了解和認識，更深刻地理解機器學習的實質(zhì)內(nèi)容，使學生具備前沿的計算機技術必要的專業(yè)知識。從而，為學生今后從事計算機技術應用與計算機技術前沿研究，以及相關領域的科學研究做好理論和技術上的準備。目標1：通過對機器學習與模式識別基本概念、原理、和基本方法的講解，讓學生理解并掌握機器學習和模式識別的基本技術。目標2：培養(yǎng)學生利用模式識別方法，運用技能解決本專業(yè)和相關領域的實際問題的能力。目標3：鼓勵學生運用知識解決各自學科的實際問題，培養(yǎng)他們的獨立科研的能力和理論聯(lián)系實際的能力。二、教學內(nèi)容及其與畢業(yè)要求的對應關系（黑體，小四號字）本課程主要介紹決策論與信息論基礎、概率分布、回歸的線性模型、分類的線性模型、核方法、支持向量機、圖模型、混合模型和期望最大化、隱Markov模型和條件隨機場模型、統(tǒng)計決策方法、概率密度函數(shù)的估計、線性分類器、非線性分類器、其他分類方法、特征選擇、特征提取、非監(jiān)督模式識別、模式識別系統(tǒng)的評價等。通過教學和實踐，培養(yǎng)學生運用數(shù)學工具和方法分析問題和從多角度運用數(shù)學工具解決問題的基本能力，培養(yǎng)學生利用模式識別方法，運用技能解決本專業(yè)和相關領域的實際問題的能力，訓練學生的邏輯思維能力和想象力。在教學中，鼓勵學生運用算法知識解決各個學科的實際計算問題，培養(yǎng)學生初步的獨立開展科研工作的能力和理論聯(lián)系實踐，解決實際問題的能力，同時，為后續(xù)課程以及將來的研究工作提供必要的基礎。止匕外，配合實驗課程的教學，學生應理論聯(lián)系實際，理論指導實踐，通過規(guī)范地完成項目實踐進一步鞏固所學的相關書本知識，在知識、能力、素質(zhì)上得到進一步的提高。三、各教學環(huán)節(jié)學時分配教學課時分配序號章節(jié)內(nèi)容講課實驗其他合計第一章緒論22第二章概率分布22第三章回歸的線性模型224第四章分類的線性模型224第五章神經(jīng)網(wǎng)絡325第八章核方法224第七章稀疏核集224第八章圖模型224第九章混合模型和EM22第十章隱Markov模型和條件隨機場模型22第十一章特征選擇224第十二章特征提取22第十三章非監(jiān)督模式識別22第十四章模式識別系統(tǒng)的評價325總復習結(jié)課復習22合計321648四、教學內(nèi)容第1章緒論教學重點、難點：決策論與信息論基礎、損失函數(shù)、錯分率的最小化、期望損失的最小化等；相對熵、互信息。模式與模式識別、模式識別的主要方法、監(jiān)督模式識別與非監(jiān)督模式識別、模式識別系統(tǒng)舉例、模式識別系統(tǒng)的典型構(gòu)成。課程的考核要求：熟悉機器學習與模式識別的基本定義和術語;基本數(shù)學知識。了解：了解機器學習與模式識別的研究范圍和內(nèi)容。理解：決策論與信息論基礎、損失函數(shù)、錯分率的最小化、期望損失的最小化等；相對熵、互信息。模式與模式識別、模式識別的主要方法、監(jiān)督模式識別與非監(jiān)督模式識別、模式識別系統(tǒng)舉例、模式識別系統(tǒng)的典型構(gòu)成等概念。掌握：掌握決策論與信息論基礎、模式識別的主要方法。應用：與實際問題相呼應。復習思考題：見參考文獻。第2章概率分布教學重點、難點：高斯分布、混合高斯分布、Dirichlet分布、beta分布課程的考核要求：熟悉最大似然估計、貝葉斯估計與貝葉斯學習、概率密度估計的非參數(shù)方法。了解：最大似然估計、充分統(tǒng)計量、共軛先驗、無信息先驗等。非參數(shù)方法：核密度估計、近鄰法理解：neyman-pearson決策與roc曲線、正態(tài)分布時的統(tǒng)計決策、錯誤率的計算、、概率密度函數(shù)的估計掌握：掌握最小錯誤率貝葉斯決策、最小風險貝葉斯決策、兩類錯誤率。應用：離散概率模型下的統(tǒng)計決策舉例。復習思考題：見參考文獻。第3章回歸的線性模型教學重點、難點：貝葉斯線性回歸。課程的考核要求：熟悉線性基函數(shù)模型。了解：貝葉斯模型比較。理解：等價核的概念。掌握：掌握貝葉斯模型。應用：各種分布的具體應用。復習思考題：見參考文獻。第4章分類的線性模型：教學重點、難點：最優(yōu)分類超平面與線性支持向量機。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：fisher線性判別分析。理解：多類線性分類器。掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別應用：分類模型的具體應用。復習思考題：見參考文獻。第5章神經(jīng)網(wǎng)絡教學重點、難點：神經(jīng)網(wǎng)絡的正則化。課程的考核要求：熟悉各種神經(jīng)網(wǎng)絡及其梯度下降的概念。了解：hessian矩陣及混合密度網(wǎng)絡。理解：貝葉斯神經(jīng)網(wǎng)絡、多層感知器神經(jīng)網(wǎng)絡。掌握：前饋神經(jīng)網(wǎng)絡及神經(jīng)網(wǎng)絡的訓練應用：進行神經(jīng)網(wǎng)絡實驗的具體應用。復習思考題：見參考文獻。第6章核方法：教學重點、難點：構(gòu)造核函數(shù)課程的考核要求：熟悉對偶表示、徑向基函數(shù)網(wǎng)絡、Nadaraya-Watson模型了解：Laplace逼近理解：高斯過程模型用于回歸和分類。掌握：高斯過程應用：核方法與神經(jīng)網(wǎng)絡的聯(lián)系。復習思考題：見參考文獻。第7章稀疏核集教學重點、難點：最優(yōu)分類超平面與線性支持向量機、用于多分類和回歸的支持向量機。課程的考核要求：熟悉判別函數(shù)：二分類和多分類的Fisher線性判別、概率生成模型：連續(xù)輸入、離散特征。了解：各種變種理解：多類線性分類器以及最大邊緣分類器。掌握：統(tǒng)計學習理論應用：稀疏核集的具體應用。復習思考題：見參考文獻。第8章圖模型：教學重點、難點：Markov隨機場。課程的考核要求：熟悉因子分解。了解：循環(huán)置信傳播理解：圖模型中的推斷掌握：條件獨立的內(nèi)容應用：置信網(wǎng)絡的具體應用。復習思考題：見參考文獻。第9章混合模型和期望最大化(ExpectationMaximization，EM)算法教學重點、難點：高斯混合模型的參數(shù)估計、EM一般算法及其應用課程的考核要求：、EM一般算法及其應用、最大似然估計、EM算法、貝葉斯線性回歸了解：伯努利分布的混合理解：高斯混合模型的參數(shù)估計。掌握：最大似然估計、EM算法、貝葉斯線性回歸應用：貝葉斯線性回歸的EM算法。復習思考題：見參考文獻。第10章隱Markov模型和條件隨機場模型教學重點、難點：隱Markov模型、條件隨機場及其應用課程的考核要求：熟悉隱Markov模型、條件隨機場及其應用、Viterbi算法了解：Baum-Welch算法等理解：向前-向后算法掌握：熟悉隱Markov模型、條件隨機場及其應用、Viterbi算法應用：隱Markov模型和條件隨機場模型的具體應用。復習思考題：見參考文獻。第n章特征選擇教學重點、難點：特征選擇的最優(yōu)算法課程的考核要求：特征的評價準則、特征選擇的最優(yōu)算法了解：特征選擇的次優(yōu)算法理解：特征選擇的遺傳算法掌握：以分類性能為準則的特征選擇方法應用：特征選擇的具體應用。復習思考題：見參考文獻。第12章特征提取教學重點、難點：基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示。課程的考核要求：熟悉基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。了解：karhunen-loeve變換理解：非線性變換方法掌握：線性判別函數(shù)的基本概念、感知器、最小平方誤差判別基于類別可分性判據(jù)的特征提取、主成分分析方法、高維數(shù)據(jù)的低維顯示、多維尺度法。應用：5k-l變換在人臉識別中的應用舉例復習思考題：見參考文獻。第13章非監(jiān)督模式識別教學重點、難點：基于模型的方法、動態(tài)聚類算法課程的考核要求：熟悉基于模型的方法、動態(tài)聚類算法、模糊聚類方法了解：自組織映射神經(jīng)網(wǎng)絡理解：分級聚類方法掌握：混合模型的估計、基于模型的方法、動態(tài)聚類算法、模糊聚類方法應用：非監(jiān)督模式識別的具體應用。復習思考題：見參考文獻。第14章模式識別系統(tǒng)的評價教學重點、難點：有限樣本下錯誤率的區(qū)間估計問題課程的考核要求：熟悉監(jiān)督模式識別方法的錯誤率估計方法了解：非監(jiān)督模式識別系統(tǒng)性能的評價理解：特征提取與選擇對分類器性能估計的影響掌握：監(jiān)督模式識別方法的錯誤率估計方法應用：從分類的顯著性推斷特征與類別的關系復習思考題：見參考文獻。五、考核方式、成績評定課程結(jié)束考核方式：閉卷考試課堂考試時間：120分鐘考試命題：課程考試的命題內(nèi)容要從大綱的要求出發(fā)，圍繞本課程的教學內(nèi)容、知識點和教學要求，著重從知識、能力、素質(zhì)三個方面對學生進行全面的考核，重點考核學生運用知識解決問題的能力，同時考察學生的綜合素質(zhì)?？己朔秶鸀槌俗詈笠恢芙虒W的內(nèi)容外，其他大綱確定的知識點都在考試范圍之內(nèi)。試卷中不少于85%的內(nèi)容應來自課程重點內(nèi)容的范圍，不少于10%的內(nèi)容應來自課程非重點內(nèi)容的范圍，要求學生全面復習，以達到系統(tǒng)掌握，全面考核的目的。試卷的題型要力戒避免文科標準化試卷的題型，避免出現(xiàn)簡單概念問答題和簡答題。試卷題目數(shù)量一般為5、6、7題，以優(yōu)秀學生在全部會做的情況下正常書寫速度能夠在90分鐘內(nèi)完成為宜。試卷題目數(shù)量的減少與全面考核的目的并不矛盾