《機(jī)器學(xué)習(xí)》課程教學(xué)大綱

1、機(jī)器學(xué)習(xí) 課程教學(xué)大綱課程中文名稱：機(jī)器學(xué)習(xí) 課程英文名稱： Machine Learning適用專業(yè)： 計算機(jī)應(yīng)用技術(shù)，管理科學(xué)與工程總學(xué)時： 36(講課： 28 ，實驗： 8 ) 學(xué)分： 2大綱撰寫人：大綱審核人：編寫日期：一、 課程性質(zhì)及教學(xué)目的： 本課程是面向計算機(jī)與信息工程學(xué)院研究生開設(shè)的專業(yè)基礎(chǔ)課。 其教學(xué)重點是使學(xué)生掌 握常見機(jī)器學(xué)習(xí)算法， 包括算法的主要思想和基本步驟， 并通過編程練習(xí)和典型應(yīng)用實例加 深了解；同時對機(jī)器學(xué)習(xí)的一般理論，如假設(shè)空間、采樣理論、計算學(xué)習(xí)理論，以及無監(jiān)督 學(xué)習(xí)和強(qiáng)化學(xué)習(xí)有所了解。二、對選課學(xué)生的要求：要求選課學(xué)生事先受過基本編程訓(xùn)練，熟悉C/C+ 或

2、 Matlab 編程語言，具有多元微積分、高等代數(shù)和概率統(tǒng)計方面基本知識。三、課程教學(xué)內(nèi)容和要求 (200 字左右的概述， 然后給出各 “章”“節(jié)” 目錄及內(nèi)容簡介 )1. 決策論與信息論基礎(chǔ)：a) 損失函數(shù)、錯分率的最小化、期望損失的最小化等b) 相對熵、互信息2. 概率分布：a) 高斯分布、混合高斯分布、 Dirichlet 分布、 beta 分布等b) 指數(shù)分布族：最大似然估計、充分統(tǒng)計量、共軛先驗、無信息先驗等c) 非參數(shù)方法：核密度估計、近鄰法3. 回歸的線性模型：a) 線性基函數(shù)模型b) 貝葉斯線性回歸c) 貝葉斯模型比較4. 分類的線性模型：a) 判別函數(shù)：二分類和多分類的 Fi

3、sher 線性判別b) 概率生成模型：連續(xù)輸入、離散特征5. 核方法：a) 對偶表示b）構(gòu)造核函數(shù)c）徑向基函數(shù)網(wǎng)絡(luò)： Nadaraya-Watson 模型d）高斯過程：高斯過程模型用于回歸和分類、 Laplace 逼近、與神經(jīng)網(wǎng)絡(luò)的聯(lián)系6. 支持向量機(jī)：a） 最大邊緣分類器：歷史回顧b） 用于多分類和回歸的支持向量機(jī)：幾何背景、各種變種c）統(tǒng)計學(xué)習(xí)理論簡介： Vapnik 等人的工作7. 圖模型：a） 貝葉斯網(wǎng)絡(luò)b） Markov 隨機(jī)場：條件獨立、因子分解c）圖模型中的推斷8. 混合模型和期望最大化（ Expectation Maximization ， EM ）算法（ 3 學(xué)時）：a）

4、高斯混合模型的參數(shù)估計：最大似然估計、 EM 算法b） EM 一般算法及其應(yīng)用：貝葉斯線性回歸9. 隱 Markov 模型和條件隨機(jī)場模型（ 3 學(xué)時）：a） 隱 Markov 模型：向前 -向后算法、 Viterbi 算法、 Baum-Welch 算法等b） 條件隨機(jī)場及其應(yīng)用四、課程教學(xué)環(huán)節(jié)的學(xué)時安排和基本要求1. 決策論與信息論基礎(chǔ)（ 2 學(xué)時）：了解并掌握統(tǒng)計決策理論和信息論的基礎(chǔ)知識。2. 概率分布（ 3 學(xué)時）：熟悉常見的分布，熟練掌握最大似然估計方法，學(xué)會利用無信息先 驗和共軛先驗簡化計算，了解一些常用的非參數(shù)方法。3. 回歸的線性模型（ 3 學(xué)時）：掌握線性回歸的一般方法，學(xué)會

5、使用 R 中有關(guān)回歸的程序 包，并能將之用于解決實際問題。4. 分類的線性模型（ 3 學(xué)時）：對分類問題有一個全面的了解，掌握一些常用的分類方法。5. 核方法（ 3 學(xué)時）：了解核方法的最新進(jìn)展，熟練掌握核函數(shù)參數(shù)估計的常用方法。6. 支持向量機(jī) （4 學(xué)時）：掌握支持向量機(jī)的基本原理， 面對各自研究領(lǐng)域中的具體問題學(xué) 會使用支持向量機(jī)，粗略了解統(tǒng)計學(xué)習(xí)理論。7. 圖模型（ 4 學(xué)時）：從建模到算法實現(xiàn)。8. 混合模型和期望最大化（ Expectation Maximization ， EM ）算法（ 3 學(xué)時）：掌握 EM 算 法的基本理論，學(xué)會使用 EM 算法。9. 隱 Markov 模型和條件隨機(jī)場模型（ 3 學(xué)時）：掌握隱 Markov 模型的幾個經(jīng)典算法，學(xué) 會利用隱 Markov 模型和條件隨機(jī)場模型解決具體問題，如自然語言處理中的詞性標(biāo)注五、教材及參考文獻(xiàn)：1. Bishop, C. M. (2006) Pattern Recognition and Machine Learning, Spring Science + Business Medi