深度學(xué)習(xí) 教學(xué)大綱

深度學(xué)習(xí)一、課程說明課程編號(hào)：092115Z10課程名稱（中/英文）：深度學(xué)習(xí)/DeepLearning課程類別：選修學(xué)時(shí)/學(xué)分：32/2先修課程：機(jī)器學(xué)習(xí)、線性代數(shù)、概率論與數(shù)理統(tǒng)計(jì)、高等數(shù)學(xué)、計(jì)算機(jī)程序設(shè)計(jì)基礎(chǔ)適用專業(yè)：大數(shù)據(jù)、計(jì)算機(jī)科學(xué)與技術(shù)、智能科學(xué)與技術(shù)、物聯(lián)網(wǎng)工程、信息安全教材、教學(xué)參考書：臺(tái)灣大學(xué)MachineLearningandhavingitdeepandstructured.毅.tw/~tlkagk/courses_MLDS17.html《DeepLearning》.IanGoodfellow，YoshuaBengio，andAaronCourville（著）.MIT,2017《機(jī)器學(xué)習(xí)》.周志華（著）.清華大學(xué)出版社,2016《深度學(xué)習(xí):原理與應(yīng)用實(shí)踐》.張重生（著）.電子工業(yè)出版社,2016《DeepLearning:APractitioner'sApproach》.AdamGibsonandJoshPatterson（著）.O'ReillyMedia,2017《深度學(xué)習(xí)兒方法與應(yīng)用》.鄧力,俞棟（著），謝磊（譯）.機(jī)械工業(yè)出版社,2016《神經(jīng)網(wǎng)絡(luò)與深度學(xué)習(xí)》.吳岸城（著）.電子工業(yè)出版社,2016二、課程設(shè)置的目的意義本課程是為大數(shù)據(jù)專業(yè)設(shè)立的拓展知識(shí)體系的專業(yè)選修課。深度學(xué)習(xí)是人工智能特別是機(jī)器學(xué)習(xí)領(lǐng)域近幾年興起的一個(gè)研究熱點(diǎn)，主要是研究如何利用多層次的深度人工神經(jīng)網(wǎng)絡(luò)運(yùn)用模塊化思想自動(dòng)的學(xué)習(xí)數(shù)據(jù)的特征的一種端到端機(jī)器學(xué)習(xí)模式。課程設(shè)置的目的是讓學(xué)生了解深度學(xué)習(xí)這一機(jī)器學(xué)習(xí)和大數(shù)據(jù)分析前沿研究領(lǐng)域，從而一方面訓(xùn)練學(xué)生的科研思維能力，另一方面為學(xué)生在機(jī)器學(xué)習(xí)、大數(shù)據(jù)分析等領(lǐng)域的創(chuàng)新實(shí)踐提供創(chuàng)新思維訓(xùn)練。三、課程的基本要求知識(shí)：掌握單個(gè)神經(jīng)元與邏輯回歸的對(duì)應(yīng)關(guān)系，以及前向全連通神經(jīng)網(wǎng)絡(luò)基本架構(gòu)；理解深度神經(jīng)網(wǎng)絡(luò)的模塊化思想；掌握深度學(xué)習(xí)在訓(xùn)練和測(cè)試階段進(jìn)行分別優(yōu)化的技巧（如自適應(yīng)學(xué)習(xí)率、正則化、Dropout等）；掌握卷積神經(jīng)網(wǎng)絡(luò)基本思想并學(xué)會(huì)靈活運(yùn)用；理解和掌握詞嵌入、自編碼器、遷徙學(xué)習(xí)等無監(jiān)督學(xué)習(xí)的基本原理；掌握結(jié)構(gòu)化學(xué)習(xí)的基本概念、原理和框架，并結(jié)合循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)一步理解結(jié)構(gòu)化學(xué)習(xí)的理念；了解和掌握深度強(qiáng)化學(xué)習(xí)的基本概念和方法。能力：能夠熟練掌握深度學(xué)習(xí)開發(fā)工具（如TensorFlow）的框架，并能夠基于深度神經(jīng)網(wǎng)絡(luò)設(shè)計(jì)和實(shí)現(xiàn)深度學(xué)習(xí)應(yīng)用；能夠根據(jù)卷積神經(jīng)網(wǎng)絡(luò)的3個(gè)屬性靈活運(yùn)用卷積神經(jīng)網(wǎng)絡(luò)到不同類型的機(jī)器學(xué)習(xí)任務(wù)；能夠運(yùn)用詞嵌入、自編碼器、遷徙學(xué)習(xí)等技術(shù)完成各類無監(jiān)督學(xué)習(xí)的訓(xùn)練任務(wù)；能夠運(yùn)用循環(huán)神經(jīng)網(wǎng)絡(luò)完成訓(xùn)練機(jī)器翻譯等結(jié)構(gòu)化學(xué)習(xí)的任務(wù)。素質(zhì)：建立深度學(xué)習(xí)基于框架的商業(yè)軟件開發(fā)觀念，通過課程中的演示、交互、討論培養(yǎng)表達(dá)、歸納、分析、溝通、交流等素質(zhì)，通過課程學(xué)習(xí)及課程項(xiàng)目建立深度學(xué)習(xí)技術(shù)到應(yīng)用的思維模式，提升理解工程管理與經(jīng)濟(jì)決策的基本素質(zhì)。通過課外導(dǎo)學(xué)的模式，提升自主學(xué)習(xí)和終身學(xué)習(xí)的意識(shí)，形成不斷學(xué)習(xí)和適應(yīng)發(fā)展素質(zhì)。四、教學(xué)內(nèi)容、重點(diǎn)難點(diǎn)及教學(xué)設(shè)計(jì)章節(jié)教學(xué)內(nèi)容總學(xué)時(shí)學(xué)時(shí)分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計(jì)（含教學(xué)方法、教學(xué)手段）講課（含研討）實(shí)踐第1章緒論220從深度學(xué)習(xí)的發(fā)展歷程出發(fā)，介紹深度學(xué)習(xí)的基本概念和思想，然后通過對(duì)各種類型的深度神經(jīng)網(wǎng)絡(luò)典型應(yīng)用的介紹，形成對(duì)深度學(xué)習(xí)這一前沿領(lǐng)域的初步認(rèn)識(shí)。第2章神經(jīng)元與邏輯回歸222（課外）最大似然估計(jì)與交叉熵；邏輯回歸與分類的區(qū)別和聯(lián)系；單個(gè)神經(jīng)元與邏輯回歸的對(duì)應(yīng)關(guān)系Sigmoid函數(shù)的數(shù)學(xué)推導(dǎo)；生成模型和判別模型的區(qū)另限交叉熵與方差用在邏輯回歸上的區(qū)別教學(xué)思路：從邏輯回歸和分類的區(qū)別和聯(lián)系出發(fā)，引出生成模型和判別模型的區(qū)別和關(guān)聯(lián)，弓|出sigmoid和softmax函數(shù)的物理意義；從邏輯回歸的局限性引出邏輯回歸和單個(gè)神經(jīng)元的關(guān)聯(lián)，并說明層次化連接多個(gè)神經(jīng)元的必要性。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課外作業(yè)。

A-H-章節(jié)教學(xué)內(nèi)容總學(xué)時(shí)學(xué)時(shí)分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計(jì)（含教學(xué)方法、教學(xué)手段）講課（含研討）實(shí)踐第3章深度學(xué)習(xí)框架及模塊化思想422（課內(nèi)實(shí)驗(yàn)）掌握深度神經(jīng)網(wǎng)絡(luò)的基本框架；理解深度學(xué)習(xí)模塊化思想對(duì)深度學(xué)習(xí)模塊化思想的理解；理論知識(shí)的實(shí)踐運(yùn)用教學(xué)思路：首先通過前向神經(jīng)網(wǎng)絡(luò)來理解深度神經(jīng)網(wǎng)絡(luò)的基本框架，再通過淺層和深層神經(jīng)網(wǎng)絡(luò)（相同數(shù)量級(jí)的參數(shù)）的性能對(duì)比引出深層神經(jīng)網(wǎng)絡(luò)的模塊化思想，從而說明加深網(wǎng)絡(luò)層數(shù)的益處。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課內(nèi)實(shí)驗(yàn)。第4章深度學(xué)習(xí)訓(xùn)練技巧222（課外）自適應(yīng)學(xué)習(xí)率（Momentum等）、Dropout的思想與具體流程，及其與Ensemble的聯(lián)系；EarlyStopping;BatchNormalization梯度消失問題；Maxout與ReLu的關(guān)系；L1與L2正則化的本質(zhì)區(qū)別；Dropout測(cè)試階段權(quán)重乘以系數(shù)背后的原因教學(xué)思路：首先說明深度學(xué)習(xí)訓(xùn)練和測(cè)試的基本流程，并說明初學(xué)者容易在訓(xùn)練效果不太好的時(shí)候就歸罪于過擬合是有其片面性的，并由此引出分別針對(duì)訓(xùn)練和測(cè)試階段的效果不好的問題而推薦使用的一些技巧。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課外作業(yè)。第5章卷積神經(jīng)網(wǎng)絡(luò)CNN422（課內(nèi)實(shí)驗(yàn)）CNN的3個(gè)核心屬性；CNN的基本框架；卷積和池化的技術(shù)細(xì)節(jié)；揭秘CNN隱藏層所學(xué)內(nèi)容的方法揭秘CNN隱藏層所學(xué)內(nèi)容的方法；CNN針對(duì)具體任務(wù)的靈活運(yùn)用教學(xué)思路：首先介紹使用CNN來識(shí)別圖像的3個(gè)主要原因，并由此引出CNN的基本框架，以及框架中卷積和池化這兩個(gè)模塊所具備的特性是如何對(duì)應(yīng)上述3個(gè)原因的，最后再介紹卷積和池化的具體細(xì)節(jié)。在此基礎(chǔ)上，介紹各種解釋CNN隱含層所學(xué)內(nèi)容的方法，以及圖像之外的一些CNN應(yīng)用。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課內(nèi)實(shí)驗(yàn)。aa-「*第6章詞嵌入和網(wǎng)422詞嵌入方詞嵌入和教學(xué)思路：首先介紹

A-H-章節(jié)教學(xué)內(nèi)容總學(xué)時(shí)學(xué)時(shí)分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計(jì)（含教學(xué)方法、教學(xué)手段）講課（含研討）實(shí)踐絡(luò)嵌入（課內(nèi)實(shí)驗(yàn)）法獲取詞語語義的原理；網(wǎng)絡(luò)嵌入的基本原理主成分分析的異同1-hot向量和詞向量的基本概念，再通過比較基于計(jì)數(shù)的和基于預(yù)測(cè)的詞嵌入方法，說明詞嵌入方法的基本流程、網(wǎng)絡(luò)結(jié)構(gòu)、原理，然后從詞與詞之間的關(guān)系引入關(guān)系嵌入的概念以及詞嵌入的相關(guān)應(yīng)用，最后，介紹受詞嵌入啟發(fā)而提出的網(wǎng)絡(luò)嵌入等前沿?zé)狳c(diǎn)。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課內(nèi)實(shí)驗(yàn)。第7章自編碼器與可變自編碼器222（課外）自編碼器的原理可變自編碼器的原理和網(wǎng)絡(luò)設(shè)計(jì)教學(xué)思路：首先通過比較主成分分析和自編碼器說明自編碼器的架構(gòu)、原理和作用，再通過介紹自編碼器的應(yīng)用場(chǎng)景來加深對(duì)自編碼器的理解，并通過與CNN的結(jié)合引出反卷積和反池化的概念，最后，通過具體應(yīng)用引出可變自編碼器（一種利用自編碼器的生成模型）。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課內(nèi)實(shí)驗(yàn)。第8章遷徙學(xué)習(xí)222（課外作業(yè)）各種遷徙學(xué)習(xí)類型的典型模型；層遷徙在具體應(yīng)用場(chǎng)景下的區(qū)另除多任務(wù)學(xué)習(xí)和漸進(jìn)神經(jīng)網(wǎng)絡(luò)的異同領(lǐng)域?qū)褂?xùn)練的理解；遷徙學(xué)習(xí)針對(duì)具體應(yīng)用場(chǎng)景的靈活運(yùn)用教學(xué)思路：首先從為什么需要遷徙學(xué)習(xí)入手引出遷徙學(xué)習(xí)的基本概念，然后分別從源數(shù)據(jù)集和目標(biāo)數(shù)據(jù)集是否有標(biāo)簽作為遷徙學(xué)習(xí)分類依據(jù)將遷徙學(xué)習(xí)分類4類，并分別講解每種類型下的代表性模型。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講

A-H-章節(jié)教學(xué)內(nèi)容總學(xué)時(shí)學(xué)時(shí)分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計(jì)（含教學(xué)方法、教學(xué)手段）講課（含研討）實(shí)踐授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課外作業(yè)。第9章結(jié)構(gòu)化學(xué)習(xí)222（課外）結(jié)構(gòu)化學(xué)習(xí)的概念和基本框架；結(jié)構(gòu)化學(xué)習(xí)的算法結(jié)構(gòu)化學(xué)習(xí)的算法和針對(duì)具體應(yīng)用場(chǎng)景的靈活運(yùn)用教學(xué)思路：首先介紹結(jié)構(gòu)化學(xué)習(xí)的基本概念和典型應(yīng)用，然后給出結(jié)構(gòu)化學(xué)習(xí)的基本框架，再通過具體案例進(jìn)行講解并與深度神經(jīng)網(wǎng)絡(luò)建立起關(guān)聯(lián)，最后再進(jìn)一步介紹結(jié)構(gòu)化的線性模型和支持向量機(jī)模型。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課外作業(yè)。第10*章循環(huán)神經(jīng)網(wǎng)絡(luò)RNN422（課內(nèi)實(shí)驗(yàn)）RNN的核心思想；LSTM的原理RNN與結(jié)構(gòu)化學(xué)習(xí)的關(guān)聯(lián)以及針對(duì)具體應(yīng)用場(chǎng)景的靈活運(yùn)用教學(xué)思路：首先通過具體案例引出RNN的必要性和RNN的基本概念，并在此基礎(chǔ)上進(jìn)一步引出雙向RNN和LSTM的基本概念，然后通過指出RNN在訓(xùn)練的過程中容易出現(xiàn)的問題引出GRU、ClockwiseRNN、SCRN等解決方案，接著，通過RNN的具體應(yīng)用案例來進(jìn)一步理解RNN，最后，討論一下RNN與注意力模型、存儲(chǔ)網(wǎng)絡(luò)、結(jié)構(gòu)化學(xué)習(xí)的關(guān)聯(lián)（通過自然語言處理中的具體案例序列標(biāo)簽問題）。教學(xué)模式：課堂內(nèi)知識(shí)講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課內(nèi)實(shí)驗(yàn)。第11*章深度強(qiáng)化學(xué)習(xí)222（課外）強(qiáng)化學(xué)習(xí)的基本思想；深度強(qiáng)化學(xué)習(xí)的不同之處深度強(qiáng)化學(xué)習(xí)訓(xùn)練的困難以及針對(duì)具體應(yīng)用場(chǎng)景的靈活運(yùn)用教學(xué)思路：首先介紹一下強(qiáng)化學(xué)習(xí)的基本概念，再通過機(jī)器打游戲等案例來進(jìn)一步理解強(qiáng)化學(xué)習(xí)，然后通過基于策略、基于值以及兩者結(jié)合的的三種強(qiáng)化學(xué)習(xí)類型分別講解。教學(xué)模式：課堂內(nèi)知識(shí)章節(jié)教學(xué)內(nèi)容總學(xué)時(shí)學(xué)時(shí)分配教學(xué)重點(diǎn)教學(xué)難點(diǎn)教學(xué)方案設(shè)計(jì)（含教學(xué)方法、教學(xué)手段）講課（含研討）實(shí)踐講授和課堂內(nèi)學(xué)生回答問題，并結(jié)合實(shí)際動(dòng)手操作；1.5學(xué)時(shí)課程講授；0.5學(xué)時(shí)課堂回答問題；2學(xué)時(shí)課外實(shí)驗(yàn)。注：實(shí)踐包括實(shí)驗(yàn)、上機(jī)等五、實(shí)踐教學(xué)內(nèi)容和基本要求1．共享單車使用情況預(yù)測(cè)：根據(jù)給定的共享單車使用情況的數(shù)據(jù)集，利用前向神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)共享單車使用情況；.基于CNN的物體識(shí)別：基于卷積神經(jīng)網(wǎng)絡(luò)編碼實(shí)現(xiàn)對(duì)圖像中的物體進(jìn)行識(shí)別；.基于詞嵌入的語義分析：基于詞嵌入方法，根據(jù)給定的自然語言文本數(shù)據(jù)集，編碼實(shí)現(xiàn)對(duì)自然語言文本的語義聚類分析和詞語之間關(guān)系分析；.基于RNN的機(jī)器翻譯：基于循環(huán)神經(jīng)網(wǎng)絡(luò)，根據(jù)給定的自然語言文本數(shù)據(jù)集，編碼實(shí)現(xiàn)中英文的機(jī)器翻譯功能。六、考核方式及成績(jī)?cè)u(píng)定根據(jù)課程類型、課程性質(zhì)、課程內(nèi)容及特點(diǎn)，確定適合的考核內(nèi)容、考核方式及成績(jī)?cè)u(píng)定?？己藘?nèi)容