大數(shù)據(jù)與人工智能教學(xué)大綱

《大數(shù)據(jù)與人工智能》課程教學(xué)大綱課程代碼：課程名稱：大數(shù)據(jù)與人工智能/BigDataandArtificialIntelligence開課學(xué)期：學(xué)分/學(xué)時(shí)：理論2/32+實(shí)驗(yàn)1/16課程類型：必修適用專業(yè)/開課對(duì)象：先修課程：計(jì)算機(jī)導(dǎo)論、數(shù)據(jù)結(jié)構(gòu)、面向?qū)ο蟪绦蛟O(shè)計(jì)、數(shù)據(jù)庫(kù)原理等開課單位：團(tuán)隊(duì)負(fù)責(zé)人： 責(zé)任教授：執(zhí)筆人： 核準(zhǔn)院長(zhǎng)：一、課程的性質(zhì)、目的與任務(wù)《大數(shù)據(jù)與人工智能》是計(jì)算機(jī)/軟件工程專業(yè)智能前沿方向的一門基礎(chǔ)課程，在軟件工程學(xué)科人才培養(yǎng)體系中占有重要的地位。隨著近年來(lái)數(shù)據(jù)科學(xué)的發(fā)展，人們記錄信息的方式和量級(jí)不斷地發(fā)生改變，數(shù)據(jù)的數(shù)量逐漸增多，種類逐漸復(fù)雜化，大數(shù)據(jù)技術(shù)得到了廣泛的應(yīng)用。同時(shí)，在大數(shù)據(jù)時(shí)代，人工智能相關(guān)技術(shù)也得到了越來(lái)越多的關(guān)注，市場(chǎng)對(duì)于人工智能產(chǎn)品的呼聲也越來(lái)越高。人工智能作為大數(shù)據(jù)應(yīng)用的重要出口，在與大數(shù)據(jù)應(yīng)用相結(jié)合的使用過程中將會(huì)得到更廣泛的應(yīng)用?！洞髷?shù)據(jù)與人工智能》已成為高等學(xué)校計(jì)算機(jī)軟件教學(xué)體系中的一門重要課程。本課程教材理論和實(shí)踐相結(jié)合，循序漸進(jìn)地介紹了大數(shù)據(jù)與人工智能方面的知識(shí)，全面、系統(tǒng)地介紹了大數(shù)據(jù)與人工智能的算法概念和適用范疇，并通過11個(gè)具體案例分別闡述了人工智能和大數(shù)據(jù)技術(shù)在生產(chǎn)生活中的應(yīng)用。全書共20章，分別介紹大數(shù)據(jù)與人工智能的發(fā)展歷史、數(shù)據(jù)工程、機(jī)器學(xué)習(xí)算法知識(shí)、深度學(xué)習(xí)與神經(jīng)網(wǎng)絡(luò)知識(shí)、大數(shù)據(jù)存儲(chǔ)技術(shù)、HadoopMapReduce解析、Spark解析、PyTorch解析等知識(shí)，書籍的后半部分包括了大數(shù)據(jù)技術(shù)和機(jī)器學(xué)習(xí)技術(shù)相結(jié)合的一些實(shí)例。通過本課程的學(xué)習(xí)，要求學(xué)生能掌握大數(shù)據(jù)技術(shù)的基本概念、基本原理、使用場(chǎng)景；掌握人工智能技術(shù)的基本概念、基本原理、使用場(chǎng)景；學(xué)生應(yīng)能掌握大數(shù)據(jù)與人工智能相結(jié)合的應(yīng)用領(lǐng)域，以及結(jié)合大數(shù)據(jù)與人工智能有效地解決實(shí)際問題，為學(xué)生參加大型軟件開發(fā)項(xiàng)目打下堅(jiān)實(shí)的理論基礎(chǔ)。本課程注重培養(yǎng)學(xué)生理論應(yīng)用于實(shí)踐的能力，課堂上教師向?qū)W生講述大數(shù)據(jù)與人工智能中的相關(guān)原理和概念，并通過課程設(shè)計(jì)，加深學(xué)生對(duì)大數(shù)據(jù)與人工智能技術(shù)使用方法的理解，讓學(xué)生能切實(shí)體會(huì)到使用大數(shù)據(jù)與人工智能技術(shù)在實(shí)際軟件項(xiàng)目開發(fā)過程中的便捷高效。本課程對(duì)提高學(xué)生的數(shù)據(jù)庫(kù)使用能力和軟件開發(fā)能力有重要的現(xiàn)實(shí)意義。二、教學(xué)內(nèi)容及教學(xué)基本要求1.緒論（1學(xué)時(shí)）通過本章學(xué)習(xí)，了解大數(shù)據(jù)與人工智能的概念和發(fā)展；了解大數(shù)據(jù)與人工智能的結(jié)合趨勢(shì)。2.數(shù)據(jù)工程（1學(xué)時(shí)）通過本章學(xué)習(xí)，掌握數(shù)據(jù)工程的一般流程；了解數(shù)據(jù)獲取、數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)預(yù)處理技術(shù)。3.機(jī)器學(xué)習(xí)算法（2學(xué)時(shí)）通過本章學(xué)習(xí)，了解機(jī)器學(xué)習(xí)的常用算法；掌握線性回歸算法；掌握邏輯回歸算法；掌握線性判別分析；掌握分類與回歸樹分析；掌握樸素貝葉斯；深刻理解K最近鄰；深刻理解學(xué)習(xí)矢量量化；深刻理解支持向量機(jī)；深刻理解Bagging；深刻理解隨機(jī)森林；深刻理解Boosting；深刻理解AdaBoost。4.深度學(xué)習(xí)（3學(xué)時(shí)）通過本章學(xué)習(xí)，了解神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)知識(shí)；掌握神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程；掌握向量化的基本實(shí)施步驟；掌握梯度下降和反向傳播的基本實(shí)施步驟；了解神經(jīng)網(wǎng)絡(luò)的優(yōu)化和改進(jìn)方式；深刻理解卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)；了解深度學(xué)習(xí)的優(yōu)勢(shì)；了解深度學(xué)習(xí)基本框架。5.大數(shù)據(jù)存儲(chǔ)（3學(xué)時(shí)）通過本章的學(xué)習(xí)，了解大數(shù)據(jù)存儲(chǔ)技術(shù)的發(fā)展；深刻理解數(shù)據(jù)分片與路由；掌握數(shù)據(jù)復(fù)制的基本實(shí)施過程；深刻理解數(shù)據(jù)一致性；掌握大數(shù)據(jù)技術(shù)的重要數(shù)據(jù)結(jié)構(gòu)和算法；了解分布式文件系統(tǒng)和分布式數(shù)據(jù)庫(kù)NoSQL；掌握HBase數(shù)據(jù)庫(kù)的搭建與使用步驟。6.HadoopMapReduce解析（3學(xué)時(shí)）通過本章的學(xué)習(xí)，了解HadoopMapReduce架構(gòu)；掌握MapReduce的工作機(jī)制；了解MapReduce分布式計(jì)算框架在實(shí)際中的應(yīng)用方式。7.Spark解析（2學(xué)時(shí)）通過本章的學(xué)習(xí)，了解SparkRDD；深刻理解Spark和MapReduce的區(qū)別；掌握DAG工作圖；了解Partition；了解Lineage容錯(cuò)方法；了解Spark內(nèi)存管理方式；了解Spark數(shù)據(jù)持久化方式。掌握Spark讀取數(shù)據(jù)的基本實(shí)施過程；了解Spark在實(shí)際中的應(yīng)用方式。8.分布式數(shù)據(jù)挖掘算法（2學(xué)時(shí)）通過本章的學(xué)習(xí)，深刻K-Means聚類算法的并行化思路；掌握K-Means聚類算法的分布式實(shí)現(xiàn)；深刻理解邏輯回歸的并行化思路；掌握邏輯回歸的分布式實(shí)現(xiàn)；了解樸素貝葉斯分類算法的設(shè)計(jì)思路和實(shí)現(xiàn)方案。9.PyTorch解析（3學(xué)時(shí)）通過本章的學(xué)習(xí)，了解PyTorch的基礎(chǔ)知識(shí)；掌握Tensor相關(guān)的PyTorch深度學(xué)習(xí)基本操作；掌握PyTorch框架的使用方法。10.案例：Hadoop平臺(tái)的搭建和數(shù)據(jù)分析（2學(xué)時(shí)）通過本章學(xué)習(xí)，掌握虛擬機(jī)網(wǎng)絡(luò)的搭建和配置；掌握Hadoop平臺(tái)大數(shù)據(jù)環(huán)境的安裝；進(jìn)一步掌握Hadoop平臺(tái)在案例中的應(yīng)用。11.案例：基于Spark的搜索引擎日志用戶行為分析（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解Spark在實(shí)際場(chǎng)景中的應(yīng)用方式；進(jìn)一步掌握Spark的基本操作。12.案例：使用Spark實(shí)現(xiàn)數(shù)據(jù)統(tǒng)計(jì)分析及性能優(yōu)化（1學(xué)時(shí)）通過本章學(xué)習(xí)，進(jìn)一步理解Spark在實(shí)際場(chǎng)景中的應(yīng)用方式；進(jìn)一步掌握Spark的基本操作。13.案例：使用Spark和HBase實(shí)現(xiàn)商品批量存儲(chǔ)（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解HBase數(shù)據(jù)庫(kù)在實(shí)際場(chǎng)景中的應(yīng)用方式；進(jìn)一步掌握HBase數(shù)據(jù)庫(kù)的基本操作。14.案例：使用Keras進(jìn)行人臉關(guān)鍵點(diǎn)檢測(cè)（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解深度學(xué)習(xí)在實(shí)際場(chǎng)景中的應(yīng)用方式；進(jìn)一步掌握卷積神經(jīng)網(wǎng)絡(luò)搭建與訓(xùn)練的基本操作。15.案例：使用PyTorch實(shí)現(xiàn)基于詞級(jí)別的情感分析（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解PyTorch在實(shí)際應(yīng)用中的使用方式；進(jìn)一步掌握PyTorch的基本操作與功能。16.案例：短語(yǔ)視覺定位（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解深度學(xué)習(xí)在短語(yǔ)視覺定位領(lǐng)域中的應(yīng)用方式；進(jìn)一步掌握卷積神經(jīng)網(wǎng)絡(luò)搭建與訓(xùn)練的基本操作。17.案例：使用PyTorch進(jìn)行視覺問答（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解PyTorch在計(jì)算機(jī)視覺領(lǐng)域的應(yīng)用方式；進(jìn)一步理解深度學(xué)習(xí)的應(yīng)用；進(jìn)一步掌握PyTorch的基本操作與功能。18.案例：使用Hadoop和MapReduce分布式計(jì)算語(yǔ)料中單詞出現(xiàn)的頻數(shù)（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解Hadoop和MapReduce分布式計(jì)算在實(shí)際場(chǎng)景中的應(yīng)用方式；進(jìn)一步大數(shù)據(jù)平臺(tái)的相關(guān)基本操作。19.案例：使用多種機(jī)器學(xué)習(xí)算法實(shí)現(xiàn)基于用戶行為數(shù)據(jù)的用戶分類器（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解大數(shù)據(jù)與機(jī)器學(xué)習(xí)的結(jié)合方式；進(jìn)一步掌握分布式數(shù)據(jù)倉(cāng)庫(kù)的使用操作。20.案例：使用PyTorch實(shí)現(xiàn)蘋果葉病病害分類（1學(xué)時(shí)）通過本章學(xué)習(xí)，理解大數(shù)據(jù)與深度學(xué)習(xí)在實(shí)際場(chǎng)景中的應(yīng)用方式；進(jìn)一步熟悉機(jī)器學(xué)習(xí)的基本操作和功能。21.實(shí)驗(yàn)（16學(xué)時(shí)）教學(xué)說明及教學(xué)基本要求見《大數(shù)據(jù)與人工智能》實(shí)驗(yàn)教學(xué)大綱。三、教學(xué)方法本課程教學(xué)方法以教師為主導(dǎo)的啟發(fā)式講授教學(xué)法為主，討論（提問）式教學(xué)為輔，結(jié)合課外學(xué)習(xí)的教學(xué)方法。實(shí)驗(yàn)以學(xué)生動(dòng)手實(shí)驗(yàn)為主，教師的啟發(fā)式講授教學(xué)法為輔，并結(jié)合討論（提問）式教學(xué)，以及結(jié)合課外學(xué)習(xí)的教學(xué)方法。1．本課程概念較多，因此教學(xué)形式以講授方式為主。本課程擬采用多媒體PPT的教學(xué)方法，增加課堂信息，淺顯通俗地對(duì)概念、定義和原理進(jìn)行解釋，增加教學(xué)的直觀性，教學(xué)過程中注意各個(gè)知識(shí)點(diǎn)的關(guān)聯(lián)性，以使學(xué)生更好地理解課程內(nèi)容。2．對(duì)課程中關(guān)鍵性概念、設(shè)計(jì)思想方面的問題可輔以課堂討論的形式。3．為加強(qiáng)和落實(shí)動(dòng)手能力的培養(yǎng)，每章課后應(yīng)安排作業(yè)，幫助學(xué)生學(xué)習(xí)和應(yīng)用。四、課內(nèi)外教學(xué)環(huán)節(jié)及基本要求本課程共48個(gè)學(xué)時(shí)，其中理論32個(gè)學(xué)時(shí)，講授16周（每周2學(xué)時(shí)）；實(shí)驗(yàn)16個(gè)學(xué)時(shí)，講授8周（每周2學(xué)時(shí)）。課外學(xué)習(xí)要求：1．做好課前預(yù)習(xí)，預(yù)習(xí)時(shí)以教材為主，了解相關(guān)的概念、定義、原理。預(yù)習(xí)中認(rèn)真思考，以便帶著問題主動(dòng)地聽課。2．課后要復(fù)習(xí)，有余力的學(xué)生復(fù)習(xí)時(shí)還應(yīng)閱讀參考資料，認(rèn)真整理課堂聽課筆記。3．要求學(xué)生課外自主學(xué)習(xí)，學(xué)生課外閱讀的參考資料以本大綱所列參考資料為主。五、考核內(nèi)容及方式本課程成績(jī)由平時(shí)成績(jī)和期末考核成績(jī)組合而成，課程成績(jī)以百分制計(jì)算，分配比例如下：1．平時(shí)成績(jī)占60%，主要考查作業(yè)的完成程度，理論課和實(shí)驗(yàn)課的出勤率，實(shí)驗(yàn)課的考試結(jié)果。其中實(shí)驗(yàn)占20%，課程設(shè)計(jì)占35%，出勤率占5%。2．期末成績(jī)占40%，采用考試的考核方式?？荚嚥捎瞄]卷形式，題型為選擇題、正確/錯(cuò)誤題、填空題、簡(jiǎn)答題，以及應(yīng)用題。六、持續(xù)改進(jìn)本課程根據(jù)學(xué)生作業(yè)、課堂討論、平時(shí)考核情況和學(xué)生、教學(xué)督導(dǎo)等反饋，及時(shí)對(duì)教學(xué)中不足之處進(jìn)行改進(jìn)，并在下一輪課程教學(xué)中改進(jìn)。七、建議教材及參考資料建議教材：[1]呂云翔，鐘巧靈，郭婉茹，等.大數(shù)據(jù)與人工智能[M].北京：清華大學(xué)出版社，2022

《大數(shù)據(jù)與人工智能》課程實(shí)驗(yàn)教學(xué)大綱教學(xué)內(nèi)容及教學(xué)基本要求1.Hadoop平臺(tái)的搭建(2學(xué)時(shí))掌握VirtualBox的安裝及配置；掌握Ubuntu虛擬機(jī)的安裝及配置；掌握Ubuntu系統(tǒng)內(nèi)網(wǎng)絡(luò)配置的修改方式；掌握應(yīng)用Java安裝Hadoop大數(shù)據(jù)平臺(tái)的基本流程。2.MapReduce數(shù)據(jù)分析（2學(xué)時(shí)）深刻理解MapReduce工作機(jī)制；掌握WordCount和WordMean的應(yīng)用案例中MapReduce的處理過程。3.Spark的部署和使用(2學(xué)時(shí))了解SparkRDD的使用；了解Spark的工作機(jī)制；掌握Spark讀取和處理數(shù)據(jù)的基本流程。4.大數(shù)據(jù)存儲(chǔ)的使用(2學(xué)時(shí))了解分布式數(shù)據(jù)庫(kù)NoSQL的基礎(chǔ)知識(shí)；掌握數(shù)據(jù)分片的概念；掌握HBase分布式數(shù)據(jù)庫(kù)和Hive分布式文件存儲(chǔ)系統(tǒng)的搭建和使用。5.數(shù)據(jù)工程技術(shù)的使用(2學(xué)時(shí))了解數(shù)據(jù)獲取的來(lái)源；了解分布式數(shù)據(jù)挖掘的實(shí)現(xiàn)方案；了解數(shù)據(jù)存儲(chǔ)的一