云計(jì)算與大數(shù)據(jù)基礎(chǔ)教學(xué)大綱

云計(jì)算與大數(shù)據(jù)基礎(chǔ)教學(xué)大綱適用范圍：2019版本科人才培養(yǎng)方案課程代碼：08140171課程性質(zhì)：專業(yè)必修課學(xué)分：2學(xué)分學(xué)時(shí)：32學(xué)時(shí)（其中：理論32學(xué)時(shí)，實(shí)驗(yàn)0學(xué)時(shí)）先修課程：后續(xù)課程：數(shù)據(jù)采集，數(shù)據(jù)挖掘，數(shù)據(jù)可視化等適用專業(yè)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)等教材：《大數(shù)據(jù)技術(shù)基礎(chǔ)》，薛志東編著，人民郵電出版社，2018.8開課單位：計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院一、課程的性質(zhì)與任務(wù)課程性質(zhì)：數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)等專業(yè)的專業(yè)必修課。課程任務(wù)：其任務(wù)主要是把握大數(shù)據(jù)技術(shù)的發(fā)展趨勢，熟悉本專業(yè)的前沿知識(shí)和研究熱點(diǎn)。該課程講述了大數(shù)據(jù)的發(fā)展簡史、大數(shù)據(jù)技術(shù)的基本內(nèi)容和主要研究領(lǐng)域、大數(shù)據(jù)技術(shù)的熱點(diǎn)應(yīng)用等。要求學(xué)生掌握基本大數(shù)據(jù)技術(shù)的相關(guān)概念，掌握大數(shù)據(jù)分析的基本創(chuàng)新方法，能夠針對創(chuàng)新點(diǎn)開展切實(shí)有效的應(yīng)用開發(fā)。該課程緊密聯(lián)系大數(shù)據(jù)技術(shù)中的前沿內(nèi)容和所涉及的新技術(shù)，例如Hadoop分布式系統(tǒng)、Nosql數(shù)據(jù)庫、MapReduce分布式編程、數(shù)據(jù)采集工具、數(shù)據(jù)分析及數(shù)據(jù)可視化等，學(xué)生通過該課程的學(xué)習(xí)能夠了解基本的大數(shù)據(jù)技術(shù)和解決實(shí)際問題的基本工具和方法。二、課程的基本內(nèi)容及要求（一）大數(shù)據(jù)基礎(chǔ)概念1．課程教學(xué)內(nèi)容（1）大數(shù)據(jù)的相關(guān)概念；（2）大數(shù)據(jù)處理的基礎(chǔ)技術(shù)；（3）流行大數(shù)據(jù)技術(shù)；（4）大數(shù)據(jù)解決方案。（5）大數(shù)據(jù)發(fā)展現(xiàn)狀和趨勢2．課程重點(diǎn)難點(diǎn)重點(diǎn):了解大數(shù)據(jù)技術(shù)的基本內(nèi)容；難點(diǎn):了解本專業(yè)的前沿知識(shí)和發(fā)展趨勢。3．課程教學(xué)要求（1）了解大數(shù)據(jù)技術(shù)的特點(diǎn)、內(nèi)容、發(fā)展歷史及未來；（2）了解大數(shù)據(jù)技術(shù)的基本內(nèi)容和主要研究領(lǐng)域，熟悉本專業(yè)的前沿知識(shí)和研究熱點(diǎn)。（二）大數(shù)據(jù)軟件基礎(chǔ)1．課程教學(xué)內(nèi)容（1）Linux基礎(chǔ)；（2）Java、Python語言基礎(chǔ)。（3）SQL語言基礎(chǔ)2．課程重點(diǎn)難點(diǎn)重點(diǎn):大數(shù)據(jù)技術(shù)的主流編程語言的熟練；難點(diǎn):Linux操作系統(tǒng)的命令。3．課程教學(xué)要求（1）了解掌握J(rèn)ava和Python語言的主要知識(shí)點(diǎn)；（2）了解掌握SQL語言的主要知識(shí)點(diǎn)；（3）掌握虛擬機(jī)Linux系統(tǒng)集群的搭建及相關(guān)操作。（三）大數(shù)據(jù)存儲(chǔ)技術(shù)1．課程教學(xué)內(nèi)容（1）理解HDFS分布式文件系統(tǒng)；（2）NoSQL數(shù)據(jù)庫的概念；（3）Hadoop、Hbase等平臺(tái)的配置及使用。2．課程重點(diǎn)難點(diǎn)重點(diǎn):Nosql數(shù)據(jù)庫的原理；難點(diǎn):掌握Hadoop生態(tài)系統(tǒng)3．課程教學(xué)要求（1）理解Hadoop生態(tài)系統(tǒng)；（2）熟練掌握Hadoop和Hbase等平臺(tái)的使用。（四）分布式計(jì)算框架1．課程教學(xué)內(nèi)容（1）MapReduce框架概述（2）深入理解MapReduce框架的運(yùn)行過程（3）任務(wù)調(diào)度框架。2．課程重點(diǎn)難點(diǎn)重點(diǎn):MapReduce框架的原理和方法；難點(diǎn):任務(wù)調(diào)度概念的理解。3．課程教學(xué)要求（1）理解MapReduce框架的原理和方法。（2）了解MapReduce編程工具。（五）數(shù)據(jù)采集與預(yù)處理1．課程教學(xué)內(nèi)容（1）數(shù)據(jù)采集原理；（2）數(shù)據(jù)采集編碼框架；（3）數(shù)據(jù)采集工具2．課程重點(diǎn)難點(diǎn)重點(diǎn):數(shù)據(jù)采集的基本概念和基本方法；難點(diǎn):數(shù)據(jù)采集的實(shí)現(xiàn)與基本軟件設(shè)計(jì)。3．課程教學(xué)要求（1）數(shù)據(jù)采集的基本概念、基本方法；（2）掌握數(shù)據(jù)采集程序的原理與基本軟件設(shè)計(jì)，基本創(chuàng)新方法。。（六）數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理1．課程教學(xué)內(nèi)容（1）數(shù)據(jù)倉庫的概念（2）數(shù)據(jù)模型設(shè)計(jì)（3）數(shù)據(jù)倉庫及聯(lián)機(jī)分析的工具2．課程重點(diǎn)難點(diǎn)重點(diǎn):數(shù)據(jù)倉庫的基本概念和基本方法；難點(diǎn):聯(lián)機(jī)分析的工具和基本設(shè)計(jì)方法。3．課程教學(xué)要求（1）掌握數(shù)據(jù)倉庫的基本概念和基本方法。；（2）了解一些聯(lián)機(jī)分析的工具和方法，掌握相應(yīng)的應(yīng)用實(shí)例。（七）數(shù)據(jù)分析與挖掘技術(shù)1．課程教學(xué)內(nèi)容（1）數(shù)據(jù)分析的基本概念（2）推薦系統(tǒng)（3）分類系統(tǒng)（4）聚類系統(tǒng)2．課程重點(diǎn)難點(diǎn)重點(diǎn):數(shù)據(jù)分析的基本概念、基本特征、一般結(jié)構(gòu)等基本內(nèi)容；難點(diǎn):推薦、分類、聚類系統(tǒng)的設(shè)計(jì)和開發(fā)方法。3．課程教學(xué)要求（1）掌握數(shù)據(jù)分析的基本概念、基本特征、一般結(jié)構(gòu)等基本內(nèi)容；（2）掌握推薦、分類、聚類系統(tǒng)設(shè)計(jì)和開發(fā)方法，了解專家系統(tǒng)的應(yīng)用例子。（八）數(shù)據(jù)可視化技術(shù)1．課程教學(xué)內(nèi)容（1）數(shù)據(jù)可視化概述；（2）數(shù)據(jù)可視化工具；（3）與大數(shù)據(jù)平臺(tái)集成。2．課程重點(diǎn)難點(diǎn)重點(diǎn):數(shù)據(jù)可視化工具的應(yīng)用；難點(diǎn):數(shù)據(jù)可視化與大數(shù)據(jù)工程的結(jié)合。3．課程教學(xué)要求（1）掌握數(shù)據(jù)可視化的基本概念；（2）了解常用數(shù)據(jù)可視化工具的應(yīng)用；（3）掌握數(shù)據(jù)工程中數(shù)據(jù)可視化的綜合應(yīng)用。（九）大數(shù)據(jù)安全基礎(chǔ)及大數(shù)據(jù)技術(shù)發(fā)展的未來1．課程教學(xué)內(nèi)容（1）大數(shù)據(jù)安全的挑戰(zhàn)與對策；（2）基礎(chǔ)設(shè)施安全。（3）數(shù)據(jù)管理安全（4）安全分析及隱私保護(hù)2．課程重點(diǎn)難點(diǎn)重點(diǎn):大數(shù)據(jù)基礎(chǔ)設(shè)置的安全；難點(diǎn):大數(shù)據(jù)平臺(tái)的安全分析和隱私保護(hù)。3．課程教學(xué)要求（1）了解大數(shù)據(jù)基礎(chǔ)設(shè)置的安全的概念；（2）掌握大數(shù)據(jù)平臺(tái)的安全分析和隱私保護(hù)方法。（3）理解大數(shù)據(jù)發(fā)展方向可能遇到的問題三、課程學(xué)時(shí)分配教學(xué)章節(jié)理論實(shí)踐（驗(yàn)）討論、習(xí)題一、大數(shù)據(jù)基本概念2二、大數(shù)據(jù)軟件基礎(chǔ)4三、大數(shù)據(jù)存儲(chǔ)技術(shù)4四、分布式計(jì)算框架2五、數(shù)據(jù)采集與預(yù)處理4六、數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理4七、數(shù)據(jù)分析與挖掘技術(shù)4八、數(shù)據(jù)可視化技術(shù)4九、大數(shù)據(jù)安全基礎(chǔ)4總計(jì)32四、課程考核方式與要求考核方式：本課程主要以課程論文、作業(yè)評(píng)價(jià)、課內(nèi)實(shí)驗(yàn)、階段測驗(yàn)、期末筆試等方式對學(xué)生進(jìn)行考核評(píng)價(jià)?？己嘶疽螅嚎己丝偝煽冇善谀┰嚲沓煽兒瓦^程性評(píng)價(jià)成績組成。其中：期末筆試考核成績?yōu)?00分（權(quán)重60%）；課程論文、作業(yè)評(píng)價(jià)、課堂討論、課內(nèi)實(shí)驗(yàn)、階段測驗(yàn)等過程性評(píng)價(jià)成績?yōu)?00分（權(quán)重40%）。過程性評(píng)價(jià)和考試試題分值分配應(yīng)與教學(xué)大綱各章節(jié)的學(xué)時(shí)基本成比例。五、課程資源庫王振武編著,《大數(shù)據(jù)挖掘與應(yīng)用》,清華大學(xué)出版社,2017年1月傅德謙編著,《大數(shù)據(jù)離線分析》,清華大學(xué)出版社,2017年3月王國胤編著,《大數(shù)據(jù)挖掘及應(yīng)用》,清華大學(xué)出版社,2017年6月呂云翔編著,《大數(shù)據(jù)基礎(chǔ)及應(yīng)用》,清華大學(xué)出版社,2016年12月覃雄派,王會(huì)舉,杜小勇,等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報(bào),2012,23(1):32-45.杜艷綏.基于MapReduce的大數(shù)據(jù)時(shí)代數(shù)據(jù)處理技術(shù)研究[J].電腦知識(shí)與技術(shù),2015(10):1-2.丁伶敏,呂建友.探討云計(jì)算中大數(shù)據(jù)的MapReduce處理方法[J].物聯(lián)網(wǎng)技術(shù),2014(9):86-88.Sch?lkopfB,PlattJ,HofmannT.Map-ReduceforMachineLearningonMulticore[J].AdvancesinNeuralInformationProcessingSystem,