《大數(shù)據(jù)平臺與架構(gòu)》課程教學(xué)大綱

《大數(shù)據(jù)平臺與架構(gòu)》教學(xué)大綱適用范圍：2020版本科人才培養(yǎng)方案課程代碼：08150291課程性質(zhì)：專業(yè)必修課學(xué)分：4學(xué)分學(xué)時：64學(xué)時（其中：理論48學(xué)時，實驗16學(xué)時）先修課程：Linux、Java等后續(xù)課程：適用專業(yè)：軟件工程、數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)教材：林子雨編著，大數(shù)據(jù)技術(shù)原理與應(yīng)用，人民郵電出版社，2017.01開課單位：計算機(jī)科學(xué)與技術(shù)學(xué)院一、課程的性質(zhì)與任務(wù)課程性質(zhì)：本課程是軟件工程和數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)的專業(yè)必修課。課程任務(wù)：通過對本課程的學(xué)習(xí)，讓學(xué)生了解并掌握大數(shù)據(jù)系統(tǒng)的起源及系統(tǒng)特征，并掌握大數(shù)據(jù)系統(tǒng)的架構(gòu)設(shè)計及功能目標(biāo)設(shè)計、大數(shù)據(jù)系統(tǒng)程序開發(fā)、企業(yè)大數(shù)據(jù)案例分析等內(nèi)容，同時通過使用HDFS、MapReduce等大數(shù)據(jù)技術(shù)平臺來提升學(xué)生對大數(shù)據(jù)開發(fā)的實踐能力。二、課程教學(xué)目標(biāo)1.知識目標(biāo)掌握和理解大數(shù)據(jù)時代數(shù)據(jù)的存儲與處理技術(shù)；2.能力目標(biāo)掌握Hadoop大數(shù)據(jù)平臺及相關(guān)軟件的使用；3.素質(zhì)目標(biāo)樹立正確的政治理想和政治道德，培養(yǎng)對黨和國家，社會主義事業(yè)忠誠可靠的建設(shè)者和接班人；三、課程的基本內(nèi)容及要求（一）大數(shù)據(jù)處理架構(gòu)Hadoop1．課程教學(xué)內(nèi)容（1）概述；（2）Hadoop生態(tài)系統(tǒng)；（3）Hadoop的安裝和使用2．課程重點難點重點:Hadoop生態(tài)系統(tǒng)難點:Hadoop的安裝和使用3．課程教學(xué)要求（1）了解Hadoop；（2）理解Hadoop生態(tài)系統(tǒng)；（3）掌握Hadoop的安裝和使用；（二）HDFS架構(gòu)原理1．課程教學(xué)內(nèi)容（1）HDFS概述；（2）HDFS功能與架構(gòu)；（3）HDFS常見命令和參數(shù)；2．課程重點難點重點:HDFS功能與架構(gòu)，HDFS常見命令和參數(shù)難點:HDFS常見命令和參數(shù)3．課程教學(xué)要求（1）了解HDFS使用的場景；（2）理解HDFS功能與架構(gòu)；（3）掌握HDFS常用命令和參數(shù)；（三）HBase架構(gòu)原理1．課程教學(xué)內(nèi)容（1）HBase應(yīng)用場景；（2）HBase功能與架構(gòu)；（3）HBase關(guān)鍵流程；（4）HBase接口和參數(shù)；2．課程重點難點重點:HBase模塊和HBase數(shù)據(jù)模型，HBase關(guān)鍵流程難點:HBase關(guān)鍵流程3．課程教學(xué)要求（1）了解HBase的組成架構(gòu)；（2）理解并掌握HBase的基本功能；（四）MapReduce架構(gòu)原理1．課程教學(xué)內(nèi)容（1）MapReduce應(yīng)用場景；（2）MapReduce功能與架構(gòu)；（3）MapReduce資源管理和任務(wù)調(diào)度；（4）常用命令和參數(shù)；2．課程重點難點重點:MapReduce功能與架構(gòu)難點:MapReduce的資源管理和任務(wù)調(diào)度3．課程教學(xué)要求（1）了解MapReduce的使用場景；（2）理解MapReduce功能與架構(gòu)；（3）掌握如何配置MapReduce的資源；（4）掌握MapReduce常用命令和參數(shù)；（五）Yarn架構(gòu)原理1．課程教學(xué)內(nèi)容（1）Yarn應(yīng)用場景；（2）Yarn功能與架構(gòu)；（3）Yarn的資源管理和任務(wù)調(diào)度；（4）常用命令和參數(shù)。2．課程重點難點重點:MapReduce和Yarn功能與架構(gòu)，Yarn的資源管理和任務(wù)調(diào)度難點:Yarn的資源管理和任務(wù)調(diào)度3．課程教學(xué)要求（1）了解MapReduce的使用場景；（2）理解MapReduce和Yarn功能與架構(gòu)；（3）掌握如何配置Yarn的資源。（4）掌握MapReduce和Yarn的常用命令和參數(shù)。（六）Spark架構(gòu)原理1．課程教學(xué)內(nèi)容（1）Spark應(yīng)用場景；（2）Spark基本功能；（3）Spark組件介紹。2．課程重點難點重點:Spark特點，Spark組件難點:Spark組件3．課程教學(xué)要求（1）了解Spark應(yīng)用場景；（2）理解并掌握Spark的特點和技術(shù)架構(gòu)；（七）Hive架構(gòu)原理1．課程教學(xué)內(nèi)容（1）Hive應(yīng)用場景；（2）Hive功能與架構(gòu)；（3）HiveSQL基礎(chǔ)；（4）Hive常用維護(hù)；2．課程重點難點重點:Hive增強(qiáng)特性，Hive數(shù)據(jù)存儲模型，Hive基本操作難點:Hive基本操作3．課程教學(xué)要求（1）了解Hive應(yīng)用場景與基本原理和Hive增強(qiáng)特性；（2）掌握常用HiveSQL語句；（3）掌握常見Hive故障分析、日志收集；四、課程學(xué)時分配教學(xué)章節(jié)理論實踐（驗）討論、習(xí)題大數(shù)據(jù)處理架構(gòu)Hadoop64HDFS架構(gòu)原理104HBase架構(gòu)原理104MapReduce原理104Yarn架構(gòu)原理4Spark架構(gòu)原理4Hive架構(gòu)原理4總計4816五、課程考核方式與要求考核方式：本課程主要以課程視頻、課堂表現(xiàn)、作業(yè)評價、測試、期末機(jī)試等考核方式對學(xué)生進(jìn)行考核評價?？己嘶疽螅嚎己丝偝煽冇蛇^程性評價成績和期末機(jī)試成績組成。其中：期末機(jī)試考核成績?yōu)?00分（權(quán)重為60%），主要針對程序關(guān)鍵點進(jìn)行開發(fā)測試；過程性評價成績?yōu)?00分（權(quán)重40%），主要包含課程視頻、課堂表現(xiàn)、作業(yè)評價、測試等；過程性評價分值與期末機(jī)試評價分值分配與教學(xué)大綱各章節(jié)的學(xué)時基本成比例。六、課程資源庫王振武編著,《大數(shù)據(jù)挖掘與應(yīng)用》,清華大學(xué)出版社,2017年1月傅德謙編著,《大數(shù)據(jù)離線分析》,清華大學(xué)出版社,2017年3月王國胤編著,《大數(shù)據(jù)挖掘及應(yīng)用》,清華大學(xué)出版社,2017年6月呂云翔編著,《大數(shù)據(jù)基礎(chǔ)及應(yīng)用》,清華大學(xué)出版社,2016年12月覃雄派,王會舉,杜小勇,等.大數(shù)據(jù)分析——RDBMS與MapReduce的競爭與共生[J].軟件學(xué)報,2012,23(1):32-45.杜艷綏.基于MapReduce的大數(shù)據(jù)時代數(shù)據(jù)處理技術(shù)研究[J].電腦知識與技術(shù),2015(10):1-2.丁伶敏,呂建友.探討云計算中大數(shù)據(jù)的MapReduce處理方法[J].物聯(lián)網(wǎng)技術(shù),2014(9):86-88.Sch?lkopfB,PlattJ,Hof