《大數(shù)據(jù)平臺部署與運維》課程教學(xué)大綱

《大數(shù)據(jù)平臺部署與運維》課程教學(xué)大綱一、課程基本信息開課單位：******學(xué)院（部）適用專業(yè)：大數(shù)據(jù)技術(shù)課程名稱：大數(shù)據(jù)平臺部署與運維課程代碼：課程類型：專業(yè)核心課總學(xué)時：64理論學(xué)時：32實驗（上機）學(xué)時：32考核方式：考試先修課程：后續(xù)課程：《數(shù)據(jù)倉庫技術(shù)應(yīng)用》、《大數(shù)據(jù)分析技術(shù)》等二、課程簡介（一）課程性質(zhì)和任務(wù)①課程性質(zhì)：本課程是大數(shù)據(jù)技術(shù)專業(yè)必修的專業(yè)核心課程。②課程任務(wù)：本課程是依據(jù)大數(shù)據(jù)技術(shù)相關(guān)專業(yè)人才培養(yǎng)目標(biāo)和相關(guān)職業(yè)崗位（群）的能力要求而設(shè)置的，對本專業(yè)所面向的信息化服務(wù)與大數(shù)據(jù)工程師所需要的知識、技能和素質(zhì)目標(biāo)的達成起支撐作用。本課程目的為學(xué)生搭建起通向“大數(shù)據(jù)知識空間”的橋梁和紐帶，以“構(gòu)建知識體系、闡明基本原理、引導(dǎo)初級實踐、了解相關(guān)應(yīng)用”為原則，為學(xué)生在大數(shù)據(jù)領(lǐng)域“深耕細(xì)作”奠定基礎(chǔ)、指明方向。課程將系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、分布式并行編程模型MapReduce、Hadoop生態(tài)圈常用組件HBase、Hive、Flink和Spark等部署與運維。在各單元的教學(xué)環(huán)節(jié)中，安排了大量的實踐操作任務(wù)，通過任務(wù)驅(qū)動讓學(xué)生更好地學(xué)習(xí)和掌握平臺部署和運維關(guān)鍵技術(shù)。（二）課程目標(biāo)（學(xué)生在知識、能力、素質(zhì)和課程思政方面應(yīng)達到的目標(biāo)要求）1.知識目標(biāo)（1）掌握大數(shù)據(jù)的概念及特點、了解常用的大數(shù)據(jù)技術(shù)平臺；（2）掌握Hadoop集群的安裝及部署；（3）掌握大數(shù)據(jù)分布式存儲系統(tǒng)HDFS的原理及應(yīng)用；（4）掌握大數(shù)據(jù)分布式處理框架MapReduce的原理及計算流程；（5）掌握大數(shù)據(jù)分布式處理框架MapReduce的應(yīng)用方法，會編寫MR程序進行數(shù)據(jù)分析；（6）掌握分布式數(shù)據(jù)庫Hbase的部署及運維；（7）掌握大數(shù)據(jù)Hive平臺的部署及運維；（8）掌握Spark、Flink的安裝部署與運維。2.能力目標(biāo)（1）能夠準(zhǔn)確理解并描述大數(shù)據(jù)的概念及特點；（2）具備分布式大數(shù)據(jù)平臺Hadoop的安裝部署與運行維護能力；（3）能夠熟練運用HDFS進行大數(shù)據(jù)存儲管理；（4）能夠準(zhǔn)確理解MapReduce的原理及算法步驟；（5）具備運用MapReduce分布式計算框架進行數(shù)據(jù)分析的能力；（6）能夠熟練進行分布式數(shù)據(jù)庫Hbase的安裝部署；（7）能夠熟練進行Hive、Flink、Spark的部署。3.素質(zhì)目標(biāo)（1）良好的溝通能力、團隊合作及協(xié)調(diào)能力；（2）良好的編程習(xí)慣；（3）查閱相關(guān)手冊及資料能力；（4）掌握系統(tǒng)設(shè)計方法，培養(yǎng)嚴(yán)謹(jǐn)工作態(tài)度；（5）自我展示與語言表達能力；（6）分析和解決問題的能力；（7）科學(xué)的創(chuàng)造能力和創(chuàng)新精神；三、教學(xué)內(nèi)容及要求單元1大數(shù)據(jù)簡介（總學(xué)時：2）任務(wù)1.1認(rèn)識大數(shù)據(jù)（學(xué)時：2）1.1.1大數(shù)據(jù)的概念1.1.2大數(shù)據(jù)的特點1.1.3大數(shù)據(jù)的發(fā)展背景1.1.4大數(shù)據(jù)技術(shù)的發(fā)展歷程1.1.5大數(shù)據(jù)的應(yīng)用現(xiàn)狀1.1.6大數(shù)據(jù)的意義和未來教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，能夠理解大數(shù)據(jù)的由來、大數(shù)據(jù)的發(fā)展歷程、大數(shù)據(jù)常用組件和大數(shù)據(jù)的應(yīng)用場景。對大數(shù)據(jù)及大數(shù)據(jù)技術(shù)有初步的了解。教學(xué)方法：演示法、講授法作業(yè)：單元1課后作業(yè)實驗內(nèi)容及要求：無。單元2Hadoop偽分布式安裝部署（總學(xué)時：5包含理論和實驗）任務(wù)2.1搭建Hadoop偽分布式（學(xué)時：4）2.1.1Hadoop原理與體系架構(gòu)2.1.2Hadoop的發(fā)展歷程與應(yīng)用現(xiàn)狀2.1.3Hadoop安裝方式任務(wù)2數(shù)據(jù)庫設(shè)計規(guī)范化（學(xué)時：1）2.2.1Hadoop啟動關(guān)閉等操作命令2.2.2基于WebUI監(jiān)控Hadoop平臺教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，使學(xué)生了解Hadoop的發(fā)展歷程和生態(tài)系統(tǒng)中各組件的功能，理解Hadoop的原理與體系架構(gòu)，理解Hadoop的核心組成，掌握Hadoop偽分布式安裝步驟，能夠通過啟動、關(guān)閉等命令操作Hadoop，并通過WebUI監(jiān)控Hadoop運行。教學(xué)方法：任務(wù)驅(qū)動、演示法、實驗法作業(yè)：單元2課后作業(yè)實驗內(nèi)容及要求：（所用學(xué)時：2）任務(wù)2.1搭建Hadoop偽分布式實驗；任務(wù)2.2啟動與訪問Hadoop實驗。單元3Hadoop集群部署與監(jiān)控（總學(xué)時：5包含理論和實驗）任務(wù)3.1搭建Hadoop集群（學(xué)時：4）3.1.1什么是集群3.1.2Hadoop集群規(guī)劃3.1.3Hadoop集群的特點3.1.4Hadoop集群部署過程任務(wù)3.2監(jiān)控Hadoop集群（學(xué)時：1）3.2.1通過瀏覽器監(jiān)視集群運行狀態(tài)3.2.2集群搭建常見問題及解決辦法總結(jié)教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，使學(xué)生掌握大數(shù)據(jù)集群的架構(gòu)體系，掌握大數(shù)據(jù)集群內(nèi)部各組件的功能和特點，了解大數(shù)據(jù)集群的特點及使用場景。培養(yǎng)學(xué)生一步步搭建大數(shù)據(jù)集群的技能。培養(yǎng)學(xué)生掌握大數(shù)據(jù)集群規(guī)劃的能力。培養(yǎng)學(xué)生的動手實操的能力。教學(xué)方法：任務(wù)驅(qū)動、演示法、實驗法作業(yè)：單元3課后作業(yè)實驗內(nèi)容及要求：任務(wù)3.1搭建Hadoop集群實驗、任務(wù)3.2監(jiān)控Hadoop集群實驗。單元4HDFS分布式存儲（總學(xué)時：10包含理論和實驗）任務(wù)4.1認(rèn)識HDFS分布式存儲（學(xué)時：1）4.1.1HDFS原理與體系架構(gòu)4.1.2HDFS讀寫文件流程4.1.3HDFS特點與優(yōu)勢任務(wù)4.2HDFS的文件系統(tǒng)操作（學(xué)時：2）4.2.1HDFS的操作方法介紹4.2.2HDFS的shell命令操作任務(wù)4.3HDFS的系統(tǒng)管理操作（學(xué)時：2）4.3.1HDFS的安全模式操作4.3.2HDFS增加擴容操作4.3.3HDFS數(shù)據(jù)平衡4.3.4HDFS存儲策略4.3.5HDFS快照任務(wù)4.4本地開發(fā)環(huán)境部署（學(xué)時：1）4.4.1認(rèn)識JDK4.4.2認(rèn)識Maven4.4.3認(rèn)識IDEA任務(wù)4.5HDFS的JavaAPI操作（學(xué)時：4）4.5.1HDFS的常用API介紹教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，使學(xué)生掌握HDFS的原理和體系架構(gòu)，掌握HDFS文件系統(tǒng)shell操作，掌握HDFS的基本運維操作，掌握HDFS文件系統(tǒng)的java編程操作。培養(yǎng)學(xué)生使用使用HDFS的技能。培養(yǎng)學(xué)生的動手實操的能力。教學(xué)方法：任務(wù)驅(qū)動、演示法、實驗法作業(yè)：單元4課后作業(yè)實驗內(nèi)容及要求：任務(wù)4.1HDFS分布式存儲命令實驗、任務(wù)4.2HDFS的文件系統(tǒng)操作實驗、任務(wù)4.3HDFS的系統(tǒng)管理操作實驗、任務(wù)4.4本地開發(fā)環(huán)境部署實驗、任務(wù)4.5HDFS的JavaAPI操作實驗。單元5MapReduce實現(xiàn)電商銷售數(shù)據(jù)統(tǒng)計（總學(xué)時：12包含理論和實驗）任務(wù)5.1認(rèn)識MapReduce（學(xué)時：2）5.1.1MapReduce概念與原理5.1.2MapReduce體系架構(gòu)5.1.3MapReduce發(fā)展現(xiàn)狀5.1.4YARN運行機制任務(wù)5.2MapReduce實現(xiàn)詞頻統(tǒng)計（學(xué)時：4）5.2.1MapReduce數(shù)據(jù)處理流程5.2.2MapReduce相關(guān)JavaAPI及應(yīng)用5.2.3MapReduce驅(qū)動類任務(wù)5.3MapReduce完成電商銷售數(shù)據(jù)統(tǒng)計（學(xué)時：4）5.3.1MapReduce完成電商銷售數(shù)據(jù)統(tǒng)計的流程任務(wù)5.4MapReduce任務(wù)管理機制（學(xué)時：2）5.4.1MapReduce任務(wù)執(zhí)行方式5.4.2任務(wù)失敗處理機制教學(xué)目標(biāo)和要求：通過本單元學(xué)習(xí)，使學(xué)生理解MapReduce的原理與體系架構(gòu)，了解MapReduce的發(fā)展現(xiàn)狀，掌握YARN運行機制，理解MapReduce的數(shù)據(jù)處理流程與任務(wù)管理機制，掌握MapReduce的任務(wù)執(zhí)行方式與監(jiān)控方式，能夠通過JavaAPI實現(xiàn)分詞統(tǒng)計的操作方法。培養(yǎng)學(xué)生運用MapReduce實現(xiàn)電商銷售數(shù)據(jù)統(tǒng)計的能力。培養(yǎng)學(xué)生認(rèn)真仔細(xì)的工作作風(fēng)和精益求精的工匠精神。教學(xué)方法：問題導(dǎo)入、演示法、實驗法作業(yè)：單元5課后作業(yè)實驗內(nèi)容及要求：任務(wù)5.1運行MapReduce自帶樣例程序?qū)嶒?、任?wù)5.2MapReduce實現(xiàn)詞頻統(tǒng)計實驗、任務(wù)5.3MapReduce完成電商銷售數(shù)據(jù)統(tǒng)計實驗、任務(wù)5.4MapReduce任務(wù)管理機制實驗。單元6Hadoop高可用集群規(guī)劃部署（總學(xué)時：8包含理論和實驗）任務(wù)6.1部署與訪問ZooKeeper（學(xué)時：4）6.1.1ZooKeeper概述及特性6.1.2ZooKeeper應(yīng)用場景6.1.3ZooKeeper工作原理6.1.4ZooKeeper部署方式任務(wù)6.2部署Hadoop高可用集群（學(xué)時：4）6.2.1Hadoop高可用集群工作原理6.2.2Hadoop高可用集群主要配置項及含義教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，使學(xué)生了解ZooKeeper的應(yīng)用場景和特性，理解ZooKeeper的原理與體系架構(gòu)，掌握ZooKeeper的部署和訪問方法，理解Hadoop高可用的原理，掌握Hadoop高可用的配置和操作方法，能夠通過WebUI監(jiān)控Hadoop高可用集群的運行狀態(tài)。培養(yǎng)學(xué)生對Hadoop高可用的配置、監(jiān)控與運維技能。教學(xué)方法：任務(wù)驅(qū)動、演示法、實驗法作業(yè)：單元6課后作業(yè)實驗內(nèi)容及要求：任務(wù)6.1部署與訪問ZooKeeper實驗、任務(wù)6.2部署Hadoop高可用集群實驗。單元7分布式數(shù)據(jù)庫HBase部署與應(yīng)用（總學(xué)時：6包含理論和實驗）任務(wù)7.1搭建偽分布式HBase（學(xué)時：2）7.1.1HBase原理7.1.2HBase體系架構(gòu)7.1.3HBase與JDK、Hadoop版本兼容關(guān)系任務(wù)7.2部署HBase完全分布式集群（學(xué)時：2）7.2.1HBase集群規(guī)劃7.2.2HBase主要配置選項及其含義7.2.3HBase訪問命令7.2.4基于WebUI監(jiān)控HBase的狀態(tài)任務(wù)7.3HBase集群運維（學(xué)時：2）7.3.1HBase監(jiān)控工具介紹7.3.2HBase集群優(yōu)化教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，使學(xué)生理解HBase的原理與體系架構(gòu)，掌握HBase偽分布式安裝步驟，掌握HBase完全分布式集群的部署過程，能夠通過啟動、關(guān)閉等命令操作HBase，能夠通過WebUI監(jiān)控HBase運行。培養(yǎng)學(xué)生分布式數(shù)據(jù)庫的安裝部署與運維技能。培養(yǎng)學(xué)生精益求精的工匠精神以及良好的法治意識。教學(xué)方法：演示法、實驗法作業(yè)：單元7課后作業(yè)實驗內(nèi)容及要求：任務(wù)7.1搭建偽分布式HBase實驗、任務(wù)7.2部署HBase完全分布式集群實驗、任務(wù)7.3HBase集群運維實驗。單元8數(shù)據(jù)倉庫Hive部署與應(yīng)用（總學(xué)時：4包含理論和實驗）任務(wù)8.1部署Hive本地模式（學(xué)時：2）8.1.1Hive介紹8.1.2Hive安裝方式任務(wù)8.2部署Hive遠(yuǎn)程模式（學(xué)時：2）8.2.1Hive遠(yuǎn)程模式部署規(guī)劃8.2.2Hive遠(yuǎn)程模式部署步驟教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，使學(xué)生理解數(shù)據(jù)倉庫Hive的原理與體系架構(gòu)，理解Hive的不同部署方式，掌握Hive本地模式安裝方法，掌握Hive遠(yuǎn)程模式安裝部署的方法，掌握Hive格式化和啟動相關(guān)命令。培養(yǎng)學(xué)生分布式數(shù)據(jù)倉庫的安裝部署與運維技能。培養(yǎng)學(xué)生認(rèn)真仔細(xì)的工作作風(fēng)和精益求精的工匠精神。教學(xué)方法：演示法、實驗法作業(yè)：單元8課后作業(yè)實驗內(nèi)容及要求：任務(wù)8.1部署Hive本地模式實驗、任務(wù)8.2部署Hive遠(yuǎn)程模式實驗。單元9Spark計算框架部署（總學(xué)時：6包含理論和實驗）任務(wù)9.1部署與操作SparkLocal（學(xué)時：2）9.1.1Spark原理與體系架構(gòu)9.1.2Sparklocal部署過程任務(wù)9.2部署與操作SparkStandalone9.2.1SparkStandalone部署步驟9.2.2SparkStandalone運行訪問任務(wù)9.3部署與操作SparkonYARN9.3.1SparkonYARN部署過程9.3.2SparkonYARN運行訪問教學(xué)目標(biāo)和要求：通過本單元學(xué)習(xí)，了解Spark常用計算框架，了解不同計算框架的調(diào)度模式，掌握Spark的部署操作，培養(yǎng)學(xué)生部署Spark集群的技能。培養(yǎng)學(xué)生的實操動手能力。教學(xué)方法：演示法、實驗法作業(yè)：單元9課后作業(yè)實驗內(nèi)容及要求：任務(wù)9.1部署與操作SparkLocal實驗、任務(wù)9.2部署與操作SparkStandalone實驗、任務(wù)9.3部署與操作SparkonYARN實驗。單元10Flink流式計算框架部署與操作（總學(xué)時：6包含理論和實驗）任務(wù)10.1部署本地模式（local）flink（學(xué)時：2）10.1.1Flink介紹10.1.2Flink部署模式介紹任務(wù)10.2部署獨立模式Flink集群（學(xué)時：2）10.2.1Flink體系架構(gòu)10.2.2Flink集群運行模式任務(wù)10.3部署運行Flinkonyarn（學(xué)時：2）10.3.1Flinkonyarn的運行方法10.3.2故障調(diào)試與恢復(fù)教學(xué)目標(biāo)和要求：通過本單元的學(xué)習(xí)，使學(xué)生理解Flink流式計算框架的原理與體系架構(gòu)，掌握Flink安裝部署方法，掌握Flink的local、