《大數(shù)據(jù)平臺部署與運維》課程教學大綱、授課計劃

《大數(shù)據(jù)平臺部署與運維》課程教學大綱一、課程基本信息開課單位：******學院（部）適用專業(yè)：大數(shù)據(jù)技術課程名稱：大數(shù)據(jù)平臺部署與運維課程代碼：課程類型：專業(yè)核心課總學時：64理論學時：32實驗（上機）學時：32考核方式：考試先修課程：后續(xù)課程：《數(shù)據(jù)倉庫技術應用》、《大數(shù)據(jù)分析技術》等二、課程簡介（一）課程性質和任務①課程性質：本課程是大數(shù)據(jù)技術專業(yè)必修的專業(yè)核心課程。②課程任務：本課程是依據(jù)大數(shù)據(jù)技術相關專業(yè)人才培養(yǎng)目標和相關職業(yè)崗位（群）的能力要求而設置的，對本專業(yè)所面向的信息化服務與大數(shù)據(jù)工程師所需要的知識、技能和素質目標的達成起支撐作用。本課程目的為學生搭建起通向“大數(shù)據(jù)知識空間”的橋梁和紐帶，以“構建知識體系、闡明基本原理、引導初級實踐、了解相關應用”為原則，為學生在大數(shù)據(jù)領域“深耕細作”奠定基礎、指明方向。課程將系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構Hadoop、分布式文件系統(tǒng)HDFS、分布式數(shù)據(jù)庫HBase、分布式并行編程模型MapReduce、Hadoop生態(tài)圈常用組件HBase、Hive、Flink和Spark等部署與運維。在各單元的教學環(huán)節(jié)中，安排了大量的實踐操作任務，通過任務驅動讓學生更好地學習和掌握平臺部署和運維關鍵技術。（二）課程目標（學生在知識、能力、素質和課程思政方面應達到的目標要求）1.知識目標（1）掌握大數(shù)據(jù)的概念及特點、了解常用的大數(shù)據(jù)技術平臺；（2）掌握Hadoop集群的安裝及部署；（3）掌握大數(shù)據(jù)分布式存儲系統(tǒng)HDFS的原理及應用；（4）掌握大數(shù)據(jù)分布式處理框架MapReduce的原理及計算流程；（5）掌握大數(shù)據(jù)分布式處理框架MapReduce的應用方法，會編寫MR程序進行數(shù)據(jù)分析；（6）掌握分布式數(shù)據(jù)庫Hbase的部署及運維；（7）掌握大數(shù)據(jù)Hive平臺的部署及運維；（8）掌握Spark、Flink的安裝部署與運維。2.能力目標（1）能夠準確理解并描述大數(shù)據(jù)的概念及特點；（2）具備分布式大數(shù)據(jù)平臺Hadoop的安裝部署與運行維護能力；（3）能夠熟練運用HDFS進行大數(shù)據(jù)存儲管理；（4）能夠準確理解MapReduce的原理及算法步驟；（5）具備運用MapReduce分布式計算框架進行數(shù)據(jù)分析的能力；（6）能夠熟練進行分布式數(shù)據(jù)庫Hbase的安裝部署；（7）能夠熟練進行Hive、Flink、Spark的部署。3.素質目標（1）良好的溝通能力、團隊合作及協(xié)調能力；（2）良好的編程習慣；（3）查閱相關手冊及資料能力；（4）掌握系統(tǒng)設計方法，培養(yǎng)嚴謹工作態(tài)度；（5）自我展示與語言表達能力；（6）分析和解決問題的能力；（7）科學的創(chuàng)造能力和創(chuàng)新精神；三、教學內(nèi)容及要求單元1大數(shù)據(jù)簡介（總學時：2）任務1.1認識大數(shù)據(jù)（學時：2）1.1.1大數(shù)據(jù)的概念1.1.2大數(shù)據(jù)的特點1.1.3大數(shù)據(jù)的發(fā)展背景1.1.4大數(shù)據(jù)技術的發(fā)展歷程1.1.5大數(shù)據(jù)的應用現(xiàn)狀1.1.6大數(shù)據(jù)的意義和未來教學目標和要求：通過本單元的學習，能夠理解大數(shù)據(jù)的由來、大數(shù)據(jù)的發(fā)展歷程、大數(shù)據(jù)常用組件和大數(shù)據(jù)的應用場景。對大數(shù)據(jù)及大數(shù)據(jù)技術有初步的了解。教學方法：演示法、講授法作業(yè)：單元1課后作業(yè)實驗內(nèi)容及要求：無。單元2Hadoop偽分布式安裝部署（總學時：5包含理論和實驗）任務2.1搭建Hadoop偽分布式（學時：4）2.1.1Hadoop原理與體系架構2.1.2Hadoop的發(fā)展歷程與應用現(xiàn)狀2.1.3Hadoop安裝方式任務2數(shù)據(jù)庫設計規(guī)范化（學時：1）2.2.1Hadoop啟動關閉等操作命令2.2.2基于WebUI監(jiān)控Hadoop平臺教學目標和要求：通過本單元的學習，使學生了解Hadoop的發(fā)展歷程和生態(tài)系統(tǒng)中各組件的功能，理解Hadoop的原理與體系架構，理解Hadoop的核心組成，掌握Hadoop偽分布式安裝步驟，能夠通過啟動、關閉等命令操作Hadoop，并通過WebUI監(jiān)控Hadoop運行。教學方法：任務驅動、演示法、實驗法作業(yè)：單元2課后作業(yè)實驗內(nèi)容及要求：（所用學時：2）任務2.1搭建Hadoop偽分布式實驗；任務2.2啟動與訪問Hadoop實驗。單元3Hadoop集群部署與監(jiān)控（總學時：5包含理論和實驗）任務3.1搭建Hadoop集群（學時：4）3.1.1什么是集群3.1.2Hadoop集群規(guī)劃3.1.3Hadoop集群的特點3.1.4Hadoop集群部署過程任務3.2監(jiān)控Hadoop集群（學時：1）3.2.1通過瀏覽器監(jiān)視集群運行狀態(tài)3.2.2集群搭建常見問題及解決辦法總結教學目標和要求：通過本單元的學習，使學生掌握大數(shù)據(jù)集群的架構體系，掌握大數(shù)據(jù)集群內(nèi)部各組件的功能和特點，了解大數(shù)據(jù)集群的特點及使用場景。培養(yǎng)學生一步步搭建大數(shù)據(jù)集群的技能。培養(yǎng)學生掌握大數(shù)據(jù)集群規(guī)劃的能力。培養(yǎng)學生的動手實操的能力。教學方法：任務驅動、演示法、實驗法作業(yè)：單元3課后作業(yè)實驗內(nèi)容及要求：任務3.1搭建Hadoop集群實驗、任務3.2監(jiān)控Hadoop集群實驗。單元4HDFS分布式存儲（總學時：10包含理論和實驗）任務4.1認識HDFS分布式存儲（學時：1）4.1.1HDFS原理與體系架構4.1.2HDFS讀寫文件流程4.1.3HDFS特點與優(yōu)勢任務4.2HDFS的文件系統(tǒng)操作（學時：2）4.2.1HDFS的操作方法介紹4.2.2HDFS的shell命令操作任務4.3HDFS的系統(tǒng)管理操作（學時：2）4.3.1HDFS的安全模式操作4.3.2HDFS增加擴容操作4.3.3HDFS數(shù)據(jù)平衡4.3.4HDFS存儲策略4.3.5HDFS快照任務4.4本地開發(fā)環(huán)境部署（學時：1）4.4.1認識JDK4.4.2認識Maven4.4.3認識IDEA任務4.5HDFS的JavaAPI操作（學時：4）4.5.1HDFS的常用API介紹教學目標和要求：通過本單元的學習，使學生掌握HDFS的原理和體系架構，掌握HDFS文件系統(tǒng)shell操作，掌握HDFS的基本運維操作，掌握HDFS文件系統(tǒng)的java編程操作。培養(yǎng)學生使用使用HDFS的技能。培養(yǎng)學生的動手實操的能力。教學方法：任務驅動、演示法、實驗法作業(yè)：單元4課后作業(yè)實驗內(nèi)容及要求：任務4.1HDFS分布式存儲命令實驗、任務4.2HDFS的文件系統(tǒng)操作實驗、任務4.3HDFS的系統(tǒng)管理操作實驗、任務4.4本地開發(fā)環(huán)境部署實驗、任務4.5HDFS的JavaAPI操作實驗。單元5MapReduce實現(xiàn)電商銷售數(shù)據(jù)統(tǒng)計（總學時：12包含理論和實驗）任務5.1認識MapReduce（學時：2）5.1.1MapReduce概念與原理5.1.2MapReduce體系架構5.1.3MapReduce發(fā)展現(xiàn)狀5.1.4YARN運行機制任務5.2MapReduce實現(xiàn)詞頻統(tǒng)計（學時：4）5.2.1MapReduce數(shù)據(jù)處理流程5.2.2MapReduce相關JavaAPI及應用5.2.3MapReduce驅動類任務5.3MapReduce完成電商銷售數(shù)據(jù)統(tǒng)計（學時：4）5.3.1MapReduce完成電商銷售數(shù)據(jù)統(tǒng)計的流程任務5.4MapReduce任務管理機制（學時：2）5.4.1MapReduce任務執(zhí)行方式5.4.2任務失敗處理機制教學目標和要求：通過本單元學習，使學生理解MapReduce的原理與體系架構，了解MapReduce的發(fā)展現(xiàn)狀，掌握YARN運行機制，理解MapReduce的數(shù)據(jù)處理流程與任務管理機制，掌握MapReduce的任務執(zhí)行方式與監(jiān)控方式，能夠通過JavaAPI實現(xiàn)分詞統(tǒng)計的操作方法。培養(yǎng)學生運用MapReduce實現(xiàn)電商銷售數(shù)據(jù)統(tǒng)計的能力。培養(yǎng)學生認真仔細的工作作風和精益求精的工匠精神。教學方法：問題導入、演示法、實驗法作業(yè)：單元5課后作業(yè)實驗內(nèi)容及要求：任務5.1運行MapReduce自帶樣例程序實驗、任務5.2MapReduce實現(xiàn)詞頻統(tǒng)計實驗、任務5.3MapReduce完成電商銷售數(shù)據(jù)統(tǒng)計實驗、任務5.4MapReduce任務管理機制實驗。單元6Hadoop高可用集群規(guī)劃部署（總學時：8包含理論和實驗）任務6.1部署與訪問ZooKeeper（學時：4）6.1.1ZooKeeper概述及特性6.1.2ZooKeeper應用場景6.1.3ZooKeeper工作原理6.1.4ZooKeeper部署方式任務6.2部署Hadoop高可用集群（學時：4）6.2.1Hadoop高可用集群工作原理6.2.2Hadoop高可用集群主要配置項及含義教學目標和要求：通過本單元的學習，使學生了解ZooKeeper的應用場景和特性，理解ZooKeeper的原理與體系架構，掌握ZooKeeper的部署和訪問方法，理解Hadoop高可用的原理，掌握Hadoop高可用的配置和操作方法，能夠通過WebUI監(jiān)控Hadoop高可用集群的運行狀態(tài)。培養(yǎng)學生對Hadoop高可用的配置、監(jiān)控與運維技能。教學方法：任務驅動、演示法、實驗法作業(yè)：單元6課后作業(yè)實驗內(nèi)容及要求：任務6.1部署與訪問ZooKeeper實驗、任務6.2部署Hadoop高可用集群實驗。單元7分布式數(shù)據(jù)庫HBase部署與應用（總學時：6包含理論和實驗）任務7.1搭建偽分布式HBase（學時：2）7.1.1HBase原理7.1.2HBase體系架構7.1.3HBase與JDK、Hadoop版本兼容關系任務7.2部署HBase完全分布式集群（學時：2）7.2.1HBase集群規(guī)劃7.2.2HBase主要配置選項及其含義7.2.3HBase訪問命令7.2.4基于WebUI監(jiān)控HBase的狀態(tài)任務7.3HBase集群運維（學時：2）7.3.1HBase監(jiān)控工具介紹7.3.2HBase集群優(yōu)化教學目標和要求：通過本單元的學習，使學生理解HBase的原理與體系架構，掌握HBase偽分布式安裝步驟，掌握HBase完全分布式集群的部署過程，能夠通過啟動、關閉等命令操作HBase，能夠通過WebUI監(jiān)控HBase運行。培養(yǎng)學生分布式數(shù)據(jù)庫的安裝部署與運維技能。培養(yǎng)學生精益求精的工匠精神以及良好的法治意識。教學方法：演示法、實驗法作業(yè)：單元7課后作業(yè)實驗內(nèi)容及要求：任務7.1搭建偽分布式HBase實驗、任務7.2部署HBase完全分布式集群實驗、任務7.3HBase集群運維實驗。單元8數(shù)據(jù)倉庫Hive部署與應用（總學時：4包含理論和實驗）任務8.1部署Hive本地模式（學時：2）8.1.1Hive介紹8.1.2Hive安裝方式任務8.2部署Hive遠程模式（學時：2）8.2.1Hive遠程模式部署規(guī)劃8.2.2Hive遠程模式部署步驟教學目標和要求：通過本單元的學習，使學生理解數(shù)據(jù)倉庫Hive的原理與體系架構，理解Hive的不同部署方式，掌握Hive本地模式安裝方法，掌握Hive遠程模式安裝部署的方法，掌握Hive格式化和啟動相關命令。培養(yǎng)學生分布式數(shù)據(jù)倉庫的安裝部署與運維技能。培養(yǎng)學生認真仔細的工作作風和精益求精的工匠精神。教學方法：演示法、實驗法作業(yè)：單元8課后作業(yè)實驗內(nèi)容及要求：任務8.1部署Hive本地模式實驗、任務8.2部署Hive遠程模式實驗。單元9Spark計算框架部署（總學時：6包含理論和實驗）任務9.1部署與操作SparkLocal（學時：2）9.1.1Spark原理與體系架構9.1.2Sparklocal部署過程任務9.2部署與操作SparkStandalone9.2.1SparkStandalone部署步驟9.2.2SparkStandalone運行訪問任務9.3部署與操作SparkonYARN9.3.1SparkonYARN部署過程9.3.2SparkonYARN運行訪問教學目標和要求：通過本單元學習，了解Spark常用計算框架，了解不同計算框架的調度模式，掌握Spark的部署操作，培養(yǎng)學生部署Spark集群的技能。培養(yǎng)學生的實操動手能力。教學方法：演示法、實驗法作業(yè)：單元9課后作業(yè)實驗內(nèi)容及要求：任務9.1部署與操作SparkLocal實驗、任務9.2部署與操作SparkStandalone實驗、任務9.3部署與操作SparkonYARN實驗。單元10Flink流式計算框架部署與操作（總學時：6包含理論和實驗）任務10.1部署本地模式（local）flink（學時：2）10.1.1Flink介紹10.1.2Flink部署模式介紹任務10.2部署獨立模式Flink集群（學時：2）10.2.1Flink體系架構10.2.2Flink集群運行模式任務10.3部署運行Flinkonyarn（學時：2）10.3.1Flinkonyarn的運行方法10.3.2故障調試與恢復教學目標和要求：通過本單元的學習，使學生理解Flink流式計算框架的原理與體系架構，掌握Flink安裝部署方法，掌握Flink的local、standalone、yarn三種不同的安裝運行方式，能夠通過命令提交運行Flink任務，能夠通過WebUI監(jiān)控Flink任務的執(zhí)行狀態(tài)。培養(yǎng)學生分布式流式計算框架的安裝部署與應用技能。培養(yǎng)學生認真仔細的工作作風和精益求精的工匠精神。教學方法：演示法、實驗法作業(yè)：單元10課后作業(yè)實驗內(nèi)容及要求：任務10.1部署本地模式（local）flink實驗、任務10.2部署獨立模式Flink集群實驗、任務10.3部署運行Flinkonyarn實驗。四、學時分配章次學時分配小計理論實驗（上機）備注單元1大數(shù)據(jù)簡介220單元2Hadoop偽分布式安裝部署523單元3Hadoop集群搭建532單元4HDFS分布式存儲1055單元5MapReduce實現(xiàn)電商銷售數(shù)據(jù)統(tǒng)計1266單元6部署高可用Hadoop集群844單元7分布式數(shù)據(jù)庫HBase部署與應用633單元8數(shù)據(jù)倉庫Hive部署與應用422單元9Spark計算框架部署633單元10Flink流式計算框架部署與操作633合計643232五、考核說明考核方法：筆試考試成績評定方法：總成績=期末考試成績×40%+過程性考核成績×60%六、主要教材及教學參考書目主要教材匯智和山東電子職業(yè)技術學院的專業(yè)教師共同研發(fā)的《大數(shù)據(jù)平臺部署與運維》教材、電子工業(yè)出版社，以及匯智開發(fā)的豐富的數(shù)字化教學資源和實訓平臺。（二）主要參考書目無學期授課計劃至學年第學期課程名：大數(shù)據(jù)平臺部署與運維開課班級：任課教師：教研室主任簽名：系（部）主任簽字：分管院長簽字：教研室通過日期年月日學期授課計劃編制說明本課程總時數(shù)已授學時數(shù)尚需學時數(shù)本學期周學時本學期課時分配課堂教學學時實驗學時實習設計周數(shù)復習考試機動總學時本學期的主要內(nèi)容及基本要求教材增刪的狀況及理由學期授課計劃表序號周次星期節(jié)次授課章節(jié)課題及內(nèi)容摘要重點難點課外作業(yè)題號備注1一四1-2第1章大數(shù)據(jù)概述：大數(shù)據(jù)概念特點等介紹大數(shù)據(jù)的概念及特點2四3-4第1章大數(shù)據(jù)概述：大數(shù)據(jù)相關平臺或工具介紹，Hadoop安裝準備3二四1-2第2章大數(shù)據(jù)處理架構Hadoop：Hadoop的由來、發(fā)展歷史、應用現(xiàn)狀、應用特點等介紹Hadoop的偽分布式安裝部署在個人電腦上完成Hadoop偽分布式部署4四3-4實訓：大數(shù)據(jù)處理架構Hadoop：Hadoop偽分布式安裝5三四1-2第2章大數(shù)據(jù)處理架構Hadoop：Hadoop完全分布式安裝步驟及注意事項講解Hadoop完全分布式集群部署在個人電腦上完成Hadoop完全分布式集群部署6四3-4大數(shù)據(jù)處理架構Hadoop完全分布式安裝部署演示7四四1-2大數(shù)據(jù)處理架構Hadoop完全分布式安裝部署分組實施8四3-4大數(shù)據(jù)處理架構Hadoop完全分布式安裝部署分組實施9五四1-2第3章分布式文件系統(tǒng)HDFS：HDFS的原理及體系架構、操作命令講解HDFS的原理及體系架構HDFS的命令操作10四3-4應用命令操作分布式文件系統(tǒng)HDFS完成HDFS的命令練習11六四1-2第3章分布式文件系統(tǒng)HDFS：HDFS的讀寫過程及JavaAPI講解HDFS的JavaAPI操作12四3-4過程性考核：HDFS的操作練習HDFS的JavaAPI應用13七四1-2HDFS的JavaAPI操作應用講解14四3-4HDFS的JavaAPI操作應用練習HDFS的JavaAPI應用學期授課計劃表序號周次星期節(jié)次授課章節(jié)課題及內(nèi)容摘要重點難點課外作業(yè)題號備注15八四1-2HDFS的JavaAPI綜合應用編程講解16四3-4HDFS的JavaAPI綜合應用編程講解IDEA環(huán)境下練習HDFS編程17九四1-2MapReduce：大數(shù)據(jù)分布式處理框架MapReduce原理及特點分HDFS的原理與執(zhí)行過程18四3-4MapReduce：