《Hadoop》理論教學(xué)大綱（大數(shù)據(jù)）

《Hadoop》理論教學(xué)大綱課程代碼：總學(xué)時：32學(xué)時(其中：講課16學(xué)時、實驗16學(xué)時)先修課程：《大數(shù)據(jù)導(dǎo)論》一、課程的性質(zhì)、目的與任務(wù)《Hadoop》是數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)必修課程。通過本課程的學(xué)習(xí)，應(yīng)掌握大數(shù)據(jù)核心平臺框架的基本知識，具有應(yīng)用Hadoop平臺實施海量數(shù)據(jù)存儲和分析計算的能力;初步掌握大數(shù)據(jù)開發(fā)的技巧和方法，以及平臺的安裝、調(diào)試和測試方法;對Hadoop平臺的各種成份有較好的理解；能夠根據(jù)要求編制程序解決實際問題；為后續(xù)課程的學(xué)習(xí)打下必備的基礎(chǔ)。二、教學(xué)基本內(nèi)容與基本要求.基本內(nèi)容本課程主要內(nèi)容為大數(shù)據(jù)的基本概念、分布式文件存儲與管理系統(tǒng)HDFS、分布式文件計算引擎MapReduce、yarn等組件的原理及使用等。.基本要求本課程借助Hadoop平臺講授海量數(shù)據(jù)的存儲與分析計算。通過hdfsshell及MapReduce編程，使學(xué)生掌握大批量數(shù)據(jù)集讀寫及計算的原理、方法和技巧，具有一定的大數(shù)據(jù)開發(fā)的能力。為后續(xù)課程的學(xué)習(xí)打下基礎(chǔ)。三、教學(xué)內(nèi)容及學(xué)時分配

教學(xué)內(nèi)容教學(xué)要求重點(☆)難點(△)學(xué)時安排備注第一章Linux系統(tǒng)1.VMware虛擬機安裝C12.Linux系統(tǒng)安裝B23.Linux系統(tǒng)的命令使用B☆24.權(quán)限及用戶管理B☆2第二章Hadoop概述1.Hadoop的概念A(yù)☆12.Hadoop平臺的發(fā)展A☆23.Hadoop的特點A☆△24.Hadoop安裝搭建A☆△2第三章分布式存儲與管理系統(tǒng)1.HDFS的分布式概念A(yù)12.HDFSSHELLA☆△23.HDFS讀寫數(shù)據(jù)流程A☆24.NameNode>datanode主從架構(gòu)A☆2第四章MapReduce計算引擎1.分布式計算概念A(yù)☆12.主從架構(gòu)關(guān)系A(chǔ)☆23.MapReduce編程A☆△24.計算優(yōu)化A☆△2第五章Yarn調(diào)度系統(tǒng)1.Yarn概念A(yù)☆22.Yarn主從架構(gòu)A☆△2合計32（教學(xué)要求：A一熟練掌握；B一掌握；C—了解）四、建議實驗項目及學(xué)時分配序號實驗項目名稱實驗學(xué)時內(nèi)容提要實驗要求實驗類型1Linux及虛擬機安裝搭建3VMware安裝及Linux系統(tǒng)安裝必做驗證2Hadoop的安裝搭建3Hadoop軟件包安裝配置必做驗證3HDFSsheU應(yīng)用3Hdfs數(shù)據(jù)讀寫、文件操作必做設(shè)計4MapReduce編程3WC編程，UDF及UDAF編程必做設(shè)計5MapReduce數(shù)據(jù)傾斜等優(yōu)化4MapReduce代碼優(yōu)化必做設(shè)計合計16五、教學(xué)方法與教學(xué)手段.教學(xué)方法：Hadoop是一門理論與實踐并重的課程，因此，本課程采用理論課程教學(xué)與實驗課程教學(xué)相結(jié)合的方法。通過對知識點和典型例題的講解分析以及上機實驗的指導(dǎo)答疑，發(fā)揮學(xué)生思考問題的主動性和創(chuàng)造性，能用Hadoop框架處理大數(shù)據(jù)計算。.教學(xué)手段：利用多媒體、CAI課件等現(xiàn)代化教學(xué)手段，提高教學(xué)質(zhì)量。六、建議教材與參考書目.參考教材：《大數(shù)據(jù)技術(shù)原理與應(yīng)用（第2版）》，林子雨，人民郵電出版社，2017年1月第2版。.參考書目：①《大數(shù)據(jù)基礎(chǔ)編程、實驗和案例教程》，林子雨編，清華大學(xué)出版社，2017年1月第1版。七、大綱編寫的依據(jù)與說明本課程教學(xué)大綱，是根據(jù)數(shù)據(jù)科學(xué)與大數(shù)據(jù)技術(shù)專業(yè)培養(yǎng)目標(biāo)和基本要求，結(jié)合本課程的性質(zhì)，經(jīng)學(xué)校教學(xué)委員會審定后編寫的。本課程著重訓(xùn)練學(xué)生程序設(shè)計的思想和編程技巧，培養(yǎng)學(xué)生初步應(yīng)用大