《Hadoop基礎(chǔ)與實踐》課程教學(xué)大綱

1、Hadoop基礎(chǔ)與實踐課程教學(xué)大綱一、課程基本信息.課程名稱：大學(xué)計算機(jī)基礎(chǔ).課程代碼：CST304.學(xué)分：4.學(xué)時：17周，1次課/周，3學(xué)時/I次課，共51學(xué)時。二、任課教師、助教、教室等情況三、課程特點(diǎn).實踐與理論并重，著眼于Hadoop等大數(shù)據(jù)處理工具。.以Hadoop平臺搭建及應(yīng)用為主線，著重培養(yǎng)學(xué)生的理解能力、獨(dú)立完成 實際操作的能力。.以Hadoop技術(shù)的核心論文的依據(jù)，深入學(xué)習(xí)Hadoop平臺的原理。.培養(yǎng)獨(dú)立自主學(xué)習(xí)，引導(dǎo)課堂討論掌握知識。四、閱讀材料（一）推薦教材Tom White著，王海等譯，Hadoop權(quán)威指南，清華大學(xué)出版社。黃宜華等著，深入理解大數(shù)據(jù)大數(shù)據(jù)處理與編程

2、實踐，機(jī)械工業(yè)出版 社。（二）參考教材Garry Turkington著，張治起譯，Hadoop基礎(chǔ)教程，人民郵電出版社。五、課程內(nèi)容概要（一）課程目標(biāo).引導(dǎo)學(xué)生進(jìn)入Hadoop分布式系統(tǒng)的領(lǐng)域。.提升學(xué)生閱讀、理解、描述Hadoop相關(guān)學(xué)術(shù)論文的能力。.理解Hadoop基本概念體系和基本工作原理。.掌握Hadoop平臺搭建的基本方法。.掌握基于Java語言的MapReduce編程方法。.了解Hive, Hbase等基于Hadoop的工具。（二）教學(xué)內(nèi)容序號題目知識點(diǎn)學(xué)時IHadoop系統(tǒng)概述Hadoop開展歷史Hadoop應(yīng)用：爬蟲系統(tǒng)Hadoop基本設(shè)計Hadoop實際案例介紹32HDFS

3、分布式文件系統(tǒng)HDFS的設(shè)計HDFS的概念Namcnode 和 DatanodcHDFS的高可用性寫數(shù)據(jù)讀數(shù)據(jù)63Mapreduce計算框架M叩reduce作業(yè)提交M叩reduce作業(yè)初始化任務(wù)的分配任務(wù)的執(zhí)行shufne 過程排序過程64Maprcduce編程基礎(chǔ)知 識Mapreduce 的類型M叩類和Reduce類Combiner 函數(shù)Sort函數(shù)連接計數(shù)器65Hadoop簡單平臺搭建Ubuntu 16.04LTS 安裝SSH server 安裝JDK 1.8.0 安裝HDFS格式化修改配置文件啟動和停止守護(hù)進(jìn)程環(huán)境設(shè)置66Hadoop集群平臺搭建集群規(guī)模網(wǎng)絡(luò)拓?fù)淙罩就ㄓ嵲O(shè)置157HBas

4、e (BigTable)分 布式數(shù)據(jù)庫BigTable 原理BigTable存儲格式BigTble優(yōu)缺點(diǎn)比擬HBase安裝HBase杳詢基礎(chǔ)9（三）課程要求.準(zhǔn)時上下課，積極參與到教學(xué)活動去。.認(rèn)真完成課堂布置的編程內(nèi)容。.課后自主學(xué)習(xí)相關(guān)內(nèi)容，閱讀論文。.積極運(yùn)用現(xiàn)代教學(xué)手段，自主學(xué)習(xí)，并掌握教學(xué)內(nèi)容。（四）教學(xué)進(jìn)度安排進(jìn)度教學(xué)內(nèi)容課式 授方課后作業(yè)第（）1周課程介紹Hadoop的概述、開展及應(yīng)用講解閱讀如何配置Hadoop運(yùn)行環(huán) 境的相關(guān)材料第02周實驗1 ：搭建Hadoop單機(jī)模式介紹常用的Linux命令解答踐 講解實第03周 實驗2：搭建Hadoop偽分布式模式解答踐 講解實將Hado

5、op單機(jī)模式及偽分布 式模式搭建實驗結(jié)果合并，完 成實驗報告第04周 國慶放假第05周實驗3： Mapreduce基礎(chǔ)算法程序設(shè) 計（上）WordCount矩陣乘法關(guān)系代數(shù)運(yùn)算解論疑踐 講討答實完成實驗內(nèi)容第06周論文 1 ： The Google File System學(xué)生分小組講解對關(guān)鍵知識點(diǎn)老師重點(diǎn)引導(dǎo)討論解論疑 講1 Mi答課前閱讀論文，完成閱讀報告第07周實驗4： Mapreduce基礎(chǔ)算法程序設(shè) 計（下）PageRank網(wǎng)頁排名算法專利文獻(xiàn)分析算法講解 討論 答疑 實踐完成實驗內(nèi)容，形成實驗報告第08周實驗5： Hadoop集群搭建（上）（小 組合作）以小組為單位，通過在多臺電腦，

6、 或多個虛擬機(jī)間建立通訊,搭建Hadoop 集群論踐 討實完成實驗內(nèi)容第09周論文 2： MapReduce: Simplified Data Processing on Large Clusters學(xué)生分小組講解對關(guān)鍵知識點(diǎn)老師重點(diǎn)引導(dǎo)討論解論疑 講討答課前閱讀論文，完成閱讀報告第10周實驗6： Hadoop集群搭建（下）（小 組合作）根據(jù)實驗3和實驗4中完成的算法， 尋找匹配的大數(shù)據(jù)集，在搭建好的 Hadoop集群上運(yùn)行，并分析結(jié)果論踐 討實完成實驗內(nèi)容，形成實驗報告第11周實驗7: Hadoop大數(shù)據(jù)處理（1）（小 組合作）根據(jù)提供的數(shù)據(jù)集片段，分析數(shù)據(jù) 特點(diǎn)“設(shè)計基于數(shù)據(jù)集的應(yīng)用編寫代

7、碼實現(xiàn)數(shù)據(jù)清洗運(yùn)用M叩reduce框架提取關(guān)鍵數(shù)據(jù)對數(shù)據(jù)集片段進(jìn)行分析、處理解論疑踐 講討答實完成實驗內(nèi)容第12周論文 3： Improving MapReduce Performance in Heterogeneous Environments學(xué)生分小組講解解論疑 講討答課前閱讀論文，完成閱讀報告 對關(guān)鍵知識點(diǎn)老師重點(diǎn)引導(dǎo)討論第13周實驗8: Hadoop大數(shù)據(jù)處理（2）（小 組合作）對M叩reduce結(jié)果進(jìn)行分析將Mapreduce任務(wù)發(fā)送至大規(guī)模分 布式集群（學(xué)院實驗室提供）運(yùn)行完整 數(shù)據(jù)（可選）將上述Mapreduce程序改 寫成可在Spark平臺上運(yùn)行，并比擬該 程序在Hadoop

8、和Spark上運(yùn)行的不同表 現(xiàn)論疑踐 討答實完成實驗內(nèi)容第14周論文 4 ： Bigtable: A Distributed Storage System for Structured Data學(xué)生分小組講解對關(guān)鍵知識點(diǎn)老師重點(diǎn)引導(dǎo)討論解論疑 講討答課前閱讀論文，完成閱讀報告第15周HBase分布式數(shù)據(jù)庫基礎(chǔ)HBase數(shù)據(jù)模型HBase基本框架解論疑 講1 wi答閱讀HBase相關(guān)知識點(diǎn)第16周實驗9： HBase安裝及應(yīng)用安裝HBase運(yùn)用HBase Shell命令創(chuàng)立表，插入 數(shù)據(jù)等討論 答疑 實踐完成實驗內(nèi)容，形成實驗報告第17周實驗10: Hadoop大數(shù)據(jù)處理（3）（小 組合作）小組課堂展示討論 答疑完成實驗內(nèi)容，形成實驗報告（五）教學(xué)資源六、考核方式工程考察內(nèi)容考察方式分值論文講述與