《Hadoop基礎(chǔ)與實(shí)踐》課程教學(xué)大綱

1、Hadoop基礎(chǔ)與實(shí)踐課程教學(xué)大綱一、課程基本信息.課程名稱：大學(xué)計(jì)算機(jī)基礎(chǔ).課程代碼：CST304.學(xué)分：4.學(xué)時(shí)：17周，1次課/周，3學(xué)時(shí)/I次課，共51學(xué)時(shí)。二、任課教師、助教、教室等情況三、課程特點(diǎn).實(shí)踐與理論并重，著眼于Hadoop等大數(shù)據(jù)處理工具。.以Hadoop平臺(tái)搭建及應(yīng)用為主線，著重培養(yǎng)學(xué)生的理解能力、獨(dú)立完成 實(shí)際操作的能力。.以Hadoop技術(shù)的核心論文的依據(jù)，深入學(xué)習(xí)Hadoop平臺(tái)的原理。.培養(yǎng)獨(dú)立自主學(xué)習(xí)，引導(dǎo)課堂討論掌握知識(shí)。四、閱讀材料（一）推薦教材Tom White著，王海等譯，Hadoop權(quán)威指南，清華大學(xué)出版社。黃宜華等著，深入理解大數(shù)據(jù)大數(shù)據(jù)處理與編程

2、實(shí)踐，機(jī)械工業(yè)出版 社。（二）參考教材Garry Turkington著，張治起譯，Hadoop基礎(chǔ)教程，人民郵電出版社。五、課程內(nèi)容概要（一）課程目標(biāo).引導(dǎo)學(xué)生進(jìn)入Hadoop分布式系統(tǒng)的領(lǐng)域。.提升學(xué)生閱讀、理解、描述Hadoop相關(guān)學(xué)術(shù)論文的能力。.理解Hadoop基本概念體系和基本工作原理。.掌握Hadoop平臺(tái)搭建的基本方法。.掌握基于Java語(yǔ)言的MapReduce編程方法。.了解Hive, Hbase等基于Hadoop的工具。（二）教學(xué)內(nèi)容序號(hào)題目知識(shí)點(diǎn)學(xué)時(shí)IHadoop系統(tǒng)概述Hadoop開展歷史Hadoop應(yīng)用：爬蟲系統(tǒng)Hadoop基本設(shè)計(jì)Hadoop實(shí)際案例介紹32HDFS

3、分布式文件系統(tǒng)HDFS的設(shè)計(jì)HDFS的概念Namcnode 和 DatanodcHDFS的高可用性寫數(shù)據(jù)讀數(shù)據(jù)63Mapreduce計(jì)算框架M叩reduce作業(yè)提交M叩reduce作業(yè)初始化任務(wù)的分配任務(wù)的執(zhí)行shufne 過程排序過程64Maprcduce編程基礎(chǔ)知 識(shí)Mapreduce 的類型M叩類和Reduce類Combiner 函數(shù)Sort函數(shù)連接計(jì)數(shù)器65Hadoop簡(jiǎn)單平臺(tái)搭建Ubuntu 16.04LTS 安裝SSH server 安裝JDK 1.8.0 安裝HDFS格式化修改配置文件啟動(dòng)和停止守護(hù)進(jìn)程環(huán)境設(shè)置66Hadoop集群平臺(tái)搭建集群規(guī)模網(wǎng)絡(luò)拓?fù)淙罩就ㄓ嵲O(shè)置157HBas

4、e (BigTable)分 布式數(shù)據(jù)庫(kù)BigTable 原理BigTable存儲(chǔ)格式BigTble優(yōu)缺點(diǎn)比擬HBase安裝HBase杳詢基礎(chǔ)9（三）課程要求.準(zhǔn)時(shí)上下課，積極參與到教學(xué)活動(dòng)去。.認(rèn)真完成課堂布置的編程內(nèi)容。.課后自主學(xué)習(xí)相關(guān)內(nèi)容，閱讀論文。.積極運(yùn)用現(xiàn)代教學(xué)手段，自主學(xué)習(xí)，并掌握教學(xué)內(nèi)容。（四）教學(xué)進(jìn)度安排進(jìn)度教學(xué)內(nèi)容課式 授方課后作業(yè)第（）1周課程介紹Hadoop的概述、開展及應(yīng)用講解閱讀如何配置Hadoop運(yùn)行環(huán) 境的相關(guān)材料第02周實(shí)驗(yàn)1 ：搭建Hadoop單機(jī)模式介紹常用的Linux命令解答踐 講解實(shí)第03周 實(shí)驗(yàn)2：搭建Hadoop偽分布式模式解答踐 講解實(shí)將Hado

5、op單機(jī)模式及偽分布 式模式搭建實(shí)驗(yàn)結(jié)果合并，完 成實(shí)驗(yàn)報(bào)告第04周 國(guó)慶放假第05周實(shí)驗(yàn)3： Mapreduce基礎(chǔ)算法程序設(shè) 計(jì)（上）WordCount矩陣乘法關(guān)系代數(shù)運(yùn)算解論疑踐 講討答實(shí)完成實(shí)驗(yàn)內(nèi)容第06周論文 1 ： The Google File System學(xué)生分小組講解對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論解論疑 講1 Mi答課前閱讀論文，完成閱讀報(bào)告第07周實(shí)驗(yàn)4： Mapreduce基礎(chǔ)算法程序設(shè) 計(jì)（下）PageRank網(wǎng)頁(yè)排名算法專利文獻(xiàn)分析算法講解 討論 答疑 實(shí)踐完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告第08周實(shí)驗(yàn)5： Hadoop集群搭建（上）（小 組合作）以小組為單位，通過在多臺(tái)電腦，

6、 或多個(gè)虛擬機(jī)間建立通訊,搭建Hadoop 集群論踐 討實(shí)完成實(shí)驗(yàn)內(nèi)容第09周論文 2： MapReduce: Simplified Data Processing on Large Clusters學(xué)生分小組講解對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論解論疑 講討答課前閱讀論文，完成閱讀報(bào)告第10周實(shí)驗(yàn)6： Hadoop集群搭建（下）（小 組合作）根據(jù)實(shí)驗(yàn)3和實(shí)驗(yàn)4中完成的算法， 尋找匹配的大數(shù)據(jù)集，在搭建好的 Hadoop集群上運(yùn)行，并分析結(jié)果論踐 討實(shí)完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告第11周實(shí)驗(yàn)7: Hadoop大數(shù)據(jù)處理（1）（小 組合作）根據(jù)提供的數(shù)據(jù)集片段，分析數(shù)據(jù) 特點(diǎn)“設(shè)計(jì)基于數(shù)據(jù)集的應(yīng)用編寫代

7、碼實(shí)現(xiàn)數(shù)據(jù)清洗運(yùn)用M叩reduce框架提取關(guān)鍵數(shù)據(jù)對(duì)數(shù)據(jù)集片段進(jìn)行分析、處理解論疑踐 講討答實(shí)完成實(shí)驗(yàn)內(nèi)容第12周論文 3： Improving MapReduce Performance in Heterogeneous Environments學(xué)生分小組講解解論疑 講討答課前閱讀論文，完成閱讀報(bào)告 對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論第13周實(shí)驗(yàn)8: Hadoop大數(shù)據(jù)處理（2）（小 組合作）對(duì)M叩reduce結(jié)果進(jìn)行分析將Mapreduce任務(wù)發(fā)送至大規(guī)模分 布式集群（學(xué)院實(shí)驗(yàn)室提供）運(yùn)行完整 數(shù)據(jù)（可選）將上述Mapreduce程序改 寫成可在Spark平臺(tái)上運(yùn)行，并比擬該 程序在Hadoop

8、和Spark上運(yùn)行的不同表 現(xiàn)論疑踐 討答實(shí)完成實(shí)驗(yàn)內(nèi)容第14周論文 4 ： Bigtable: A Distributed Storage System for Structured Data學(xué)生分小組講解對(duì)關(guān)鍵知識(shí)點(diǎn)老師重點(diǎn)引導(dǎo)討論解論疑 講討答課前閱讀論文，完成閱讀報(bào)告第15周HBase分布式數(shù)據(jù)庫(kù)基礎(chǔ)HBase數(shù)據(jù)模型HBase基本框架解論疑 講1 wi答閱讀HBase相關(guān)知識(shí)點(diǎn)第16周實(shí)驗(yàn)9： HBase安裝及應(yīng)用安裝HBase運(yùn)用HBase Shell命令創(chuàng)立表，插入 數(shù)據(jù)等討論 答疑 實(shí)踐完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告第17周實(shí)驗(yàn)10: Hadoop大數(shù)據(jù)處理（3）（小 組合作）小組課堂展示討論 答疑完成實(shí)驗(yàn)內(nèi)容，形成實(shí)驗(yàn)報(bào)告（五）教學(xué)資源六、考核方式工程考察內(nèi)容考察方式分值論文講述與