大數(shù)據(jù)開發(fā)技術(shù)Hadoop-大綱

《大數(shù)據(jù)開發(fā)技術(shù)（Hadoop）》教學(xué)大綱課程編號(hào)：071333B課程類型：口通識(shí)教育必修課口通識(shí)教育選修課口專業(yè)必修課 ■專業(yè)選修課口學(xué)科基礎(chǔ)課總學(xué)時(shí)：48講課學(xué)時(shí)：16實(shí)驗(yàn)（上機(jī)）學(xué)時(shí)：32學(xué)分：3適用對象：計(jì)算機(jī)科學(xué)與技術(shù)專業(yè)，大三本科生先修課程：人工智能、面向?qū)ο蟪绦蛟O(shè)計(jì)、數(shù)據(jù)庫原理、高性能計(jì)算一、教學(xué)目標(biāo)目標(biāo)是讓學(xué)生了解并掌握四個(gè)領(lǐng)域（即大數(shù)據(jù)系統(tǒng)的起源及系統(tǒng)特征、大數(shù)據(jù)系統(tǒng)的架構(gòu)設(shè)計(jì)及功能目標(biāo)設(shè)計(jì)、大數(shù)據(jù)系統(tǒng)程序開發(fā)、企業(yè)大數(shù)據(jù)案例分析）的內(nèi)容，同時(shí)利用真機(jī)實(shí)驗(yàn)環(huán)節(jié)以及大數(shù)據(jù)實(shí)訓(xùn)一體機(jī)來提升學(xué)生對大數(shù)據(jù)開發(fā)的實(shí)踐能力；本課程重點(diǎn)讓學(xué)生掌握四個(gè)方面的內(nèi)容：目標(biāo)1：HDFS使用操作目標(biāo)2：Map/Reduce開發(fā)目標(biāo)3：HBase數(shù)據(jù)庫的開發(fā)目標(biāo)4：Hive數(shù)據(jù)倉庫開發(fā)二、教學(xué)內(nèi)容及其與畢業(yè)要求的對應(yīng)關(guān)系1：Hadoop大數(shù)據(jù)處理平臺(tái)安裝與部署目標(biāo)及要求：讓學(xué)生掌握Hadoop平臺(tái)的安裝，熟悉大數(shù)據(jù)處理的軟硬件環(huán)境。2：HDFS操作命令操作目標(biāo)及要求:讓學(xué)生掌握分布式文件系統(tǒng)HDFS的文件操作，包含導(dǎo)入導(dǎo)出文件、列表、查找、刪除文件等。3：MapReduce開發(fā)目標(biāo)及要求：讓學(xué)生掌握在HDFS文件系統(tǒng)內(nèi)的Map及Reduce的Java開發(fā)，實(shí)現(xiàn)對指定文本文件的單詞計(jì)數(shù)，將統(tǒng)計(jì)結(jié)果輸出至控制臺(tái)。4：HBase數(shù)據(jù)庫命令操作目標(biāo)及要求：讓學(xué)生掌握分布式文件數(shù)據(jù)庫系統(tǒng)HBase的數(shù)據(jù)庫操作，包含創(chuàng)建表、刪除表、增加列、導(dǎo)入記錄、刪除記錄等。5：Hive數(shù)據(jù)倉庫基礎(chǔ)使用目標(biāo)及要求：讓學(xué)生掌握在Hive數(shù)據(jù)倉庫的基本命令的操作，包含創(chuàng)建數(shù)據(jù)倉庫、創(chuàng)建表、刪除表、導(dǎo)入及導(dǎo)出數(shù)據(jù)，統(tǒng)計(jì)查詢等在CLI模式下的使用操作。三、各教學(xué)環(huán)節(jié)學(xué)時(shí)分配（黑體，小四號(hào)字）教學(xué)課時(shí)分配序號(hào)章節(jié)內(nèi)容講課實(shí)驗(yàn)其他合計(jì)1大數(shù)據(jù)概述102大數(shù)據(jù)應(yīng)用開發(fā)思路和開發(fā)環(huán)境配置163HDFS分布式文件系統(tǒng)264MapReduce分布式編程485HBase分布式數(shù)據(jù)庫466Hive數(shù)據(jù)倉庫開發(fā)46合計(jì)481632四、教學(xué)內(nèi)容第一章大數(shù)據(jù)概述授課學(xué)時(shí)：1基本要求：了解大數(shù)據(jù)概念、特征、數(shù)據(jù)計(jì)量單位以及大數(shù)據(jù)的類型；了解大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)背景、以及當(dāng)前大數(shù)據(jù)系統(tǒng)存在的不足；了解大數(shù)據(jù)系統(tǒng)的設(shè)計(jì)思想、設(shè)計(jì)目標(biāo)和設(shè)計(jì)原則；了解大數(shù)據(jù)系統(tǒng)的整體邏輯架構(gòu)設(shè)計(jì)及運(yùn)行邏輯，了解當(dāng)前大數(shù)據(jù)系統(tǒng)的主流架構(gòu)；第二章大數(shù)據(jù)應(yīng)用開發(fā)思路和開發(fā)環(huán)境配置授課學(xué)時(shí)：1基本要求：.掌握大數(shù)據(jù)系統(tǒng)應(yīng)用讀寫操作的開發(fā)流程；.掌握分析大數(shù)據(jù)開發(fā)技術(shù)及思路；.掌握大數(shù)據(jù)Java開發(fā)的環(huán)境配置、Plugin插件的安裝，Hadoop環(huán)境配置；.真機(jī)實(shí)操訓(xùn)練（實(shí)驗(yàn)環(huán)節(jié)1）；第三章HDFS分布式文件系統(tǒng)授課學(xué)時(shí)：2基本要求：.了解HDFS設(shè)計(jì)目標(biāo)、基本概念；.掌握HDFS文件系統(tǒng)的命令操作；.掌握J(rèn)ava對HDFS的程序開發(fā)操作，包含目錄管理、文件列表、讀取、導(dǎo)入導(dǎo)出、文件壓縮等開發(fā)；.真機(jī)實(shí)操訓(xùn)練（實(shí)驗(yàn)環(huán)節(jié)2）；第四章MapReduce分布式編程授課學(xué)時(shí)：4基本要求：.了解MapReduce的設(shè)計(jì)思想、基本概念；.了解MapReduce的系統(tǒng)架構(gòu)、作業(yè)運(yùn)行機(jī)制和關(guān)鍵技術(shù)；.掌握MapReduce的數(shù)據(jù)類型的自定義以及數(shù)據(jù)類型的使用；.掌握MapReduce開發(fā)，定制輸入輸出的數(shù)據(jù)格式；.掌握將HDFS文件系統(tǒng)中整個(gè)文件作為輸入數(shù)據(jù)的開發(fā)；.掌握利用MapReduce完成小文件聚合成一個(gè)大文件的開發(fā)；.掌握壓縮數(shù)據(jù)處理程序開發(fā)；.掌握任務(wù)組合過程，掌握迭代組合、并行組合及串行組合；.掌握任務(wù)的前后鏈?zhǔn)浇M合；.掌握多數(shù)據(jù)源連接的開發(fā)，包含Map端開發(fā)以及Reduce端開發(fā)；.掌握Hadoop全局參數(shù)的使用，全局文件的使用;.掌握與關(guān)系型數(shù)據(jù)庫的訪問連接；.真機(jī)實(shí)操訓(xùn)練（實(shí)驗(yàn)環(huán)節(jié)3）；第五章HBase分布式數(shù)據(jù)庫授課學(xué)時(shí)：4基本要求：.了解HBase分布式數(shù)據(jù)庫的設(shè)計(jì)目標(biāo)、基本概念；.了解HBase邏輯架構(gòu)以及物理架構(gòu)；.掌握HBase分布式數(shù)據(jù)庫Shell命令操作；.掌握HBase數(shù)據(jù)庫系統(tǒng)的Java開發(fā)，包含創(chuàng)建表、刪除表，查詢所有表操作；.掌握HBase數(shù)據(jù)庫系統(tǒng)的Java開發(fā)，包含插入記錄、查詢數(shù)據(jù)，組合查詢、修改刪除記錄等開發(fā)；.真機(jī)實(shí)操訓(xùn)練（實(shí)驗(yàn)環(huán)節(jié)4）；第六章Hive數(shù)據(jù)倉庫開發(fā)授課學(xué)時(shí)：4基本要求：.了解Hive數(shù)據(jù)倉庫的工作原理及特點(diǎn)；.了解Hive架構(gòu)設(shè)計(jì)，包含數(shù)據(jù)類型、數(shù)據(jù)存儲(chǔ)方式以及查詢方式；.掌握Hive數(shù)據(jù)倉庫系統(tǒng)的HQL語言語法；.掌握HQL的創(chuàng)建表、查看表及查詢有結(jié)構(gòu)，修改表以及刪除表；

.掌握利用HQL語句將HDFS的文件導(dǎo)入數(shù)據(jù)倉庫;.掌握分區(qū)表、桶表、外部表的使用；.掌握HQL語句的聯(lián)合查詢、子查詢、創(chuàng)建視圖等操作；.掌握利用Java開發(fā)UDF自定義函數(shù)，以及自定義函數(shù)的使用；.掌握J(rèn)ava連接Hive數(shù)據(jù)倉庫進(jìn)行數(shù)據(jù)查詢；.真機(jī)實(shí)操訓(xùn)練（實(shí)驗(yàn)環(huán)節(jié)5）；五、考核方式、成績評(píng)定（黑體，小四號(hào)字）考核方式：考查，采用平時(shí)成績+期末課程設(shè)計(jì)。成績評(píng)定：采用平時(shí)成績占40%，期末課程設(shè)計(jì)占60%。六、主要參考書及其他內(nèi)容（黑體，小四號(hào)字）[1]陸嘉恒.分布式系統(tǒng)及云計(jì)算概論.北京：