大數(shù)據(jù)項目實戰(zhàn)教學大綱

《大數(shù)據(jù)項目實戰(zhàn)》課程教學大綱（課程英文名稱）課程編號：201800522062學分：5學分學時：46學時（其中：講課學時24上機學時：22）先修課程：Hadoop后續(xù)課程：Spark適用專業(yè)：大數(shù)據(jù)應(yīng)用技術(shù)開課部門：一、課程的性質(zhì)與目標《Hadoop項目實戰(zhàn)》是互聯(lián)網(wǎng)+創(chuàng)業(yè)教育學院軟件工程（大數(shù)據(jù)、人工智能）專業(yè)的一門校定必修專業(yè)課。通過學習課程有助于學生綜合運用大數(shù)據(jù)課程知識以及各種工具軟件實現(xiàn)大數(shù)據(jù)分析全流程操作，并通過編寫程序與理論講解相結(jié)合的形式加深了解；同時對Hadoop離線數(shù)據(jù)分析項目的開發(fā)過程有所了解，如數(shù)據(jù)的采集、數(shù)據(jù)的預處理、數(shù)據(jù)的分析以及最終達到數(shù)據(jù)可視化的目的。開設(shè)本學科的目的是讓學生掌握如何使用大數(shù)據(jù)分析技術(shù)解決特定業(yè)務(wù)領(lǐng)域的問題。完成本課程學習后能夠熟練的應(yīng)用大數(shù)據(jù)技術(shù)解決企業(yè)中的實際生產(chǎn)問題。二、教學條件要求操作系統(tǒng)：CenterOSHadoop版本：Hadoop2.7.4Hive版本：Hive1.2.1Sqoop版本：Sqoop1.4.6Mysql版本：Mysql5.7.25虛擬化工具：VMwareWorkstation開發(fā)工具：Eclipse三、課程的主要內(nèi)容及基本要求第1章項目概述章名項目概述學時2學習目標掌握項目需求和目標了解項目架構(gòu)設(shè)計和技術(shù)選型了解項目環(huán)境和相關(guān)開發(fā)工具理解項目開發(fā)流程知識點了解掌握重點難點項目需求和目標√預備知識√項目架構(gòu)設(shè)計及技術(shù)選取√開發(fā)環(huán)境和開發(fā)工具介紹√項目開發(fā)流程√√第2章搭建大數(shù)據(jù)集群環(huán)境章名搭建大數(shù)據(jù)集群環(huán)境學時10學習目標了解虛擬機的安裝和克隆熟悉虛擬機網(wǎng)絡(luò)配置和SSH服務(wù)配置掌握Hadoop集群的搭建掌握Hive的安裝掌握Sqoop的安裝知識點了解掌握重點難點虛擬機安裝與克隆√虛擬機網(wǎng)絡(luò)配置√SSH服務(wù)配置√JDK安裝√Hadoop安裝√Hadoop集群配置√√√Hadoop集群測試√√通過UI界面查看Hadoop運行狀態(tài)√√Hive的安裝模式√Hive安裝√√√Sqoop安裝√√√第3章數(shù)據(jù)采集章名數(shù)據(jù)采集學時7學習目標了解HTTP協(xié)議了解爬蟲的基本原理掌握HDFSAPI的基本使用熟悉HttpClient爬蟲的使用方法知識點了解掌握重點難點數(shù)據(jù)源分類√HTTP請求過程√認識HttpClient√分析網(wǎng)頁數(shù)據(jù)結(jié)構(gòu)√數(shù)據(jù)采集環(huán)境準備√創(chuàng)建響應(yīng)結(jié)果JavaBean類√封裝HTTP請求的工具類√√√封裝儲存在HDFS數(shù)據(jù)工具類√√√實現(xiàn)網(wǎng)頁數(shù)據(jù)采集√√√第4章數(shù)據(jù)預處理章名數(shù)據(jù)預處理學時8學習目標了解數(shù)據(jù)預處理流程掌握編寫MapReduce程序熟悉HDFSShell的基本使用掌握MapReduce程序的兩種運行模式知識點了解掌握重點難點分析預處理數(shù)據(jù)√設(shè)計數(shù)據(jù)預處理方案√數(shù)據(jù)預處理環(huán)境準備√創(chuàng)建數(shù)據(jù)轉(zhuǎn)換類√√創(chuàng)建實現(xiàn)Map任務(wù)的Mapper類√√創(chuàng)建MapReduce主程序并執(zhí)行程序√√將數(shù)據(jù)預處理程序提交到集群中運行√√√第5章數(shù)據(jù)分析章名數(shù)據(jù)分析學時7學習目標了解數(shù)據(jù)分析了解數(shù)據(jù)倉庫掌握Hive的操作掌握HQL語句的使用知識點了解掌握重點難點數(shù)據(jù)分析概述√什么是Hive√設(shè)計Hive數(shù)據(jù)倉庫√實現(xiàn)數(shù)據(jù)倉庫√√√職位區(qū)域分析√√職位薪資分析√√公司福利分析√√職位技能要求分析√√第6章數(shù)據(jù)可視化章名數(shù)據(jù)可視化學時15學習目標掌握Sqoop數(shù)據(jù)遷移工具的使用熟悉關(guān)系型數(shù)據(jù)庫MySQL掌握SSMJAVAEE開發(fā)框架的整合及應(yīng)用掌握Echarts前端框架的使用知識點了解掌握重點難點系統(tǒng)介紹√系統(tǒng)架構(gòu)√創(chuàng)建關(guān)系型數(shù)據(jù)庫√√通過Sqoop實現(xiàn)數(shù)據(jù)遷移√√平臺環(huán)境搭建√√√實現(xiàn)職位區(qū)域分布展示√√√實現(xiàn)薪資分布展示√√√實現(xiàn)福利標簽詞云圖√√√實現(xiàn)技能標簽詞云圖√√√平臺可視化展示√四、學時分配章目講課上機合計第1章項目概述2學時0學時2學時第2章搭建大數(shù)據(jù)集群環(huán)境4學時6學時10學時第3章數(shù)據(jù)采集4學時3學時7學時第4章數(shù)據(jù)預處理3學時3學時6學時第5章數(shù)據(jù)分析3學時2學時5學時第6章數(shù)據(jù)可視化8學時8學時16學時合計24學時22學時46學時五、考核模式與成績評定辦法本課程為考試課程，期末考試采用百分制的閉卷考試模式。學生的考試成績由平時成績（30%）和期末考試（70%）組成，其中，平時成績包括出勤（5%）、作業(yè)（5%）、上機成績（20%）。 六、選用教材和主要參考書 本大綱是根據(jù)教材《Hadoop項目實戰(zhàn)》所設(shè)計的。七、大綱說明本課程的授課模式為：課堂授課+上機，其中，課堂主要采用多媒體的方式進行授課，要求學生掌握項目內(nèi)容及程序設(shè)計思想