《大數(shù)據(jù)開發(fā)技術(shù)》課程標準（含課程思政）

《大數(shù)據(jù)開發(fā)技術(shù)》課程標準學分：6學時：96（實踐學時數(shù)：50）適用專業(yè)：大數(shù)據(jù)技術(shù)與應(yīng)用開設(shè)學期：4教學環(huán)境：多媒體教室，機房一、課程性質(zhì)和課程定位《大數(shù)據(jù)開發(fā)技術(shù)》課程是大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)的專業(yè)核心課程，是融入課程思政教育的課程。本課程依據(jù)大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)人才培養(yǎng)目標和相關(guān)職業(yè)崗位（群）的能力要求而設(shè)置，對本專業(yè)所面向的大數(shù)據(jù)應(yīng)用開發(fā)崗位所需要的知識、技能和素質(zhì)目標的達成起支撐作用。在課程設(shè)置上，課程的前置課程為《Hadoop大數(shù)據(jù)平臺構(gòu)建》、《Java核心技術(shù)》和《數(shù)據(jù)庫技術(shù)與應(yīng)用》，后繼課程為專業(yè)綜合實訓，通過這些課程的學習，學生可以掌握大數(shù)據(jù)開發(fā)所需基本技能，為后續(xù)工作、學習奠定基礎(chǔ)。二、課程培養(yǎng)目標（一）知識目標1.掌握HDFSJavaAPI操作2.掌握MapReduce常用編程組件的使用3.掌握ZookeeperJavaAPI操作4.掌握HBaseJavaAPI操作5.熟悉HBase的數(shù)據(jù)轉(zhuǎn)移6.掌握Hive數(shù)據(jù)庫和表操作7.掌握Hive的JDBC8.掌握Hive和HBase的整合9.掌握使用Sqoop進行數(shù)據(jù)的導(dǎo)入和導(dǎo)出10.掌握KafkaJavaAPI操作11.熟悉Kalka生產(chǎn)者攔截器的使用12.掌握Flume日志采集的編寫13.掌握招聘網(wǎng)站分析系統(tǒng)的開發(fā)（二）職業(yè)技能目標1.具備使用HDFSJavaAPI對HDFS系統(tǒng)中文件進行增、刪、改、查的能力2.具備使用MapReduce常用編程組件的能力3.具備使用ZookeeperJavaAPI完成對ZNode節(jié)點操作的能力4.具備HBaseJavaAPI對表進行增、刪、改、查的能力5.具備使用HBase進行數(shù)據(jù)轉(zhuǎn)移的能力6.具備使用Hive進行數(shù)據(jù)庫和表操作的能力7.具備使用JDBC遠程訪問Hive的能力8.具備使用HiveQL對HBase的表進行操作的能力9.具備使用Sqoop進行數(shù)據(jù)的導(dǎo)入和導(dǎo)出的能力10.具備使用KafkaJavaAPI進行消息的創(chuàng)建與接收的能力11.具備使用Kafka生產(chǎn)者攔截器的能力12.具備使用Flume進行日志采集的能力13.具備使用Flume攔截器和選擇器的能力14.具備完成招聘網(wǎng)站分析系統(tǒng)設(shè)計與開發(fā)的能力（三）職業(yè)素養(yǎng)和資格證書目標1.理解職業(yè)精神，形成良好的職業(yè)規(guī)范，建立職業(yè)責任感，增強職業(yè)榮譽感；2.注重強化學生工程倫理教育，培養(yǎng)學生精益求精的大國工匠精神，激發(fā)學生科技報國的家國情懷和使命擔當；3.熟練使用國家通用語言文字進行溝通交流和編寫軟件開發(fā)過程中的相關(guān)文檔，提高學生的愛國情懷；4.考取“1+X”國家工業(yè)和信息化部教育與考試中心組織的大數(shù)據(jù)應(yīng)用開發(fā)（JAVA）中級證等相關(guān)的職業(yè)技能證書。三、課程內(nèi)容與要求教學模塊教學任務(wù)任務(wù)目標學時模塊一搭建Hadoop開發(fā)環(huán)境配置大數(shù)據(jù)開發(fā)環(huán)境1、了解大數(shù)據(jù)技術(shù)架構(gòu)2、熟悉IDEA的安裝和常用配置3、掌握Windows中設(shè)置Hadoop開發(fā)環(huán)境4、掌握MAVEN的安裝及本地倉庫的設(shè)置2模塊二分布式文件系統(tǒng)HDFSHDFSJavaAPI操作1、了解HDFS基本概念2、熟悉HDFS架構(gòu)和原理3、掌握HDFSShell常用命令4、掌握HDFS文件/文件夾操作5、掌握使用I/O流操作HDFS文件6、掌握項目導(dǎo)出為jar包的操作12模塊三分布式計算框架MapReduceJavaAPI編寫MapReduce程序1、了解MapReduce的基本概念2、熟悉MapReduce的運行過程3、熟悉MapReduce編程規(guī)范4、掌握數(shù)據(jù)去重和單詞計數(shù)程序的編寫8模塊四分布式協(xié)調(diào)框架Zookeeper任務(wù)1ZookeeperJavaAPI操作1、了解Zookeeper基本概念2、熟悉ZookeeperShell操作3、掌握Zookeeper客戶端操作4、掌握監(jiān)聽節(jié)點數(shù)據(jù)變化5、掌握節(jié)點增減變化10任務(wù)2監(jiān)聽服務(wù)器動態(tài)上下線1、了解Zookeeper的Watch機制2、熟悉Zookeeper監(jiān)聽服務(wù)器流程3、掌握服務(wù)器端向Zookeeper注冊代碼4、掌握客戶端監(jiān)聽Zookeeper集群節(jié)點4模塊五分布式列存儲數(shù)據(jù)庫HBase任務(wù)1HBaseJavaAPI1、了解HBase基本概念2、熟悉HBaseShell操作3、掌握HBase表操作6任務(wù)2HBase數(shù)據(jù)轉(zhuǎn)移1、掌握HBase在不同表之間數(shù)據(jù)轉(zhuǎn)移2、掌握HDFS數(shù)據(jù)轉(zhuǎn)移至HBase4模塊六數(shù)據(jù)倉庫Hive任務(wù)1Hive庫/表操作1、了解Hive基本概念2、掌握Hive數(shù)據(jù)庫操作3、掌握Hive表操作4、掌握Hive自定義函數(shù)的編寫4任務(wù)2HiveJDBC操作1、熟悉遠程訪問Hive數(shù)據(jù)的方法2、掌握JDBC程序訪問Hive數(shù)據(jù)的流程2任務(wù)3Hive與HBase整合1、了解Hive與HBase整合的核心2、掌握Hive操作HBase的兩種方式2任務(wù)4Hive日志分析1、掌握日志數(shù)據(jù)導(dǎo)入Hive的方法2、掌握日志分析方法2模塊七數(shù)據(jù)遷移Sqoop任務(wù)1數(shù)據(jù)導(dǎo)入導(dǎo)出1、掌握MySQL表數(shù)據(jù)導(dǎo)入到HDFS、Hive、HBase中2、掌握HDFS、Hive、HBase中數(shù)據(jù)導(dǎo)出到MySQL表中2模塊八分布式消息隊列Kafka任務(wù)1KafkaJavaAPI操作1、了解Kaka基本概念2、熟悉Kafka命令行操作3、掌握創(chuàng)建生產(chǎn)者方法4、掌握創(chuàng)建消費者方法4任務(wù)2Kafka生產(chǎn)者攔截器1、了解攔截器的作用2、掌握創(chuàng)建時間攔截器3、掌握創(chuàng)建信息發(fā)送狀態(tài)統(tǒng)計攔截器4、熟悉創(chuàng)建生產(chǎn)者4模塊九海量數(shù)據(jù)采集Flume任務(wù)1Flume日志監(jiān)控1、掌握Flume采集日志數(shù)據(jù)到控制臺2、掌握Flume采集日志文件數(shù)到HDFS2任務(wù)2Flume攔截器1、熟悉Flume常見內(nèi)置攔截器2、掌握Flume自定義攔截器2任務(wù)3Flume日志采集掌握Flume多節(jié)點采集數(shù)據(jù)2任務(wù)4Flume和Kafka整合掌握Flume采集數(shù)據(jù)寫入Kafka2模塊十招聘網(wǎng)站分析系統(tǒng)的開發(fā)開發(fā)招聘網(wǎng)站分析系統(tǒng)1、了解招聘網(wǎng)站分析系統(tǒng)2、掌握數(shù)據(jù)采集3、掌握數(shù)據(jù)預(yù)處理4、掌握數(shù)據(jù)倉庫開發(fā)5、掌握數(shù)據(jù)分析6、掌握數(shù)據(jù)導(dǎo)出7、掌握日志分析系統(tǒng)報表展示22合計96四、課程的教學設(shè)計思想課程依據(jù)“模塊教學、任務(wù)驅(qū)動”模式開發(fā)，調(diào)研大數(shù)據(jù)技術(shù)與應(yīng)用相關(guān)崗位，將崗位需要的“理論知識”和“實踐技能”相結(jié)合，提煉典型工作崗位需求，選擇學習內(nèi)容領(lǐng)域，設(shè)計學習任務(wù)。課程設(shè)計以崗位需求為基礎(chǔ)，以職業(yè)能力培養(yǎng)為重點，以工作任務(wù)為導(dǎo)向，采用理實一體化模式，注重學生基礎(chǔ)知識的學習和再學習能力的培養(yǎng)，將課程思政融入任務(wù)實施中。通過本課程的學習，使學生了解大數(shù)據(jù)開發(fā)體系結(jié)構(gòu)，掌握大數(shù)據(jù)開發(fā)的各組件和JavaAPI的使用，同時幫助學生提升職業(yè)崗位需要的團隊協(xié)作能力，語言表達能力，溝通能力和再學習能力，凸顯課程的工具性作用。五、學習資源的選用（一）教材：《Hadoop大數(shù)據(jù)技術(shù)開發(fā)實戰(zhàn)》，張偉洋著，清華大學出版社（二）參考教材：《Hadoop大數(shù)據(jù)技術(shù)原理與應(yīng)用》黑馬程序員著，清華大學出版社（三）教學資源：職教云平臺、大數(shù)據(jù)教學資源及實驗管理系統(tǒng)、項目案例、多媒體課件、實驗指導(dǎo)書、試題庫六、課程實施意見（一）設(shè)計思路課程教學內(nèi)容以“項目導(dǎo)向、任務(wù)驅(qū)動”的教學模式為主，選取數(shù)據(jù)的采集、存儲、清洗、分析等任務(wù)。按照任務(wù)分析和描述、任務(wù)實施、任務(wù)小結(jié)、任務(wù)拓展四步教學法開展教學。學生帶著任務(wù)學知識、練技能，具有情景真實性、過程可操作性、結(jié)果可檢驗性的特點，主要培養(yǎng)目標是通過課程的學習，使學生具備大數(shù)據(jù)開發(fā)的能力，通過知識的學習和訓練，激發(fā)學生創(chuàng)新意識和創(chuàng)新欲望，培養(yǎng)學生學習的積極性和主動性，達到對學生應(yīng)具備的社會能力、學習能力和專業(yè)能力的進一步提升。（二）課程大綱和時間安排序號單元名稱學時安排（學時）1模塊一搭建Hadoop開發(fā)環(huán)境22模塊二分布式文件系統(tǒng)HDFS123模塊三分布式計算框架MapReduce84模塊四分布式協(xié)調(diào)框架Zookeeper145模塊五分布式列存儲數(shù)據(jù)庫HBase106模塊六數(shù)據(jù)倉庫Hive107模塊七數(shù)據(jù)遷移Sqoop28模塊八分布式消息隊列Kafka89模塊九海量數(shù)據(jù)采集Flume810模塊十招聘網(wǎng)站分析系統(tǒng)的開發(fā)22合計96（三）課程實施方案1.模塊一搭建Hadoop開發(fā)環(huán)境教學目標：了解大數(shù)據(jù)技術(shù)架構(gòu)；熟悉IDEA的安裝和常用配置；掌握Windows中設(shè)置Hadoop開發(fā)環(huán)境；掌握MAVEN的安裝及本地倉庫的設(shè)置教學重點難點：Idea、Maven的安裝和設(shè)置教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：2學時2.模塊二分布式文件系統(tǒng)HDFS教學目標：了解HDFS基本概念；熟悉HDFS架構(gòu)和原理；熟悉HDFSShell常用命令；掌握HDFS文件/文件夾操作；掌握使用I/O流操作HDFS文件；掌握項目導(dǎo)出操作教學重點難點：HDFS文件操作；I/O流操作HDFS文件教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：教學教學時間：12學時3.模塊三分布式計算框架MapReduce教學目標：了解MapReduce的基本概念；熟悉MapReduce的運行過程；熟悉MapReduce編程規(guī)范；掌握數(shù)據(jù)去重和單詞計數(shù)程序的編寫教學重點難點：數(shù)據(jù)去重和單詞計數(shù)程序教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：8學時4.模塊四分布式協(xié)調(diào)框架Zookeeper教學目標：了解Zookeeper基本概念；熟悉ZookeeperShell操作；掌握Zookeeper客戶端操作；掌握監(jiān)聽節(jié)點數(shù)據(jù)變化；掌握監(jiān)聽節(jié)點增減變化；掌握監(jiān)聽服務(wù)器動態(tài)上下線教學重點難點：Zookeeper客戶端操作；監(jiān)聽節(jié)點變化；監(jiān)聽服務(wù)器動態(tài)上下線教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：14學時5.模塊五分布式列存儲數(shù)據(jù)庫HBase教學目標：了解HBase基本概念；熟悉HBaseShell操作；掌握HBase表操作；掌握HBase在不同表之間數(shù)據(jù)轉(zhuǎn)移；掌握HDFS數(shù)據(jù)轉(zhuǎn)移至HBase教學重點難點：HBase表操作；HBase數(shù)據(jù)轉(zhuǎn)移；教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：10學時6.模塊六數(shù)據(jù)倉庫Hive教學目標：了解Hive基本概念；掌握Hive數(shù)據(jù)庫操/表操作；掌握Hive自定義函數(shù)的編寫；掌握JDBC程序訪問Hive數(shù)據(jù)的方法；掌握HBase表和Hive整合的實現(xiàn)；掌握Hive日志分析的方法教學重點難點：Hive數(shù)據(jù)庫/表操作；JDBC程序訪問Hive數(shù)據(jù)；HBase表和Hive整合；Hive日志分析教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：10學時模塊七數(shù)據(jù)遷移Sqoop教學目標：掌握數(shù)據(jù)導(dǎo)入和導(dǎo)出教學重點難點：MySQL表數(shù)據(jù)導(dǎo)入到HDFS、Hive、HBase；HDFS、Hive、HBase數(shù)據(jù)導(dǎo)出到MySQL表教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：2學時8.模塊八分布式消息隊列Kafka教學目標：了解Kaka基本概念；熟悉Kafka命令行操作；掌握創(chuàng)建生產(chǎn)者方法；掌握創(chuàng)建消費者方法；掌握Kafka生產(chǎn)者攔截器教學重點難點：創(chuàng)建生產(chǎn)者和消費者；創(chuàng)建生產(chǎn)者攔截器鏈教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：8學時9.模塊九海量數(shù)據(jù)采集Flume教學目標：掌握Flume采集日志文件數(shù)據(jù)到控制臺和HDFS；熟悉Flume常見內(nèi)置攔截器；掌握Flume自定義攔截器；掌握Flume多節(jié)點采集數(shù)據(jù)；掌握Flume采集數(shù)據(jù)寫入Kafka的方法教學重點難點：Flume采集日志；Flume自定義攔截器；Flume多節(jié)點采集數(shù)據(jù)；Flume與Kafka整合教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：8學時10.模塊十招聘網(wǎng)站分析系統(tǒng)的開發(fā)教學目標：教學重點難點：教學方法：任務(wù)驅(qū)動法、講授法教學形式：分組教學教學場景：機房教學時間：22學時七、課程考核（一）考核方式成績采用多維度考核方式，包括出勤10%+課堂表現(xiàn)20%+作業(yè)10%+期末考試成績60%。（二）考核標準（各部分成績所占比重和試題題型分布及分數(shù)分布）考試題包括填空題、選擇題、判斷題、編程題。模塊五、七、八為本課程熟悉的內(nèi)容，共占總成績的30%，約30分左右；模塊二、三、四、六、九為本課程的重點內(nèi)容，總共占總成績的70%，約70分左右。模塊二、三、四、六、九涉及到所有題型，模塊五、七、八主要出填空題、選擇題和判斷題。八、教學基本條件（一）教學團隊基本要求1、良好的職業(yè)和個人素養(yǎng)，具有團隊精神，責任感強2、熟悉高職教育規(guī)律、實踐經(jīng)驗