《大數(shù)據(jù)應用開發(fā)》課程標準

1、大數(shù)據(jù)應用開發(fā)課程標準課程名稱：大數(shù)據(jù)應用開發(fā)課程代碼：3250578適用專業(yè)：軟件技術(shù)專業(yè)（大數(shù)據(jù)方向）課程性質(zhì)：專業(yè)必修課學時：72時（理論：36實踐：36）學分：4學分 一、課程概述（一）課程的地位和任務大數(shù)據(jù)技術(shù)的開展，已被列為國家重大開展戰(zhàn)略。而在過去的幾年里，無論 是聚焦大數(shù)據(jù)開展的促進大數(shù)據(jù)開展行動綱要，還是“十三五”規(guī)劃中 都深刻表達了政府對大數(shù)據(jù)產(chǎn)業(yè)和應用開展的重視。目前國內(nèi)大數(shù)據(jù)開展還處于 加速期、轉(zhuǎn)型期，數(shù)據(jù)與傳統(tǒng)產(chǎn)業(yè)的融合還處于起步階段，各行業(yè)對大數(shù)據(jù)分析 和挖掘的應用還不理想。但隨著市場競爭的加劇，各行業(yè)對大數(shù)據(jù)技術(shù)研究的熱 情越來越高，在未來幾年，各領域的數(shù)據(jù)分析都

2、將大規(guī)模應用。本課程是軟件技術(shù)專業(yè)核心課程，大數(shù)據(jù)技術(shù)入門課程，前續(xù)課程為Linux 基礎、關(guān)系數(shù)據(jù)庫基礎、程序設計基礎、Java面向?qū)ο缶幊獭?后續(xù)課程為Python編程基礎、Python數(shù)據(jù)分析與應用等。學生學完前 續(xù)課程后已具備程序開發(fā)基礎，通過本課程為學生搭建起通向“大數(shù)據(jù)知識空間” 的橋梁和紐帶，以“構(gòu)建知識體系、說明基本原理、引導初級實踐、了解相關(guān)應 用”為原那么，為學生在大數(shù)據(jù)領域“深耕細作”奠定基礎、指明方向。本課程將 系統(tǒng)講授大數(shù)據(jù)的基本概念、大數(shù)據(jù)處理架構(gòu)Hadoop、分布式文件系統(tǒng)HDFS、 分布式數(shù)據(jù)庫HBase、NoSQL數(shù)據(jù)庫、云數(shù)據(jù)庫、分布式并行編程模型MapRe

3、duce. 流計算、圖計算、數(shù)據(jù)可視化以及大數(shù)據(jù)在互聯(lián)網(wǎng)、生物醫(yī)學和物流等各個領域 的應用。在Hadoop、HDFS、HBase和MapReduce等重要章節(jié),安排了入門級的實 踐操作，讓學生更好地學習和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。（二）課程設計思路本課程在注重大數(shù)據(jù)時代應用環(huán)境前提下，考慮大數(shù)據(jù)處理分析需求多樣復 雜的基本情況，從初學者角度出發(fā)，以輕量級理論、豐富的實例比照性地介紹大范，功能完善；3.能在規(guī)定的時 間內(nèi)完成實踐80%的功能3.能在規(guī)定的時 間內(nèi)完成實踐間內(nèi)完成實踐2.創(chuàng)新能 力15%.能積極、主動地 發(fā)現(xiàn)問題、分析問 題和解決問題；.有創(chuàng)新；.采用優(yōu)化方案.能發(fā)現(xiàn)問題，并 通過各種途

4、徑解 決問題；.有一定的創(chuàng)新.能發(fā)現(xiàn)問題并 在他人的幫助下 解決問題；.局部方案有新 意3.表達溝 通15%.能對開發(fā)過程 正確講解；.能正確回答問 題；.能輔導他人完 成單元實踐1.能較正確地對 開發(fā)過程進行講 解；2.能回答下列問題1.能對開發(fā)過程 進行講解；2.能回答下列問題合計100%數(shù)據(jù)常用計算模式的各種系統(tǒng)和工具?？紤]到當前大數(shù)據(jù)開展處于起步并逐步趕 超先進的階段，其應用領域豐富廣泛，在教學過程中應注重掌握大數(shù)據(jù)分析的實 踐操作。本課程通過豐富簡單易上手的實例，讓學生能夠切實體會和掌握各種類 型工具的特點和應用。本課程采用“工程驅(qū)動、案例教學、一體化課堂”的教學模式開展教學。整 個

5、課程采用假設干單元案例和小型綜合案例，72學時完成教師與學生互動的講練 結(jié)合教學過程。課程的理論實踐一體化教學過程全部安排在軟件工程開發(fā)實訓室進行，教學 中以學生為中心，教師全程負責講授知識，指導工程開發(fā)。二、培養(yǎng)目標與要求（一）總體目標與要求本課程的總體目標是針對大數(shù)據(jù)程序員崗位，重點培養(yǎng)讓學生建立對大數(shù)據(jù) 知識體系的認識，了解Hadoop架構(gòu)及其各個組件，掌握大數(shù)據(jù)查詢分析計算的 典型工具，掌握大數(shù)據(jù)平臺的搭建能力、大數(shù)據(jù)的采集、數(shù)據(jù)存儲、計算模式等 大數(shù)據(jù)的應用開發(fā)能力和相關(guān)文檔的編寫能力。（二）具體目標與要求1、素質(zhì)培養(yǎng)學生的團隊分工協(xié)作精神培養(yǎng)學生的溝通表達能力 培養(yǎng)學生的質(zhì)量至上觀

6、念培養(yǎng)學生的工作責任意識2、知識了解Hadoop的來源與特點掌握Hadoop分布式文件系統(tǒng)HDFS的重要概念、體系結(jié)構(gòu)、存儲原理和 讀寫過程，并熟練掌握分布式文件系統(tǒng)HDFS的使用方法掌握MapReduce的原理掌握Hadoop分布式數(shù)據(jù)庫 了解大數(shù)據(jù)處理中常用的實時流處理框架有哪些3、能力會搭建Hadoop的環(huán)境能夠掌握相關(guān)的數(shù)據(jù)庫管理、存儲、分析計算等技術(shù)基礎通過對數(shù)據(jù)庫的學習和編程設計，掌握MapReduce的編程模型會使用MapReduce完成常用的功能會搭建HDFS Name Node環(huán)境會進行Hive的部署，及Hive中DDL與DML的操作會使用Sqoop,知道常用的SQL on

7、Hadoop框架三、教學內(nèi)容（一）課程教學安排進程安排、學習任務（工程）描述、結(jié)構(gòu)與內(nèi)容、目標與要求及學時分配見下 下表：表1大數(shù)據(jù)開發(fā)基礎課程教學內(nèi)容設計表序 號學習任 務（項 目）子任務（項 目）教學內(nèi)容課時數(shù)（理論 /實踐）目的要求（知識點、能 力點、素質(zhì)點）教學方式（教學方 法、教學 手段）教學 場地大數(shù)據(jù)開展；1大數(shù)據(jù) 概述大數(shù)據(jù)概述大數(shù)據(jù)概念 及特征；大數(shù) 據(jù)的產(chǎn)生和 數(shù)據(jù)類型；大 數(shù)據(jù)的計算 模式；大數(shù)據(jù) 的典型應用2/2了解大數(shù)據(jù)的 開展、概念及 特征；掌握大 數(shù)據(jù)的典型應 用；講授教室 機房 一體 化實 訓室2數(shù)據(jù)獲取數(shù)據(jù)獲取Scrapy環(huán)境 搭建；爬蟲項 目創(chuàng)立;采集 目標

8、數(shù)據(jù)項 定義；爬蟲核 心實現(xiàn)；爬蟲 運行2/2熟悉網(wǎng)絡爬 蟲；了解爬蟲 常用的方法， 掌握爬蟲環(huán)境 的搭建；具有 良好的職業(yè)道 德。演示教室 機房 一體 化實 訓室Hadoop 概述：了解什么是教室3Hadoop 基礎Hadoop 安 裝Hadoop 原理;Hadoop安裝2/2Hadoop；理解Hadoop的基本案例教學機房 一體與配置；原理；了解化實Iladoop 生態(tài) 系統(tǒng)簡介Hadoop社區(qū)各 攻擊的作用； 掌握Hadoop 單機和集群的 安裝配置。訓室4HDFS 基 本應用實戰(zhàn)命令行 接口；實戰(zhàn) Java 接口； 數(shù)據(jù)流簡介2/2了解什么是 HDFS : 理解 HDFS的特征及 作用

9、；了解 HDFS接口的分 類；掌握數(shù)據(jù) 流的基本原理 和讀寫方法。案例教學教室 機房 一體 化實 訓室5MapReduce 應 用開發(fā)網(wǎng)站的點擊量配置 Iladoop MapReduce 開 發(fā)環(huán)境； 編寫和運行 第一個 MapReduce 程 序之前的準 備：MapReduce 應 用案例2/2了解Mapreduce 的 定義、功能和 開展歷程；理 解Map過程與 Reduce過程的 工作模式與任 務調(diào)度；掌握 使用Hadoop 進行分布式運 算的方法與技 能。案例教學教室 機房 一體 化實 訓室6分布式 數(shù)據(jù)庫 Hbase登陸注冊功 能HBase簡介； IIBase 接口； 安裝HBase

10、集 群；HBaseShell；HBase API ； HBase綜合實 例2/2了解 IIBase 包 含3個重要組 件;熟悉HBase 的基本應用； 掌握HBase的 特點。案例教學教室 機房 一體 化實 訓室7數(shù)據(jù)倉數(shù)據(jù)庫操作Hive簡介；2/2了解大數(shù)據(jù)倉案例教學教室?guī)旃ぞ逪iveHive接口實 戰(zhàn)；Hive復雜語 句實戰(zhàn)；Hive綜合實 例庫Hive的原 理和基本概 念；掌握熟悉 簡單的Hive 命令。機房 一體 化實 訓室8開源集 群計算 環(huán)境 Spark數(shù)據(jù)庫的高 級操作Spark簡介； Spark接口實 戰(zhàn)；Spark 編程之RDD ； Spark實戰(zhàn)案 例之統(tǒng)計 1000萬人口

11、 的平均年齡； Spark MLlib 實戰(zhàn)(聚類實 戰(zhàn))。2/2理解理解 Spark的工作 機制；了解如 何根據(jù)實際需 求選擇合適的 算子操作數(shù) 據(jù)；了解使用 Spark提供的 算子對數(shù)據(jù)進 行轉(zhuǎn)化；熟悉 對源數(shù)據(jù)結(jié)構(gòu) 格式進行分 析。案例教學教室 機房 一體 化實 訓室9流實時 處理系 統(tǒng) Storm分頁實現(xiàn)Storm概述；Stoim安裝 與配置；2/2了解Storm所 包涵的基本概 念及應用；熟 悉Storm的安 裝；掌握簡單 的測試方法及 基本使用方 法。案例教學教室 機房 一體 化實 訓室10企業(yè) 級、大 數(shù)據(jù)流 處理 Apex用戶登錄程 序(JavaBean )購物車Apache

12、Apex 簡介；Apache Apex 開發(fā)環(huán)境配 置；運行Top N Words應用2/2了解Apex的 特點；熟悉熟 悉該應用的主 要功能。案例教學教室 機房 一體 化實 訓室11事件流 OLAP 之 DruidJavaBcan 在電了商城 中的典型應用Druid簡介；Druid應用場 所；Druid集群；Dru i d單機環(huán) 境4/4熟悉單機環(huán)境 下Druid的搭 建。；掌握使用 Druid進行加 載和查詢數(shù) 據(jù)。案例教學教室 機房 一體 化實 訓室12事件數(shù) 據(jù)流引 擎 Flink用戶登錄程 序(JavaBcan十JcivaBean) 網(wǎng)站計數(shù)器Fl ink概述;Fl ink基本架 構(gòu)

13、；單機安裝 Flink；Fl ink運行第 一個例子Fl ink集群部 署4/4了解Plink系 統(tǒng)中包含的主 要進程間的作 用；熟悉Flink 的簡單操作。案例教學教室 機房 一體 化實 訓室13分布式 文件搜 索 Elasticsearc h購物網(wǎng)站Elasticsear ch簡介； Elasticsear ch單節(jié)點安 裝； 插件Elasticsear ch-head 安 裝； Elasticsear ch的基本操 作； 綜合實戰(zhàn)4/4了解什么是 Elasticsearc h o ；理解Elasticsearc h的基本架 構(gòu)。； 掌握掌握 Elasticsearc h安裝方法及 基本的

14、應用。案例教學教室 機房 一體 化實 訓室14實例電 商數(shù)據(jù) 分析JavaBcan 封裝數(shù)據(jù)庫 操作背景與挖掘 目標；分析方法與 過程4/4熟悉用爬蟲從 網(wǎng)絡獲取數(shù)據(jù) 進行預處理并 導入到 Hadoopo ；案例教學教室 機房 一體 化實 訓室熟悉對數(shù)據(jù)進 行統(tǒng)計挖掘分 析。（二）實驗（實訓）安排該課程的實訓已融入了教學，是教學與實訓同時進行，在教學安排中已表達 實踐，實踐課與理論課各一半，分別為36節(jié)。實訓環(huán)境均為教室機房一體化實 訓室，實訓的設備要求為標準的計算機皆可，實訓的軟件環(huán)境已在教學過程中體 現(xiàn)與完成安裝。四、課程實施保障（一）教材的選用及編寫建議1、教材的選用大數(shù)據(jù)技術(shù)與應用基礎

15、，陳志德等，人民郵電出版社，2017o該教材遵循“夠用、實用”的原那么，以真實任務為驅(qū)動，在真實環(huán)境中介紹 局域網(wǎng)組件知識和技能，采用“理論實踐一體化”的教學思想，符合“做中學， 學中做”的教學理念，便于實現(xiàn)“教、學、做”三位一體。2、教材編寫建議教材編寫可以采用章節(jié)工程+理論知識+案例導入的方式展開，注重突出核心 內(nèi)容，注重實踐與理論之間的相互聯(lián)系，在突出內(nèi)容階段性的同時提高學生的動 手能力。（二）教學參考資料推薦建議1、Hadoop大數(shù)據(jù)開發(fā)，林雪綱等，人民郵電出版社，2017o2、基于Hadoop與Spark的大數(shù)據(jù)開發(fā)實戰(zhàn)，人民郵電出版社，肖睿、 丁科、吳剛山。（三）主要教學方法建議1

16、、課程組織形式本課程以培養(yǎng)崗位職業(yè)能力為核心，采用基于工作過程的案例教學。課程組 堅持以大數(shù)據(jù)應用開發(fā)職業(yè)能力培養(yǎng)為主線，以技術(shù)應用為關(guān)鍵，以培養(yǎng)大數(shù)據(jù) 開發(fā)與應用等崗位的職業(yè)能力為目標，以崗位工作任務為依據(jù)來選擇教學工程， 并將其轉(zhuǎn)化為課程教學內(nèi)容。2、教學方法針對大數(shù)據(jù)開發(fā)課程特點，結(jié)合軟件企業(yè)對學生的實際需求，積極探索新穎、 先進的教學方法，改進教學手段，優(yōu)化教學資源，提高教學質(zhì)量和教學效率。本 課程采用“工程驅(qū)動，案例教學，一體化課堂”的教學模式開展教學。教學課程 以“MACL”教學方法為主線。按照“工程展示一教師演示一學生模仿一課堂實踐 f總結(jié)提高”流程為組織教學過程。每個教學單元完

17、成相應的實訓工作任務，48 課時內(nèi)完成教師與學生互動的講練結(jié)合教學過程。課程的理論實踐一體化教學全 過程全部安排在設施先進的多媒體機房進行，教學中以學生為中心，教師和企業(yè) 現(xiàn)場專家全程負責講授知識，答疑解惑、指導工程設計，充分調(diào)動師生雙方的積 極性，達成教學目標。3、學習場地、實訓條件該課程要求在理論實踐一體化教師(多媒體機房)開展教學，以實現(xiàn)“教、 學、做“合一，同時要求安裝多媒體教學軟件，方便下發(fā)教學任務和收集學生課 堂實踐任務。還要求一個供學生工程開發(fā)、研討學習的軟件開發(fā)工作室，模仿在真實的職 業(yè)環(huán)境中完成軟件產(chǎn)品開發(fā)，體驗企業(yè)文化，培養(yǎng)職業(yè)態(tài)度和習慣。(五)課程教學團隊建議擔任本課程的

18、主講教師需要熟練使用Linux操作系統(tǒng)，具有豐富的Java程 序設計和Python開發(fā)經(jīng)驗，熟悉Java Web程序設計的相關(guān)技術(shù)；熟練使用 MyEclipse開發(fā)工具和Hadoop開發(fā)環(huán)境以及常用的經(jīng)典大數(shù)據(jù)開發(fā)工具。同時， 需要具備較豐富的教學經(jīng)驗和較強的課堂組織能力。能理論聯(lián)系實際，通過案例 分析，充分調(diào)動學生學習的積極性，根據(jù)高職高專教育的實際情況，因材施教。 并且能在教學工作中不斷地學習，充實自己的知識結(jié)構(gòu)和內(nèi)涵，保證較高的教學 質(zhì)量，并應根據(jù)教學需要盡量聘請企業(yè)一線的有關(guān)人士作實訓內(nèi)容的教學。(1)打破傳統(tǒng)的教學模式，注意教學方法的靈活性，建立多種教學媒體綜合 利用的運行機制，逐步建立適合學生個別化自主學習的支持服務體系和質(zhì)量保證 體系。(2)充分發(fā)揮學生的主動性，并能激發(fā)學生的學習熱情，使學生會學習和主 動學習。(3)培養(yǎng)學生發(fā)現(xiàn)問題、分析問題、解決問題的能力和探究意。(4)理論實踐一體化，注重培養(yǎng)學生的實踐能力。(5)工程課程在培訓職業(yè)能力和傳授相應知識的同進，必須重視職業(yè)道德和 職業(yè)意識教育的滲透，幫助學生養(yǎng)成良好的個人品格和行為習慣，培養(yǎng)愛崗敬業(yè) 精神