Hadoop大數(shù)據(jù)分析課程標準

Hadoop大數(shù)據(jù)分析課程標準一、課程概況課程名稱Hadoop大數(shù)據(jù)分析課程代碼20116002適用專業(yè)信息與計算科學開課學期第6學期課程性質(zhì)專業(yè)任選課程學時/學分51/2預修課程《Java高級編程》《Python語言程序設計》二、課程目標課程目標1：認識Hadoop，并了解Hadoop的核心組件、生態(tài)系統(tǒng)與應用場景。掌握安裝及配置虛擬機，掌握安裝JDK，學會搭建Hadoop完全分布式集群。課程目標2：學會查看Hadoop集群的基本信息，掌握HDFS的原理和基礎操作，掌握MapReduce原理架構(gòu)、MapReduce程序的編寫，能夠編寫MapReduce程序來處理簡單任務。課程目標3：掌握MapReduce框架中的進階應用，包括自定義鍵值對、Combiner、Partitioner等，了解KNN算法與案例需求，通過MapReduce實現(xiàn)數(shù)據(jù)預處理以及KNN算法。三、課程目標與畢業(yè)要求的關(guān)系1、課程目標與畢業(yè)要求的對應關(guān)系畢業(yè)要求指標點課程目標3.

軟件開發(fā)3.1

具有熟練的計算機算法設計與軟件開發(fā)能力，能夠熟練掌握高級程序設計語言的語法,并設計適當?shù)臄?shù)據(jù)結(jié)構(gòu)和算法，編程解決實際問題。課程目標1課程目標24.

數(shù)據(jù)分析4.3

具有一定的大數(shù)據(jù)處理能力，能夠在大數(shù)據(jù)中挖掘有用信息。課程目標2課程目標35.外語體育5.2

掌握資料查詢、文獻檢索以及運用現(xiàn)代化技術(shù)獲取相關(guān)信息的基本方法。課程目標3

2、課程目標與畢業(yè)要求的矩陣關(guān)系圖思想政治數(shù)學基礎軟件開發(fā)數(shù)據(jù)分析外語體育人文發(fā)展1.11.21.32.12.22.33.13.23.34.14.24.35.15.25.36.16.26.3課程目標1M課程目標2MH課程目標3HM注：H

表示高支撐，M

表示中支撐，L

表示低支撐。

四、課程教學要求與重難點序號課程內(nèi)容框架教學要求教學重點教學難點1Hadoop介紹了解Hadoop的概念和特點；了解Hadoop的三大核心組件；了解Hadoop的生態(tài)系統(tǒng)；了解Hadoop的應用場景。Hadoop的特點；Hadoop核心組件HDFS和MapReduce。Hadoop的分布式思想；MapReduce分布式計算框架的運行流程；

YARN資源管理器的運行原理。2Hadoop集群的搭建及配置掌握安裝配置虛擬機；掌握如何在本地和Linux虛擬機中安裝JDK；掌握搭建Hadoop完全分布式集群環(huán)境。設置固定IP的方法；Hadoop集群的安裝和配置；Hadoop集群的啟動和關(guān)閉方法。Hadoop集群的安裝和配置。3Hadoop集群基礎操作掌握查看存儲系統(tǒng)的基本信息；掌握查看Hadoop集群的計算資源；掌握HDFS文件系統(tǒng)的基本操作；掌握以hadoopjar方式提交MapReduce任務；能夠管理MapReduce多任務。HDFS文件系統(tǒng)操作方法；如何提交MapReduce任務。HDFS基礎操作；提交和中斷MapReduce任務。4MapReduce入門編程掌握如何搭建MapReduce開發(fā)環(huán)境；掌握以Eclipse創(chuàng)建MapReduce工程；理解MapReduce的基本原理及執(zhí)行流程；讀懂Hadoop官方示例WordCount的源碼；掌握MapReduce編程的基本思路；理解map函數(shù)與reduce函數(shù)的處理邏輯；能夠編寫MapReduce程序處理簡單任務。MapReduce處理邏輯和編程；MapReduce程序打包和運行。MapReduce框架的運行流程；MapReduce程序的編程邏輯。5MapReduce進階編程掌握HadoopJavaAPI的使用；理解Combiner的工作原理；掌握使用Combiner對MapReduce工作流程進行優(yōu)化；了解Hadoop內(nèi)置數(shù)據(jù)類型；掌握編寫和使用自定義數(shù)據(jù)類型；掌握編寫和使用Partitioner設置分區(qū)；掌握MapReduce參數(shù)傳遞方式；學會使用ToolRunner提交MapReduce任務；掌握使用Eclipse提交MapReduce任務。自定義鍵值對；Combiner和Partitioner的原理和編程；參數(shù)傳遞的方式。自定義鍵值對類型的方式；Combiner與Partitioner的應用場景和編程邏輯。6項目案例：電影網(wǎng)站用戶性別預測理解KNN算法的原理；掌握以MapReduce編程實現(xiàn)KNN算法；掌握以MapReduce編程實現(xiàn)KNN分類器評價。MapReduce實現(xiàn)數(shù)據(jù)預處理；MapReduce實現(xiàn)KNN算法。MapReduce實現(xiàn)KNN算法的處理邏輯；MapReduce實現(xiàn)分類結(jié)果評價；MapReduce實現(xiàn)模型。

五、課程教學內(nèi)容、教學方式、學時分配及對課程目標的支撐情況序號課程內(nèi)容框架教學內(nèi)容教學方式學時支撐課程目標1Hadoop介紹1.Hadoop的發(fā)展歷史2.Hadoop的特點3.Hadoop的核心組件4.Hadoop的生態(tài)系統(tǒng)5.Hadoop的應用場景講授、PPT

輔助、課堂討論、實驗4課程目標12Hadoop集群的搭建及配置1.

設置固定IP的方法2.

設置遠程連接虛擬機3.Linux在線安裝軟件的方法4.

在Window和Linux下安裝Java5.

了解Hadoop集群相關(guān)配置文件6.SSH免密碼登錄配置7.

時間同步服務配置8.

啟動關(guān)閉Hadoop集群以及查看Hadoop集群監(jiān)控講授、PPT

輔助、課堂討論、實驗12課程目標13Hadoop集群基礎操作1.

解HDFS的操作方法2.MapReduce任務的運行和中斷方法3.

集群監(jiān)控的查看方法講授、PPT

輔助、課堂討論、實驗6課程目標24MapReduce入門編程1.Eclipse安裝2.MapReduce原理3.MapReduce的編程邏輯講授、PPT

輔助、課堂討論、實驗9課程目標25MapReduce進階編程1.MapReduce的輸入及輸出格式2.HadoopJavaAPI使用方法3.

自定義鍵值對方法4.Combiner及Partitioner的原理與編程5.

在Eclipse中提交MapReduce任務的方法講授、PPT

輔助、課堂討論、實驗12課程目標36項目案例：電影網(wǎng)站用戶性別預測1.KNN算法原理與實現(xiàn)步驟2.

案例要求與任務3.MapReduce編程邏輯4.

分類算法的評價指標講授、PPT

輔助、課堂討論、實驗8課程目標3

六、課程目標與考核內(nèi)容課程目標考核內(nèi)容評價依據(jù)課程目標1：認識Hadoop，并了解Hadoop的核心組件、生態(tài)系統(tǒng)與應用場景。掌握安裝及配置虛擬機，掌握安裝JDK，學會搭建Hadoop完全分布式集群。(支撐畢業(yè)要求指標點3.1)了解Hadoop的特點，Hadoop的核心組件，Hadoop的生態(tài)系統(tǒng)，Hadoop的應用場景。會安裝虛擬機，設置固定IP的方法，設置遠程連接虛擬機，Linux在線安裝軟件的方法，在Window和Linux下安裝Java。了解Hadoop集群相關(guān)配置文件，SSH免密碼登錄配置，時間同步服務配置，啟動關(guān)閉Hadoop集群以及查看Hadoop集群監(jiān)控。課堂表現(xiàn)；平時作業(yè)；平時測驗；期末考試。課程目標2：學會查看Hadoop集群的基本信息，掌握HDFS的原理和基礎操作，掌握MapReduce原理架構(gòu)、MapReduce程序的編寫，能夠編寫MapReduce程序來處理簡單任務。(支撐畢業(yè)要求指標點3.1,4.3)了解HDFS的操作方法，MapReduce任務的運行和中斷方法，集群監(jiān)控的查看方法。會Eclipse安裝，MapReduce開發(fā)環(huán)境的搭建。了解MapReduce原理和運行流程，理解MapReduce的編程邏輯。課堂表現(xiàn)；平時作業(yè)；平時測驗；期末考試。課程目標3：掌握MapReduce框架中的進階應用，包括自定義鍵值對、Combiner、Partitioner等，了解KNN算法與案例需求，通過MapReduce實現(xiàn)數(shù)據(jù)預處理以及KNN算法。(支撐畢業(yè)要求指標點4.3，5.2)掌握MapReduce的輸入及輸出格式，HadoopJavaAPI使用方法，

自定義鍵值對方法。理解并掌握Combiner及Partitioner的原理與編程，掌握在Eclipse中提交MapReduce任務的方法。理解KNN算法原理，MapReduce編程邏輯，分類算法的評價指標。課堂表現(xiàn)；平時作業(yè)；平時測驗；期末考試。七、考核方式與評價細則考核方式比例考核/評價細則課堂表現(xiàn)10%評價標準：根據(jù)學生上課出勤情況和課堂討論，回答問題等情況。基礎分90分；曠課一次扣

10

分，遲到、早退、事假一次扣

5

分；有效參與討論并正確回答問題一次加5分，最高100分。作業(yè)20%評價標準：根據(jù)學生提交的實驗報告和作業(yè)情況。一學期一個學生大約上交10次左右作業(yè)。如果作業(yè)給出A、B、C、D等級，則全部為A計100分；兩次及以上為A計90分；一次為A計85分；三次及以上為D計60分；其他80分。如果給出百分制的分值，則計為平均分。在此標準下，少交一次作業(yè)扣5分。平時測驗10%評價標準：1-2

次階段性檢測成績；如果是2次階段性測試，則每次成績各占百分之五十）期末考試60%評價標準：嚴格按照《Hadoop大數(shù)據(jù)分析》期末試題參考答案及評分細則進行閱卷。綜合成績100%課堂表現(xiàn)（10%）+

作業(yè)（20%）+平時測驗（10%）+期末考試（60%）八、課程目標達成度評價參考《數(shù)學學院課程目標達成度評價方法》進行評價。九、本課程各個課程目標的權(quán)重依據(jù)第八部分中的課程目標達成度評價方法，計算得到本課程的各個課程目標的權(quán)重如下：課程目標課程目標-1課程目標-2課程目標-3權(quán)值0.160.420.42十、持續(xù)改進根據(jù)學生的課堂表現(xiàn)、作業(yè)、平時測驗和期末考試情況及教學督導的反饋，檢驗學生對本課程涉及的學科素養(yǎng)和學會反思的達成情況，及時對教學中的不足之處進行改進，調(diào)整教學指導策略；根據(jù)學生的課堂表現(xiàn)、作業(yè)、平時測驗及期末考試成績，檢驗本課程所支撐的畢業(yè)要求分解指標點的達成度情況；根