《Hadoop大數(shù)據(jù)處理》課程教學大綱

《Hadoop大數(shù)據(jù)處理》教學大綱一、課程基本信息課程名稱Hadoop大數(shù)據(jù)處理BigDataProcessingWithHadoop課程編碼SCC310121020開課院部理學院課程團隊數(shù)據(jù)科學團隊學分2.0課內(nèi)學時48講授0實驗0上機48實踐0課外學時48適用專業(yè)數(shù)學與應用數(shù)學授課語言中文先修課程數(shù)值計算方法、數(shù)理統(tǒng)計課程簡介（限選）課程性質(zhì)：本課程是數(shù)學與應用數(shù)學專業(yè)的限選課。主要教學內(nèi)容：本課程針對大數(shù)據(jù)處理分析中需求多樣性，從初學者角度出發(fā)，基于Hadoop環(huán)境以豐富的實例深入介紹大數(shù)據(jù)常用分析及計算模式技術(shù)。本課程的教學內(nèi)容主要包括Hadoop集群環(huán)境搭建，分布式文件系統(tǒng)HDFS，MapReduce，Hadoop框架下MapReduce工作機制，使用MapReduce進行多個實例開發(fā)實踐等。課程教學目標：本課程在教學過程中注重掌握大數(shù)據(jù)分析的實踐操作，通過豐富簡單易上手的實例，讓學生切實掌握大數(shù)據(jù)分析工具的特點及應用。Coursenature:Thiscourseisalimitedcourseformathematicsandappliedmathematicsmajors.Mainteachingcontent:Thiscourseaimsatthediversityofrequirementsinbigdataprocessinganalysis.Fromtheperspectiveofbeginners,basedonHadoopenvironment,itintroducesthecommonanalysisandcalculationmodetechnologyofbigdatawithrichexamples.TheteachingcontentofthiscoursemainlyincludesHadoopclusterenvironmentconstruction,distributedfilesystemHDFS,MapReduce,MapReduceworkingmechanismunderHadoopframework,multi-instancedevelopmentpracticeusingMapReduce,etc.Teachingobjectiveofthecourse:Thiscoursefocusesonmasteringthepracticaloperationofbigdataanalysisintheteachingprocess,andenablesstudentstomasterthecharacteristicsandapplicationofbigdataanalysistoolsthroughabundantsimpleandeasy-to-useexamples.負責人大綱執(zhí)筆人審核人二、課程目標序號代號課程目標OBE畢業(yè)要求指標點任務自選1M1目標1：了解大數(shù)據(jù)的發(fā)展和基本概念，理解并掌握大數(shù)據(jù)的特征及主要技術(shù)，了解大數(shù)據(jù)目前常用計算模式的各種系統(tǒng)及工具。是3.12M2目標2：深刻了解Hadoop的理論基礎(chǔ)，理解并掌握Hadoop單機及集群環(huán)境的部署方法，理解HDFS、MapReduce的原理，能夠獨立編寫滿足自己需求的MapReduce程序，了解目前國際前沿平臺處理方法。是4.24.23M3目標3：通過課程項目的實踐，初步掌握使用大數(shù)據(jù)平臺處理的能力，培養(yǎng)學生實踐開發(fā)能力。是4M4目標4：能保障課程正常秩序（政治層面、課堂保障層面，非學生能力層面）否三、課程內(nèi)容序號章節(jié)號標題課程內(nèi)容/重難點支撐課程目標課內(nèi)學時教學方式課外學時課外環(huán)節(jié)1第1章第1章大數(shù)據(jù)及大數(shù)據(jù)系統(tǒng)概述本章重點和難點：大數(shù)據(jù)的特征及其計算模式和技術(shù)層面間的關(guān)聯(lián)。////21.11.1大數(shù)據(jù)概述大數(shù)據(jù)概念、特征、數(shù)據(jù)計量單位及大數(shù)據(jù)的類型。M11學時講授、討論1學時課后作業(yè)31.21.2大數(shù)據(jù)系統(tǒng)大數(shù)據(jù)系統(tǒng)的設(shè)計背景；大數(shù)據(jù)系統(tǒng)整體邏輯架構(gòu)設(shè)計及運行邏輯；當前大數(shù)據(jù)系統(tǒng)主流架構(gòu)。M11學時講授、討論1學時課后作業(yè)4第2章第2章Hadoop初步認識本章重點和難點：Hadoop搭建；Hadoop集群命令及編程開發(fā)。////52.12.1初識HadoopHadoop簡介；Hadoop存儲；Hadoop計算；Hadoop資源管理；Hadoop生態(tài)系統(tǒng)。M1,M22學時講授、上機2學時課后作業(yè)62.22.2Hadoop環(huán)境搭建及IDE配置Hadoop集群搭建；環(huán)境配置；集群啟動、關(guān)閉與監(jiān)控。M1,M22學時講授、上機2學時課后作業(yè)72.32.3Hadoop集群命令Hadoop常用命令介紹；Hadoop編程開發(fā)介紹。M1,M22學時講授、上機2學時課后作業(yè)8實驗1實驗1：Hadoop環(huán)境搭建及常用命令使用Hadoop環(huán)境搭建及常用命令使用實驗M2,M34學時實驗、上機4學時撰寫實驗報告9第3章第3章HDFS分布式文件系統(tǒng)本章重點和難點：HDFS的兩種使用方法。////103.13.1HDFSHDFS基本原理；HDFS的系統(tǒng)組成介紹；HDFS的組成部分詳解；副本存放策略及路由規(guī)則；NameNodeFederation。M1,M22學時講授、上機2學時課后作業(yè)113.23.2命令行接口HDFS文件系統(tǒng)的命令操作。M1,M22學時講授、上機2學時課后作業(yè)123.33.3Java接口Java對HDFS的程序開發(fā)操作；HadoopRPC；HDFS讀取數(shù)據(jù)過程。M1,M24學時講授、上機4學時課后作業(yè)13實驗2實驗2：HDFS的兩種操作實驗HDFS的兩種操作實驗M2,M34學時實驗、上機4學時撰寫實驗報告14第4章第4章MapReduce入門編程本章重點和難點：MapReduce原理；MapReduce編程邏輯。////154.14.1MapReduce原理MapReduce設(shè)計思想、基本概念；MapReduce的系統(tǒng)架構(gòu)、作業(yè)運行機制和關(guān)鍵技術(shù)。M1,M22學時講授、上機2學時課后作業(yè)164.24.2Yarn模型Yarn模型；序列化。M1,M22學時講授、上機2學時課后作業(yè)174.34.3MapReduce的類型與格式MapReduce的數(shù)據(jù)類型的自定義以及數(shù)據(jù)類型的使用；MapReduce開發(fā)，定制輸入輸出的數(shù)據(jù)格式。M1,M22學時講授、上機2學時課后作業(yè)184.44.4MapReduce應用開發(fā)MapReduce應用開發(fā)；示例講解MapReduce算法原理。M2,M32學時講授、上機2學時課后作業(yè)19實驗3實驗3：MapReduce使用實驗MapReduce使用實驗M2,M34學時實驗、上機4學時撰寫實驗報告20第5章第5章MapReduce進階編程本章重點和難點：MapReduce框架中的進階應用。////215.15.1MapReduce的輸入輸出MapReduce的輸入及輸出格式；使用壓縮分隔減少輸入規(guī)模。M1,M23學時講授、上機3學時課后作業(yè)225.25.2MapReduce的進階編程HadoopJavaAPI使用；利用Combiner減少中間數(shù)據(jù)；編寫Partitioner優(yōu)化負載均衡；自定義排序規(guī)則；自定義分組規(guī)則；MapReduce優(yōu)化。M2,M33學時講授、上機3學時課后作業(yè)23實驗4實驗4：MapReduce編程實戰(zhàn)MapReduce編程實戰(zhàn)。M2,M36學時實驗、上機6學時撰寫實驗報告四、考核方式序號考核環(huán)節(jié)操作細節(jié)總評占比1課堂表現(xiàn)隨機檢查學生上課精神狀態(tài)、回答問題情況5%2實驗.本課程4周實驗，共4次實驗。2.成績采用百分制，根據(jù)實驗完成情況評分。3.考核學生實機操作能力，使學生掌握在本機與多臺機器集群實現(xiàn)HDFS文件管理及執(zhí)行MapReduce應用程序，并運用Hadoop進行數(shù)據(jù)處理、訓練、建立模型、訓練驗證模型、預測結(jié)果。60%3考勤隨機點名、刷卡點名等5%4大作業(yè)1.本課程要求利用Hadoop實現(xiàn)大數(shù)據(jù)模型實現(xiàn)，兩到三人一組共同完成一道大數(shù)據(jù)競賽題目，并提交論文并答辯。2.根據(jù)模型建立情況、論文方案的準確性和個人在大作業(yè)的貢獻率評分。30%五、評分細則序號課程目標考核環(huán)節(jié)大致占比評分等級1M1課堂表現(xiàn)10%A-精神狀態(tài)飽滿，回答問題準確。B-精神狀態(tài)良好，問題回答較好。C-精神狀態(tài)一般，問題回答一般。D-很少參加課堂討論，精神狀態(tài)較差，回答問題有誤。2M1實驗60%A-按時提交實驗報告，數(shù)據(jù)分析符合規(guī)范，結(jié)論無誤。B-按時提交實驗報告，數(shù)據(jù)分析基本規(guī)范，結(jié)論基本正確。C-數(shù)據(jù)分析過程存在問題。D-未提交實驗報告或?qū)嶒瀳蟾娲嬖趪乐爻u現(xiàn)象。3M1大作業(yè)30%A-按時提交大作業(yè)論文，數(shù)據(jù)分析符合規(guī)范，結(jié)論無誤，課程答辯講解清楚，回答問題正確。B-按時提交大作業(yè)論文，數(shù)據(jù)分析基本規(guī)范，結(jié)論基本正確，課程答辯講解較清楚，回答問題基本正確。C-數(shù)據(jù)分析過程存在問題，課程答辯講解不清，回答問題有錯誤。D-未提交大作業(yè)論文或大作業(yè)論文存在嚴重抄襲現(xiàn)象，未參加課程答辯。4M2大作業(yè)40%A-按時提交大作業(yè)論文，數(shù)據(jù)分析符合規(guī)范，結(jié)論無誤，課程答辯講解清楚，回答問題正確。B-按時提交大作業(yè)論文，數(shù)據(jù)分析基本規(guī)范，結(jié)論基本正確，課程答辯講解較清楚，回答問題基本正確。C-數(shù)據(jù)分析過程存在問題，課程答辯講解不清，回答問題有錯誤。D-未提交大作業(yè)論文或大作業(yè)論文存在嚴重抄襲現(xiàn)象，未參加課程答辯。5M2實驗60%A-按時提交實驗報告，數(shù)據(jù)分析符合規(guī)范，結(jié)論無誤。B-按時提交實驗報告，數(shù)據(jù)分析基本規(guī)范，結(jié)論基本正確。C-數(shù)據(jù)分析過程存在問題。D-未提交實驗報告或?qū)嶒瀳蟾娲嬖趪乐爻u現(xiàn)象。6M3大作業(yè)50%A-按時提交大作業(yè)論文，數(shù)據(jù)分析符合規(guī)范，結(jié)論無誤，課程答辯講解清楚，回答問題正確。B-按時提交大作業(yè)論文，數(shù)據(jù)分析基本規(guī)范，結(jié)論基本正確，課程答辯講解較清楚，回答問題基本正確。C-數(shù)據(jù)分析過程存在問題，課程答辯講解不清，回答問題有錯誤。D-未提交大作業(yè)論文或大作業(yè)論文存在嚴重抄襲現(xiàn)象，未參加課程答辯。7M3實驗50%A-按時提交實驗報告，數(shù)據(jù)分析符合規(guī)范，結(jié)論無誤。B-按時提交實驗報告，數(shù)據(jù)分析基本規(guī)范，結(jié)論基本正確。C-數(shù)據(jù)分析過程存在問題。D-未提交實驗報告或?qū)嶒瀳蟾娲嬖趪乐爻u現(xiàn)象。8M4考勤100%A-全勤。B-缺勤1次。C-缺勤2-3次。D-缺勤3次及以上。評分等級說明：[A,B,C,D,E]=[90-100,80-89,70-79,60-69,0-59];[A,B,C,D]=