《大數(shù)據(jù)分析技術(shù)》課程標準

《大數(shù)據(jù)分析》課程標準一、課程基本信息課程名稱：大數(shù)據(jù)分析課程類型：專業(yè)技能核心課學(xué)時學(xué)分：48學(xué)時，3學(xué)分（其中：實踐24學(xué)時）適用專業(yè)：大數(shù)據(jù)二、課程定位本課程主要定位于分布式數(shù)據(jù)存儲、數(shù)據(jù)分析等崗位。它是從事大數(shù)據(jù)可視化展示的必備課程，在整個課程體系中有重要作用，本課程的前導(dǎo)課程是Linux操作系統(tǒng)、大數(shù)據(jù)環(huán)境搭建與運維。后續(xù)課程：網(wǎng)絡(luò)爬蟲與數(shù)據(jù)采集、NoSQL數(shù)據(jù)庫技術(shù)及應(yīng)用。本教材主要以Hadoop生態(tài)體系為主線使用大數(shù)據(jù)離線項目貫穿詳細講解其各組件的功能和使用方法，包括Hadoop介紹、HDFS分布式文件系統(tǒng)、MapReduce計算框架、Hive數(shù)據(jù)倉庫工具、Sqoop數(shù)據(jù)遷移工具。全書知識點的講解由淺入深，內(nèi)容系統(tǒng)全面，使每一位讀者都能有所收獲，也保持了整本書的知識深度，可幫助開發(fā)人員快速實現(xiàn)大數(shù)據(jù)的離線分析。三、課程目標（一）總體目標通過學(xué)習(xí)本課程，需要掌握數(shù)據(jù)分析的常用方法及工具，掌握Hadoop生態(tài)體系中各組件的作用，掌握HDFS分布式文件系統(tǒng)的使用方法包括HDFSShell、Python操作HDFS等，掌握MapReduce數(shù)據(jù)清洗方法能夠?qū)崿F(xiàn)數(shù)據(jù)的清洗，掌握Hive數(shù)據(jù)庫的使用方法、掌握數(shù)據(jù)的導(dǎo)入導(dǎo)出操作、掌握SparkSQL實現(xiàn)數(shù)據(jù)分析方法、掌握使用Sqoop進行數(shù)據(jù)的導(dǎo)入導(dǎo)出操作。（二）具體目標1．知識目標通過本課程的學(xué)習(xí)，掌握數(shù)據(jù)分布式存儲方法，掌握大數(shù)據(jù)清洗的程序編寫規(guī)則和編寫語法，掌握向集群提交任務(wù)的方法，掌握使用Hive進行數(shù)據(jù)統(tǒng)計和存儲的方法，掌握數(shù)據(jù)的遷移操作。2．素質(zhì)目標引導(dǎo)學(xué)生誠實、守信、認真、嚴謹、踏實，具有較強的自信心、進取心。在學(xué)習(xí)過程中具有與人際交往、溝通、團隊協(xié)作和處理公共關(guān)系的能力。在完成項目過程中具有自學(xué)能力、獲取信息的能力，以及一定的組織、管理能力、具有敬業(yè)愛崗的職業(yè)意識和良好的職業(yè)道德意識。通過技能技術(shù)領(lǐng)域?qū)W習(xí)增強學(xué)生的民族自信心與自豪感，增強學(xué)生的愛國情懷、工匠精神，使學(xué)生明白他們是中國技術(shù)的未來的接班人，增強其不忘初心，砥礪前進，為中國夢努力奮斗的使命感，增強對社會主義核心價值觀的理解，增強學(xué)生對國家發(fā)展的信心。教學(xué)內(nèi)容與要求（一）確定教學(xué)內(nèi)容的原則以學(xué)生為本由于數(shù)據(jù)分析方法及應(yīng)用是一門理論與實際相結(jié)合的課程，需要學(xué)生動手上機實操，在設(shè)計教學(xué)內(nèi)容時以操作為主，理論講解為輔，讓學(xué)生多動手操作實踐。啟發(fā)創(chuàng)造原則最大限度地調(diào)動學(xué)生學(xué)習(xí)的積極性和自覺性，激發(fā)他們的創(chuàng)造性思維，從而使學(xué)生在融會貫通地掌握知識和技能的同時，引導(dǎo)學(xué)生發(fā)揮想象，在實例的基礎(chǔ)上進行個性化的創(chuàng)作，充分發(fā)展自己的創(chuàng)造性能力。聯(lián)系實際原則教學(xué)內(nèi)容必須要與實際相結(jié)合，讓學(xué)生感受到課程的真實性，從而提高學(xué)生學(xué)習(xí)的積極性，激發(fā)學(xué)生的學(xué)習(xí)興趣。（二）課程學(xué)時安排本課程基本教學(xué)學(xué)時為48學(xué)時，其中包括實踐學(xué)時24學(xué)時，當(dāng)教學(xué)計劃安排的學(xué)時超出本課程的學(xué)時范圍時，可根據(jù)就業(yè)面向的需要對超出部分的學(xué)時做適當(dāng)調(diào)整。（三）課程學(xué)習(xí)內(nèi)容設(shè)計與參考學(xué)時章節(jié)教學(xué)內(nèi)容教學(xué)內(nèi)容教學(xué)方法建議學(xué)時項目一初識電商產(chǎn)品數(shù)據(jù)的處理與分析任務(wù)一電商產(chǎn)品數(shù)據(jù)背景及數(shù)據(jù)分析概述技能點1電商產(chǎn)品數(shù)據(jù)背景技能點2大數(shù)據(jù)分析概念技能點3大數(shù)據(jù)分析應(yīng)用場景技能點4大數(shù)據(jù)分析指標任務(wù)二電商產(chǎn)品數(shù)據(jù)處理與分析項目準備技能點1大數(shù)據(jù)分析工具簡介技能點2大數(shù)據(jù)分析組件技能點3大數(shù)據(jù)分析流程技能點4大數(shù)據(jù)分析企業(yè)級應(yīng)用教學(xué)方法：互動提問，案例分析，視聽教學(xué)等理論4實踐4項目二電商產(chǎn)品數(shù)據(jù)分布式存儲任務(wù)一使用HDFSShell管理電商產(chǎn)品數(shù)據(jù)技能點1什么是HDFS技能點2HDFS存儲架構(gòu)技能點3HDFS文件存取機制技能點4HDFSShell基礎(chǔ)命令技能點6HDFSShell管理命令任務(wù)二使用hdfs庫管理電商產(chǎn)品數(shù)據(jù)技能點1hdfs庫簡介技能點2hdfs庫方法教學(xué)方法：互動提問，實操體驗，案例分析、操作等理論4實踐4項目三電商產(chǎn)品數(shù)據(jù)分布式處理任務(wù)一使用正則表達式匹配電商產(chǎn)品數(shù)據(jù)技能點1MapReduce簡介技能點2YARN簡介技能點3正則表達式任務(wù)二使用HadoopStreaming處理電商產(chǎn)品數(shù)據(jù)技能點1HadoopStreaming簡介技能點2HadoopStreaming使用教學(xué)方法：互動提問、視聽教學(xué)、案例講解、操作等理論4實踐4項目四電商產(chǎn)品數(shù)據(jù)離線分析任務(wù)一使用Hive創(chuàng)建電商產(chǎn)品數(shù)據(jù)庫技能點1Hive簡介技能點2Hive數(shù)據(jù)庫操作技能點3Hive表操作技能點4Hive數(shù)據(jù)操作任務(wù)二使用Hve對商產(chǎn)品數(shù)據(jù)統(tǒng)計技能點1算術(shù)運算技能點2數(shù)據(jù)查詢?nèi)蝿?wù)三使用Spark創(chuàng)建基于電商產(chǎn)品數(shù)據(jù)的分布式數(shù)據(jù)容器技能點1SparkSQL簡介技能點2DataFrame簡介技能點3DataFrame創(chuàng)建任務(wù)四使用SparkSQL完成電商產(chǎn)品數(shù)據(jù)分析技能點1數(shù)據(jù)查看技能點2數(shù)據(jù)過濾技能點3數(shù)據(jù)處理技能點4數(shù)據(jù)存儲教學(xué)方法：互動提問、視聽教學(xué)、案例講解、操作等理論4實踐4項目五電商產(chǎn)品數(shù)據(jù)實時分析任務(wù)一創(chuàng)建數(shù)據(jù)流技能點1流式計算簡介技能點2SparkStreaming簡介技能點3DStream簡介技能點4DStream創(chuàng)建任務(wù)二使用SparkStreaming對電商產(chǎn)品數(shù)據(jù)實時分析技能點1DStream轉(zhuǎn)換操作技能點2DStream窗口操作技能點3DStream輸出操作技能點4SparkStreaming啟動與停止教學(xué)方法：互動提問、視聽教學(xué)、案例講解、操作等理論4實踐4項目六電商產(chǎn)品數(shù)據(jù)遷移任務(wù)一根據(jù)電商產(chǎn)品數(shù)據(jù)統(tǒng)計結(jié)果創(chuàng)建數(shù)據(jù)表并查看技能點1Sqoop簡介技能點2Sqoop連接器技能點3Sqoop配置數(shù)據(jù)庫密碼方式技能點4列出所有數(shù)據(jù)庫技能點5列出中的所有表任務(wù)二使用Sqoop將Hive中電商產(chǎn)品數(shù)據(jù)統(tǒng)計結(jié)果導(dǎo)出技能點1Sqoop數(shù)據(jù)導(dǎo)入與導(dǎo)出技能點2其他常用命令教學(xué)方法：互動提問，案例分析，視聽教學(xué)、操作等。理論4實踐4五、課程標準適用范圍適用于高職大數(shù)據(jù)技術(shù)專業(yè)。六、關(guān)于課程標準的說明本課程是校企合作開發(fā)課，是專業(yè)必修課程，也是專業(yè)核心課，在大數(shù)據(jù)課程體系中的占據(jù)重要位置，與Python程序設(shè)計、Linux操作系統(tǒng)及后續(xù)課程大數(shù)據(jù)應(yīng)用開發(fā)、分析、可視化起到了承上啟下的作用。課程時間分配表供參考，在保證達到教學(xué)要求的前提下，教學(xué)過程中可根據(jù)具體情況對內(nèi)容次序和課時分配做適當(dāng)?shù)恼{(diào)整。七、考核及成績評定方式（一）考核方式：考試（二）成績評定辦法成績評定構(gòu)成：單元測驗分數(shù)/作業(yè)分數(shù)*40%+實踐分數(shù)*20%+期末考試分數(shù)*40%＝總成績（100分）成績評定細則：單元測驗/作業(yè)：4課時一次測驗/作業(yè)，根據(jù)完成情況給予評價。實踐：完成實訓(xùn)/實驗指導(dǎo)書中規(guī)定的每個實訓(xùn)項目，根據(jù)實訓(xùn)/實驗報告給予評價。期末考試：理論考試，覆蓋各教學(xué)單元的基本技術(shù)原理及應(yīng)用，著重考察對重點教學(xué)內(nèi)容的綜合掌握情況。鼓勵將過程考核、實際能力考核、全面考核等理念貫徹到課程考核中來，重點著眼于科學(xué)全面地評價學(xué)生綜合素質(zhì)，強化知識應(yīng)用