《大數(shù)據(jù)采集與預(yù)處理》大數(shù)據(jù)Hadoop平臺(tái)的Flume數(shù)據(jù)采集框架-日志數(shù)據(jù)采集應(yīng)用案例-02

《大數(shù)據(jù)采集與預(yù)處理》課程教案開(kāi)課學(xué)院課程名稱(chēng)授課學(xué)期授課教師授課班級(jí)總課時(shí)64

模塊/項(xiàng)目九任務(wù)9《大數(shù)據(jù)Hadoop平臺(tái)的Flume數(shù)據(jù)采集框架——日志數(shù)據(jù)采集應(yīng)用案例》教學(xué)設(shè)計(jì)方案一、教學(xué)分析課題名稱(chēng)Flume的配置和案例應(yīng)用授課方式線上線下、理實(shí)一體授課學(xué)時(shí)2授課地點(diǎn)授課時(shí)間教學(xué)內(nèi)容掌握Flume的Source、Channel和Sink的結(jié)構(gòu)及配置要點(diǎn)；學(xué)會(huì)查閱官方文檔確定配置項(xiàng)；針對(duì)web日志和TCP端口的數(shù)據(jù)采集能進(jìn)行實(shí)施學(xué)情分析通過(guò)前面的學(xué)習(xí)，學(xué)生已經(jīng)初步了解了大數(shù)據(jù)情況下數(shù)據(jù)采集將面臨的挑戰(zhàn)，對(duì)Hadoop生態(tài)圈和Flume有了基本的了解。教學(xué)目標(biāo)知識(shí)目標(biāo)掌握Flume的配置方法和步驟掌握web日志采集的場(chǎng)景下，如何實(shí)現(xiàn)對(duì)文件夾的監(jiān)控和采集掌握TCP端口的數(shù)據(jù)采集能力目標(biāo)能根據(jù)業(yè)務(wù)場(chǎng)景設(shè)計(jì)采集方案能根據(jù)官網(wǎng)文檔進(jìn)行配置文件的編寫(xiě)能夠解決運(yùn)行過(guò)程中遇到的異常能夠靈活組合Flume，實(shí)現(xiàn)多級(jí)數(shù)據(jù)采集素質(zhì)目標(biāo)課程思政育人目標(biāo)：線上線下結(jié)合，引導(dǎo)學(xué)習(xí)方式，培養(yǎng)自主學(xué)習(xí)能力；培養(yǎng)學(xué)生分析方法、孜孜不倦；通過(guò)小組協(xié)作學(xué)習(xí)，提高學(xué)生解決問(wèn)題能力和培養(yǎng)學(xué)生團(tuán)隊(duì)合作精神；在實(shí)踐教學(xué)中培養(yǎng)學(xué)生精益求精的工匠精神；勞動(dòng)教育目標(biāo)：在學(xué)生進(jìn)行數(shù)據(jù)采集、HDFS操作實(shí)踐練習(xí)過(guò)程中培養(yǎng)學(xué)生勤儉、奮斗、創(chuàng)新、奉獻(xiàn)的勞動(dòng)精神。教學(xué)重點(diǎn)掌握Flume配置編寫(xiě)的過(guò)程；掌握文件夾監(jiān)控，TCP端口監(jiān)控采集的配置過(guò)程教學(xué)難點(diǎn)解決運(yùn)行過(guò)程中遇到的異常二、教學(xué)策略教學(xué)資源教材頁(yè)、多媒體課件、重慶高等教育智慧教育平臺(tái)任務(wù)模塊五、國(guó)家職業(yè)教育智慧教育平臺(tái)大數(shù)據(jù)技術(shù)專(zhuān)業(yè)教學(xué)資源庫(kù)、理實(shí)一體化實(shí)訓(xùn)室、教學(xué)方法與手段通過(guò)學(xué)情調(diào)研，分析學(xué)情，根據(jù)學(xué)生基礎(chǔ)情況，設(shè)計(jì)教學(xué)策略；通過(guò)多媒體演示的方法進(jìn)行講授，講授過(guò)程中根據(jù)學(xué)生的掌握情況調(diào)整教學(xué)策略，進(jìn)行課堂互動(dòng)討論；通過(guò)情境教學(xué)法營(yíng)造情境，進(jìn)行實(shí)踐操作演示，耐心地進(jìn)行學(xué)生實(shí)踐指導(dǎo)；通過(guò)小組協(xié)作的方式，提高學(xué)生解決問(wèn)題的能力，培養(yǎng)學(xué)生團(tuán)隊(duì)合作意識(shí)；通過(guò)理論與實(shí)踐相結(jié)合的方式，讓學(xué)生在實(shí)踐中加深對(duì)理論知識(shí)的理解；采用線上線下混合教學(xué)模式，提升教學(xué)質(zhì)量。教學(xué)重點(diǎn)解決措施根據(jù)學(xué)生基礎(chǔ)情況自然引入課程內(nèi)容；通過(guò)多媒體演示、課堂互動(dòng)討論等方式提高講授質(zhì)量；通過(guò)小組協(xié)作的方式，提高學(xué)生參與課堂的積極性；通過(guò)細(xì)致地進(jìn)行實(shí)踐操作演示，讓學(xué)生理解實(shí)踐操作步驟；通過(guò)線上線下混合教學(xué)模式，豐富教學(xué)方式，為學(xué)生提供反復(fù)學(xué)習(xí)的機(jī)會(huì)，并開(kāi)展線上答疑。教學(xué)難點(diǎn)解決措施由于本次課教學(xué)難點(diǎn)主要在實(shí)踐操作方面，所以本次課將從以下三個(gè)方面解決本次課教學(xué)難點(diǎn)：通過(guò)線上線下混合教學(xué)模式，豐富教學(xué)方式，為學(xué)生提供反復(fù)學(xué)習(xí)的機(jī)會(huì)，并開(kāi)展線上答疑；通過(guò)細(xì)致地進(jìn)行實(shí)踐操作演示，讓學(xué)生理解實(shí)踐操作步驟；通過(guò)課堂互動(dòng)，解除學(xué)生疑惑，讓學(xué)生一步一步解決問(wèn)題；三、教學(xué)實(shí)施第X次課（2課時(shí)）課前準(zhǔn)備教學(xué)內(nèi)容教師活動(dòng)學(xué)生活動(dòng)設(shè)計(jì)意圖備注教學(xué)環(huán)境準(zhǔn)備調(diào)試好教室的硬件設(shè)備和軟件環(huán)境準(zhǔn)備好教學(xué)需要使用的工具發(fā)布教學(xué)資料準(zhǔn)備任務(wù)準(zhǔn)備好教材、課堂記錄本、筆等學(xué)習(xí)用品。培養(yǎng)學(xué)生養(yǎng)成良好的學(xué)習(xí)習(xí)慣、督促學(xué)生進(jìn)入良好的學(xué)習(xí)狀態(tài)教學(xué)內(nèi)容準(zhǔn)備根據(jù)學(xué)情分析、教學(xué)內(nèi)容和教學(xué)環(huán)境，研究和準(zhǔn)備教學(xué)內(nèi)容、設(shè)計(jì)和制作教學(xué)資源（包括多媒體課件，教學(xué)案例等）預(yù)習(xí)學(xué)習(xí)內(nèi)容更好地開(kāi)展課堂教學(xué)激發(fā)學(xué)生主動(dòng)學(xué)習(xí)、提高學(xué)生信息整理能力教學(xué)策略準(zhǔn)備根據(jù)學(xué)情分析、教學(xué)內(nèi)容和教學(xué)環(huán)境，設(shè)計(jì)教學(xué)策略學(xué)習(xí)小組進(jìn)行課前預(yù)習(xí)知識(shí)討論、研究本次課學(xué)習(xí)方法更加有效地提高教學(xué)質(zhì)量、促進(jìn)學(xué)生對(duì)本次課知識(shí)的理解和技能的掌握課中探究教學(xué)內(nèi)容教師活動(dòng)學(xué)生活動(dòng)設(shè)計(jì)意圖課程引入-復(fù)習(xí)前面學(xué)習(xí)的內(nèi)容、引入本次課內(nèi)容復(fù)習(xí)之前的HDFS基本操作，重溫面臨的挑戰(zhàn)認(rèn)真聽(tīng)講、思考回答問(wèn)題、積極參與課堂討論讓學(xué)生復(fù)習(xí)上次課學(xué)習(xí)內(nèi)容的重點(diǎn)培養(yǎng)學(xué)生積極探索、勇于創(chuàng)新的科學(xué)素養(yǎng)掌握Flume的Source、Channel和Sink的工作原理講解Flume的設(shè)計(jì)理念，特別注意講解散入散出的概念；同時(shí)講解級(jí)聯(lián)采集的理念；認(rèn)真聽(tīng)講、小組討論、課堂提問(wèn)通過(guò)小組協(xié)作學(xué)習(xí)，提高學(xué)生解決問(wèn)題能力和培養(yǎng)學(xué)生團(tuán)隊(duì)合作精神在實(shí)踐教學(xué)中培養(yǎng)學(xué)生精益求精的工匠精神培養(yǎng)勤儉、奮斗、創(chuàng)新、奉獻(xiàn)的勞動(dòng)精神Flume的配置基礎(chǔ)以一個(gè)監(jiān)控文件內(nèi)容的案例，講解配置文件的配置方式，尤其注意講明如何根據(jù)官網(wǎng)文檔進(jìn)行對(duì)應(yīng)項(xiàng)的配置；同時(shí)，講解如何執(zhí)行Flume進(jìn)行數(shù)據(jù)采集。認(rèn)真聽(tīng)講，認(rèn)真進(jìn)行實(shí)踐練習(xí)，完成實(shí)踐練習(xí)項(xiàng)目讓學(xué)生理解并掌握如何利用官網(wǎng)文檔進(jìn)行Flume的配置，以及如何啟動(dòng)Flume采集，通過(guò)小組協(xié)作學(xué)習(xí)，提高學(xué)生解決問(wèn)題能力和培養(yǎng)學(xué)生團(tuán)隊(duì)合作精神Web日志采集和TCP端口數(shù)據(jù)采集基于兩個(gè)典型的大數(shù)據(jù)采集場(chǎng)景。講解如何進(jìn)行web日志采集和TCP端口采集。注意講解如何實(shí)現(xiàn)級(jí)聯(lián)采集，如何設(shè)置Source為文件夾，Sink為HDFS；尤其注意講解如何解決執(zhí)行過(guò)程中出現(xiàn)的各類(lèi)異常。認(rèn)真聽(tīng)講、小組討論、課堂展示讓學(xué)生理解并掌握基于文件夾和TCP的采集，同時(shí)理解級(jí)聯(lián)采集的應(yīng)用場(chǎng)景。通過(guò)小組協(xié)作學(xué)習(xí)，提高學(xué)生解決問(wèn)題能力和培養(yǎng)學(xué)生團(tuán)隊(duì)合作精神培養(yǎng)學(xué)生語(yǔ)言表達(dá)能力培養(yǎng)勤儉、奮斗、創(chuàng)新、奉獻(xiàn)的勞動(dòng)精神課后拓展教學(xué)內(nèi)容教師活動(dòng)學(xué)生活動(dòng)設(shè)計(jì)意圖完成課后作業(yè)布置課后任務(wù)、進(jìn)行課后答疑根據(jù)文檔實(shí)現(xiàn)采集數(shù)據(jù)放入MySQL中。掌握本次課的知識(shí)與技能總結(jié)本次任務(wù)，預(yù)習(xí)新知識(shí)布置總結(jié)及預(yù)習(xí)任務(wù)完成課后總結(jié)及預(yù)習(xí)任務(wù)培養(yǎng)學(xué)生課后總結(jié)復(fù)習(xí)、課前預(yù)習(xí)的良好習(xí)慣?？己嗽u(píng)價(jià)本次課通過(guò)對(duì)學(xué)生課前、課中、課后的綜合表現(xiàn)情況評(píng)價(jià)完成本