大數(shù)據(jù)導(dǎo)論-教案 第2章 大數(shù)據(jù)采集 教案

第2章大數(shù)據(jù)采集教案課程名稱：Python數(shù)據(jù)分析與應(yīng)用課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：32學(xué)時（其中理論32學(xué)時）總學(xué)分：2.0學(xué)分本章學(xué)時：4學(xué)時材料清單《Python數(shù)據(jù)分析與應(yīng)用》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標與基本要求教學(xué)目標以實例的形式引入大數(shù)據(jù)存儲與管理的基本應(yīng)用場景，介紹大數(shù)據(jù)存儲與管理的相關(guān)概念、傳統(tǒng)數(shù)據(jù)存儲技術(shù)、大數(shù)據(jù)時代數(shù)據(jù)存儲技術(shù)等，讓讀者初步了解大數(shù)據(jù)存儲與管理的基本原理和技術(shù)演進路線。然后，從基本結(jié)構(gòu)、應(yīng)用場景等方面介紹MySQL、Hive、HBase、MongoDB和Redis幾種主流的分布式存儲框架，為深入進行大數(shù)據(jù)存儲與管理的實踐應(yīng)用奠定基礎(chǔ)。最后，實現(xiàn)Flume和Sqoop的安裝和配置?；疽罅私獯髷?shù)據(jù)采集的概念和數(shù)據(jù)來源。了解傳統(tǒng)數(shù)據(jù)采集與大數(shù)據(jù)采集的區(qū)分與聯(lián)系。了解大數(shù)據(jù)采集的技術(shù)。熟悉大數(shù)據(jù)采集方法以及采集數(shù)據(jù)的流程。掌握Flume和Sqoop的安裝和配置。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。采集的數(shù)據(jù)在哪里？數(shù)據(jù)源哪些可以公開采集，哪些不能？數(shù)據(jù)的哪些特征決定用不同的采集技術(shù)？實時采集與非實時采集的應(yīng)用場景有哪些不同？分布式存儲框架中框架是什么？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。網(wǎng)絡(luò)采集的基本方法和所用工具的異同？數(shù)據(jù)倉庫中的數(shù)據(jù)采集是在什么場景下實施的，主要過程是什么？系統(tǒng)日志采集發(fā)生的場景，所用的主要技術(shù)有哪些？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。網(wǎng)絡(luò)數(shù)據(jù)采集遇到的問題及解決方法？未來數(shù)據(jù)采集的發(fā)展趨勢？由淺入深學(xué)習(xí)網(wǎng)絡(luò)采集的基本路徑是什么？主要知識點、重點與難點主要知識點大數(shù)據(jù)采集的概念和數(shù)據(jù)來源。網(wǎng)絡(luò)數(shù)據(jù)實時采集。系統(tǒng)日志數(shù)據(jù)采集?；跀?shù)據(jù)倉庫的數(shù)據(jù)批量采集。主流的大數(shù)據(jù)采集框架。重點大數(shù)據(jù)采集的概念和數(shù)據(jù)來源。網(wǎng)絡(luò)數(shù)據(jù)實時采集。難點系統(tǒng)日志數(shù)據(jù)采集?；跀?shù)據(jù)倉庫的數(shù)據(jù)批量采集。教學(xué)過程設(shè)計理論教學(xué)過程實例引入。了解大數(shù)據(jù)采集。大數(shù)據(jù)采集的概念和數(shù)據(jù)來源?；跀?shù)據(jù)倉庫的數(shù)據(jù)批量采集。系統(tǒng)日志數(shù)據(jù)采集。網(wǎng)絡(luò)數(shù)據(jù)實時采集。主流的大數(shù)據(jù)采集框架。教材與參考資料教材林濤，張良均．大數(shù)據(jù)導(dǎo)論[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用[M]．北京：人民郵電出版社．2018．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2版）[M]．北京：機械工