《大數(shù)據(jù)技術(shù)導(dǎo)論》-教案

大數(shù)據(jù)技術(shù)導(dǎo)論教學(xué)教案適用專業(yè)：大數(shù)據(jù)技術(shù)、軟件技術(shù)、人工智能等參考學(xué)時(shí)：共54學(xué)時(shí)，理論24學(xué)時(shí)/實(shí)踐30學(xué)時(shí)授課對(duì)象：大一學(xué)生課程類型：專業(yè)基礎(chǔ)課2023年9月

《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目一大數(shù)據(jù)與大數(shù)據(jù)時(shí)代課時(shí)1-4課時(shí)教學(xué)目的了解大數(shù)據(jù)技術(shù)的發(fā)展歷程了解大數(shù)據(jù)時(shí)代的產(chǎn)生的原因了解大數(shù)據(jù)對(duì)社會(huì)的影響了解大數(shù)據(jù)行業(yè)應(yīng)用和崗位掌握大數(shù)據(jù)的主要特征掌握大數(shù)據(jù)的社會(huì)價(jià)值教學(xué)內(nèi)容任務(wù)1-1認(rèn)識(shí)大數(shù)據(jù)時(shí)代1.1.1大數(shù)據(jù)時(shí)代1.1.2大數(shù)據(jù)時(shí)代產(chǎn)生的原因1.1.3大數(shù)據(jù)時(shí)代產(chǎn)生的變革任務(wù)1-2掌握大數(shù)據(jù)基本特征和處理流程1.2.1數(shù)據(jù)的定義和分類1.2.2什么是大數(shù)據(jù)1.2.3大數(shù)據(jù)的特征1.2.4大數(shù)據(jù)處理流程任務(wù)1-3大數(shù)據(jù)技術(shù)發(fā)展歷程任務(wù)1-4大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)及行業(yè)應(yīng)用1.4.1大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu) 1.4.2大數(shù)據(jù)、云計(jì)算、人工智能、物聯(lián)網(wǎng)深度融合1.4.3大數(shù)據(jù)技術(shù)在各行業(yè)領(lǐng)域應(yīng)用案例任務(wù)1-5了解大數(shù)據(jù)崗位需求1.5.1大數(shù)據(jù)崗位需求1.5.2高職院校學(xué)生大數(shù)據(jù)就業(yè)定位教學(xué)重難點(diǎn)重點(diǎn)：1.2.3大數(shù)據(jù)的特征1.2.4大數(shù)據(jù)處理流程1.4.2大數(shù)據(jù)、云計(jì)算、人工智能、物聯(lián)網(wǎng)深度融合1.4.3大數(shù)據(jù)技術(shù)在各行業(yè)領(lǐng)域應(yīng)用案例1.5.2高職院校學(xué)生大數(shù)據(jù)就業(yè)定位難點(diǎn)：1.2.4大數(shù)據(jù)處理流程討論、思考題及作業(yè)討論：1.簡述生活中的大數(shù)據(jù)應(yīng)用。2.你未來是否會(huì)從事大數(shù)據(jù)相關(guān)工作？3.結(jié)合實(shí)際談?wù)劥髷?shù)據(jù)的數(shù)據(jù)安全問題。思考題及作業(yè)：1.大數(shù)據(jù)的特征是什么？2.大數(shù)據(jù)時(shí)代的個(gè)人隱私如何保護(hù)？3.大數(shù)據(jù)的技術(shù)未來發(fā)展方向?！洞髷?shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目二初識(shí)大數(shù)據(jù)處理平臺(tái)課時(shí)5-8課時(shí)教學(xué)目的了解為什么要構(gòu)建大數(shù)據(jù)處理平臺(tái)了解大數(shù)據(jù)處理平臺(tái)的特征了解Hadoop簡介和發(fā)展掌握HDFS和MapReduce設(shè)計(jì)思想掌握Hadoop生態(tài)系統(tǒng)架構(gòu)教學(xué)內(nèi)容任務(wù)2-1了解構(gòu)建大數(shù)據(jù)處理平臺(tái)的原因2.1.1大數(shù)據(jù)時(shí)代的數(shù)據(jù)類型2.1.2傳統(tǒng)數(shù)據(jù)處理平臺(tái)遇到的問題2.1.3大數(shù)據(jù)處理平臺(tái)任務(wù)2-2認(rèn)識(shí)最早的大數(shù)據(jù)生態(tài)系統(tǒng)—Hadoop2.2.1Hadoop的簡介和發(fā)展2.2.2Hadoop的設(shè)計(jì)思想和特點(diǎn)2.2.3Hadoop兩大基礎(chǔ)組件2.2.4Hadoop生態(tài)系統(tǒng)架構(gòu)和其他組件教學(xué)重難點(diǎn)重點(diǎn)：2.1.3大數(shù)據(jù)處理平臺(tái)2.2.2Hadoop的設(shè)計(jì)思想和特點(diǎn)2.2.3Hadoop兩大基礎(chǔ)組件2.2.4Hadoop生態(tài)系統(tǒng)架構(gòu)和其他組件難點(diǎn)：2.2.2Hadoop的設(shè)計(jì)思想和特點(diǎn)2.2.3Hadoop兩大基礎(chǔ)組件討論、思考題及作業(yè)討論：1.簡述大數(shù)據(jù)處理平臺(tái)有哪些特征。2.分布式文件系統(tǒng)HDFS的優(yōu)點(diǎn)和缺點(diǎn)。3.MapReduce的優(yōu)點(diǎn)和缺點(diǎn)。思考題及作業(yè)：1.HDFS設(shè)計(jì)思想是什么？2.畫出HDFS架構(gòu)圖，并介紹內(nèi)部各組件。3.列舉Hadoop生態(tài)系統(tǒng)中常用的組件?！洞髷?shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目二初識(shí)大數(shù)據(jù)處理平臺(tái)課時(shí)9-12課時(shí)教學(xué)目的了解幾種常見的大數(shù)據(jù)計(jì)算模式了解互聯(lián)網(wǎng)企業(yè)大數(shù)據(jù)處理平臺(tái)架構(gòu)案例掌握大數(shù)據(jù)處理平臺(tái)基本架構(gòu)及數(shù)據(jù)處理流程掌握五種主流大數(shù)據(jù)處理平臺(tái)架構(gòu)教學(xué)內(nèi)容任務(wù)2-3熟悉大數(shù)據(jù)處理平臺(tái)架構(gòu)2.3.1幾種大數(shù)據(jù)計(jì)算模式2.3.2大數(shù)據(jù)處理平臺(tái)基本架構(gòu)及數(shù)據(jù)處理流程2.3.3五種主流大數(shù)據(jù)處理平臺(tái)架構(gòu)2.3.4大數(shù)據(jù)處理平臺(tái)架構(gòu)案例介紹教學(xué)重難點(diǎn)重點(diǎn)：2.3.1幾種大數(shù)據(jù)計(jì)算模式2.3.2大數(shù)據(jù)處理平臺(tái)基本架構(gòu)及數(shù)據(jù)處理流程2.3.3五種主流大數(shù)據(jù)處理平臺(tái)架構(gòu)難點(diǎn)：2.3.2大數(shù)據(jù)處理平臺(tái)基本架構(gòu)及數(shù)據(jù)處理流程2.3.3五種主流大數(shù)據(jù)處理平臺(tái)架構(gòu)討論、思考題及作業(yè)討論：1.五種主流大數(shù)據(jù)處理平臺(tái)架構(gòu)是哪些？2.Lambda和Kappa架構(gòu)的區(qū)別。思考題及作業(yè)：1.敘述大數(shù)據(jù)處理基本流程。2.大數(shù)據(jù)計(jì)算模式有幾種，每種計(jì)算模式的應(yīng)用場景是什么?！洞髷?shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目三Hadoop開發(fā)環(huán)境搭建課時(shí)13-16課時(shí)教學(xué)目的了解什么是VMware了解什么是Ubuntu系統(tǒng)掌握VMware安裝流程掌握Ubuntu系統(tǒng)安裝流程掌握Ubuntu系統(tǒng)網(wǎng)絡(luò)配置教學(xué)內(nèi)容任務(wù)3-1安裝VMware虛擬機(jī)任務(wù)3-2在VMware上安裝和配置Ubuntu系統(tǒng)3.2.1Ubuntu系統(tǒng)的安裝3.2.2Ubuntu系統(tǒng)的網(wǎng)絡(luò)設(shè)置教學(xué)重難點(diǎn)重點(diǎn)：任務(wù)3-1安裝Vmware虛擬機(jī)任務(wù)3-2在VMware上安裝和配置Ubuntu系統(tǒng)3.2.1Ubuntu系統(tǒng)的安裝3.2.2Ubuntu系統(tǒng)的網(wǎng)絡(luò)設(shè)置難點(diǎn)：3.2.1Ubuntu系統(tǒng)的安裝3.2.2Ubuntu系統(tǒng)的網(wǎng)絡(luò)設(shè)置討論、思考題及作業(yè)討論：1.Linux系統(tǒng)有哪幾種。2.為什么大數(shù)據(jù)技術(shù)多運(yùn)行在Linux系統(tǒng)上。思考題及作業(yè)：1.在自己的電腦上完成VMware和Ubuntu系統(tǒng)的安裝。2.分別為Ubuntu系統(tǒng)配置動(dòng)態(tài)和靜態(tài)IP，并確保能夠上網(wǎng)?！洞髷?shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目三Hadoop開發(fā)環(huán)境搭建課時(shí)17-20課時(shí)教學(xué)目的了解什么是SSH了解Hadoop有幾種配置模式掌握J(rèn)ava安裝及配置掌握SSH以及免密碼登錄設(shè)置掌握Hadoop偽分布式配置掌握Hadoop自帶詞頻統(tǒng)計(jì)案例的執(zhí)行命令教學(xué)內(nèi)容任務(wù)3-3在Ubuntu系統(tǒng)上安裝配置Hadoop3.3.1安裝配置Java環(huán)境3.3.2安裝SSH以及免密碼登錄設(shè)置3.3.3安裝配置Hadoop任務(wù)3-4在Hadoop上運(yùn)行wordcount程序?qū)ξ募M(jìn)行詞頻統(tǒng)計(jì)教學(xué)重難點(diǎn)重點(diǎn)：任務(wù)3-3在Ubuntu系統(tǒng)上安裝配置Hadoop3.3.1安裝配置Java環(huán)境3.3.2安裝SSH以及免密碼登錄設(shè)置3.3.3安裝配置Hadoop任務(wù)3-4在Hadoop上運(yùn)行wordcount程序?qū)ξ募M(jìn)行詞頻統(tǒng)計(jì)難點(diǎn)：3.3.2安裝SSH以及免密碼登錄設(shè)置3.3.3安裝配置Hadoop任務(wù)3-4在Hadoop上運(yùn)行wordcount程序?qū)ξ募M(jìn)行詞頻統(tǒng)計(jì)討論、思考題及作業(yè)討論：1.為什么偽分布式配置需要SSH？2.SSH免密碼登錄原理是什么？思考題及作業(yè)：1.在自己的電腦上完成Hadoop的安裝和配置，并正常啟動(dòng)HDFS。2.執(zhí)行Hadoop自帶的詞頻統(tǒng)計(jì)案例統(tǒng)計(jì)HDFS上某目錄下的詞頻?！洞髷?shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目四數(shù)據(jù)采集與預(yù)處理課時(shí)21-24課時(shí)教學(xué)目的了解數(shù)據(jù)采集的概念了解傳統(tǒng)數(shù)據(jù)采集和大數(shù)據(jù)采集區(qū)別了解常用的大數(shù)據(jù)采集工具掌握數(shù)據(jù)預(yù)處理的內(nèi)容掌握爬蟲的定義和分類教學(xué)內(nèi)容任務(wù)4-1初識(shí)數(shù)據(jù)采集4.1.1傳統(tǒng)數(shù)據(jù)采集和大數(shù)據(jù)采集4.1.2大數(shù)據(jù)采集方式4.1.3大數(shù)據(jù)采集工具4.1.4數(shù)據(jù)預(yù)處理任務(wù)4-2認(rèn)識(shí)互聯(lián)網(wǎng)數(shù)據(jù)采集4.2.1初識(shí)爬蟲4.2.2爬蟲編程語言及爬蟲分類教學(xué)重難點(diǎn)重點(diǎn)：4.1.3大數(shù)據(jù)采集工具4.1.4數(shù)據(jù)預(yù)處理4.2.2爬蟲編程語言及爬蟲分類難點(diǎn)：4.1.3大數(shù)據(jù)采集工具4.1.4數(shù)據(jù)預(yù)處理討論、思考題及作業(yè)討論：1.談?wù)勛约浩綍r(shí)采集數(shù)據(jù)的方式。2.談?wù)勁老x的兩面性問題。思考題及作業(yè)：1.數(shù)據(jù)預(yù)處理包含哪些內(nèi)容？2.爬蟲分為幾類，每一類的特點(diǎn)是什么？《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目四數(shù)據(jù)采集與預(yù)處理課時(shí)25-28課時(shí)教學(xué)目的了解什么是requests和BeautifulSoup了解爬蟲爬取數(shù)據(jù)過程了解網(wǎng)頁的基本結(jié)構(gòu)掌握Python3.x的安裝和環(huán)境變量配置掌握requests和BeautifulSoup包基本使用掌握PyCharm安裝掌握利用PyCharm編寫Python應(yīng)用程序教學(xué)內(nèi)容任務(wù)4-3Windows下Python爬蟲開發(fā)環(huán)境搭建4.3.1Windows下Python3.x的安裝和環(huán)境變量配置4.3.2requests和BeautifulSoup包安裝4.4.3PyCharm安裝和使用任務(wù)4-4Python爬蟲應(yīng)用程序的編寫4.4.1爬蟲爬取數(shù)據(jù)過程4.4.2網(wǎng)頁的基本結(jié)構(gòu)教學(xué)重難點(diǎn)重點(diǎn)：4.3.1Windows下Python3.x的安裝和環(huán)境變量配置4.3.2requests和BeautifulSoup包安裝4.4.3PyCharm安裝和使用難點(diǎn)：4.3.1Windows下Python3.x的安裝和環(huán)境變量配置4.4.3PyCharm安裝和使用討論、思考題及作業(yè)討論：1.常用的大數(shù)據(jù)采集工具有哪些？2.爬蟲爬取數(shù)據(jù)的基本流程是什么？思考題及作業(yè)：1.在自己電腦的Windows環(huán)境下安裝Python3.x的安裝和環(huán)境變量配置2.在自己電腦的Windows環(huán)境下安裝requests和BeautifulSoup包3.在自己電腦的Windows環(huán)境下安裝PyCharm4.利用PyCharm編寫簡單的爬蟲程序爬取指定網(wǎng)站的數(shù)據(jù)《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目四數(shù)據(jù)采集與預(yù)處理課時(shí)29-32課時(shí)教學(xué)目的了解網(wǎng)站數(shù)據(jù)抓取流程掌握利用BeautifulSoup解析網(wǎng)站數(shù)據(jù)掌握數(shù)據(jù)清洗的編程應(yīng)用掌握編寫Python應(yīng)用程序爬取鏈家網(wǎng)數(shù)據(jù)并進(jìn)行數(shù)據(jù)清洗教學(xué)內(nèi)容4.4.3網(wǎng)站數(shù)據(jù)抓取4.4.4網(wǎng)站數(shù)據(jù)解析與數(shù)據(jù)清洗4.4.5編寫完整的爬蟲程序爬取數(shù)據(jù)并進(jìn)行預(yù)處理教學(xué)重難點(diǎn)重點(diǎn)：4.4.4網(wǎng)站數(shù)據(jù)解析與數(shù)據(jù)清洗4.4.5編寫完整的爬蟲程序爬取數(shù)據(jù)并進(jìn)行預(yù)處理難點(diǎn)：4.4.4網(wǎng)站數(shù)據(jù)解析與數(shù)據(jù)清洗4.4.5編寫完整的爬蟲程序爬取數(shù)據(jù)并進(jìn)行預(yù)處理討論、思考題及作業(yè)討論：1.為什么需要數(shù)據(jù)清洗？2.數(shù)據(jù)清洗包括哪些方面？思考題及作業(yè)：1.進(jìn)一步對(duì)yuchuliguangzhouershoufang.csv的數(shù)據(jù)進(jìn)行預(yù)處理，對(duì)最后一列year的值進(jìn)行映射，房本滿5年則值映射為5，房本滿2年則值映射為2，未知?jiǎng)t值映射為0?！洞髷?shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目五數(shù)據(jù)計(jì)算與數(shù)據(jù)存儲(chǔ)課時(shí)33-36課時(shí)教學(xué)目的了解大數(shù)據(jù)計(jì)算和傳統(tǒng)數(shù)據(jù)計(jì)算區(qū)別了解常用的大數(shù)據(jù)計(jì)算框架有哪些掌握批量計(jì)算和流計(jì)算差別掌握NoSQL數(shù)據(jù)概念和分類掌握Hbase基本架構(gòu)和運(yùn)行原理教學(xué)內(nèi)容任務(wù)5-1初識(shí)大數(shù)據(jù)計(jì)算框架5.1.1大數(shù)據(jù)計(jì)算和傳統(tǒng)數(shù)據(jù)計(jì)算區(qū)別5.1.2常見的大數(shù)據(jù)計(jì)算框架簡介任務(wù)5-2初識(shí)大數(shù)據(jù)存儲(chǔ)5.2.1分布式文件系統(tǒng)5.2.2NoSQL數(shù)據(jù)庫5.2.3HBase簡介教學(xué)重難點(diǎn)重點(diǎn)：5.1.2常見的大數(shù)據(jù)計(jì)算框架簡介5.2.1分布式文件系統(tǒng)5.2.2NoSQL數(shù)據(jù)庫5.2.3HBase簡介難點(diǎn)：5.1.2常見的大數(shù)據(jù)計(jì)算框架簡介5.2.3HBase簡介討論、思考題及作業(yè)討論：1.大數(shù)據(jù)計(jì)算框架的類別有哪些？常見的大數(shù)據(jù)計(jì)算框架有哪些？3.什么叫NoSQL數(shù)據(jù)庫，NoSQL數(shù)據(jù)庫的作用是什么？思考題及作業(yè)：畫出HDFS架構(gòu)圖。2.HBase數(shù)據(jù)庫前身是什么？《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目五數(shù)據(jù)計(jì)算與數(shù)據(jù)存儲(chǔ)課時(shí)37-44課時(shí)教學(xué)目的了解Spark的概念和運(yùn)行原理掌握HBase安裝和配置掌握Spark安裝和配置掌握ScalaIDEForEclipse工具的基本使用掌握利用ScalaIDE編寫和打包Spark應(yīng)用程序掌握Spark應(yīng)用程序jar包提交集群運(yùn)行的方法教學(xué)內(nèi)容任務(wù)5-3搭建Spark和HBase開發(fā)環(huán)境5.3.1安裝HBase并配置5.3.2安裝Spark并配置任務(wù)5-4編寫Spark應(yīng)用程序并提交集群運(yùn)5.4.1Linux下安裝和配置ScalaIDEForEclipse工具5.4.2ScalaIDE編寫Spark應(yīng)用程序存儲(chǔ)數(shù)據(jù)進(jìn)入HBase并打包5.4.3Spark應(yīng)用程序jar包提交集群運(yùn)行教學(xué)重難點(diǎn)重點(diǎn)：5.3.1安裝HBase并配置5.3.2安裝Spark并配置5.4.1Linux下安裝和配置ScalaIDEForEclipse工具5.4.2ScalaIDE編寫Spark應(yīng)用程序存儲(chǔ)數(shù)據(jù)進(jìn)入HBase并打包5.4.3Spark應(yīng)用程序jar包提交集群運(yùn)行難點(diǎn)：5.4.1Linux下安裝和配置ScalaIDEForEclipse工具5.4.2ScalaIDE編寫Spark應(yīng)用程序并打包5.4.3Spark應(yīng)用程序jar包提交集群運(yùn)行討論、思考題及作業(yè)討論：1.HBase數(shù)據(jù)庫是哪種NoSQL數(shù)據(jù)庫？HBase如何標(biāo)識(shí)每條數(shù)據(jù)？2.敘述HBase數(shù)據(jù)庫如何進(jìn)行數(shù)據(jù)存儲(chǔ)。思考題及作業(yè)：1.利用Spark讀取存儲(chǔ)在Hbase中的房屋數(shù)據(jù)并顯示前100條在控制臺(tái)《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目六數(shù)據(jù)分析與可視化課時(shí)45-48課時(shí)教學(xué)目的了解數(shù)據(jù)分析概念掌握Python大數(shù)據(jù)分析環(huán)境搭建掌握常見的大數(shù)據(jù)分析方法編程應(yīng)用教學(xué)內(nèi)容任務(wù)6-1初識(shí)大數(shù)據(jù)分析6.1.1數(shù)據(jù)分析簡介6.1.2Python大數(shù)據(jù)分析環(huán)境搭建6.1.3常見的大數(shù)據(jù)分析方法教學(xué)重難點(diǎn)重點(diǎn)：6.1.2Python大數(shù)據(jù)分析環(huán)境搭建6.1.3常見的大數(shù)據(jù)分析方法難點(diǎn)：6.1.2Python大數(shù)據(jù)分析環(huán)境搭建6.1.3常見的大數(shù)據(jù)分析方法討論、思考題及作業(yè)討論：1.什么是數(shù)據(jù)分析？傳統(tǒng)數(shù)據(jù)分析和大數(shù)據(jù)分析的異同點(diǎn)有哪些？2.常見的大數(shù)據(jù)分析方法有哪些？思考題及作業(yè)：1.分類分析和回歸分析的區(qū)別是什么？2.分類分析和聚類分析的區(qū)別是什么？3.k均值聚類算法的原理是什么？《大數(shù)據(jù)技術(shù)導(dǎo)論》課程教案授課章節(jié)項(xiàng)目六數(shù)據(jù)分析與可視化課時(shí)48-54課時(shí)教學(xué)目的了解大數(shù)據(jù)可視化概念了解常用的大數(shù)據(jù)可視化工具掌握PySpark的配置和基本使用掌握利用PySpark編寫Spark應(yīng)用程序進(jìn)行可視化展現(xiàn)教學(xué)內(nèi)容任務(wù)6-2初識(shí)大數(shù)據(jù)可