Spark大數(shù)據(jù)技術(shù)與應(yīng)用教案（人郵）第1-3章Spark概述教案、基礎(chǔ)教案、編程教案

Word-9-Spark大數(shù)據(jù)技術(shù)與應(yīng)用教案（人郵）第1--3章Spark概述教案、基礎(chǔ)教案、編程教案

第1章Spark概述教案課程名稱Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程類別必修適用專業(yè)大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)64學(xué)時(shí)（其中理論40學(xué)時(shí)，試驗(yàn)24學(xué)時(shí)）總學(xué)分

4.0學(xué)分本章學(xué)時(shí)4學(xué)時(shí)

一、材料清單

（1）《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材

（2）配套PPT

（3）引領(lǐng)性提問(wèn)

（4）探索性問(wèn)題

（5）拓展性問(wèn)題

二、教學(xué)任務(wù)與基本要求

1.教學(xué)任務(wù)主要介紹Spark的進(jìn)展歷史，Spark的特征、Spark的生態(tài)圈和Spark的應(yīng)用場(chǎng)景以及介紹Spark的環(huán)境配置，包括搭建單機(jī)版環(huán)境、單機(jī)偽分布式環(huán)境和徹低分布式環(huán)境最后重點(diǎn)介紹Spark的架構(gòu)，Spark作業(yè)的運(yùn)行流程和Spark的核心數(shù)據(jù)集RDD

2.基本要求

九、問(wèn)題

17.引領(lǐng)性提問(wèn)引領(lǐng)性提問(wèn)需要老師按照教材內(nèi)容和同學(xué)實(shí)際水平，提出問(wèn)題，引發(fā)引領(lǐng)同學(xué)去解決問(wèn)題，提問(wèn)，從而達(dá)到理解、掌控學(xué)問(wèn)，進(jìn)展各種本事和提升思想覺悟的目的9普通期末考試的成果是如何保留的？10Spark適用于什么類型的計(jì)算？11Spark計(jì)算有什么特征？12是否了解過(guò)Spark中的RDD是一個(gè)什么樣的類型？

18.探索性問(wèn)題探索性問(wèn)題需要老師深化鉆研教材的基礎(chǔ)上細(xì)心設(shè)計(jì)，提問(wèn)的角度或者在引領(lǐng)性提問(wèn)的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問(wèn)題切入，舉行插入式提問(wèn)或者是對(duì)引領(lǐng)式提問(wèn)中尚未涉及但在課文中又是重要的問(wèn)題加以設(shè)問(wèn)14RDD是一個(gè)什么樣的集合？15有哪些創(chuàng)建RDD的辦法？16RDD的轉(zhuǎn)換操作和行動(dòng)操作有什么區(qū)分？17什么是鍵值對(duì)RDD,有哪些特征？18針對(duì)一般RDD的常用操作有哪些，針對(duì)鍵值對(duì)RDD的操作有哪些？19文本文件的存儲(chǔ)和讀取利用什么辦法？

19.拓展性問(wèn)題拓展性問(wèn)題需要老師深刻理解教材的意義，同學(xué)的學(xué)習(xí)動(dòng)態(tài)后，按照同學(xué)學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問(wèn)題亦能夠提供拓展資料供同學(xué)研習(xí)探討，完成拓展性問(wèn)題5CSV文件利用讀取文本文件的辦法讀取和利用CSV讀取器讀取有區(qū)分嗎？假如有，有什么區(qū)分？6你還知道哪些Spark讀取和存儲(chǔ)文件的辦法

十、主要學(xué)問(wèn)點(diǎn)、重點(diǎn)與難點(diǎn)

20.主要學(xué)問(wèn)點(diǎn)12從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDDo13從外部存儲(chǔ)創(chuàng)建RDD14RDD轉(zhuǎn)化操作和行動(dòng)操作辦法15RDD鍵值對(duì)操作16文件讀取與存儲(chǔ)

21.重點(diǎn)7RDD創(chuàng)建8RDD轉(zhuǎn)化操作和行動(dòng)操作9鍵值對(duì)RDD的基本操作

22.難點(diǎn)6如何創(chuàng)建鍵值對(duì)類型的RDDo7操作鍵值對(duì)類型RDD的辦法

十一、教學(xué)過(guò)程設(shè)計(jì)

23.理論教學(xué)過(guò)程7從內(nèi)存中已有數(shù)據(jù)創(chuàng)建RDD8從外部存儲(chǔ)創(chuàng)建RDD9RDD轉(zhuǎn)化操作和行動(dòng)操作10RDD鍵值對(duì)操作

（11）文件讀取與存儲(chǔ)

24.試驗(yàn)教學(xué)過(guò)程

（1）以同學(xué)成果數(shù)據(jù)創(chuàng)建RDD

（2）查詢同學(xué)成果表中的前5名

（3）輸出單科成果為100分的同學(xué)IDo

（4）輸出每位同學(xué)全部科目的總成果

（5）輸出每位同學(xué)的平均成果

（6）將匯總后的同學(xué)成果存儲(chǔ)為文本文件

（7）統(tǒng)計(jì)文本中性別為“男”用戶數(shù)

（8）單詞計(jì)數(shù)

十二、教材與參考資料

25.教材肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M].北京人民郵電出版社.

2022.

26.參考資料

[1]肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用[M].北京人民郵電出版社.

2022.

[2]王哲，張良均.Hadoop與大數(shù)據(jù)挖掘（第2版）[M].北京機(jī)械工業(yè)出版社.

2022.

[3]張軍，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M].北京人民郵電出版社.

2022.2學(xué)會(huì)搭建Spark環(huán)境1了解Spark的運(yùn)行架構(gòu)與原理

三、問(wèn)題

1.引領(lǐng)性提問(wèn)引領(lǐng)性提問(wèn)需要老師按照教材內(nèi)容和同學(xué)實(shí)際水平，提出問(wèn)題，引發(fā)引領(lǐng)同學(xué)去解決問(wèn)題，提問(wèn)，從而達(dá)到理解、掌控學(xué)問(wèn)，進(jìn)展各種本事和提升思想覺悟的目的1你了解Spark的進(jìn)展歷史及特征嗎？2你了解Spark的應(yīng)用場(chǎng)景嗎？3你自己搭建過(guò)Spark環(huán)境嗎？4你使用過(guò)Spark嗎？

2、探索性問(wèn)題探索性問(wèn)題需要老師深化鉆研教材的基礎(chǔ)上細(xì)心設(shè)計(jì)，提問(wèn)的角度或者在引領(lǐng)性提問(wèn)的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問(wèn)題切入，舉行插入式提問(wèn)或者是對(duì)引領(lǐng)式提問(wèn)中尚未涉及但在課文中又是重要的問(wèn)題加以設(shè)問(wèn)1為什么需要Spark2Spark有哪些特征？3Spark生態(tài)圈包含哪些環(huán)境？4Spark有哪些部署模式，有什么區(qū)分？5“RDD”是怎樣的數(shù)據(jù)集？6Spark的運(yùn)行流程是怎么樣的？

2.拓展性問(wèn)題拓展性問(wèn)題需要老師深刻理解教材的意義，同學(xué)的學(xué)習(xí)動(dòng)態(tài)后，按照同學(xué)學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問(wèn)題亦能夠提供拓展資料供同學(xué)研習(xí)探討，完成拓展性問(wèn)題按照Spark的安裝配置過(guò)程，假如想要為Spark集群多加一個(gè)子節(jié)點(diǎn)，需要舉行哪些操作？

四、主要學(xué)問(wèn)點(diǎn)、重點(diǎn)與難點(diǎn)

1.主要學(xué)問(wèn)點(diǎn)1Spark基本概念2Spark進(jìn)展和應(yīng)用3Spark環(huán)境配置辦法4Spark架構(gòu)及原理

2.重點(diǎn)1如何搭建Spark環(huán)境2Spark徹低分布式集群特征3了解Spark運(yùn)行架構(gòu)與原理

3.難點(diǎn)1搭建Spark徹低分布式集群2Spark的原理

五、教學(xué)過(guò)程設(shè)計(jì)

1.理論教學(xué)過(guò)程1Spark簡(jiǎn)介2搭建Spark環(huán)境3了解Spark運(yùn)行架構(gòu)與原理

2.試驗(yàn)教學(xué)過(guò)程搭建Spark偽分布式與徹低分布式集群

六、教材與參考資料

1.教材肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M].北京人民郵電出版社.

2022.

2.參考資料

[1]肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用[M].北京人民郵電出版社.

2022.

[2]王哲，張良均.Hadoop與大數(shù)據(jù)挖掘（第2版）[M].北京機(jī)械工業(yè)出版社.

2022.

[3]張軍，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M].北京人民郵電出版社.

2022.第2章Spark基礎(chǔ)教案課程名稱Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程類別必修適用專業(yè)大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)64學(xué)時(shí)（其中理論40學(xué)時(shí)，試驗(yàn)24學(xué)時(shí)）總學(xué)分

4.0學(xué)分本章學(xué)時(shí)8學(xué)時(shí)

一、材料清單1《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材2配套PPT3引領(lǐng)性提問(wèn)4探索性問(wèn)題5拓展性問(wèn)題

二、教學(xué)任務(wù)與基本要求

3.教學(xué)任務(wù)Scala語(yǔ)言是Spark平臺(tái)常用的一種語(yǔ)言，為了學(xué)習(xí)Spark,需要先學(xué)習(xí)Scala首先介紹了Scala的特性及安裝，接著介紹的是Scala的函數(shù)、表述式、循環(huán)、數(shù)據(jù)結(jié)構(gòu)和類利用本章的學(xué)習(xí)，能夠體味到Scala函數(shù)式編程的便捷、容易

4.基本要求1了解Scala基本特性并學(xué)會(huì)安裝Scalao2掌控定義Scala的常量、變量及函數(shù)的辦法3掌控Scala的if推斷和for循環(huán)4掌控Scala的Collections集合操作5掌控Scala的樣例類與模式匹配6了解Scala類及讀取文件

三、問(wèn)題

5.引領(lǐng)性提問(wèn)引領(lǐng)性提問(wèn)需要老師按照教材內(nèi)容和同學(xué)實(shí)際水平，提出問(wèn)題，引發(fā)引領(lǐng)同學(xué)去解決問(wèn)題，提問(wèn)，從而達(dá)到理解、掌控學(xué)問(wèn)，進(jìn)展各種本事和提升思想覺悟的目的5Scala是一門函數(shù)式編程語(yǔ)言，你了解什么是函數(shù)式編程嗎？6結(jié)合Spark的特征，你覺得Scala可能具備哪些特性？7你了解Scala編程的常量，變量及函數(shù)嗎？8你了解Scala的循環(huán)與推斷嗎？

6.探索性問(wèn)題探索性問(wèn)題需要老師深化鉆研教材的基礎(chǔ)上細(xì)心設(shè)計(jì)，提問(wèn)的角度或者在引領(lǐng)性提問(wèn)的基礎(chǔ)上，從重點(diǎn)、難點(diǎn)問(wèn)題切入，舉行插入式提問(wèn)或者是對(duì)引領(lǐng)式提問(wèn)中尚未涉及但在課文中又是重要的問(wèn)題加以設(shè)問(wèn)7為什么使用Scala編寫了Spark8Scala具有哪些特性？9Scala原始類型有哪些？10Scala的循環(huán)能夠有哪些表現(xiàn)形式？11Scala各種數(shù)據(jù)類型的應(yīng)用？12你能利用不同的方式讀取文件嗎？13什么是函數(shù)式編程？

7.拓展性問(wèn)題拓展性問(wèn)題需要老師深刻理解教材的意義，同學(xué)的學(xué)習(xí)動(dòng)態(tài)后，按照同學(xué)學(xué)習(xí)層次，提出切實(shí)可行的關(guān)乎實(shí)際的可操作問(wèn)題亦能夠提供拓展資料供同學(xué)研習(xí)探討，完成拓展性問(wèn)題1假如你學(xué)習(xí)過(guò)Java語(yǔ)言，你認(rèn)為Scala與Java相比有哪些比較大的不同之處？2Scala變量能否使用自增或自減？3Scala有沒有可變數(shù)組？假如有，可變數(shù)組與不行變數(shù)組的區(qū)分是什么？4Scala的列表與數(shù)組有何區(qū)分？

四、主要學(xué)問(wèn)點(diǎn)、重點(diǎn)與難點(diǎn)

8.主要學(xué)問(wèn)點(diǎn)5Scala簡(jiǎn)介6Scala特性7Scala的環(huán)境設(shè)置及安裝辦法8Scala類的定義和運(yùn)行辦法9Scala數(shù)據(jù)類型、函數(shù)、表述式的應(yīng)用10Scalaif推斷和for循環(huán)11Scala集合應(yīng)用

9.重點(diǎn)4了解Scala的基礎(chǔ)內(nèi)容及特性5掌控Scala的安裝6掌控Scala函數(shù)式編程

10.難點(diǎn)3Scala的集合操作4Scala的類定義5Scala的模式匹配

五、教學(xué)過(guò)程設(shè)計(jì)1L理論教學(xué)過(guò)程6Scala簡(jiǎn)介與安裝5函數(shù)式編程特征6Scala編程學(xué)習(xí)

12.試驗(yàn)教學(xué)過(guò)程

（1）安裝Scala編程環(huán)境

（2）定義Scala函數(shù)識(shí)別名碼類型

（3）統(tǒng)計(jì)廣州號(hào)碼段數(shù)量

（4）按照歸屬地對(duì)手機(jī)號(hào)碼段分組

（5）編寫手機(jī)號(hào)碼歸屬地查詢程序

（6）編寫函數(shù)過(guò)濾文本中的回文單詞

（7）使用Scala編程實(shí)現(xiàn)楊輝三角

六、教材與參考資料

13.教材肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M].北京人民郵電出版社.

2022.

14.參考資料

[1]肖芳，張良均.Spark大數(shù)據(jù)技術(shù)與應(yīng)用[M].北京人民郵電出版社.

2022.

[2]王哲，張良均.Hadoop與大數(shù)據(jù)挖掘（第2版）[M].北京機(jī)械工業(yè)出版社.

2022.

[3]張軍，張良均.Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)（第2版）（微課版）[M].北京人民郵電出版社.

2022.第3章Spark編程教案課程名稱Spark大數(shù)據(jù)技術(shù)與應(yīng)用課程類別必修適用專業(yè)大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時(shí)64學(xué)時(shí)其中理論40學(xué)時(shí)，試驗(yàn)24學(xué)時(shí)總學(xué)分

4.0學(xué)分本章學(xué)時(shí)10學(xué)時(shí)

七、材料清單6《Spark大數(shù)據(jù)技術(shù)與應(yīng)用》教材7配套PPT8引領(lǐng)性提問(wèn)9探索性問(wèn)題10拓展性問(wèn)題

八、教學(xué)任務(wù)與基本要求

15.教學(xué)任務(wù)主要介紹Spark的基