PySpark大數(shù)據(jù)技術(shù)與應(yīng)用 教案 第4章 基于PySpark的流式數(shù)據(jù)處理

第4章基于PySpark的流式數(shù)據(jù)處理教案課程名稱：PySpark大數(shù)據(jù)分析與應(yīng)用課程類別：必修適用專業(yè)：大數(shù)據(jù)技術(shù)類相關(guān)專業(yè)總學(xué)時：64學(xué)時（其中理論32學(xué)時，實驗32學(xué)時）總學(xué)分：4.0學(xué)分本章學(xué)時：12學(xué)時材料清單《PySpark大數(shù)據(jù)分析與應(yīng)用》教材。配套PPT。引導(dǎo)性提問。探究性問題。拓展性問題。教學(xué)目標(biāo)與基本要求教學(xué)目標(biāo)（1）了解SparkStreaming的基本概念、工作原理和運行機制。（2）了解pyspark.streaming模塊主要類及核心類。（3）掌握基于PySpark的DStream創(chuàng)建、轉(zhuǎn)換、窗口和輸出操作。（4）了解StructuredStreaming基本概念及編程模型。（5）掌握StructuredStreaming基礎(chǔ)操作。（6）熟悉StructuredStreaming編程步驟。2.基本要求學(xué)習(xí)并理解SparkStreaming的基本概念、工作原理和運行機制。掌握pyspark.streaming模塊的主要類及核心類，能熟練進行DStream的創(chuàng)建、轉(zhuǎn)換、窗口和輸出操作。學(xué)習(xí)并理解StructuredStreaming的基本概念及編程模型，掌握其基礎(chǔ)操作和編程步驟。能夠通過實例分析，提高對SparkStreaming和StructuredStreaming的實際應(yīng)用能力。問題引導(dǎo)性提問引導(dǎo)性提問需要教師根據(jù)教材內(nèi)容和學(xué)生實際水平，提出問題，啟發(fā)引導(dǎo)學(xué)生去解決問題，提問，從而達(dá)到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。SparkStreaming的基本概念是什么？它的工作原理和運行機制是怎樣的？pyspark.streaming模塊的主要類有哪些？它們的核心功能是什么？如何進行DStream的創(chuàng)建、轉(zhuǎn)換、窗口和輸出操作？StructuredStreaming的基本概念是什么？它的編程模型是怎樣的？StructuredStreaming的基礎(chǔ)操作有哪些？它的編程步驟是怎樣的？探究性問題探究性問題需要教師深入鉆研教材的基礎(chǔ)上精心設(shè)計，提問的角度或者在引導(dǎo)性提問的基礎(chǔ)上，從重點、難點問題切入，進行插入式提問?；蛘呤菍σ龑?dǎo)式提問中尚未涉及但在課文中又是重要的問題加以設(shè)問。SparkStreaming與傳統(tǒng)的批處理相比有哪些優(yōu)勢和不足？在什么情況下應(yīng)該選擇使用DStream而不是DataFrame或Dataset？為什么？StructuredStreaming與SparkStreaming相比有哪些優(yōu)勢？拓展性問題拓展性問題需要教師深刻理解教材的意義，學(xué)生的學(xué)習(xí)動態(tài)后，根據(jù)學(xué)生學(xué)習(xí)層次，提出切實可行的關(guān)乎實際的可操作問題。亦可以提供拓展資料供學(xué)生研習(xí)探討，完成拓展性問題。除了SparkStreaming和StructuredStreaming，還有哪些其他框架可以用于處理流式數(shù)據(jù)？它們與SparkStreaming有何異同？SparkStreaming可以從哪些類型的數(shù)據(jù)源中讀取數(shù)據(jù)？請列舉幾個常見的數(shù)據(jù)來源，并簡單描述它們的特點。討論在什么樣的業(yè)務(wù)場景下更適合使用SparkStreaming，而在什么情況下更傾向于選擇StructuredStreaming。舉例說明兩者各自的優(yōu)勢和適用性。主要知識點、重點與難點主要知識點流數(shù)據(jù)概念、流計算概念、主流的開源流式計算框架對比。SparkStreaming基本概念。SparkStreaming工作原理。SparkStreaming運行機制。pyspark.streaming模塊核心類StreamingContext。pyspark.streaming模塊核心類DStream。DStream基本輸入源。DStream轉(zhuǎn)換操作（滑動窗口操作、有狀態(tài)轉(zhuǎn)化操作）。DStream輸出操作。StructuredStreaming編程模型。StructuredStreaming輸入操作。StructuredStreaming轉(zhuǎn)換操作。StructuredStreaming輸出操作。StructuredStreaming窗口聚合操作。重點SparkStreaming工作原理。pyspark.streaming模塊核心類StreamingContext。pyspark.streaming模塊核心類DStream。DStream基本輸入源。DStream轉(zhuǎn)換操作（滑動窗口操作、有狀態(tài)轉(zhuǎn)化操作）。StructuredStreaming編程模型。難點（1）DStream轉(zhuǎn)換操作（滑動窗口操作、有狀態(tài)轉(zhuǎn)化操作）。（2）StructuredStreaming輸入操作。（3）StructuredStreaming轉(zhuǎn)換操作（4）StructuredStreaming輸出操作。（5）StructuredStreaming窗口聚合操作。教學(xué)過程設(shè)計理論教學(xué)過程流計算簡介。SparkStreaming基本概念。SparkStreaming工作原理。SparkStreaming運行機制。pyspark.streaming模塊簡介。pyspark.streaming模塊核心類。DStream基礎(chǔ)操作。StructuredStreaming概述。StructuredStreaming編程模型。StructuredStreaming基礎(chǔ)操作。StructuredStreaming編程步驟。實驗教學(xué)過程使用SparkStreaming實現(xiàn)菜品價格實時計算。使用SparkStreaming實時判別車輛所屬地。教材與參考資料教材戴剛，張良均．《PySpark大數(shù)據(jù)分析與應(yīng)用》[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數(shù)據(jù)技術(shù)與應(yīng)用（第2版）（微課版）[M]．北京：人民郵電出版社．2022．[2] 王哲，張良均．Hadoop與大數(shù)據(jù)挖掘（第2