PySpark大數據技術與應用 教案 第2章 PySpark安裝配置

第2章PySpark安裝配置教案課程名稱：PySpark大數據分析與應用課程類別：必修適用專業(yè)：大數據技術類相關專業(yè)總學時：64學時（其中理論32學時，實驗32學時）總學分：4.0學分本章學時：8學時材料清單《PySpark大數據分析與應用》教材。配套PPT。引導性提問。探究性問題。拓展性問題。教學目標與基本要求教學目標根據目前數據分析發(fā)展狀況，將數據分析具象化。而后介紹數據分析的概念，流程，目的以及應用場景。闡述使用Python進行數據分析的優(yōu)勢。列舉說明Python數據分析重要庫的功能。緊接著闡述Anaconda簡介，實現(xiàn)在Windows和Linux兩個系統(tǒng)下Anaconda數據分析環(huán)境。最后展現(xiàn)Python數據分析工具JupyterNotebook的優(yōu)異特性及使用方法。為后學課程學習搭建數據分析環(huán)境，首先介紹在windows系統(tǒng)中搭建單機模式的數據分析環(huán)境，能夠運行PySpark程序代碼；然后，介紹在Linux系統(tǒng)中搭建分布式模式的數據分析環(huán)境，了解Spark分布式模式的運行機理，進一步體會PySpark大數據處理能力。最后介紹Python中重要的數據結構（元組、列表、字典）和函數式編程?；疽笳莆諉螜C模式和分布式模式下PySpark開發(fā)環(huán)境的搭建過程。熟悉Linux操作系統(tǒng)虛擬機的安裝過程。掌握單機模式和分布式模式下Hadoop集群配置。掌握分布式模式下Spark集群配置。掌握Python重要的數據結構及函數編程。問題引導性提問引導性提問需要教師根據教材內容和學生實際水平，提出問題，啟發(fā)引導學生去解決問題，提問，從而達到理解、掌握知識，發(fā)展各種能力和提高思想覺悟的目的。搭建單機模式的PySpark開發(fā)環(huán)境需要哪些組件。單機模式的PySpark開發(fā)環(huán)境有哪些優(yōu)缺點。搭建分布式模式的PySpark開發(fā)環(huán)境需要哪些組件。分布式模式的PySpark開發(fā)環(huán)境有哪些優(yōu)缺點。單機模式和分布式模式PySpark開發(fā)環(huán)境的應用場景。探究性問題探究性問題需要教師深入鉆研教材的基礎上精心設計，提問的角度或者在引導性提問的基礎上，從重點、難點問題切入，進行插入式提問。或者是對引導式提問中尚未涉及但在課文中又是重要的問題加以設問。單機模式中，安裝Hadoop組件的作用？大數據分析中數據庫與Hive的區(qū)別是什么？分布式模式中，計算機節(jié)點為什么要建立互信機制？拓展性問題拓展性問題需要教師深刻理解教材的意義，學生的學習動態(tài)后，根據學生學習層次，提出切實可行的關乎實際的可操作問題。亦可以提供拓展資料供學生研習探討，完成拓展性問題。分布式模式下，使用HDFS文件系統(tǒng)存儲大文件的優(yōu)勢。Spark與Hadoop進行數據分析有哪些優(yōu)缺點。使用Python語言進行數據分析的優(yōu)勢。主要知識點、重點與難點主要知識點掌握單機模式和分布式模式下PySpark開發(fā)環(huán)境的搭建過程。安裝Linux操作系統(tǒng)虛擬機。開發(fā)環(huán)境中的各組件的安裝與配置。掌握Python重要的數據結構及函數編程。重點搭建單機模式的PySpark開發(fā)環(huán)境。搭建分布式模式的PySpark開發(fā)環(huán)境。難點搭建分布式模式的PySpark開發(fā)環(huán)境。教學過程設計理論教學過程在Windows系統(tǒng)中安裝JDK。在Windows系統(tǒng)中安裝Anaconda。在Windows系統(tǒng)中安裝Hadoop。在Windows系統(tǒng)中安裝MySQL。在Windows系統(tǒng)中安裝Hive。在Windows系統(tǒng)中配置PySpark模塊。在Windows系統(tǒng)中安裝Linux虛擬機。在Linux系統(tǒng)中安裝Java。在Linux系統(tǒng)中搭建Hadoop分布式集群。在Linux系統(tǒng)中安裝MySQL數據庫。在Linux系統(tǒng)中安裝Hive數據倉庫。在Linux系統(tǒng)中搭建Spark完全分布式集群。Python中的常用數據結構。Python函數式編程基礎。實驗教學過程在Windows系統(tǒng)中安裝JDK。在Windows系統(tǒng)中安裝Anaconda。在Windows系統(tǒng)中安裝Hadoop。在Windows系統(tǒng)中安裝MySQL。在Windows系統(tǒng)中安裝Hive。在Windows系統(tǒng)中配置PySpark模塊。在Windows系統(tǒng)中安裝Linux虛擬機。在Linux系統(tǒng)中安裝Java。在Linux系統(tǒng)中搭建Hadoop分布式集群。在Linux系統(tǒng)中安裝MySQL數據庫。在Linux系統(tǒng)中安裝Hive數據倉庫。在Linux系統(tǒng)中搭建Spark完全分布式集群。教材與參考資料教材戴剛，張良均．《PySpark大數據分析與應用》[M]．北京：人民郵電出版社．2024．參考資料[1] 肖芳，張良均．Spark大數據技術與應用（第2版）（微課版）[M]．北京：人民郵電出版社．2022．[2] 王哲，張良均．Hadoop與大數據挖掘（第2版）[M]．北京：機械工業(yè)出版社．2022．[3