Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)（第二版） 項(xiàng)目1 教案

課程名稱Spark大數(shù)據(jù)分析選用教材Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)（第2版）出版社西安電子科技大學(xué)出版社章節(jié)項(xiàng)目1搭建Spark開(kāi)發(fā)環(huán)境教學(xué)內(nèi)容基于Ubuntu系統(tǒng)，搭建Spark開(kāi)發(fā)環(huán)境（含Hadoop偽分布）授課學(xué)時(shí)4授課班級(jí)****專業(yè)*****班授課日期授課地點(diǎn)教學(xué)目標(biāo)初步了解大數(shù)據(jù)的相關(guān)知識(shí)，了解Hadoop、Spark平臺(tái)的產(chǎn)生背景與功能；能夠在本地環(huán)境（Ubuntu系統(tǒng)）中，獨(dú)立搭建Hadoop偽分布基礎(chǔ)平臺(tái)；能夠在本地環(huán)境（Ubuntu系統(tǒng)）中，獨(dú)立搭建Spark計(jì)算平臺(tái)。重點(diǎn)難點(diǎn)Spark的原理、運(yùn)行的基本邏輯；在Ubuntu系統(tǒng)中，完成Hadoop的安裝；在Ubuntu系統(tǒng)中，完成Spark的安裝；教學(xué)方法R講授￡討論或座談￡問(wèn)題導(dǎo)向?qū)W習(xí)￡分組合作學(xué)習(xí)￡案例教學(xué)￡任務(wù)驅(qū)動(dòng)R項(xiàng)目教學(xué)￡情景教學(xué)￡演示匯報(bào)￡實(shí)踐教學(xué)￡參觀訪問(wèn)￡引導(dǎo)文教學(xué)￡其他(--)教學(xué)準(zhǔn)備（教師）教材：《Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)（第2版）》硬件設(shè)備：內(nèi)存8G（或以上）的計(jì)算機(jī)（2）教學(xué)資源：課件PPT、教學(xué)日歷、相關(guān)軟件等教學(xué)準(zhǔn)備（學(xué)生）教材：《Spark大數(shù)據(jù)分析與實(shí)戰(zhàn)（第2版）》硬件設(shè)備：內(nèi)存8G（或以上）的計(jì)算機(jī)（3）教學(xué)資源：課件PPT、相關(guān)軟件等教學(xué)環(huán)節(jié)教學(xué)內(nèi)容與過(guò)程（教學(xué)內(nèi)容、教學(xué)方法、組織形式、教學(xué)手段）課前組織教師通過(guò)課程教學(xué)平臺(tái)或班級(jí)群發(fā)布學(xué)習(xí)預(yù)習(xí)任務(wù)及課程資源；學(xué)生提前預(yù)習(xí)相關(guān)內(nèi)容，并完成課前自測(cè)等。課程內(nèi)容描述情境導(dǎo)入隨著Hadoop等大數(shù)據(jù)平臺(tái)的日漸成熟，大數(shù)據(jù)應(yīng)用不斷落地，社會(huì)已然進(jìn)入大數(shù)據(jù)時(shí)代；但Hadoop本身存在的缺陷也不斷暴露，MapReduce計(jì)算模型因其先天不足，已經(jīng)無(wú)法適應(yīng)實(shí)時(shí)計(jì)算需求。在借鑒MapReduce優(yōu)點(diǎn)基礎(chǔ)上，新一代大數(shù)據(jù)計(jì)算引擎Spark應(yīng)運(yùn)而。學(xué)習(xí)Spark技術(shù)，首先要了解大數(shù)據(jù)、Hadoop、Spark等熱點(diǎn)的背景，進(jìn)而著手搭建一個(gè)Spark運(yùn)行環(huán)境。任務(wù)1.1擁抱大數(shù)據(jù)時(shí)代1.大數(shù)據(jù)時(shí)代已然到來(lái)2025年全球數(shù)據(jù)總量將增長(zhǎng)到175ZB（約合200萬(wàn)億GB），10年增長(zhǎng)10余倍，復(fù)合增長(zhǎng)率為26%。從資源的角度，數(shù)據(jù)被視為“未來(lái)的石油”，被作為戰(zhàn)略性資產(chǎn)進(jìn)行管理。大數(shù)據(jù)是指無(wú)法在有限時(shí)間內(nèi)用常規(guī)軟件工具對(duì)其進(jìn)行獲取、存儲(chǔ)、管理和處理的數(shù)據(jù)集合。大數(shù)據(jù)具備Volume、Velocity、Variety和Value四個(gè)特征（簡(jiǎn)稱“4V”，即體量巨大、速度快、類型繁多和價(jià)值密度低）。2.大數(shù)據(jù)來(lái)自哪里？（1）運(yùn)營(yíng)式系統(tǒng)階段（2）用戶原創(chuàng)內(nèi)容階段（3）感知式系統(tǒng)階段如何處理大數(shù)據(jù)？（1）數(shù)據(jù)收集：通過(guò)Web爬蟲、數(shù)據(jù)庫(kù)接口、服務(wù)器日志等手段采集數(shù)據(jù)；（2）數(shù)據(jù)預(yù)處理：包括數(shù)據(jù)清理、數(shù)據(jù)集成、數(shù)據(jù)歸約與數(shù)據(jù)轉(zhuǎn)換等內(nèi)容，可以極大提升數(shù)據(jù)的總體質(zhì)量（3）數(shù)據(jù)處理與分析：綜合應(yīng)用IT技術(shù)、統(tǒng)計(jì)學(xué)、機(jī)器學(xué)習(xí)、人工智能等知識(shí)，分析現(xiàn)有數(shù)據(jù)（分布式統(tǒng)計(jì)分析），然后挖掘數(shù)據(jù)背后隱含的有價(jià)值信息（通過(guò)聚類與分類、推薦、關(guān)聯(lián)分析、深度學(xué)習(xí)等算法，對(duì)未知數(shù)據(jù)進(jìn)行分布式挖掘）（4）數(shù)據(jù)可視化與應(yīng)用

：可視化圖表形式展示；分析處理后的結(jié)果應(yīng)用于管理決策、戰(zhàn)略規(guī)劃等。任務(wù)1.2搭建Hadoop基礎(chǔ)平臺(tái)Hadoop是一個(gè)由Apache基金會(huì)開(kāi)發(fā)的大數(shù)據(jù)分布式系統(tǒng)基礎(chǔ)架構(gòu)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，輕松地在Hadoop上開(kāi)發(fā)、運(yùn)行分布式程序，充分利用集群的優(yōu)勢(shì)，進(jìn)行高效運(yùn)算和存儲(chǔ)。Hadoop運(yùn)行模式包括單機(jī)模式、偽分布模式及分布式模式。準(zhǔn)備工作：（1）VirtualBox工具安裝Ubuntu，創(chuàng)建hadoop用戶；（2）設(shè)置SSH免密登錄（3）安裝JDK使用如下命令完成Hadoop包的解壓、重命名等工作。sudotar-zxvfhadoop-3.3.5.tar.gz-C/usr/local#Hadoop包解壓到/usr/localsudomv/usr/local/hadoop-3.3.5//usr/local/hadoop#目錄改名，便于后續(xù)操作sudochown-Rhadoop:hadoop/usr/local/hadoop#目錄擁有者改為hadoop用戶修改Hadoop的兩個(gè)配置文件core-site.xml和hdfs-site.xml（位于目錄/usr/local/hadoop/etc/hadoop/下）；使用命令“/usr/local/hadoop/bin/hdfsnamenode-format”，完成NameNode的格式化處理HadoopNameNode、DataNode啟動(dòng)成功后，瀏覽器中輸入http://localhost:9870，可以訪問(wèn)HadoopWeb界面。任務(wù)1.3部署Spark大數(shù)據(jù)平臺(tái)ApacheSpark是用于大規(guī)模數(shù)據(jù)處理的統(tǒng)一分析引擎，它能夠在內(nèi)存中進(jìn)行計(jì)算，因此Spark比MapReduce更加高效。Spark的特點(diǎn)：高效性、易用性、通用性、兼容性。Spark基于內(nèi)存計(jì)算，把中間結(jié)果放到內(nèi)存中，帶來(lái)了更高的迭代運(yùn)算效率；Spark提供了一個(gè)全面、統(tǒng)一的框架，用于滿足各種有著不同性質(zhì)數(shù)據(jù)集（結(jié)構(gòu)化、非結(jié)構(gòu)化）和數(shù)據(jù)源（批數(shù)據(jù)、流數(shù)據(jù)）的大數(shù)據(jù)處理需求。Spark提供的數(shù)據(jù)集操作類型更加豐富，從而可以支持更多類型的應(yīng)用。Spark基于DAG的任務(wù)調(diào)度執(zhí)行機(jī)制比HadoopMapReduce的迭代執(zhí)行機(jī)制更優(yōu)越。Spark的安裝過(guò)程準(zhǔn)備工作：（1）完成JDK、Hadoop等部署與配置（已完成）；（2）下載Spark安裝包（官網(wǎng)下載或教材資源中下載），spark-3.4.2-bin-without-hadoop.tgz；解壓安裝包：sudotar-zxfspark-3.4.2-bin-without-hadoop.tgz-C/usr/local/#解壓sudomv/usr/local/spark-3.4.2-bin-without-hadoop//usr/local/spark#重命名sudochown-Rhadoop:hadoop/usr/local/spark#授權(quán)給hadoop用戶進(jìn)入/usr/local/spark/conf目錄下，復(fù)制一份文件spark-env.shcd/usr/local/spark/confcp./spark-env.sh.template./spark-env.sh#復(fù)制一份配置文件gedit命令打開(kāi)./spark-env.sh，文件頭部添加下面一行：exportSPARK_DIST_CLASSPATH=$(/usr/local/hadoop/bin/hadoopclasspath)；/usr/local/spark/bin/spark-shell#啟動(dòng)spark-shell總結(jié)評(píng)價(jià)當(dāng)前，Spark已經(jīng)成為主流的大數(shù)據(jù)計(jì)算引擎；學(xué)習(xí)Spark大數(shù)據(jù)開(kāi)發(fā)，首先要了大數(shù)據(jù)概念、特征以及處理過(guò)程，建立大數(shù)據(jù)基本認(rèn)識(shí)。Spark與Hadoop密不可分，可