2023學(xué)年完整公開課版安裝Spark

安裝Spark安裝Spark的步驟驗(yàn)證Spark安裝Spark的步驟/01

1、官網(wǎng)下載Spark,/downloads.html,打開此鏈接，進(jìn)入到下圖，點(diǎn)擊紅框下載Spark-2.2.0-bin-hadoop2.7.tgz，如下圖所示：安裝Spark的步驟

2、Spark安裝，分為三步：一、準(zhǔn)備，包括上傳到主節(jié)點(diǎn)，解壓縮并遷移到/opt/app/目錄；二、Spark配置集群，配置/etc/profile、conf/slaves以及confg/spark-env.sh，共3個(gè)文件，配置完成需要向集群其他機(jī)器節(jié)點(diǎn)分發(fā)spark程序。三、啟動(dòng)Spark。安裝Spark的步驟把spark-2.2.0-bin-hadoop2.7.tgz通過Xftp工具上傳到主節(jié)點(diǎn)的/opt/uploads目錄下。安裝Spark的步驟-準(zhǔn)備在主節(jié)點(diǎn)上解壓縮。有時(shí)解壓出來的文件夾，使用命令ll查看用戶和用戶組有可能不是hadoop時(shí)，即上圖綠框顯示，則需要使用如下命令更換為hadoop用戶和用戶組。安裝Spark的步驟-準(zhǔn)備

sudochownhadoop:hadoopspark-2.2.0-bin-hadoop2.7安裝Spark的步驟-準(zhǔn)備把spark-2.2.0-bin-hadoop2.7移到/opt/app/目錄下。#mvspark-2.2.0-bin-hadoop2.7/opt/app/#cd/opt/app&&ll

安裝Spark的步驟-準(zhǔn)備配置/etc/profile，以hadoop用戶打開配置文件/etc/profile#sudovi/etc/profile定義SPARK_HOME并把spark路徑加入到PATH參數(shù)中

安裝Spark的步驟-Spark配置集群配置conf/slaves，打開配置文件conf/slaves，默認(rèn)情況下沒有slaves，需要使用cp命令復(fù)制slaves.template

安裝Spark的步驟-Spark配置集群配置conf/spark-env.sh，以hadoop用戶，使用如下命令，打開配置文件spark-env.sh，并設(shè)置環(huán)境變量。

安裝Spark的步驟-Spark配置集群向各節(jié)點(diǎn)分發(fā)Spark程序，進(jìn)入hadoop1機(jī)器/opt/app/目錄，使用如下命令把spark文件夾復(fù)制到hadoop2和hadoop3機(jī)器。

在從節(jié)點(diǎn)查看是否復(fù)制成功安裝Spark的步驟-Spark配置集群?jiǎn)?dòng)Spark#cd/opt/app/spark-2.2.0-bin-hadoop2.7/sbin#./start-all.sh安裝Spark的步驟-啟動(dòng)Spark驗(yàn)證Spark/02 進(jìn)入hadoop1節(jié)點(diǎn)，進(jìn)入spark的bin目錄，使用spark-shell連接集群。#cd/opt/app/spark-2.2.0-bin-hadoop2.7/bin#spark-shell--masterspark://hadoo