Spark大數(shù)據(jù)分析 課件 2.1 集群環(huán)境準(zhǔn)備

集群環(huán)境準(zhǔn)備目錄/Contents01系統(tǒng)環(huán)境配置02JDK安裝03Hadoop集群部署04ZooKeeper集群部署05Scala安裝系統(tǒng)環(huán)境配置01系統(tǒng)環(huán)境配置1.安裝linux系統(tǒng)：Centos關(guān)于系統(tǒng)的安裝這里不做詳細(xì)的介紹，本次安裝的系統(tǒng)為centos7，可以在阿里鏡像鏡像網(wǎng)站（/centos/7/isos/x86_64/）或者官網(wǎng)（/download/）下載鏡像。使用的軟件：VMwareWorkstation系統(tǒng)安裝要求：無(wú)桌面版最小化安裝網(wǎng)絡(luò)連接方式：NAT內(nèi)存2G及以上磁盤大小30G及以上CPU1核以上2.網(wǎng)絡(luò)環(huán)境配置在系統(tǒng)安裝完成后需要配置虛擬機(jī)的網(wǎng)卡信息。(1)NAT信息查看①打開(kāi)VMware②找到菜單欄中的“編輯”，選擇“虛擬網(wǎng)絡(luò)編輯器”③選擇VMnet8，NAT設(shè)置(2)打開(kāi)虛擬機(jī)命令行界面，修改網(wǎng)卡信息系統(tǒng)環(huán)境配置3.配置防火墻CentOS7默認(rèn)使用的是firewall作為防火墻。firewall操作：#servicefirewalldstatus;#查看防火墻狀態(tài)（disabled表明已經(jīng)禁止開(kāi)啟啟動(dòng)enable表示開(kāi)機(jī)自啟，inactive表示防火墻關(guān)閉狀態(tài)activated（running）表示為開(kāi)啟狀態(tài)）4.主機(jī)名修改vi與vimvi編輯器是所有Unix及Linux系統(tǒng)下標(biāo)準(zhǔn)的編輯器，他就相當(dāng)于windows系統(tǒng)中的記事本一樣，它的強(qiáng)大不遜色于任何最新的文本編輯器。他是我們使用Linux系統(tǒng)不能缺少的工具。由于對(duì)Unix及Linux系統(tǒng)的任何版本，vi編輯器是完全相同的，學(xué)會(huì)它后，你將在Linux的世界里暢行無(wú)阻。vim具有程序編輯的能力，可以以字體顏色辨別語(yǔ)法的正確性，方便程序設(shè)計(jì)，因?yàn)槌绦蚝?jiǎn)單，編輯速度相當(dāng)快速。JDK安裝02JDK安裝1.面向?qū)ο缶幊陶Z(yǔ)言——JavaJava是一門面向?qū)ο缶幊陶Z(yǔ)言，不僅吸收了C++語(yǔ)言的各種優(yōu)點(diǎn)，還摒棄了C++里難以理解的多繼承、指針等概念，因此Java語(yǔ)言具有功能強(qiáng)大和簡(jiǎn)單易用兩個(gè)特征。Java語(yǔ)言作為靜態(tài)面向?qū)ο缶幊陶Z(yǔ)言的代表，極好地實(shí)現(xiàn)了面向?qū)ο罄碚?，方便程序員以面向?qū)ο蟮乃季S方式進(jìn)行復(fù)雜的編程。Java具有簡(jiǎn)單性、面向?qū)ο蟆⒎植际?、健壯性、安全性、平臺(tái)獨(dú)立與可移植性、多線程、動(dòng)態(tài)性等特點(diǎn)。Java可以編寫桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序等。Storm2.JDKJDK(JavaDevelopmentKit)是Java語(yǔ)言的軟件開(kāi)發(fā)工具包，主要用于移動(dòng)設(shè)備、嵌入式設(shè)備上的Java應(yīng)用程序。JDK是整個(gè)Java開(kāi)發(fā)的核心，它包含了Java的運(yùn)行環(huán)境（JVM+Java系統(tǒng)類庫(kù)）和Java工具。JDK包含的基本組件包括：javac：編譯器，將源程序轉(zhuǎn)成字節(jié)碼。jar：打包工具，將相關(guān)的類文件打包成一個(gè)文件。javadoc：文檔生成器，從源碼注釋中提取文檔。jdb：debugger，查錯(cuò)工具。java：運(yùn)行編譯后的Java程序（.class后綴的）。appletviewer：小程序?yàn)g覽器，一種執(zhí)行HTML文件上的Java小程序的Java瀏覽器。Javah：產(chǎn)生可以調(diào)用Java過(guò)程的C過(guò)程，或建立能被Java程序調(diào)用的C過(guò)程的頭文件。Javap：Java反匯編器，顯示編譯類文件中的可訪問(wèn)功能和數(shù)據(jù)，同時(shí)顯示字節(jié)代碼含義。Jconsole:Java進(jìn)行系統(tǒng)調(diào)試和監(jiān)控的工具。JDK安裝3.JREJRE（JavaRuntimeEnvironment）Java運(yùn)行環(huán)境，包括兩部分：JavaRuntimeEnvironment和JavaPlug-in。JRE是可以在其上運(yùn)行、測(cè)試和傳輸應(yīng)用程序的Java平臺(tái)。它包括JVM（Java虛擬機(jī)）、Java核心類庫(kù)和支持文件。它不包含開(kāi)發(fā)工具（JDK）——編譯器、調(diào)試器和其它工具。JRE需要輔助軟件（JavaPlug-in）以便在瀏覽器中運(yùn)行applet。JRE可以支撐Java程序的運(yùn)行，包括JVM虛擬機(jī)（java.exe等）和基本的類庫(kù)（rt.jar等），JDK可以支持Java程序的開(kāi)發(fā)，包括編譯器（javac.exe）、開(kāi)發(fā)工具（javadoc.exe、jar.exe、keytool.exe、jconsole.exe）和更多的類庫(kù)（如tools.jar）等。Storm4.JDK安裝Hadoop采用的開(kāi)發(fā)語(yǔ)言是Java，所以搭建Hadoop集群的前提是先安裝JDK。本書選擇的JDK版本是Oracle官方的JDK8，這里使用的是tar.gz安裝包（/technetwork/java/javase/downloads/java-archive-javase8-2177648.html）Hadoop集群部署03Hadoop集群部署Hadoop集群部署1．基礎(chǔ)環(huán)境配置搭建Hadoop集群需要配置以下信息：①配置虛擬機(jī)網(wǎng)絡(luò)（NAT聯(lián)網(wǎng)方式）②網(wǎng)卡信息修改③主機(jī)名修改④主機(jī)名與IP映射⑤關(guān)閉防火墻⑥ssh免密登錄⑦JDK安裝⑧同步集群時(shí)間根據(jù)1.1.1與1.1.2節(jié)中的內(nèi)容完成①②③⑤⑦這五個(gè)操作，在配置完成后開(kāi)始主機(jī)名與IP映射、ssh免密登錄、同步集群時(shí)間的操作。ZooKeeper集群部署04ZooKeeper集群部署ZooKeeper是一個(gè)分布式的，開(kāi)放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個(gè)開(kāi)源的實(shí)現(xiàn)，是Hadoop和Hbase的重要組件。它是一個(gè)為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護(hù)、域名服務(wù)、分布式同步、組服務(wù)等。Flink(1)安裝包下載(2)配置zoo.cfg文件(3)myid文件(4)環(huán)境變量配置(5)安裝包分發(fā)(6)啟動(dòng)集群(7)驗(yàn)證Scala安裝05Scala安裝spark是處理大數(shù)據(jù)的開(kāi)源框架，底層是使用scala腳本語(yǔ)言開(kāi)發(fā)，對(duì)scala支持最好，同時(shí)支持java、python、r語(yǔ)言等。scala是一種綜合了面