Spark大數(shù)據(jù)分析 課件 2.1 集群環(huán)境準備

集群環(huán)境準備目錄/Contents01系統(tǒng)環(huán)境配置02JDK安裝03Hadoop集群部署04ZooKeeper集群部署05Scala安裝系統(tǒng)環(huán)境配置01系統(tǒng)環(huán)境配置1.安裝linux系統(tǒng)：Centos關(guān)于系統(tǒng)的安裝這里不做詳細的介紹，本次安裝的系統(tǒng)為centos7，可以在阿里鏡像鏡像網(wǎng)站（/centos/7/isos/x86_64/）或者官網(wǎng)（/download/）下載鏡像。使用的軟件：VMwareWorkstation系統(tǒng)安裝要求：無桌面版最小化安裝網(wǎng)絡(luò)連接方式：NAT內(nèi)存2G及以上磁盤大小30G及以上CPU1核以上2.網(wǎng)絡(luò)環(huán)境配置在系統(tǒng)安裝完成后需要配置虛擬機的網(wǎng)卡信息。(1)NAT信息查看①打開VMware②找到菜單欄中的“編輯”，選擇“虛擬網(wǎng)絡(luò)編輯器”③選擇VMnet8，NAT設(shè)置(2)打開虛擬機命令行界面，修改網(wǎng)卡信息系統(tǒng)環(huán)境配置3.配置防火墻CentOS7默認使用的是firewall作為防火墻。firewall操作：#servicefirewalldstatus;#查看防火墻狀態(tài)（disabled表明已經(jīng)禁止開啟啟動enable表示開機自啟，inactive表示防火墻關(guān)閉狀態(tài)activated（running）表示為開啟狀態(tài)）4.主機名修改vi與vimvi編輯器是所有Unix及Linux系統(tǒng)下標準的編輯器，他就相當于windows系統(tǒng)中的記事本一樣，它的強大不遜色于任何最新的文本編輯器。他是我們使用Linux系統(tǒng)不能缺少的工具。由于對Unix及Linux系統(tǒng)的任何版本，vi編輯器是完全相同的，學(xué)會它后，你將在Linux的世界里暢行無阻。vim具有程序編輯的能力，可以以字體顏色辨別語法的正確性，方便程序設(shè)計，因為程序簡單，編輯速度相當快速。JDK安裝02JDK安裝1.面向?qū)ο缶幊陶Z言——JavaJava是一門面向?qū)ο缶幊陶Z言，不僅吸收了C++語言的各種優(yōu)點，還摒棄了C++里難以理解的多繼承、指針等概念，因此Java語言具有功能強大和簡單易用兩個特征。Java語言作為靜態(tài)面向?qū)ο缶幊陶Z言的代表，極好地實現(xiàn)了面向?qū)ο罄碚摚奖愠绦騿T以面向?qū)ο蟮乃季S方式進行復(fù)雜的編程。Java具有簡單性、面向?qū)ο?、分布式、健壯性、安全性、平臺獨立與可移植性、多線程、動態(tài)性等特點。Java可以編寫桌面應(yīng)用程序、Web應(yīng)用程序、分布式系統(tǒng)和嵌入式系統(tǒng)應(yīng)用程序等。Storm2.JDKJDK(JavaDevelopmentKit)是Java語言的軟件開發(fā)工具包，主要用于移動設(shè)備、嵌入式設(shè)備上的Java應(yīng)用程序。JDK是整個Java開發(fā)的核心，它包含了Java的運行環(huán)境（JVM+Java系統(tǒng)類庫）和Java工具。JDK包含的基本組件包括：javac：編譯器，將源程序轉(zhuǎn)成字節(jié)碼。jar：打包工具，將相關(guān)的類文件打包成一個文件。javadoc：文檔生成器，從源碼注釋中提取文檔。jdb：debugger，查錯工具。java：運行編譯后的Java程序（.class后綴的）。appletviewer：小程序瀏覽器，一種執(zhí)行HTML文件上的Java小程序的Java瀏覽器。Javah：產(chǎn)生可以調(diào)用Java過程的C過程，或建立能被Java程序調(diào)用的C過程的頭文件。Javap：Java反匯編器，顯示編譯類文件中的可訪問功能和數(shù)據(jù)，同時顯示字節(jié)代碼含義。Jconsole:Java進行系統(tǒng)調(diào)試和監(jiān)控的工具。JDK安裝3.JREJRE（JavaRuntimeEnvironment）Java運行環(huán)境，包括兩部分：JavaRuntimeEnvironment和JavaPlug-in。JRE是可以在其上運行、測試和傳輸應(yīng)用程序的Java平臺。它包括JVM（Java虛擬機）、Java核心類庫和支持文件。它不包含開發(fā)工具（JDK）——編譯器、調(diào)試器和其它工具。JRE需要輔助軟件（JavaPlug-in）以便在瀏覽器中運行applet。JRE可以支撐Java程序的運行，包括JVM虛擬機（java.exe等）和基本的類庫（rt.jar等），JDK可以支持Java程序的開發(fā)，包括編譯器（javac.exe）、開發(fā)工具（javadoc.exe、jar.exe、keytool.exe、jconsole.exe）和更多的類庫（如tools.jar）等。Storm4.JDK安裝Hadoop采用的開發(fā)語言是Java，所以搭建Hadoop集群的前提是先安裝JDK。本書選擇的JDK版本是Oracle官方的JDK8，這里使用的是tar.gz安裝包（/technetwork/java/javase/downloads/java-archive-javase8-2177648.html）Hadoop集群部署03Hadoop集群部署Hadoop集群部署1．基礎(chǔ)環(huán)境配置搭建Hadoop集群需要配置以下信息：①配置虛擬機網(wǎng)絡(luò)（NAT聯(lián)網(wǎng)方式）②網(wǎng)卡信息修改③主機名修改④主機名與IP映射⑤關(guān)閉防火墻⑥ssh免密登錄⑦JDK安裝⑧同步集群時間根據(jù)1.1.1與1.1.2節(jié)中的內(nèi)容完成①②③⑤⑦這五個操作，在配置完成后開始主機名與IP映射、ssh免密登錄、同步集群時間的操作。ZooKeeper集群部署04ZooKeeper集群部署ZooKeeper是一個分布式的，開放源碼的分布式應(yīng)用程序協(xié)調(diào)服務(wù)，是Google的Chubby一個開源的實現(xiàn)，是Hadoop和Hbase的重要組件。它是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供的功能包括：配置維護、域名服務(wù)、分布式同步、組服務(wù)等。Flink(1)安裝包下載(2)配置zoo.cfg文件(3)myid文件(4)環(huán)境變量配置(5)安裝包分發(fā)(6)啟動集群(7)驗證Scala安裝05Scala安裝spark是處理大數(shù)據(jù)的開源框架，底層是使用scala腳本語言開發(fā)，對scala支持最好，同時支持java、python、r語言等。scala是一種綜合了面