大數(shù)據(jù)環(huán)境集群環(huán)境搭建

1、大數(shù)據(jù)環(huán)境搭建1、CentOS 6.52、JDK 1.83、Hadoop 2.64、Hive 1-1-05、6、kafka_2.11-0.10217、8、CentOS 6.5防火墻和DNS配置1、關(guān)閉防火墻service iptablesstopchkc onfig iptablesoffvi /etc/seli nux/configSELINUX=disabled2、配置yumyum clea nallyum makecacheyum in stall tel netJDK 1.7安裝1、將通過(guò)上傳到服務(wù)器中2、安裝JDK:把壓縮包放到/usr/java/目錄下3、配置jdk相關(guān)的環(huán)境變量v

2、i /.bashrc或者 vi /etc/profileexport JAVA_HOME=/usr/java/latestexport PATH= $PATH: $JAVA_HOME/bin source .bashrc 或者 source /etc/profile4、 jdk安裝是否成功：-version5、rm -f /etc/udev/rules.d/70-persistent-net.ruleshadoop和spark都是要搭安裝第二臺(tái)和第三臺(tái)服務(wù)器1、安裝上述步驟，再安裝兩臺(tái)一模一樣環(huán)境的服務(wù)器，因?yàn)楹竺娼旱摹?、集群的最小環(huán)境就是三臺(tái)。因?yàn)楹竺嬉罱╖ooKeeper、kafk

3、a等集群。4、 在安裝的時(shí)候，另外兩臺(tái)服務(wù)器的centos鏡像文件必須重新拷貝一份，放在新的目錄里， 使用各自自己的鏡像文件。5、服務(wù)器的硬盤文件也必須重新選擇一個(gè)新的目錄，以更好的區(qū)分。6、安裝好之后，記得要在三臺(tái)機(jī)器的/etc/hosts文件中，配置全三臺(tái)機(jī)器的ip地址到host name 的映射，而不能只配置本機(jī)，這個(gè)很重要！7、 在 wi ndows的hosts文件中也要配置全三臺(tái)機(jī)器的ip地址到host name的映射。配置集群ssh免密碼登錄1、首先在三臺(tái)機(jī)器上配置對(duì)本機(jī)的ssh免密碼登錄生成本機(jī)的公鑰，過(guò)程中不斷敲回車即可，ssh-keygen命令默認(rèn)會(huì)將公鑰放在 /root/.

4、ssh目錄下ssh-keyge n -t rsa將公鑰復(fù)制為authorized_keys文件，此時(shí)使用ssh連接本機(jī)就不需要輸入密碼了cd /root/ .sshcp id_rsa .pub authorized_keys2、接著配置三臺(tái)機(jī)器互相之間的ssh免密碼登錄使用ssh-copy-id -i spark命令將本機(jī)的公鑰拷貝到指定機(jī)器的authorized_keys文件中（方便好用）-CrDotfeparklssh-copy-id -froot5park2's passord: wow cry logging int* th« ntaehinT w1ih and ch

5、«k In:«ssh/dutboriied_keyslo make sure we haven't added extra keys that you weren't expecting.root©sparkl *#Hadoop 241集群搭建安裝hadoop包1、使用 hadoop- 2.4 . 1 .tar.gz ，使用 Win SCP 上傳到 CentOS 的/usr/lo cal 目錄下。2、將 hadoop 包進(jìn)行解壓縮：tar -zxvf hadoop- 2.4 . 1 .tar.gz3、對(duì) hadoop 目錄進(jìn)行重命名： mv had

6、oop- 2.4 . 1 hadoop4、配置hadoop相關(guān)環(huán)境變量vi .bashrc 或者 vi/etc/profileexport HADOOP_HOME=/usr/local/hadoopexport PATH= $HADOOP_HOM/bi n: $HADOOP_HOM/sb insource .bashrc修改hadoop相關(guān)的配置文件進(jìn)入 /usr/local/hadoop/etc/hadoop 目錄下修改 core-site.xmlvproperty ></ name><n ame >fs.default .n amevvalue >hdf

7、s:/spark1:9000</ value > /設(shè)置hdfs集群對(duì)外提供的目錄</ property >修改hdfs-site.xml /設(shè)置hdfs的一些目錄，放在 /usr/local/data 的目錄下面<property ><value >/usr/local/data/name node</ value ></ property ><property ><value >/usr/local/data/datanode</ value ></ property >

8、<property ><value >/usr/local/data/tmp</ value ></ property ><property ><name>dfs.replication</ name><value >3</ value > / 設(shè)置副本數(shù)</ property修改 mapred-site.xml /mapreduce 的框架設(shè)置為 yarnvproperty ><value >yarn </ value ></ property

9、 >修改 yarn-site.xml<property ><value >spark1 </ value ></ property ><property ><value >mapreduce_shuffle </ value ></ property >修改slaves文件spark1spark2spark3在另外兩臺(tái)機(jī)器上搭建hadoop1、使用如上配置在另外兩臺(tái)機(jī)器上搭建hadoop，可以使用scp命令將spark1上面的hadoop安裝包和.bashrc 或者/etc/profile配置

10、文件都拷貝過(guò)去。scp -r hadoop rootspark2 :/usr/local/scp -r /etc/profile rootspark1 :/etc/scp -r /etc/profile rootspark2 :/etc/2、要記得對(duì).bashrc文件或者/etc/profile進(jìn)行source，以讓它生效。3、記得在spark2 和spark3 的/usr/local目錄下創(chuàng)建data目錄。啟動(dòng)hdfs集群1、格式化name node :在sparkl 上執(zhí)行以下命令, hdfs n ame node -format2、啟動(dòng) hdfs 集群：start-dfs . sh3、驗(yàn)

11、證啟動(dòng)是否成功：jps、50070端口查看是否啟動(dòng)成功spark1 : n ame node、data node 、sec on dary name node spark2 : data nodespark3 : data node啟動(dòng)yarn集群1、啟動(dòng) yarn 集群：start -yarn.sh2、驗(yàn)證啟動(dòng)是否成功：jps、8088端口spark2 : no dema nagerspark3 : no dema nager0.13搭建安裝hive包1、將的 使用 WinSCP 上傳到 sparkl 的 /usr/local 目錄下。2、 解壓縮 hive 安裝包：。3、重命名 hive

12、目錄：4、 配置hive相關(guān)的環(huán)境變量，下面以.bashrc文件操作vi .bashrcexport HIVE_HOME=/usr/local/hiveexport PATH= $HIVE_HOME/bi nsource .bashrc安裝1、在spark1上安裝。2、使用 yum 安裝 mysql server。onyum in stall -y mysql-server service mysqld start chkc onfig mysqld3、使用 yum 安裝 mysql connectoryum in stall -y mysql-c onn ector-java4、將 mysq

13、l connector 拷貝到 hive 的 lib 包中cp /usr/share/java/mysql-c onn ector-java-5.1.17. jar /usr/local /hive/lib5、在mysql上創(chuàng)建hive元，并對(duì)hive進(jìn)行授權(quán)createdatabase ifnotexistshive_metadata;grantallprivilegesonhive_metadata.*to'hive'%' identifiedby'hive'grantallprivilegesonhive_metadata.*to'hive

14、'ocalhost'ide ntifiedby'hive'Jgrantallprivilegesonhive_metadata.*to'hive'spark1'identifiedby 'hive'flush privileges; /刷新授權(quán)use hive_metadata;酉己置 hive-site.xmlvi hive-site.xmlvproperty >vvalue >jdbc:mysql:/spark1:3306/hive_metadata?createDatabaselfNotExist=tru

15、e</ value ></ property ><property ></ property >vproperty >vvalue >hive </ value ></ property >vproperty >vvalue >hive </ value ></ property >vproperty >vvalue >/user/hive/warehouse v/ value >v/ property >配置 hive-env.sh 和 hive-c

16、onfig.sh.shmv hive-env. sh . template hive-env.shvi /usr/ local/hive/b in/hive-c onfigexport JAVA_HOME =/usr/java/latestexport HIVE_HOME =/usr/ local /hiveexport HADOOP_HOME =/usr/ local /hadoop驗(yàn)證hive是否安裝成功直接輸入hive命令，可以進(jìn)入 hive命令行集群搭建安裝ZooKeeper包1、將 使用 WinSCP 拷貝到 spark1 的/usr/local 目錄下。2、對(duì) 進(jìn)行解壓縮： 。3、

17、 對(duì) zookeeper 目錄進(jìn)行重命名：。4、配置zookeeper相關(guān)的環(huán)境變量vi .bashrc或者 vi /etc/profileexport ZOOKEEPER_HOME=/usr/local/zkexport PATH= $ZOOKEEPER_HOM/binsource .bashrc配置 zoo.cfg在/usr/local/zk/conf目錄下vi zoo.cfg修改：dataDir=/usr/local/zk/data新增:server.0=spark1:2888 : 3888server.1=spark2:2888 : 3888server.2=spark3:2888 :

18、 3888設(shè)置zk節(jié)點(diǎn)標(biāo)識(shí)cd zkmkdir data cd datavi myid0搭建zk集群1在另外兩個(gè)節(jié)點(diǎn)上按照上述步驟配置ZooKeeper，使用scp將zk和.bashrc拷貝到spark2和spark3上即可。scp -r zk rootslave1:/usr/local/2、唯一的區(qū)別是 spark2和spark3的標(biāo)識(shí)號(hào)分別設(shè)置為1和2。及myid中的值修改為1和2啟動(dòng)ZooKeeper集群1、 分別在三臺(tái)機(jī)器上執(zhí)行：zkServer .sh start2、檢查 ZooKeeper 狀態(tài)：zkServer .sh status集群搭建安裝1、將使用 WinSCP 拷貝到 s

19、parkl 的/usr/local 目錄下。2、 對(duì) 進(jìn)行解壓縮：。3、 對(duì) scala 目錄進(jìn)行重命名：4、配置scala相關(guān)的環(huán)境變量vi .bashrcexport SCALA_HOME=/usr/local/scalaexport PATH= $SCALA_HOMEbinsource .bashrc5、 查看scala是否安裝成功：scala -version6、 按照上述步驟在spark2和spark3機(jī)器上都安裝好 scala。使用scp將scala和.bashrc拷貝到spark2和spark3上即可。安裝Kafka包1、將 使用 WinSCP 拷貝到 spark1 的 /usr

20、/local 目錄下。2、 對(duì) 進(jìn)行解壓縮：。3、 對(duì) kafka 目錄進(jìn)行改名：4、配置 pertiesvi /usr/local/kafka/con fig/serverbroker .id :依次增長(zhǎng)的整數(shù)，0、1、2、3、4，集群中Broker 的唯一 id: : 2181 , 1: 21815、安裝 Slf4j將 slf4j-176.zip 上傳到 /usr/local 目錄下把slf4j中的復(fù)制到kafka的libs目錄下面搭建kafka集群1、按照上述步驟在 spark2和spark3分別安裝 kafka。用scp把kafka拷貝到spark2和spark3行即

21、可。2、唯一區(qū)別的，就是 perties中的broker.id，要設(shè)置為1和2啟動(dòng)kafka集群1、 在三臺(tái)機(jī)器上分另 U執(zhí)行以下命令：no hup bin/kafka-server-start.sh con fig/perties &（必須在kafka的主目錄下執(zhí)行 cd /kafka）2、 解決 kafka Un recog nized VM optio n UseCompressed問(wèn)題s 'vi bin/kafka-run-class . shif -z "$KAFKA_JVM_PERFORMANCE_OPTS"

22、; ; thenfi3、使用jps檢查啟動(dòng)是否成功測(cè)試kafka集群使用基本命令檢查kafka是否搭建成功bin/kafka - topics . sh - zookeeper192. 168.0. 110:2181 , 192. 168. 0. 111:2181 , 192. 168.0. 112:2181- topic TestTopic- replication - factor 1 - partitions1 - create在spark1 上執(zhí)行bin/kafka - con sole - producer . sh - broker - list 192 . 168 . 1. 10

23、7: 9092 , 192 . 168 . 1. 108:9092 , 192 . 168 . 1. 109:9092- topic TestTopic在spark2 上執(zhí)行bin/kafka- co nsole -con sumer . sh - zookeeper 192 . 168 . 1. 107:2181, 192. 168. 1. 108:2181, 192 . 168 . 1. 109:2181- topic TestTopic-from - beg inning集群搭建安裝 spark 包1、將 使用 WinSCP 上傳到 /usr/local 目錄下。3、更改 spark 目

24、錄名：4、設(shè)置spark環(huán)境變量vi .bashrcexport SPARK_HOME=/usr/local/sparkexport PATH= $SPARK_HOMEbinexport CLASSPATH=.: $CLASSPATH: $JAVA_HOM日l(shuí)ib: $JAVA_HOMEj re/libsource .bashrc修改 spark-env . sh 文件1、cd /usr/ local /spark/conf2、 cp spark-env. sh . template spark-env . sh3、vi spark-env . shexport JAVA_HOME =/usr

25、/java/latestexport SCALA_HOME =/usr/ local /scalaexport SPARK_WORKER_MEMORY=1 gexport HADOOP_CONF_DIR =/usr/ local /hadoop/etc/hadoop修改slaves 文件spark2spark3安裝spark集群在另外兩個(gè)節(jié)點(diǎn)進(jìn)行一模一樣的配置，使用scp將spark和.bashrc拷貝到spark2和spark3即可。啟動(dòng)spark集群1、在 spark目錄下的 sb in目錄2、執(zhí)行./start-all.sh3、使用jsp和8080端口可以檢查集群是否啟動(dòng)成功4、進(jìn)入sp

26、ark-shell查看是否正常升級(jí) 1.5安裝 spark 包1、停止 集群：SPARK_HOME/sbin/stop-all.sh2、將 使用 WinSCP 上傳到 /usr/local 目錄下。3、解壓縮 spark 包：。4、修改spark環(huán)境變量vi .bashrcexport SPARK_HOME=/usr/local/spark-1.5 . 1 -bin-hadoop2. 4export PATH= $SPARK_HOMEbinexport CLASSPATH=.: $CLASSPATH: $JAVA_HOME/lib: $JAVA_HOMEj re/libsource .bash

27、rc修改spark-env.sh文件1、cd /usr/local/spark/conf2、3、vi spark-env.shexportJAVA_HOME=/usr/java/latestexportSCALA_HOME=/usr/local/scalaexportSPARK_MASTER_IP= 192.168 . 1.107exportSPARK_WORKER_MEMORY=gexportHADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop修改slaves 文件spark2spark3安裝spark集群在另外兩個(gè)節(jié)點(diǎn)進(jìn)行一模一樣的配置，使用scp將sp

28、ark和.bashrc拷貝到spark2和spark3即可。啟動(dòng)spark集群1、在 spark目錄下的 sb in目錄2、執(zhí)行./start-all.sh3、使用jsp和8080端口可以檢查集群是否啟動(dòng)成功4、進(jìn)入spark-shell查看是否正常hadoop fs - put spark.txt /val lines = sc.textFile("hdfs:/spark1:9000/spark.txt")val words = lines .flatMap(line=> line . split("")val pairs = words .map( word => ( word , 1)val counts = pairs.reduceByKey(_ + _)coun ts.foreach(co unt => println(coun t._1 +&