Hadoop安裝部署手冊

1、1 安裝環(huán)境介紹1.1 軟件環(huán)境1） CentOS6.5 x642） Jdk 1.7 x643） Hadoop 2.6.2 x644） Hbase-0.98.95）1.2 集群環(huán)境集群中包括3個節(jié)點：1個Master，2個Slave機器名稱IP地址HadoopZooKeepermyidHbaseMaster.Hadoop50NameNodeserver.11HMaserSlave1.Hadoop 51 DataNodeserver.22HRegionServerSlave2.Hadoop 52 Dat

2、aNodeserver.33HRegionServer2 安裝前的準備.2.1 下載JDK2.2 下載Hadoopcommonhadoop-2.6.0.tar.gz是發(fā)行包，但只有32位hadoop-2.6.0-src.tar.gz是源碼包，用于自己編譯成64位版本2.3 下載Zookeeper2.4 下載Hbasehttp3 開始安裝3.1 CentOS安裝配置1） 安裝3臺CentOS6.5 x64（使用Basic Server模式，其他使用默認配置，安裝過程略）2） Master.Hadoop配置a) 配置網(wǎng)絡vi /etc/sysconfig/network-script

3、s/ifcfg-eth0修改為：DEVICE=eth0ONBOOT=yesBOOTPROTO=staticIPADDR=1.150NETMASK=55.0GATEWAY=保存，退出（esc+:wq+enter），使配置生效service network restartb) 配置主機名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Master.Hadoop修改為：保存，退出（esc+:wq+enter），使配置生效hostname Master.Hadoopc) 配置hostsvi /etc/hosts修改為：50 Master

4、.Hadoop51 Slave1.Hadoop52 Slave2.Hadoopd) 關閉系統(tǒng)防火墻service iptables stopchkconfig iptables offe) 禁止SELINUXvi /etc/sysconfig/selinux修改為：#SELINUX=enforcingSELINUX=disabledf) 調(diào)整系統(tǒng)文件限制vi /etc/security/limits.conf在最后增加如下內(nèi)容* soft nofile 65535* hard nofile 65535vi /etc/pam.d/login修改以下文件：增加如

5、下內(nèi)容：session required /lib/security/pam_limits.so以上調(diào)整，需要重啟系統(tǒng)才能生效g) 配置用戶新建hadoop用戶和組，設置hadoop用戶密碼groupadd hadoopuseradd hadoop -g Hadooppasswd hadooph) 無密碼密鑰對切換到hadoop用戶，生成密碼對su Hadoopssh-keygen -t rsa -P ''生成其無密碼密鑰對，詢問其保存路徑時直接回車采用默認路徑。生成的密鑰對：id_rsa和id_rsa.pub，默認存儲在"/home/hadoop/.ssh"

6、;目錄下。a) 把id_rsa.pub追加到授權的key里面去cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysb) 修改.ssh目錄的權限以及authorized_keys 的權限chmod 600 /.ssh/authorized_keysc) 用root用戶登錄服務器修改SSH配置文件"/etc/ssh/sshd_config"的下列內(nèi)容su rootvi /etc/ssh/sshd_config其中三行內(nèi)容改為啟用，如下所示RSAAuthentication yesPubkeyAuthentication yesA

7、uthorizedKeysFile .ssh/authorized_keys保存，退出（esc+:wq+enter），重新啟動SSH服務，使設置生效service sshd restart3） Slave1.Hadoop、Slave1.Hadoop配置相同的方式配置Slave1和Slave2的IP地址，主機名和hosts文件，新建hadoop用戶和組及用戶密碼等等操作機器名稱IP地址Slave1.Hadoop 51 Slave2.Hadoop 52 3.2 無密碼登陸配置1） 配置Master無密碼登錄所有Slavea

8、) 使用hadoop用戶登陸Master.Hadoopb) 把公鑰復制所有的Slave機器上。使用下面的命令格式進行復制公鑰scp /.ssh/id_rsa.pub hadoopSlave1.Hadoop:/scp /.ssh/id_rsa.pub hadoopSlave2.Hadoop:/c) 在Slave機器上進行配置cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub測試Master到Slave的ssh登陸ssh Slave1.Hadoop2） 配置Slave無密碼登錄Mastera) 使用hadoop用戶登陸Sla

9、veb) 把公鑰復制Master機器上。使用下面的命令格式進行復制公鑰scp /.ssh/id_rsa.pub hadoopMaster.Hadoop:/c) 在Master機器上將公鑰追加到authorized_keys中cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub測試Slave到Master的ssh登陸ssh Master.Hadoop3.3 安裝JDK所有的機器上都要安裝JDK，先在Master服務器安裝，然后其他服務器按照步驟重復進行即可。安裝JDK以及配置環(huán)境變量，需要以"root"的

10、身份進行。1） 將jdk安裝包jdk-7u71-linux-x64.tar.gz上傳到服務器/usr/local/目錄下2） 解壓縮文件cd /usr/local3） 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容：export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport PATH=$PATH:$JAVA_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效java version4） 驗證是否安裝成功rm f5） 刪除jdk的安裝包scp -r

11、/usr/local/ rootSlave1.Hadoop:/usr/local/scp -r /usr/local/ rootSlave2.Hadoop:/usr/local/6） 在Slave上重復以上步驟，安裝JDK（以下為從Master復制jdk到Slave）3.4 安裝Hadoop因為官網(wǎng)沒有64位版的haoop2.6.0發(fā)行包，需要手動由源代碼編譯（編譯過程另附文件說明），編譯后的文件為，以下使用root身份進行安裝。1） 將hadoop安裝包上傳到服務器/usr/local/目錄下2） 解壓縮文件cd /usr/local3） 在"/usr/local/hadoop-2

12、.6.0"下面創(chuàng)建tmp文件夾4） 編輯<HADOOP_HOME>/etc/hadoop/hadoop-env.sh修改JAVA_HOME的配置：5） 編輯<HADOOP_HOME>/etc/hadoop/core-site.xmlcore-site.xml修改為：<configuration><property> <name>fs.defaultFS</name> <value>hdfs:/Master.Hadoop:9000</value></property><pr

13、operty> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.6.0/tmp</value></property><property> <name>io.file.buffer.size</name> <value>4096</value></property></configuration>6） 編輯<HADOOP_HOME>/etc/hadoop/hdfs-site.

14、xmlhdfs-site.xml修改為：<configuration><property><name>.dir</name><value>/usr/local/hadoop-2.6.0/dfs/name</value><final>true</final></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hado

15、op-2.6.0/dfs/data</value><final>true</final></property><property><name>dfs.replication</name><value>2</value></property></configuration>dfs.replication值需要與實際的DataNode節(jié)點數(shù)要一致，本文為27） 編輯<HADOOP_HOME>/etc/hadoop/yarn-site.xmlyarn-sit

16、e.xml修改為：<configuration><property><name>yarn.resourcemanager.hostname</name><value>Master.Hadoop</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property

17、><name>yarn.resourcemanager.address</name><value>Master.Hadoop:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Master.Hadoop:8030</value></property><property><name>yarn.resourc

18、emanager.resource-tracker.address</name><value>Master.Hadoop:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Master.Hadoop:8033</value></property><property><name>yarn.resourcemanager.webapp

19、.address</name><value>Master.Hadoop:8088</value></property></configuration>8） 編輯<HADOOP_HOME>/etc/hadoop/mapred-site.xml默認沒有mapred-site.xml文件，需要復制一份mapred-site.xml.template為 mapred-site.xml即可cp mapred-site.xml修改為：<configuration><property><name>ma

20、</name><value>yarn</value><final>true</final></property></configuration>9） 編輯 <HADOOP_HOME>/etc/hadoop/slavesslaves修改為：Slave1.HadoopSlave2.Hadoop10） 把該文件夾的讀權限分配給普通用戶hadoop11） 刪除hadoop的安裝包12） 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容：export PATH

21、=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile保存，退出（esc+:wq+enter），使配置生效13） 在Slave上重復以上步驟，安裝Hadoop（以下為從Master復制hadoop到Slave）scp -r /usr/local/ rootSlave1.Hadoop:/usr/local/scp -r /usr/local/ rootSlave2.Hadoop:/usr/local/14） 測試和啟動在Slave上進行如上配置后，使用使用hadoop用戶啟動服務hdfs namenode format第一次啟動需

22、要在Master.Hadoop 執(zhí)行無錯誤后，啟動服務（先啟動HDFS）/sbin/start-dfs.sh再啟動yarn/sbin/start-yarn.sh在Master 驗證啟動進程jps在Slave 驗證啟動進程jps15） 網(wǎng)頁查看集群50:5007050:80883.5 安裝Zookeeper1） 以root身份將zookeeper-3.4.6.tar.gz上傳到服務器/usr/local/目錄下2） 解壓縮文件cd /usr/localtar zxvf 3） 創(chuàng)建data文件夾4） 根據(jù)zoo_sample.cfg創(chuàng)建z

23、oo.cfg并修改修改為：server.1=Master.Hadoop:2888:3888server.2=Slave1.Hadoop:2888:3888server.3=Slave2.Hadoop:2888:38885） 在dataDir目錄下創(chuàng)建myid文件，設為1，Slave1.Hadoop，Slave2.Hadoop的myid為2，36） 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容：export ZOOKEEPER_HOME=/usr/local/export PATH=$PATH:$ ZOOKEEPER_HOME/binsource /etc/profile保存，退出（e

24、sc+:wq+enter），使配置生效7） 把該文件夾的讀權限分配給普通用戶hadoop8） 刪除安裝包rm -f su hadoopbin/zkServer.sh start9） 用hadoop用戶啟動ZooKeeper集群需要在Master和Slave上分別啟動服務bin/zkServer.sh status10） 安裝驗證bin/zkServer.sh stop11） 停止服務指令為3.6 安裝Hbase1） 以root身份將上傳到服務器/usr/local/目錄下2） 解壓縮文件cd /usr/localtar zxvf mv hbase-0.98.9-hadoop2 hbase-0.

25、98.93） 編輯<HBASE_HOME>/conf/hbase-env.shvi /usr/local/hbase-0.98.9/conf/hbase-env.sh修改為：export HBASE_MANAGES_ZK=false使用獨立的ZooKeeper時需要修改HBASE_MANAGES_ZK值為false，為不使用默認ZooKeeper實例4） 編輯<HBASE_HOME>/conf/hbase-site.xmlvi /usr/local/hbase-0.98.9/conf/hbase-site.xml在configuration里添加：<propert

26、y><name>hbase.rootdir</name><value>hdfs:/Master.Hadoop:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.master</name><value>hdf

27、s:/Master.Hadoop:60000</value></property><property><name>hbase.zookeeper.quorum</name><value>Master.Hadoop,Slave1.Hadoop,Slave2.Hadoop</value></property><property><name>perty.dataDir</name><value>/usr/local/zo

28、okeeper-3.4.6/data</value></property>5） 編輯<HBASE_HOME>/conf/regionservers文件vi /usr/local/hbase-0.98.9/conf/regionservers刪除localhost，添加如下內(nèi)容：Master.HadoopSlave1.HadoopSlave2.Hadoop6） 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容：export HBASE_HOME=/usr/local/hbase-0.98.9export PATH=$PATH:$HBASE_HOME/binsource /etc/profile保存，退出（esc+:wq+enter），使配置生效7） 刪除安裝包chown -R hadoop:hadoop /usr/local/hbase-0.98.9/8） 把該文件夾的讀權限分配給普通用戶hadoop9） 在Slave上執(zhí)行以上操作（或拷貝配置好的hbase文件夾，然后執(zhí)行第6、8）scp -r /usr/local/