Linux下搭建hadoop集群環(huán)境

1、前期準備l 兩臺linux虛擬機（本文使用redhat5，IP分別為 10、11）l JDK環(huán)境（本文使用jdk1.6，網(wǎng)上很多配置方法，本文省略）l Hadoop安裝包（本文使用Hadoop1.0.4）搭建目標210作為主機和節(jié)點機，211作為節(jié)點機。搭建步驟1修改hosts文件在/etc/hosts中增加：view source1 10 hadoop1 2 11 hadoop2 2 實現(xiàn)ssh無密碼登陸2.1 主機（master）無密碼本機登陸view source1 ssh-keygen -t dsa

2、 -P '' -f /.ssh/id_dsa 直接回車，完成后會在 /.ssh/ 生成兩個文件： id_dsa 和 id_dsa.pub 。這兩個是成對出現(xiàn)，類似鑰匙和鎖。再把 id_dsa.pub 追加到授權 key 里面 ( 當前并沒有 authorized_key s文件 ) ：view source1 cat /.ssh/id_dsa.pub >> /.ssh/authorized_keys 實驗：view source1 ssh localhost hostname 還是要輸入密碼，一般這種情況都是因為目錄或文件的權限問題，看看系統(tǒng)日志，確實是權限問題，.

3、ssh下的authorized_keys權限為600，其父目錄和祖父目錄應為755 2.2 無密碼登陸節(jié)點機（slave）slave上執(zhí)行：view source1 ssh-keygen -t dsa -P '' -f /.ssh/id_dsa 生成.ssh目錄。 將master上的authorized_keys復制到slave上：view source1 scp authorized_keys hadoop2:/.ssh/ 實驗：在master上執(zhí)行view source1 ssh hadoop2 實現(xiàn)無密碼登陸。3 配置Hadoop3.1拷貝hadoop將hadoop-1.

4、0.4.tar.gz ,拷貝到usr/local 文件夾下，然后解壓。解壓命令：view source1 tar zxvf hadoop-1.0.4.tar.gz 3.2查看 cat /etc/hostsview source1 10 hadoop1 2 11 hadoop2 3.3 配置 conf/masters 和 conf/slavesconf/masters：view source1 10 conf/slaves：view source1 11 2 11 3.4 配置 conf

5、/hadoop-env.sh加入view source1 export JAVA_HOME=/home/elvis/soft/jdk1.7.0_17 3.5 配置 conf/core-site.xml加入view source1 <property> 2 <name></name> 3 <value>hdfs:/10:9000</value> 4 </property> 3.6 配置 conf/hdfs-site.xml加入view source01 <proper

6、ty> 02 <name>dfs.http.address</name> 03 <value>10:50070</value> 04 </property> 05 <property> 06 <name>.dir</name> 07 <value>/usr/local/hadoop/namenode</value> 08 </property> 09 <property> 10 <name>dfs

7、.data.dir</name> 11 <value>/usr/local/hadoop/data</value> 12 </property> 13 <property> 14 <name>dfs.replication</name> 15 <value>2</value> 16 </property> 3.7 配置conf/mapred-site.xml加入view source1 <property> 2 <name>mapred.job.tra

8、cker</name> 3 <value>0:8012</value> 4 </property> 3.8 建立相關的目錄/usr/local/hadoop/ /hadoop數(shù)據(jù)和namenode目錄【注意】只創(chuàng)建到hadoop目錄即可，不要手動創(chuàng)建data和namenode目錄。其他節(jié)點機也同樣建立該目錄。3.9 拷貝hadoop文件到其他節(jié)點機將hadoop文件遠程copy到其他節(jié)點（這樣前面的配置就都映射到了其他節(jié)點上），命令：view source1 scp -r hadoop-1.0.4 11

9、:/usr/local/ 3.10 格式化Active master（1）命令：view source1 bin/hadoop namenode -format 3.11 啟動集群 ./start-all.sh現(xiàn)在集群啟動起來了，看一下，命令：view source1 bin/hadoop dfsadmin -report 2個datanode，打開web看一下瀏覽器輸入:10:50070 打完收工，集群安裝完成！ 常見問題1 Bad connection to FS. command aborted 需要查看日志，我的日志中顯示：2013-06

10、-09 15:56:39,790 ERROR node.NameNode: java.io.IOException: NameNode is not formatted.at node.FSImage.recoverTransitionRead(FSImage.java:330)at node.FSDirectory.loadFSImage(FSDirectory.java:100)at or

11、node.FSNamesystem.initialize(FSNamesystem.java:388)at node.FSNamesystem.<init>(FSNamesystem.java:362)at node.NameNode.initialize(NameNode.java:276)at node.NameN

12、ode.<init>(NameNode.java:496)at node.NameNode.createNameNode(NameNode.java:1279)at node.NameNode.main(NameNode.java:1288) NameNode沒被格式化！ 解決辦法：原因是我手動建了 /usr/local/hadoop/data 和 /usr/local/hadoop/namenode，把這兩個目錄刪除重新格式化namenode即可

13、。 2 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /usr/local/hadoop/data, expected: rwxr-xr-x, while actual: rwxrwxrwx解決辦法：/usr/local/hadoop/目錄權限過高，改成chmod 755即可。 3 eclipse插件問題異常1：2011-08-03 17:52:26,244 INFO org.apache.hadoop.ipc.S

14、erver: IPC Server handler 6 on 9800, call getListing(/home/fish/tmp20/mapred/system) from 01:2936: error: org.apache.hadoop.security.AccessControlException: Permission denied: user=DrWho, access=READ_EXECUTE, inode=”system”:root:supergroup:rwx-wx-wxorg.apache.hadoop.security.AccessControl

15、Exception: Permission denied: user=DrWho, access=READ_EXECUTE, inode=”system”:root:supergroup:rwx-wx-wxat node.PermissionChecker.check(PermissionChecker.java:176)at node.PermissionChecker.checkPermission(PermissionChecker.java:111)a

16、t node.FSNamesystem.checkPermission(FSNamesystem.java:4514)at node.FSNamesystem.checkPathAccess(FSNamesystem.java:4474)at node.FSNamesystem.getListing(FSNamesystem.java:1989)at org.apache.hadoop.hdf

17、node.NameNode.getListing(NameNode.java:556)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)at java.lang.r

18、eflect.Method.invoke(Method.java:597)at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:508)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:959)at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:955)at java.security.AccessController.doPrivileged(Native Method)at javax.security.auth.Subject.doAs(Subject.java:396)at org.apache.hadoop.ipc.Server$Handler.run(Server.java:953) 解決方法：在hdfs-site.xml里加入下面的view so