安裝及運行維護匯總小問題

1、windows安裝hadoop博客分類：· hadoophadoop是什么就不多說了，看這里hadoop推薦部署環(huán)境是在linux，但是我們想要在windows體驗一下還是可以的，followme我的環(huán)境：windowsxp，hadoop安裝包(0.20.1)，cygwin打開cygwinJava代碼1. explorer.把hadoop的包放到這個目錄下然后輸入命令Java代碼1. tarzxfhadoop-0.20.1.tar.gz解壓完成后進入hadoop-0.20.1的配置目錄，打開core-site.xml，加入以下內(nèi)容。這里是定義namenode運行地址和端口Xml代碼1

2、. <property>2. <name></name>3. <value>hdfs:/localhost:9000</value>4. </property>打開hdfs-site.xml，加入以下內(nèi)容Java代碼1. <property>2. <name>dfs.replication</name>3. <value>1</value>4. </property>這里把復(fù)制因子設(shè)置為1是因為我們在windows上做偽分布，只能啟動一個datanod

3、e接下來可以定義namenode數(shù)據(jù)目錄，和datanode數(shù)據(jù)目錄。當然這個不是必須的，默認是在/tmp目錄下面Xml代碼1. <property>2. <name></name>3. <value>c:/filesystem/name</value>4. </property>5. <property>6. <name></name>7. <value>c:/filesystem/data</value>8. </property>最后修改hado

4、op-env.sh，把下面注釋的這行打開，并設(shè)置為你的jdk路徑。如果你的java在ProgramFiles下，則整個jdk路徑加引號Java代碼exportJAVA_HOME=你的jdk路徑ok，在cygwin下進入bin目錄,首先需要格式化namenodeJava代碼1. ./hadoopnamenode-format然后啟動namenodeJava代碼1. ./hadoopnamenode再打開一個datanode，同樣在bin目錄下Java代碼1. ./hadoopdatanode不出意外，你會看到namenodedatanode我們可以試一下上傳文件Java代碼1. ./hadoop

5、fs-putd:/download/vmware6.03.rar/tt/vm.rarlist一下Java代碼1. ./hadoopfs-lsr/tt結(jié)果：Java代碼1. -rw-r-r-1Administratorsupergroup207939702010-01-1815:52/tt/vm.rar有興趣的筒子可以去c:/filesystem/data/current看看哈：）A.當我執(zhí)行./hadoopnamenode-format時為啥會出現(xiàn)下面的錯誤提示，我的hadoop-env.sh中JAVA_HOME配置為：exportJAVA_HOME=/cygdrive/d/Java/jdk1

6、.6.0_10。出現(xiàn)的問題是：/cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line2:$'r':commandnotfound./cygdrive/d/hadoop/bin/.conf/hadoop-env.sh:line52:$'r':commandnotfound/bin/java:cannotexecute:NOsuchfileordirectory0_10請指教解決了：在conf/目錄下執(zhí)行“dos2unixhadoop-env.sh”就OK了。Lulu_pcB.hadoop錯誤INFO ipc.Client:

7、Retrying connect to server: localhost/ .  2012-05-14 16:23:13|  分類： hadoop|字號 訂閱hadoop安裝完成后，必須要用haddop namenode format格式化后，才能使用，如果重啟機器在啟動hadoop后，用hadoop fs -ls命令老是報 10/09/25 18:35:29 INFO ipc.Client: Retrying connect to server: localhost/:9000. Already

8、 tried 0 time(s).的錯誤，用jps命令，也看不不到namenode的進程， 必須再用命令hadoop namenode format格式化后，才能再使用    原因是：hadoop默認配置是把一些tmp文件放在/tmp目錄下，重啟系統(tǒng)后，tmp目錄下的東西被清除，所以報錯    解決方法：在conf/core-site.xml （0.19.2版本的為conf/hadoop-site.xml）中增加以下內(nèi)容   <property>   <name>hado

9、op.tmp.dir</name>   <value>/var/log/hadoop/tmp</value>  <description>A base for other temporary directories</description>  </property>  重啟hadoop后，格式化namenode即可 C.錯誤1. .could only be replicated to 0 nodes,instead of 1這個錯誤主要的解決方法是:1.把 t

10、mp文件全部刪除。3.重新格式化namenode :(bin/hadoop namenode -format)也許你不知道hadoop 的tmp文件在哪里，默認情況下應(yīng)該才 cygwin根目錄下的tmp文件夾內(nèi)：如下圖所示：把它們都刪掉。就OK了。 (cd /tmp  ,   rm -rf *)參考博客：錯誤2：name node is in safe mode直接輸入命令： bin/hadoop dfsadmin -safemode leave 離開安全模式-華麗分割-記錄配置過程到此結(jié)束，如有錯誤，煩請指出，不勝感激。D.hadoop集群啟動start-all.sh的時

11、候，slave總是無法啟動datanode，并會報錯： could only be replicated to 0 nodes, instead of 1 就是有節(jié)點的標識可能重復(fù)（個人認為這個錯誤的原因）。也可能有其他原因，一下解決方法請依次嘗試，我是解決了。解決方法：1. 刪除所有節(jié)點dfs.data.dir和dfs.tmp.dir目錄（默認為tmp/dfs/data和tmp/dfs/tmp）下的數(shù)據(jù)文件；然后重新hadoop namenode -format 格式化節(jié)點；然后啟動。2. 如果是端口訪問的問題，你應(yīng)該確保所用的端口都打開，比如hdfs:/machine1:9000/、500

12、30、50070之類的。執(zhí)行#iptables -I INPUT -p tcp dport 9000 -j ACCEPT 命令。3. 如果還有報錯：hdfs.DFSClient: Exception in createBlockOutputStream .ConnectException: Connection refused；應(yīng)該是datanode上的端口不能訪問，到datanode上修改iptables：#iptables -I INPUT -s machine1 -p tcp -j ACCEPT4. 還有可能是防火墻的限制集群間的互相通信。嘗試關(guān)閉防火墻。/etc/init.d/ipta

13、bles stop5. 最后還有可能磁盤空間不夠了，請查看 df -al6. 我在解決這個問題的時候還有人說：先后啟動namenode、datanode可以解決這個問題（本人嘗試發(fā)現(xiàn)沒用，大家可以試試）$hadoop-daemon.sh start namenode ； $hadoop-daemon.sh start datanodeE.(1)如果datanode連接不上namenode，導(dǎo)致datanode無法啟動。ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Call to . fai

14、led on local exception: .NoRouteToHostException: No route to host(2)報錯 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.EOFException  無法向datanode寫數(shù)據(jù)塊，即表明無法向datanode正常連接解決方法：關(guān)閉防火墻：如果是Linux系統(tǒng)復(fù)制代碼代碼如下:service iptables stop 禁用selinux:編輯 /etc/

15、selinux/config文件，設(shè)置“SELINUX=disabled”如果是在windows平臺，則需要將由cygwin安裝的sshd程序加入被windows防火墻允許通過的程序。 F.安全模式導(dǎo)致的錯誤org.apache.hadoop.dfs.SafeModeException: Cannot delete ., Name node is in safe mode在分布式文件系統(tǒng)啟動的時候，開始的時候會有安全模式，當分布式文件系統(tǒng)處于安全模式的情況下，文件系統(tǒng)中的內(nèi)容不允許修改也不允許刪除，直到安全模式結(jié)束。安全模式主要是為了系統(tǒng)啟動的時候檢查各個DataNode上數(shù)據(jù)塊的有

16、效性，同時根據(jù)策略必要的復(fù)制或者刪除部分數(shù)據(jù)塊。運行期通過命令也可以進入安全模式。在實踐過程中，系統(tǒng)啟動的時候去修改和刪除文件也會有安全模式不允許修改的出錯提示，只需要等待一會兒即可。復(fù)制代碼代碼如下:hadoop dfsadmin -safemode leave G.hadoop-root-datanode-master.log 中有如下錯誤：ERROR org.apache.hadoop.hdfs.server.datanode.DataNode: java.io.IOException: Incompatible namespaceIDs in導(dǎo)致datanode啟動不了。原因

17、:每次namenode format會重新創(chuàng)建一個namenodeId,而dfs.data.dir參數(shù)配置的目錄中包含的是上次format創(chuàng)建的id,和.dir參數(shù)配置的目錄中的id不一致。namenode format清空了namenode下的數(shù)據(jù),但是沒有清空datanode下的數(shù)據(jù),導(dǎo)致啟動時失敗,所要做的就是每次fotmat前,清空dfs.data.dir參數(shù)配置的目錄.格式化hdfs的命令復(fù)制代碼代碼如下:hadoop namenode -format  關(guān)閉安全模式H.代碼總是不能成功運行,?產(chǎn)生如下錯誤：java.io.FileNotFound

18、Exception: FileE:/tmp/hadoop-SYSTEM/mapred/local/taskTracker/jobcache/job_201005020105_0001/attempt_201005020105_0001_m_000002_0/work/tmpdoes not exist.at org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:361)at org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFi

19、leSystem.java:245)at org.apache.hadoop.mapred.TaskRunner.setupWorkDir(TaskRunner.java:519)at org.apache.hadoop.mapred.Child.main(Child.java:155)在?Cygwin?下必須設(shè)置mapreduce任務(wù)的中間暫存目錄mapred.child.tmp，否則會出錯的?在mapred-site.xml中：?添加:?<property>?<name>mapred.child.tmp</name><value>/home/

20、hadoop-0.20.1/temp</value></property>?注：盡量不要使用系統(tǒng)的/tmp，可能因某種原因會丟失文件，然后對namenode進行格式化$ hadoop namenode -format如果報錯無法格式化，存在不可刪除的文件，可能是因為hadoop.tmp.dir的目錄中對應(yīng)的目錄中的文件沒刪除干凈。即刪除hadoop/tmp/dfs目錄中 data和tmp或者name中的current目錄的數(shù)據(jù)文件如果文件不可刪除，報錯設(shè)備忙或者資源忙錯誤，則是被相關(guān)的進程所占用，通過ps查看，殺掉相關(guān)的進程id。（如果是windows環(huán)境部署hadoop，則java進程需要被任務(wù)管理器殺死）。刪除相關(guān)的占用進程，即可刪除hadoop/tmp/dfs中的殘存數(shù)據(jù)文件，然后重新對namenode格式化。然后執(zhí)行相關(guān)的命令運行hadoop$ start-all.sh$ hadoop dfsadmin -report 查看當前hadoop的配置情況，包括datanode情況$ hadoop jar jar文件 任務(wù) Input目錄 output目錄進行相關(guān)的hadoop任務(wù)二、hadoop集群啟動start-all.sh的時候，slave總是無法啟動datanode，并會報錯： could only be replicated