hadoop的運(yùn)行環(huán)境配置

基于Hadoop平臺(tái)的并行編程實(shí)踐李東秀內(nèi)容介紹熟悉hadoop配置環(huán)境搭建實(shí)驗(yàn)平臺(tái)編寫(xiě)（矩陣相乘）運(yùn)算的map，reduce函數(shù)在hadoop實(shí)驗(yàn)平臺(tái)上實(shí)現(xiàn)配置計(jì)算環(huán)境：1個(gè)Master、3個(gè)Slave的Hadoop集群Apache軟件基金會(huì)下的一個(gè)開(kāi)源分布式計(jì)算平臺(tái)以Hadoop的HDFS和MapReduce為核心的Hadoop為用戶提供了系統(tǒng)底層細(xì)節(jié)透明的分布式基礎(chǔ)架構(gòu)。對(duì)于Hadoop的集群來(lái)講，可以分成兩大類角色：Master和Salve。一個(gè)HDFS集群是由一個(gè)NameNode和若干個(gè)DataNode組成的。MapReduce框架是由一個(gè)單獨(dú)運(yùn)行在主節(jié)點(diǎn)上的JobTracker和運(yùn)行在每個(gè)集群從節(jié)點(diǎn)的TaskTracker共同組成的。1.1Hadoop簡(jiǎn)介HDFS在MapReduce任務(wù)處理過(guò)程中提供了文件操作和存儲(chǔ)等支持，MapReduce在HDFS的基礎(chǔ)上實(shí)現(xiàn)了任務(wù)的分發(fā)、跟蹤、執(zhí)行等工作，并收集結(jié)果，二者相互作用，完成了Hadoop分布式集群的主要任務(wù)。集群中包括4個(gè)節(jié)點(diǎn)：1個(gè)Master，3個(gè)Salve，節(jié)點(diǎn)IP地址分布如下：

localhost

20

ubuntu1

21

ubuntu2

22

ubuntu3

23

ubuntu4

1.2環(huán)境說(shuō)明1.3hadoop的主從節(jié)點(diǎn)結(jié)構(gòu)分解2.1在所有的機(jī)器上建立相同的用戶對(duì)每個(gè)系統(tǒng)進(jìn)行系統(tǒng)名和ip地址的配置必須在所有的機(jī)器上建立相同的用戶，設(shè)置每個(gè)系統(tǒng)的ip地址。2.2配置NameNode和DataNode配置hosts文件修改每臺(tái)機(jī)器的/etc/hosts(包括namenode和datanode)）

localhost

20

ubuntu1

21

ubuntu2

22

ubuntu3

23

ubuntu42環(huán)境說(shuō)明和安裝配置SSH2.2安裝配置SSH安裝和啟動(dòng)SSH協(xié)議yuminstallssh安裝SSH協(xié)議yuminstallrsyncservicesshdrestart啟動(dòng)服務(wù)

配置Master無(wú)密碼登錄所有SalveHadoop運(yùn)行過(guò)程中需要管理遠(yuǎn)端Hadoop守護(hù)進(jìn)程，在Hadoop啟動(dòng)以后，NameNode是通過(guò)SSH來(lái)啟動(dòng)和停止各個(gè)DataNode上的各種守護(hù)進(jìn)程的。SSH安裝配置這就必須在節(jié)點(diǎn)之間執(zhí)行指令的時(shí)候是不需要輸入密碼的形式，故我們需要配置SSH運(yùn)用無(wú)密碼公鑰認(rèn)證的形式，這樣NameNode使用SSH無(wú)密碼登錄并啟動(dòng)DataName進(jìn)程，同樣原理，DataNode上也能使用SSH無(wú)密碼登錄到NameNode。在用戶目錄下建立ssh的安裝目錄，之后設(shè)置權(quán)限Master機(jī)器上生成無(wú)密碼密碼對(duì),追加權(quán)限注意：目錄要設(shè)成700有執(zhí)行權(quán)限

authorized_keys要設(shè)成600否則會(huì)出錯(cuò)

還有ssh登陸要加入用戶名的SSH配置用root用戶登錄服務(wù)器修改SSH配置文件/etc/ssh/sshd_config，無(wú)密碼登錄本級(jí)已經(jīng)設(shè)置完畢，接下來(lái)的事兒是把公鑰復(fù)制所有的Slave機(jī)器上配置所有Slave無(wú)密碼登錄Master和Master無(wú)密碼登錄所有Slave原理一樣，就是把Slave的公鑰追加到Master的".ssh"文件夾下的"authorized_keys"中這樣就建立了Master和Slave之間的無(wú)密碼驗(yàn)證相互登錄SSH配置安裝jdk1.6.45環(huán)境變量配置編輯"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、"CLASSPATH"以及"PATH"內(nèi)容。exportJAVA_HOME=/usr/java/jdk1.6.0_31exportCLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/libexportPATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin使配置生效

（重要）source/etc/profile驗(yàn)證

Slave安裝jdk：Master下的JDK復(fù)制到其他Slave的/home/hadoop/下面剩下的事兒就是在其余的Slave服務(wù)器上按照步驟安裝JDK。3jdk安裝配置首先在namenode上配置，配置后在分發(fā)到datanode上在“/usr/hadoop”下面創(chuàng)建tmp文件夾安裝

把"/usr/hadoop"讀權(quán)限分配給hadoop用戶配置hadoop配置hadoop-env.sh使得能夠找到j(luò)ava的路徑exportHADOOP_HOME=/usr/hadoopexportJAVA_HOME=/usr/java/jdk1.6.0_29

4Hadoop集群安裝配置配置文件也被分成了三個(gè)core-site.xml、hdfs-site.xml、mapred-site.xml。修改Hadoop核心配置文件core-site.xml，這里配置的是HDFS的地址和端口號(hào)。修改Hadoop中HDFS的配置hdfs-site.xml。（就是Slave的臺(tái)數(shù)默認(rèn)3個(gè)）修改Hadoop中MapReduce的配置文件mapred-site.xml，配置的是JobTracker的地址和端口。4.1配置文件配置masters文件

第一種：修改localhost為Master.Hadoop第二種：去掉"localhost"，加入Master機(jī)器的IP：21配置slaves文件（Master主機(jī)特有）第一種：去掉"localhost"，每行只添加一個(gè)主機(jī)名，把剩余的Slave主機(jī)名都填上。第二種：去掉"localhost"，加入集群中所有Slave機(jī)器的IP，也是每行一個(gè)。

4.1配置文件現(xiàn)在在Master機(jī)器上的Hadoop配置就結(jié)束了，剩下的就是配置Slave機(jī)器上的Hadoop。一種方式是按照上面的步驟，把Hadoop的安裝包在用普通用戶hadoop通過(guò)"scp"復(fù)制到其他機(jī)器的"/home/hadoop"目錄下，然后根據(jù)實(shí)際情況進(jìn)行安裝配置另一種方式是將Master上配置好的hadoop所在文件夾"/usr/hadoop"復(fù)制到所有的Slave的"/usr"目錄下4.2配置Slave機(jī)器上的Hadoop格式化HDFS文件系統(tǒng)只需一次，下次啟動(dòng)不再需要格式化啟動(dòng)hadoop（啟動(dòng)前關(guān)閉所有機(jī)器的防火墻）可以一次全部啟動(dòng)所有的節(jié)點(diǎn)serviceiptablesstopstart-all.sh或是分別啟動(dòng)namenode、datanode、tasktracker、secondarynamenode、jobtracker驗(yàn)證hadoop4.3Hadoop啟動(dòng)及驗(yàn)證用"hadoopdfsadmin-report"查看Hadoop集群的狀態(tài)。網(wǎng)頁(yè)查看集群訪問(wèn)"http:20:50030“mapreduce的web頁(yè)面訪問(wèn)"http:20:50070"hdfs的web頁(yè)面4.4網(wǎng)