hadoop七天培訓(xùn)教程hadoop2視頻集群搭建過(guò)程

1、在這里我們選用4臺(tái)機(jī)器進(jìn)行示范，各臺(tái)機(jī)器的職責(zé)如下表格所示hadoop0是， 屬集群cluster1否hadoop1是，屬集群cluster1是hadoop2是， 屬集群cluster2是hadoop3是， 屬集群cluster2是是 NameNode 嗎?是 DataNode 嗎？ 是 JournalNode 嗎？是 ZooKeeper 嗎？是 ZKFC 嗎?是是是否是是是否是是是是1. 搭建自動(dòng) HA1.1. 復(fù)制編譯后的 hadoop 項(xiàng)目到/usr/local 目錄下1.2. 修改位于 etc/hadoop 目錄下的配置文件1.2.1. hadoop-env.shexport JAVA

2、_HOME=/usr/local/jdk1.2.2. core-site.xmlfs.defaultFShdfs:/cluster1【這里的值指的是默認(rèn)的 HDFS 路徑。當(dāng)有多個(gè) HDFS 集群同時(shí)工作時(shí)，用戶如果不寫(xiě)集群名稱，那么默認(rèn)使用哪個(gè)哪？在這里指定！該值來(lái)自于 hdfs-site.xml 中的配置。在節(jié)點(diǎn) hadoop0和 hadoop1中使用 cluster1，在節(jié)點(diǎn) hadoop2和 hadoop3中使用cluster2】hadoop.tmp.dir/usr/local/hadoop/tmp【這里的路徑默認(rèn)是 NameNode、DataNode、JournalNode 等存放數(shù)

3、據(jù)的公共目錄。用戶也可以自己?jiǎn)为?dú)指定這三類節(jié)點(diǎn)的目錄?！縣a.zookeeper.quorumhadoop0:2181,hadoop1:2181,hadoop2:2181【這里是 ZooKeeper 集群的地址和端口。注意，數(shù)量一定是奇數(shù)，且不少于三個(gè)節(jié)點(diǎn)】1.2.3.hdfs-site.xml該文件只配置在 hadoop0和 hadoop1上。dfs.replication2【指定 DataNode 存儲(chǔ) block 的副本數(shù)量。默認(rèn)值是3個(gè)，我們現(xiàn)在有4個(gè) DataNode，該值不大于4即可?！縮ervicescluster1,cluster2【使用 federation 時(shí)，使用了2個(gè)

4、HDFS 集群。這里抽象出兩個(gè)NameService 實(shí)際上就是給這2個(gè) HDFS 集群起了個(gè)別名。名字可以隨便起，相互不重復(fù)即可】nodes.cluster1hadoop0,hadoop1【指定 NameService 是 cluster1時(shí)的 namenode 有哪些，這里的值也是邏輯名稱，名字隨便起，相互不重復(fù)即可】node.rpc-address.cluster1.hadoop0hadoop0:9000【指定 hadoop0的 RPC 地址】node.http-address.cluster1.hadoop0hadoop0:50070【指定 hadoop0的 http 地址】node.

5、rpc-address.cluster1.hadoop1hadoop1:9000【指定 hadoop1的 RPC 地址】node.http-address.cluster1.hadoop1hadoop1:50070【指定 hadoop1的 http 地址】node.shared.edits.dirqjournal:/hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster1【指定cluster1的兩個(gè)NameNode 共享edits 文件目錄時(shí)，使用的 JournalNode 集群信息】dfs.ha.automatic-failover.enabled.cl

6、uster1true【指定 cluster1是否啟動(dòng)自動(dòng)故障恢復(fù)，即當(dāng) NameNode 出故障時(shí)，是否自動(dòng)切換到另一臺(tái)NameNode】vider.cluster1node.ha.ConfiguredFailoverProxyProvider【指定cluster1出故障時(shí)，哪個(gè)實(shí)現(xiàn)類負(fù)責(zé)執(zhí)行故障切換】nodes.cluster2hadoop2,hadoop3【指定NameService 是 cluster2時(shí)，兩個(gè) NameNode 是誰(shuí)，這里是邏輯名稱，不重復(fù)即可。以下配置與cluster1幾乎全部相似，不再添加注釋】node.rpc-address.cluster2.hadoop2had

7、oop2:9000node.http-address.cluster2.hadoop2hadoop2:50070node.rpc-address.cluster2.hadoop3hadoop3:9000node.http-address.cluster2.hadoop3hadoop3:50070!-node.shared.edits.dirqjournal:/hadoop0:8485;hadoop1:8485;hadoop2:8485/cluster2【這段代碼是注釋掉的，不要打開(kāi)】-dfs.ha.automatic-failover.enabled.cluster2truevider.clu

8、ster2node.ha.ConfiguredFailoverProxyProviderdfs.journalnode.edits.dir/usr/local/hadoop/tmp/journal【指定 JournalNode 集群在對(duì) NameNode 的目錄進(jìn)行共享時(shí)，自己存儲(chǔ)數(shù)據(jù)的磁盤路徑】dfs.ha.fencing.methodssshfence【一旦需要NameNode 切換，使用ssh 方式進(jìn)行操作】dfs.ha.fencing.ssh.private-key-files/root/.ssh/id_rsa【如果使用ssh 進(jìn)行故障切換，使用 ssh 通信時(shí)用的密鑰存儲(chǔ)的位置】1.

9、2.4.slaveshadoop1hadoop2 hadoop21.3. 把以上配置的內(nèi)容復(fù)制到 hadoop1、hadoop2 、hadoop3 節(jié)點(diǎn)上1.4. 修改 hadoop1、hadoop2、hadoop3 上的配置文件內(nèi)容1.4.1.修改 hadoop2 上的 core-site.xml 內(nèi)容fs.defaultFS 的值改為 hdfs:/cluster21.4.2.修改 hadoop2 上的 hdfs-site.xml 內(nèi)容把 cluster1 中關(guān)于 journalnode 的配置項(xiàng)刪除，增加如下內(nèi)容node.shared.edits.dirqjournal:/hadoop0:

10、8485;hadoop1:8485;hadoop2:8485/cluster21.4.3. 開(kāi)始啟動(dòng). 啟動(dòng) journalnode在 hadoop0、hadoop1、hadoop2 上執(zhí)行 sbin/hadoop-daemon.sh start journalnode. 格式化 ZooKeeper在 hadoop0、hadoop2 上執(zhí)行 bin/hdfszkfc-formatZK. 對(duì) hadoop0 節(jié)點(diǎn)進(jìn)行格式化和啟動(dòng)bin/hdfsnamenode-formatsbin/hadoop-daemon.shstartnamenode. 對(duì) hadoop1 節(jié)點(diǎn)進(jìn)行格式化和啟動(dòng)bin/hdfsnamenode-bootstrapStandbysbin/hadoop-daemon.shstartnamenode. 在 hadoop0、hadoop1 上啟動(dòng) zkfcsbin/hadoop-daemon.shstartzkfc我們的 hadoop0、hadoop1 有一個(gè)節(jié)點(diǎn)就會(huì)變?yōu)閍ctive 狀態(tài)。. 對(duì)于 cluster2 執(zhí)行類似操作1.4.4.啟動(dòng) datanode在 hadoop0 上執(zhí)行命令 sbin/hadoop-daemons.shstartdatanode1.5. 配置 Yarn1.5.1.修改文件 mapred-site.xmlyarn1.5.2.修改文件