版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、1 安裝環(huán)境介紹1.1 軟件環(huán)境1) CentOS6.5 x642) Jdk 1.7 x643) Hadoop 2.6.2 x644) Hbase-0.98.95)1.2 集群環(huán)境集群中包括3個(gè)節(jié)點(diǎn):1個(gè)Master,2個(gè)Slave機(jī)器名稱IP地址HadoopZooKeepermyidHbaseMaster.Hadoop50NameNodeserver.11HMaserSlave1.Hadoop 51 DataNodeserver.22HRegionServerSlave2.Hadoop 52 Dat
2、aNodeserver.33HRegionServer2 安裝前的準(zhǔn)備.2.1 下載JDK2.2 下載Hadoopcommonhadoop-2.6.0.tar.gz是發(fā)行包,但只有32位hadoop-2.6.0-src.tar.gz是源碼包,用于自己編譯成64位版本2.3 下載Zookeeper2.4 下載Hbasehttp3 開始安裝3.1 CentOS安裝配置1) 安裝3臺(tái)CentOS6.5 x64(使用Basic Server模式,其他使用默認(rèn)配置,安裝過程略)2) Master.Hadoop配置a) 配置網(wǎng)絡(luò)vi /etc/sysconfig/network-script
3、s/ifcfg-eth0修改為:DEVICE=eth0ONBOOT=yesBOOTPROTO=staticIPADDR=1.150NETMASK=55.0GATEWAY=保存,退出(esc+:wq+enter),使配置生效service network restartb) 配置主機(jī)名vi /etc/sysconfig/networkNETWORKING=yesHOSTNAME=Master.Hadoop修改為:保存,退出(esc+:wq+enter),使配置生效hostname Master.Hadoopc) 配置hostsvi /etc/hosts修改為:50 Master
4、.Hadoop51 Slave1.Hadoop52 Slave2.Hadoopd) 關(guān)閉系統(tǒng)防火墻service iptables stopchkconfig iptables offe) 禁止SELINUXvi /etc/sysconfig/selinux修改為:#SELINUX=enforcingSELINUX=disabledf) 調(diào)整系統(tǒng)文件限制vi /etc/security/limits.conf在最后增加如下內(nèi)容* soft nofile 65535* hard nofile 65535vi /etc/pam.d/login修改以下文件:增加如
5、下內(nèi)容:session required /lib/security/pam_limits.so以上調(diào)整,需要重啟系統(tǒng)才能生效g) 配置用戶新建hadoop用戶和組,設(shè)置hadoop用戶密碼groupadd hadoopuseradd hadoop -g Hadooppasswd hadooph) 無密碼密鑰對(duì)切換到hadoop用戶,生成密碼對(duì)su Hadoopssh-keygen -t rsa -P ''生成其無密碼密鑰對(duì),詢問其保存路徑時(shí)直接回車采用默認(rèn)路徑。生成的密鑰對(duì):id_rsa和id_rsa.pub,默認(rèn)存儲(chǔ)在"/home/hadoop/.ssh"
6、;目錄下。a) 把id_rsa.pub追加到授權(quán)的key里面去cat /.ssh/id_rsa.pub >> /.ssh/authorized_keysb) 修改.ssh目錄的權(quán)限以及authorized_keys 的權(quán)限chmod 600 /.ssh/authorized_keysc) 用root用戶登錄服務(wù)器修改SSH配置文件"/etc/ssh/sshd_config"的下列內(nèi)容su rootvi /etc/ssh/sshd_config其中三行內(nèi)容改為啟用,如下所示RSAAuthentication yesPubkeyAuthentication yesA
7、uthorizedKeysFile .ssh/authorized_keys保存,退出(esc+:wq+enter),重新啟動(dòng)SSH服務(wù),使設(shè)置生效service sshd restart3) Slave1.Hadoop、Slave1.Hadoop配置相同的方式配置Slave1和Slave2的IP地址,主機(jī)名和hosts文件,新建hadoop用戶和組及用戶密碼等等操作機(jī)器名稱IP地址Slave1.Hadoop 51 Slave2.Hadoop 52 3.2 無密碼登陸配置1) 配置Master無密碼登錄所有Slavea
8、) 使用hadoop用戶登陸Master.Hadoopb) 把公鑰復(fù)制所有的Slave機(jī)器上。使用下面的命令格式進(jìn)行復(fù)制公鑰scp /.ssh/id_rsa.pub hadoopSlave1.Hadoop:/scp /.ssh/id_rsa.pub hadoopSlave2.Hadoop:/c) 在Slave機(jī)器上進(jìn)行配置cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub測(cè)試Master到Slave的ssh登陸ssh Slave1.Hadoop2) 配置Slave無密碼登錄Mastera) 使用hadoop用戶登陸Sla
9、veb) 把公鑰復(fù)制Master機(jī)器上。使用下面的命令格式進(jìn)行復(fù)制公鑰scp /.ssh/id_rsa.pub hadoopMaster.Hadoop:/c) 在Master機(jī)器上將公鑰追加到authorized_keys中cat /id_rsa.pub >> /.ssh/authorized_keysrm r /id_rsa.pub測(cè)試Slave到Master的ssh登陸ssh Master.Hadoop3.3 安裝JDK所有的機(jī)器上都要安裝JDK,先在Master服務(wù)器安裝,然后其他服務(wù)器按照步驟重復(fù)進(jìn)行即可。安裝JDK以及配置環(huán)境變量,需要以"root"的
10、身份進(jìn)行。1) 將jdk安裝包jdk-7u71-linux-x64.tar.gz上傳到服務(wù)器/usr/local/目錄下2) 解壓縮文件cd /usr/local3) 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容:export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jarexport PATH=$PATH:$JAVA_HOME/binsource /etc/profile保存,退出(esc+:wq+enter),使配置生效java version4) 驗(yàn)證是否安裝成功rm f5) 刪除jdk的安裝包scp -r
11、/usr/local/ rootSlave1.Hadoop:/usr/local/scp -r /usr/local/ rootSlave2.Hadoop:/usr/local/6) 在Slave上重復(fù)以上步驟,安裝JDK(以下為從Master復(fù)制jdk到Slave)3.4 安裝Hadoop因?yàn)楣倬W(wǎng)沒有64位版的haoop2.6.0發(fā)行包,需要手動(dòng)由源代碼編譯(編譯過程另附文件說明),編譯后的文件為,以下使用root身份進(jìn)行安裝。1) 將hadoop安裝包上傳到服務(wù)器/usr/local/目錄下2) 解壓縮文件cd /usr/local3) 在"/usr/local/hadoop-2
12、.6.0"下面創(chuàng)建tmp文件夾4) 編輯<HADOOP_HOME>/etc/hadoop/hadoop-env.sh修改JAVA_HOME的配置:5) 編輯<HADOOP_HOME>/etc/hadoop/core-site.xmlcore-site.xml修改為:<configuration><property> <name>fs.defaultFS</name> <value>hdfs:/Master.Hadoop:9000</value></property><pr
13、operty> <name>hadoop.tmp.dir</name> <value>/usr/local/hadoop-2.6.0/tmp</value></property><property> <name>io.file.buffer.size</name> <value>4096</value></property></configuration>6) 編輯<HADOOP_HOME>/etc/hadoop/hdfs-site.
14、xmlhdfs-site.xml修改為:<configuration><property><name>.dir</name><value>/usr/local/hadoop-2.6.0/dfs/name</value><final>true</final></property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hado
15、op-2.6.0/dfs/data</value><final>true</final></property><property><name>dfs.replication</name><value>2</value></property></configuration>dfs.replication值需要與實(shí)際的DataNode節(jié)點(diǎn)數(shù)要一致,本文為27) 編輯<HADOOP_HOME>/etc/hadoop/yarn-site.xmlyarn-sit
16、e.xml修改為:<configuration><property><name>yarn.resourcemanager.hostname</name><value>Master.Hadoop</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property
17、><name>yarn.resourcemanager.address</name><value>Master.Hadoop:8032</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>Master.Hadoop:8030</value></property><property><name>yarn.resourc
18、emanager.resource-tracker.address</name><value>Master.Hadoop:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>Master.Hadoop:8033</value></property><property><name>yarn.resourcemanager.webapp
19、.address</name><value>Master.Hadoop:8088</value></property></configuration>8) 編輯<HADOOP_HOME>/etc/hadoop/mapred-site.xml默認(rèn)沒有mapred-site.xml文件,需要復(fù)制一份mapred-site.xml.template為 mapred-site.xml即可cp mapred-site.xml修改為:<configuration><property><name>ma
20、</name><value>yarn</value><final>true</final></property></configuration>9) 編輯 <HADOOP_HOME>/etc/hadoop/slavesslaves修改為:Slave1.HadoopSlave2.Hadoop10) 把該文件夾的讀權(quán)限分配給普通用戶hadoop11) 刪除hadoop的安裝包12) 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容:export PATH
21、=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinsource /etc/profile保存,退出(esc+:wq+enter),使配置生效13) 在Slave上重復(fù)以上步驟,安裝Hadoop(以下為從Master復(fù)制hadoop到Slave)scp -r /usr/local/ rootSlave1.Hadoop:/usr/local/scp -r /usr/local/ rootSlave2.Hadoop:/usr/local/14) 測(cè)試和啟動(dòng)在Slave上進(jìn)行如上配置后,使用使用hadoop用戶啟動(dòng)服務(wù)hdfs namenode format第一次啟動(dòng)需
22、要在Master.Hadoop 執(zhí)行無錯(cuò)誤后,啟動(dòng)服務(wù)(先啟動(dòng)HDFS)/sbin/start-dfs.sh再啟動(dòng)yarn/sbin/start-yarn.sh在Master 驗(yàn)證啟動(dòng)進(jìn)程jps在Slave 驗(yàn)證啟動(dòng)進(jìn)程jps15) 網(wǎng)頁(yè)查看集群50:5007050:80883.5 安裝Zookeeper1) 以root身份將zookeeper-3.4.6.tar.gz上傳到服務(wù)器/usr/local/目錄下2) 解壓縮文件cd /usr/localtar zxvf 3) 創(chuàng)建data文件夾4) 根據(jù)zoo_sample.cfg創(chuàng)建z
23、oo.cfg并修改修改為:server.1=Master.Hadoop:2888:3888server.2=Slave1.Hadoop:2888:3888server.3=Slave2.Hadoop:2888:38885) 在dataDir目錄下創(chuàng)建myid文件,設(shè)為1,Slave1.Hadoop,Slave2.Hadoop的myid為2,36) 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容:export ZOOKEEPER_HOME=/usr/local/export PATH=$PATH:$ ZOOKEEPER_HOME/binsource /etc/profile保存,退出(e
24、sc+:wq+enter),使配置生效7) 把該文件夾的讀權(quán)限分配給普通用戶hadoop8) 刪除安裝包rm -f su hadoopbin/zkServer.sh start9) 用hadoop用戶啟動(dòng)ZooKeeper集群需要在Master和Slave上分別啟動(dòng)服務(wù)bin/zkServer.sh status10) 安裝驗(yàn)證bin/zkServer.sh stop11) 停止服務(wù)指令為3.6 安裝Hbase1) 以root身份將上傳到服務(wù)器/usr/local/目錄下2) 解壓縮文件cd /usr/localtar zxvf mv hbase-0.98.9-hadoop2 hbase-0.
25、98.93) 編輯<HBASE_HOME>/conf/hbase-env.shvi /usr/local/hbase-0.98.9/conf/hbase-env.sh修改為:export HBASE_MANAGES_ZK=false使用獨(dú)立的ZooKeeper時(shí)需要修改HBASE_MANAGES_ZK值為false,為不使用默認(rèn)ZooKeeper實(shí)例4) 編輯<HBASE_HOME>/conf/hbase-site.xmlvi /usr/local/hbase-0.98.9/conf/hbase-site.xml在configuration里添加:<propert
26、y><name>hbase.rootdir</name><value>hdfs:/Master.Hadoop:9000/hbase</value></property><property><name>hbase.cluster.distributed</name><value>true</value></property><property><name>hbase.master</name><value>hdf
27、s:/Master.Hadoop:60000</value></property><property><name>hbase.zookeeper.quorum</name><value>Master.Hadoop,Slave1.Hadoop,Slave2.Hadoop</value></property><property><name>perty.dataDir</name><value>/usr/local/zo
28、okeeper-3.4.6/data</value></property>5) 編輯<HBASE_HOME>/conf/regionservers文件vi /usr/local/hbase-0.98.9/conf/regionservers刪除localhost,添加如下內(nèi)容:Master.HadoopSlave1.HadoopSlave2.Hadoop6) 配置環(huán)境變量vi /etc/profile增加如下內(nèi)容:export HBASE_HOME=/usr/local/hbase-0.98.9export PATH=$PATH:$HBASE_HOME/binsource /etc/profile保存,退出(esc+:wq+enter),使配置生效7) 刪除安裝包c(diǎn)hown -R hadoop:hadoop /usr/local/hbase-0.98.9/8) 把該文件夾的讀權(quán)限分配給普通用戶hadoop9) 在Slave上執(zhí)行以上操作(或拷貝配置好的hbase文件夾,然后執(zhí)行第6、8)scp -r /usr/local/
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年度會(huì)計(jì)咨詢與財(cái)務(wù)規(guī)劃服務(wù)合同
- 小學(xué)三年級(jí)數(shù)學(xué)萬以內(nèi)加減混合兩步運(yùn)算綜合檢測(cè)訓(xùn)練題帶答案
- 2025農(nóng)村宅基地買賣與農(nóng)村土地資源優(yōu)化配置合同
- 二零二五年度山林承包合同協(xié)議書:森林資源保護(hù)與生物多樣性合作
- 二零二五年度寵物租賃與寵物文化交流活動(dòng)協(xié)議
- 2025年度網(wǎng)絡(luò)安全保障責(zé)任協(xié)議書范本
- 2025版新型拌合站勞務(wù)分包合作協(xié)議書3篇
- 二零二五年度電動(dòng)自行車個(gè)人轉(zhuǎn)讓及配件供應(yīng)合同
- 雨水收集窨井施工方案
- 2024年軟件許可合同屬性與實(shí)際應(yīng)用
- 【MOOC】診斷學(xué)-山東大學(xué) 中國(guó)大學(xué)慕課MOOC答案
- 周1530安全教育記錄
- 建筑工程管理與實(shí)務(wù)二級(jí)建造師考試試卷及解答參考
- 中國(guó)非遺文化魚燈介紹2
- 村集體經(jīng)濟(jì)入股分紅協(xié)議書
- 人體寄生蟲表格總結(jié)超全(原蟲部分)
- 機(jī)械設(shè)備招投標(biāo)授權(quán)委托書模板
- 科研年終總結(jié)匯報(bào)
- 汽車維修安全應(yīng)急預(yù)案范文(5篇)
- 2024-2030年中國(guó)清潔供熱行業(yè)發(fā)展趨勢(shì)與投資前景預(yù)測(cè)報(bào)告版
- 2025屆上海市交大附中嘉定分校物理高二上期末達(dá)標(biāo)檢測(cè)試題含解析
評(píng)論
0/150
提交評(píng)論