2023學(xué)年完整公開(kāi)課版學(xué)習(xí)搭建HDFS

第四章

學(xué)習(xí)搭建HDFS學(xué)習(xí)計(jì)劃數(shù)據(jù)處理平臺(tái)搭建性能開(kāi)發(fā)性能檢索Hadoop平臺(tái)搭建環(huán)境介紹本次Hadoop集群部署方案采用分布式集群部署方式，集群共有三個(gè)節(jié)點(diǎn)組成，一個(gè)master節(jié)點(diǎn)，兩個(gè)slaver節(jié)點(diǎn)。ftp-server是FTP資源包服務(wù)器。主機(jī)名IP操作系統(tǒng)Hadoopnodemaster29Centos6.5masterslaver130Centos6.5slaverslaver231Centos6.5slaverftp-server0Centos6.5Repository-ServerXianDian-BigData-v1.0.iso是相關(guān)的安裝軟件包，將安裝的軟件包放到節(jié)點(diǎn)的/opt/目錄下，并用mount命令掛載到/mnt目錄。#cd/opt#mount-oloopXianDian-BigData-v1.0.iso/mnt/編輯/etc/sysconfig/network修改主機(jī)名，HadoopSlave節(jié)點(diǎn)的主機(jī)名分別為slaver1、slaver2?；蛘咄ㄟ^(guò)即時(shí)生效命令使其生效slaver1:#hostnameslaver1slaver2#hostnameslaver2XianDian-BigData-v1.0.iso是相關(guān)的安裝軟件包，將安裝的軟件包放到節(jié)點(diǎn)的/opt/目錄下，并用mount命令掛載到/mnt目錄。#cd/opt#mount-oloopXianDian-BigData-v1.0.iso/mnt/編輯/etc/sysconfig/network修改主機(jī)名，HadoopMaster的主機(jī)名master或者通過(guò)即時(shí)生效命令使其生效#hostnamemasterMasterHadoop平臺(tái)搭建軟件包說(shuō)明&配置主機(jī)名Slaver1&Slaver2在各個(gè)節(jié)點(diǎn)編輯/etc/hosts文件，添加以下內(nèi)容：92master92slaver194slaver2驗(yàn)證#pingmaster#pingslaver1#pingslaver2在各個(gè)節(jié)點(diǎn)編輯/etc/hosts文件，添加以下內(nèi)容：92master92slaver194slaver2驗(yàn)證#pingmaster#pingslaver1#pingslaver2MasterHadoop平臺(tái)搭建

配置hosts列表Slaver1&Slaver2Hadoop平臺(tái)搭建Slaver1&Slaver2配置Yum倉(cāng)庫(kù)在有網(wǎng)絡(luò)的情況下，不需要配置，默認(rèn)yum源即可。刪除/etc/yum.repos.d下的所有文件，手工創(chuàng)建local.repo，配置yum倉(cāng)庫(kù)的位置（具體配置參考IaaS文檔）。#vi/etc/yum.repos.d/local.repo[centos]baseurl=0//centos6.5/gpgcheck=0enabled=1name=centos[openstack-icehouse]name=OpenStackIcehouseRepositorybaseurl=0//iaas-repo/gpgcheck=0enabled=1清除緩存#yumcleanall配置Yum倉(cāng)庫(kù)在有網(wǎng)絡(luò)的情況下，不需要配置，默認(rèn)yum源即可。刪除/etc/yum.repos.d下的所有文件，手工創(chuàng)建local.repo，配置yum倉(cāng)庫(kù)的位置（具體配置參考IaaS文檔）。#vi/etc/yum.repos.d/local.repo[centos]baseurl=0//centos6.5/gpgcheck=0enabled=1name=centos[openstack-icehouse]name=OpenStackIcehouseRepositorybaseurl=0//iaas-repo/gpgcheck=0enabled=1清除緩存#yumcleanallMaster

配置Yum倉(cāng)庫(kù)在節(jié)點(diǎn)的終端生成密鑰，命令如下#ssh-keygen使用下列命令將密鑰分配至各個(gè)節(jié)點(diǎn)：#ssh-copy-idmaster#ssh-copy-idslaver1#ssh-copy-idslaver2修改authorized_keys文件的權(quán)限，命令如下：#chmod600/root/.ssh/authorized_keys無(wú)密碼登陸驗(yàn)證#sshmaster#sshslaver1#sshslaver2在節(jié)點(diǎn)的終端生成密鑰，命令如下#ssh-keygen這個(gè)命令生成一個(gè)密鑰對(duì)：id_rsa（私鑰文件）和id_rsa.pub（公鑰文件），默認(rèn)被保存在/root/.ssh/目錄下。使用下列命令將密鑰分配至各個(gè)節(jié)點(diǎn)：#ssh-copy-idmaster#ssh-copy-idslaver1#ssh-copy-idslaver2修改authorized_keys文件的權(quán)限，命令如下：#chmod600/root/.ssh/authorized_keys無(wú)密碼登陸驗(yàn)證#sshmaster#sshslaver1#sshslaver2MasterHadoop平臺(tái)搭建

密鑰登錄配置Slaver1&Slaver2進(jìn)入到/mnt/Rpms目錄，進(jìn)行JDK的安裝：#rpm-ivhjdk-7u67-linux-x64.rpm使環(huán)境變量生效：#source/etc/profile測(cè)試配置：#java-version如果出現(xiàn)下圖的信息，表示JDK安裝成功：openjdkversion"1.7.0_67"進(jìn)入到/mnt/Rpms目錄，進(jìn)行JDK的安裝：#rpm-ivhjdk-7u67-linux-x64.rpm使環(huán)境變量生效：#source/etc/profile測(cè)試配置：#java-version如果出現(xiàn)下圖的信息，表示JDK安裝成功：openjdkversion"1.7.0_67"MasterHadoop平臺(tái)搭建

安裝JDKSlaver1&Slaver2進(jìn)入到/mnt/Rpms目錄，進(jìn)行JDK的安裝：#rpm-ivhjdk-7u67-linux-x64.rpm使環(huán)境變量生效：#source/etc/profile測(cè)試配置：#java-version如果出現(xiàn)下圖的信息，表示JDK安裝成功：openjdkversion"1.7.0_67"Slaver1&Slaver2Master進(jìn)入到軟件包所在的目錄/mnt/Rpms，使用yum命令安裝hadoop軟件包，進(jìn)入安裝目錄：#cd/mnt/Rpms/#yuminstall-ybigdata-xiandian-hadoop-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/hadoop-2.7.0/#cdetc/hadoop/配置Hadoop-env.sh在hadoop-env.sh中只需要添加JDK的路徑：#cdhadoop-2.7.0/etc/hadoop#vihadoop-env.sh添加exportJAVA_HOME=/usr/java/jdk1.7.0_67配置yarn-env.sh在yarn-env.sh中只需要添加JDK的路徑：#cdhadoop-2.7.0/etc/hadoop#viyarn-env.sh添加exportJAVA_HOME=/usr/java/jdk1.7.0_67Hadoop平臺(tái)搭建 Hadoop安裝Master用下面的代碼替換core-site.xml中的內(nèi)容：<?xmlversion="1.0"encoding="UTF-8"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name>fs.defaultFS</name><value>hdfs://master:9000</value></property><property><name>io.file.buffer.size</name><value>131072</value></property><property><name>hadoop.tmp.dir</name><value>file:/home/hadoop/tmp</value><description>Abaseforothertemporarydirectories.</description></property>Hadoop平臺(tái)搭建 Hadoop安裝<property><name>xyuser.aboutyun.hosts</name><value>*</value></property><property><name>xyuser.aboutyun.groups</name><value>*</value></property></configuration>Master用下面的代碼替換hdfs-site.xml中的內(nèi)容：<?xmlversion="1.0"encoding="UTF-8"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name>.dir</name><value>file:///usr/hadoop/dfs/name</value></property><property><name>dfs.datanode.data.dir</name><value>file:///usr/hadoop/dfs/data</value></property><property><name>dfs.replication</name><value>3</value></property>Hadoop平臺(tái)搭建 Hadoop安裝<property><name>services</name><value>hadoop-cluster1</value></property><property><name>node.secondary.http-address</name><value>master:50090</value></property><property><name>dfs.webhdfs.enabled</name><value>true</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration>Master用下面的代碼替換yarn-site.xml中的內(nèi)容：<?xmlversion="1.0"encoding="UTF-8"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><!--SitespecificYARNconfigurationproperties--><property><name>yarn.resourcemanager.hostname</name><value>master</value></property>

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.resourcemanager.address</name><value>master:8032</value></property>Hadoop平臺(tái)搭建 Hadoop安裝<property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8031</value></property><property><name>yarn.resourcemanager.admin.address</name><value>master:8033</value></property><property><name>yarn.resourcemanager.webapp.address</name><value>master:8088</value></property></configuration>Master用下面的代碼替換mapred-site.xml中的內(nèi)容：<?xmlversion="1.0"?><?xml-stylesheettype="text/xsl"href="configuration.xsl"?><configuration><property><name></name><value>yarn</value><final>true</final></property><property><name>mapreduce.jobtracker.http.address</name><value>master:50030</value></property><property><name>mapreduce.jobhistory.address</name><value>master:10020</value></property>Hadoop平臺(tái)搭建 Hadoop安裝<property><name>mapreduce.jobhistory.webapp.address</name><value>master:19888</value></property><property><name>mapred.job.tracker</name><value>http://master:9001</value></property></configuration>Master編輯slaves文件，添加節(jié)點(diǎn)#vislavesmasterslaver1Slaver2Hadoop平臺(tái)搭建 Hadoop安裝Slaver1&Slaver2配置其它節(jié)點(diǎn)在HadoopSlaver節(jié)點(diǎn)上配置，把HadoopMaster節(jié)點(diǎn)上配置完的Hadoop包拷貝到HadoopSlaver節(jié)點(diǎn)：#scp-rroot@master:/opt/hadoop_resources/hadoop-2.7.0//opt/hadoop_resources/注意：因?yàn)橹耙呀?jīng)配置了免密鑰登錄，這里可以直接遠(yuǎn)程復(fù)制。Hadoop平臺(tái)搭建 Hadoop安裝在啟動(dòng)Hadoop集群之前，我們需要生效系統(tǒng)的環(huán)境變量：#source/etc/profile在HadoopMaster成功啟動(dòng)集群后，在終端執(zhí)行jps命令，在打印結(jié)果中會(huì)看到集群中運(yùn)行的進(jìn)程，這些進(jìn)程表示主節(jié)點(diǎn)進(jìn)程啟動(dòng)成功。#jps在啟動(dòng)Hadoop集群之前，我們需要生效系統(tǒng)的環(huán)境變量：#source/etc/profile格式化文件系統(tǒng)格式化命令如下，該操作需要在HadoopMaster節(jié)點(diǎn)上執(zhí)行：#hdfsnamenode-format如果出現(xiàn)Exception/Error，則表示出問(wèn)題。使用start-all.sh啟動(dòng)Hadoop集群，首先進(jìn)入Hadoop安裝主目錄，然后執(zhí)行啟動(dòng)命令：#cdhadoop-2.7.0/sbin/#./start-all.sh執(zhí)行命令后，提示出入yes/no時(shí)，輸入yes。在HadoopMaster的終端執(zhí)行jps命令，在打印結(jié)果中會(huì)看到master上運(yùn)行的進(jìn)程，這些進(jìn)程表示主節(jié)點(diǎn)進(jìn)程啟動(dòng)成功。#jpsMasterHadoop平臺(tái)搭建 Hadoop集群的啟動(dòng)