2023學(xué)年完整公開課版部署yarn

部署yarn主要內(nèi)容配置YARN集群的屬性2配置YARN守護(hù)進(jìn)程配置JobHistory服務(wù)器配置Staging目錄3一、配置YARN集群的屬性4配置YARN集群的屬性在您復(fù)制Hadoop配置時(shí)創(chuàng)建的自定義配置目錄中編輯這些文件。屬性配置文件描述mapred-site.xml如果您打算運(yùn)行YARN，則必須將此屬性設(shè)置為yarn示例配置：mapred-site.xml中：<property><name></name><value>yarn</value></property>5二、配置YARN守護(hù)進(jìn)程6

配置YARN守護(hù)進(jìn)程配置以下服務(wù)：ResourceManager（在專用主機(jī)上）和NodeManager（在計(jì)劃運(yùn)行MapReducev2作業(yè)的每臺(tái)主機(jī)上）。7

配置YARN守護(hù)進(jìn)程8

配置YARN守護(hù)進(jìn)程配置文件實(shí)例<property><name>yarn.resourcemanager.hostname</name><value></value></property><property><description>Classpathfortypicalapplications.</description><name>yarn.application.classpath</name><value>$HADOOP_CONF_DIR,$HADOOP_COMMON_HOME/*,$HADOOP_COMMON_HOME/lib/*,$HADOOP_HDFS_HOME/*,$HADOOP_HDFS_HOME/lib/*,$HADOOP_MAPRED_HOME/*,$HADOOP_MAPRED_HOME/lib/*,$HADOOP_YARN_HOME/*,$HADOOP_YARN_HOME/lib/*</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.local-dirs</name><value>file:///data/1/yarn/local,file:///data/2/yarn/local,file:///data/3/yarn/local</value></property><property><name>yarn.nodemanager.log-dirs</name><value>file:///data/1/yarn/logs,file:///data/2/yarn/logs,file:///data/3/yarn/logs</value></property><property><name>yarn.log.aggregation-enable</name><value>true</value></property><property><description>Wheretoaggregatelogs</description><name>yarn.nodemanager.remote-app-log-dir</name><value>hdfs://<>:8020/var/log/hadoop-yarn/apps</value></property>9三、配置JobHistory服務(wù)器10

配置JobHistory服務(wù)器如果您決定在群集上運(yùn)行YARN而不是MRv1，則還應(yīng)該運(yùn)行MapReduceJobHistoryServer。11三、配置Staging目錄12

配置Staging目錄ARN運(yùn)行作業(yè)時(shí)需要一個(gè)臨時(shí)目錄來存放臨時(shí)文件。默認(rèn)情況下它會(huì)創(chuàng)建具有嚴(yán)格限制權(quán)限的目錄/tmp/hadoop-yarn/staging，這個(gè)權(quán)限可能會(huì)阻止其他用戶運(yùn)行作業(yè)。為了避免這種情況，你應(yīng)該自己配置和創(chuàng)建Staging目錄;在mapred-site.xml配置yarn.app.mapreduce.am.staging-dir：13

配置Staging目錄一旦HDFS啟動(dòng)并運(yùn)行，您將創(chuàng)建該目錄和一個(gè)history子目錄下?；蛘?，您可以執(zhí)行以下操作：在mapred-site.xml中配置ermediate-done-dirandmapr