module03mapreduce和yarn分布式計(jì)算引擎技術(shù)02安裝部署

修訂記錄建議直接將本膠片另存，然后在此膠片的基礎(chǔ)上進(jìn)行編輯。本部分包含：培訓(xùn)目標(biāo)、目錄、習(xí)題、總結(jié)、問(wèn)題等模板。參考IT解決方案產(chǎn)品培訓(xùn)課程開(kāi)發(fā)內(nèi)容要素，按照模塊開(kāi)發(fā)。課程編碼適用產(chǎn)品產(chǎn)品版本課程版本ISSUEH13-711FusionInsightHDV100R002C60V1.0開(kāi)發(fā)/優(yōu)化者時(shí)間審核人開(kāi)發(fā)類型（新開(kāi)發(fā)/優(yōu)化）陳志強(qiáng)003457512016年6月高冬冬wx321719新開(kāi)發(fā)本頁(yè)不打印MapReduce和Yarn

安裝部署學(xué)完本課程后，您將能夠:掌握MR,YARN組件安裝部署掌握MR,YARN常用配置參數(shù)熟悉MR,YARN監(jiān)控告警部署規(guī)劃部署方法組件配置健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹MR,YARN部署原則及約束服務(wù)名稱角色名稱內(nèi)存最小要求依賴關(guān)系角色業(yè)務(wù)部署原則YARNRM（ResourceManager）2GB依賴于HDFS和ZooKeeper分別部署在2個(gè)控制節(jié)點(diǎn)上，主備配置。NM(NodeManager)2GB至少部署在3個(gè)數(shù)據(jù)節(jié)點(diǎn)上，與HDFS的DataNode保持一致。MapReduceJobHistoryServer2GB依賴于HDFS，Yarn,ZooKeeper部署在1個(gè)控制節(jié)點(diǎn)上，用于存儲(chǔ)任務(wù)運(yùn)行記錄。部署規(guī)劃部署方法新建部署擴(kuò)容部署減容部署組件配置健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹新建部署1、進(jìn)入安裝頁(yè)面，選擇“手動(dòng)安裝”（也可選擇“模板安裝”，這里以手動(dòng)安裝為例），點(diǎn)擊確定。新建部署2、輸入主機(jī)IP以及主機(jī)root用戶密碼，點(diǎn)擊“發(fā)現(xiàn)主機(jī)”，選擇發(fā)現(xiàn)成功的節(jié)點(diǎn)，點(diǎn)擊“下一步”。3、選擇安裝服務(wù)根據(jù)業(yè)務(wù)需要選擇待安裝的服務(wù)。當(dāng)選擇MapReduce服務(wù)時(shí)，系統(tǒng)會(huì)自動(dòng)為其選擇依賴的ZooKeeper,HDFS,YARN等服務(wù)。4、拓?fù)湓O(shè)置根據(jù)拓?fù)湟?guī)劃，將組件部署到指定節(jié)點(diǎn)上。完成設(shè)置后點(diǎn)擊“下一步”。新建部署5、提交安裝完成上述操作后，進(jìn)入確認(rèn)頁(yè)面，確認(rèn)頁(yè)面包含前面步驟的概要信息。然后點(diǎn)擊“提交”。6、部署完成提交集群安裝請(qǐng)求后，界面顯示安裝集群進(jìn)度，全部步驟完成后點(diǎn)擊“完成”。部署規(guī)劃部署方法新建部署擴(kuò)容部署減容部署組件配置健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹擴(kuò)容部署在以下條件發(fā)生時(shí)，需進(jìn)行NodeManager擴(kuò)容：FusionInsightManager上已經(jīng)正確設(shè)置了MapReduceJobExecutionTimeout（AlarmID:18006）監(jiān)控轉(zhuǎn)告警。系統(tǒng)收到此告警且排除了MapReduce服務(wù)不可用和部分NodeManager異常的場(chǎng)景。擴(kuò)容方式：如果集群內(nèi)仍有部分安裝了DataNode實(shí)例的節(jié)點(diǎn)未安裝NodeManager，且在集群角色部署規(guī)劃中允許這些節(jié)點(diǎn)安裝NodeManager實(shí)例，可直接在這些節(jié)點(diǎn)上添加NodeManager實(shí)例完成擴(kuò)容。節(jié)點(diǎn)擴(kuò)容后在新增節(jié)點(diǎn)上添加DataNode實(shí)例與NodeManager實(shí)例。擴(kuò)容部署擴(kuò)容前準(zhǔn)備。擴(kuò)容部署如有告警先清除告警，再進(jìn)行擴(kuò)容操作。擴(kuò)容部署擴(kuò)容約束實(shí)例擴(kuò)容的目標(biāo)節(jié)點(diǎn)不要選擇ResourceManager、JobHistory或者NameNode所在的節(jié)點(diǎn)。在ResourceManager或者JobHistory上增加或刪除NodeManager或DataNode會(huì)導(dǎo)致ResourceManager或者JobHistory出現(xiàn)“配置狀態(tài)”處于“過(guò)期”，此時(shí)需要重啟服務(wù)才能恢復(fù)。實(shí)例擴(kuò)容的目標(biāo)節(jié)點(diǎn)不要選擇HMaster所在的節(jié)點(diǎn)。擴(kuò)容部署1、在安裝了YARN服務(wù)的集群管理界面，進(jìn)入“服務(wù)管理”界面，點(diǎn)擊YARN服務(wù)，進(jìn)入YARN服務(wù)界面,點(diǎn)擊“實(shí)例”頁(yè)簽，進(jìn)入YARN實(shí)例界面,點(diǎn)擊“添加實(shí)例”操作。擴(kuò)容部署2、若擴(kuò)容主機(jī)不在主機(jī)列表里，需點(diǎn)擊“添加主機(jī)”，輸入主機(jī)IP以及主機(jī)root用戶密碼，點(diǎn)擊“發(fā)現(xiàn)主機(jī)”，選擇發(fā)現(xiàn)成功的節(jié)點(diǎn)，點(diǎn)擊“下一步”,在擴(kuò)容的節(jié)點(diǎn)上規(guī)劃YARN的角色，如NM，點(diǎn)擊“下一步”。擴(kuò)容部署3、按照提示步驟完成實(shí)例擴(kuò)容。部署規(guī)劃部署方法新建部署擴(kuò)容部署減容部署組件配置健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹減容部署點(diǎn)擊“服務(wù)管理>YARN>實(shí)例”，進(jìn)入YARN實(shí)例界面，選擇待減容的實(shí)例，點(diǎn)擊“更多操作”中的“退服”操作。部署規(guī)劃部署方法組件配置常用參數(shù)說(shuō)明及配置建議監(jiān)控告警健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹常用參數(shù)說(shuō)明及配置建議參數(shù)建議值說(shuō)明yarn.scheduler.minimum-allocation-vcores1ResourceManager中每個(gè)容器請(qǐng)求的最小分配值，用虛擬CPU核數(shù)表示。低于該值的請(qǐng)求將不生效。設(shè)置值將配置為最低。yarn.scheduler.minimum-allocation-mb512為ResourceManager中每個(gè)container請(qǐng)求分配的最小內(nèi)存。單位：MB。如果請(qǐng)求的內(nèi)存量很少，將分配該參數(shù)設(shè)置的內(nèi)存量。yarn.scheduler.maximum-allocation-mb6144為ResourceManager中每個(gè)container請(qǐng)求分配的最大內(nèi)存。單位：MB。如果請(qǐng)求的內(nèi)存量很多，將分配該參數(shù)設(shè)置的內(nèi)存量。常用參數(shù)說(shuō)明及配置建議參數(shù)建議值說(shuō)明yarn.nodemanager.log-dirs/srv/BigData/hadoop/data1/nm/containerlogs,/srv/BigData/hadoop/data2/nm/containerlogs本地化后任務(wù)日志文件的存儲(chǔ)位置。yarn.nodemanager.local-dirs/srv/BigData/hadoop/data1/nm/localdir,/srv/BigData/hadoop/data2/nm/localdir本地化后任務(wù)數(shù)據(jù)文件的存儲(chǔ)位置。yarn.nodemanager.resource.memory-mb實(shí)際節(jié)點(diǎn)內(nèi)存的75%分配給Yarn的內(nèi)存資源。部署規(guī)劃部署方法組件配置常用參數(shù)說(shuō)明及配置建議監(jiān)控告警健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹監(jiān)控選擇Yarn的服務(wù)監(jiān)控可以在Yarn服務(wù)頁(yè)面右上角點(diǎn)擊定制選擇監(jiān)控選項(xiàng)。監(jiān)控告警-Yarn服務(wù)監(jiān)控已經(jīng)成功提交任務(wù)到各個(gè)隊(duì)列的信息集群中各個(gè)隊(duì)列可用的資源監(jiān)控告警-ResourceManager監(jiān)控ResourceManager已使用的內(nèi)存ResourceManager的CPU使用率監(jiān)控告警-JobHistoryServer監(jiān)控JobHistoryServer的CPU使用率JobHistoryServer的已使用內(nèi)存部署規(guī)劃部署方法組件配置健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹健康檢查關(guān)鍵指標(biāo)部署規(guī)劃部署方法組件配置健康檢查關(guān)鍵指標(biāo)原生頁(yè)面介紹原生頁(yè)面介紹原生頁(yè)面介紹本章首先介紹了MapReduce&Yarn的部署規(guī)劃原則，以及部署方法。接著介紹安裝后組件的參數(shù)配置，如何對(duì)MapReduce&Yarn做健康檢查，最后介紹了原生頁(yè)面。MapReduce和Yarn分別依賴于哪些服務(wù)運(yùn)行？擴(kuò)容部署有哪些方法？如何檢查MapReduce和Yarn的狀態(tài)是否健康？習(xí)題1.MapReduce的安裝依賴哪些組件（）A.Yarn,Hbase,Hive B.zookeeper,HDFS,YarnC.HDFS,Hive D.Solr,Hbase,zookeeper2.Yarn默認(rèn)分配給每個(gè)conta