分布式資源管理框架yarn

1、企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程分布式資源管理框架YARN講師-大數(shù)據(jù)m【】和講義等為大數(shù)據(jù)網(wǎng)絡(luò)課程的教學(xué)資料，所有資料只能在課程內(nèi)使用，不允許在課程以外范圍散播，違者將可能被法律和經(jīng)濟責(zé)任。課程詳情大數(shù)據(jù)培訓(xùn)企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期2云計算三層服務(wù)企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期3Hadoop 1.x & Hadoop 2.x企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期4企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程YARN 架構(gòu)講師-大數(shù)據(jù)mYARN 設(shè)計目標(biāo)通用的資源管理系統(tǒng)同時運行長應(yīng)用程序和短應(yīng)用程序長應(yīng)用程序通常情況下，永不停

2、止運行Servipark、Storm）、HTTP Server等短應(yīng)用程序短時間（秒級、分鐘級、小時級）內(nèi)會運行結(jié)束的程序MR job、Spark Job等企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期6Apache Slider企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期7YARN 架構(gòu)圖企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期8YARN 架構(gòu)圖企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期9YARN 架構(gòu)圖企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期10YARN 架構(gòu)圖企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期11YARN服務(wù)組件組件CntResour

3、ceManager、Application MasterNodeManager、Container文檔 HYPERLINK http:/z/hadoop/yarn/ http:/z/hadoop/yarn/-hadoop-yarn/其他組件JobHistoryServer、Timelirver企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期12YARN服務(wù)組件YARN 總體上仍然是Master/Slave 結(jié)構(gòu)，在整個資源管理框架中，ResourceManager為Master，NodeManager 為Slave。ResourceManager 負(fù)責(zé)對各個NodeManager 上的資源進(jìn)

4、行管理和調(diào)度當(dāng)用戶提交一個應(yīng)用程序時，需要提供一個用以和管理這個程序的。ApplicationMaster，它負(fù)責(zé)向ResourceManager 申請資源，并要求NodeManger 啟動可以占用一定資源的任務(wù)。由于不同的ApplicationMaster 被分布到不同的節(jié)點上，因此它們之間不會相互影響企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期13ResourceManager全局的資源管理器，整個集群只有一個，負(fù)責(zé)集群資源的統(tǒng)一管理和調(diào)度分配。功能處理客戶端請求啟動/ApplicationMasterNodeManager資源分配與調(diào)度企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程14

5、第三期NodeManager整個集群有多個，負(fù)責(zé)單節(jié)點資源管理和使用功能單個節(jié)點上的資源管理和任務(wù)管理處理來自ResourceManager處理來自ApplicationMaster令令NodeManager管理抽象容器，這些容器代表著可供一個特定應(yīng)用程序使用的針對每個節(jié)點的資源。定時地向RM匯報本節(jié)點上的資源使用情況和各個Container的運行狀態(tài)。企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期15Application Master管理一個在YARN 內(nèi)運行的應(yīng)用程序的每個實例功能數(shù)據(jù)切分為應(yīng)用程序申請資源，并進(jìn)一步分配給任務(wù)任務(wù)與容錯負(fù)責(zé)協(xié)調(diào)來自ResourceManager的資源

6、，幵通過NodeManager監(jiān)視容器的執(zhí)行和資源使用（CPU、內(nèi)存等的資源分配）。企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期16ContainerYARN中的資源抽象，封裝某個節(jié)點上度資源，如內(nèi)存、CPU、磁盤、網(wǎng)絡(luò)等，當(dāng)AM向RM申請資源時，RM向AM返回的資源便是用Container表示的。YARN 會為每個任務(wù)分配一個Container，且該任務(wù)只能使用該Container中描述的資源。功能對任務(wù)運行環(huán)境的抽象描述一系列信息任務(wù)運行資源（節(jié)點、內(nèi)存、CPU）任務(wù)啟動命令任務(wù)運行環(huán)境企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期17YARN 優(yōu)勢更快地MapReduce計算Y

7、ARN利用異步模型對MapReduce框架的一些關(guān)鍵邏輯結(jié)構(gòu)（如JobInprogress、TaskInProgress等）進(jìn)行了重寫，相比于MRv1，具有更快地計算速度。對多框架支持YARN不再是一個單純的計算框架，而是一個框架管理器，用戶可以將各種各樣的計算框架移植到Y(jié)ARN之上?？蚣苌壐菀自赮ARN中，各種計算框架不再是作為一個服務(wù)部署到集群的各個節(jié)點上（比如MapReduce框架，不再需要部署JobTracler、TaskTracker等服務(wù)），而是被封裝成一個用戶程序庫（lib）存放在客戶端，當(dāng)需要對計算框架進(jìn)行升級時，只需升級用戶程序庫即可，多么容易！企業(yè)級Hadoop 2.x

8、應(yīng)用開發(fā)基礎(chǔ)課程 第三期1824機柜3企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期19RACK24機柜1機柜2企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程YRAN 通信協(xié)議講師-大數(shù)據(jù)mYRAN 通信協(xié)議企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期21YRAN 通信協(xié)議企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期22企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程mands講師-大數(shù)據(jù)mYarnds企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期24Yarnds企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期25企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程YARN 資源管理講師-大

9、數(shù)據(jù)mYARN 資源管理資源調(diào)度和資源是YARN作為一個資源管理系統(tǒng)，最重要和最基礎(chǔ)的兩個功能。資源調(diào)度由ResourceManager完成，而資源由各個NM實現(xiàn)。ResourceManager將某個NodeManager上資源分配給任務(wù)（這就是所謂的“資源調(diào)度”）后，NodeManager需按照要求為任務(wù)提供相應(yīng)的資源，甚至保證這些資源應(yīng)具有獨占性，為任務(wù)運行提供基礎(chǔ)的保證，這就是所謂的資源。當(dāng)談及到資源時，通常指內(nèi)存，CPU和IO三種資源。Hadoop YARN同時支持內(nèi)存和CPU兩種資源的調(diào)度。內(nèi)存資源的多少會會決定任務(wù)的生死，如果內(nèi)存不夠，任務(wù)可能會運行失??；相比之下，CPU資源則不同

10、，它只會決定任務(wù)運行的快慢，不會對生死產(chǎn)生影響。企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期27YARN 資源管理YARN允許用戶配置每個節(jié)點上可用的物理內(nèi)存資源，注意，這里是“可用的”，因為一個節(jié)點上的內(nèi)存會被若干個服務(wù)共享，比如一部分給YARN，一部分給HDFS，一部分給HBase等， YARN配置的只是自己可以使用的，配置參數(shù)如下：企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期28YARN 資源管理默認(rèn)情況下，YARN采用了線程的方法判斷任務(wù)是否超量使用內(nèi)存，一旦發(fā)現(xiàn)超量，則直接將其殺死。由于Cgroups對內(nèi)存的控制缺乏靈活性（即任務(wù)任何時刻過內(nèi)存上限，如果超過，則直接將其殺

11、死或者報OOM），而Java進(jìn)程在創(chuàng)建瞬間內(nèi)存將翻倍，之后驟降到正常值，這種情況下，采用線程的方式更加靈活（當(dāng)發(fā)現(xiàn)進(jìn)程樹內(nèi)存瞬間翻倍超過設(shè)定值時，可認(rèn)為是正?，F(xiàn)象，不會將任務(wù)殺死），因此YARN未提供Cgroups內(nèi)存隔離機制。企業(yè)級Hadoop2.x應(yīng)用開發(fā)基礎(chǔ)課程 第三期29YARN 資源管理目前的CPU被劃分成虛擬CPU（CPU virtual Core），這里的虛擬CPU是YARN自己引入的概念，初衷是，考慮到不同節(jié)點的CPU性能可能不同，每個CPU具有的計算能力也是不一樣的，比如某個物理CPU的計算能力可能是另外一個物理CPU的2倍，這時候，你可以通過為第一個物理CPU多配置幾個虛擬CPU彌補這種差異。用戶提交作業(yè)時，可以指定每個任務(wù)需要的虛擬CPU個數(shù)。在YARN中，CPU相關(guān)配置參數(shù)如下：企業(yè)級Hadoop 2.x應(yīng)用開發(fā)基礎(chǔ)課程30第三期大數(shù)據(jù)網(wǎng)絡(luò)課程大數(shù)據(jù)是國內(nèi)首家堅持實時授課、提供高端開發(fā)課程網(wǎng)絡(luò)培訓(xùn)機構(gòu)。采用新興的互聯(lián)網(wǎng)教育模式，堅持實時授課模式，既繼承傳統(tǒng)教育的學(xué)習(xí)交流特點，又發(fā)揮互聯(lián)網(wǎng)的無處不在的時空特性，將天南地北有志向的組織在一起學(xué)習(xí)交流，使原先孤立的學(xué)習(xí)，組有組織的人能學(xué)的學(xué)習(xí)探討，并且把原先的學(xué)費用降低到十分之一