《Hadoop技術(shù)原理》課件-5.資源管理器Yarn

Hadoop技術(shù)原理資源管理器YarnYarn產(chǎn)生背景與基礎(chǔ)架構(gòu)01Yarn的產(chǎn)生背景01Hadoop的主要組成MapReduce隨著Hadoop的變化也經(jīng)歷了兩個(gè)版本，Hadoop1.x及之前對(duì)應(yīng)的是MapReduce1，Hadoop2.x對(duì)應(yīng)的是MapReduce2，MapReuce兩個(gè)版本的兩大任務(wù)是不變的，分別是Map任務(wù)和Reduce任務(wù)，不同的是MapReduce1和MapReduce2的資源管理器是不一樣的。Yarn的產(chǎn)生背景02MapReduce1架構(gòu)Client：客戶端JobTracker：負(fù)責(zé)資源管理和所有作業(yè)的控制TaskTracker：負(fù)責(zé)接收來(lái)自JobTracker的命令并執(zhí)行Yarn的產(chǎn)生背景03了解MapReduce1工作流程Yarn的產(chǎn)生背景04MapReduce1局限性直接源于MRv1在幾個(gè)方面的缺陷擴(kuò)展性受限JobTracker單點(diǎn)故障難以支持MR之外的計(jì)算多計(jì)算框架各自為戰(zhàn)，數(shù)據(jù)共享困難MR：離線計(jì)算框架Storm：實(shí)時(shí)計(jì)算框架Spark：內(nèi)存計(jì)算框架Yarn的產(chǎn)生背景05Hadoop1.0與Hadoop2.0初識(shí)Yarn06什么是YarnYARN：YetAnotherResourceNegotiator，另一種資源協(xié)調(diào)者。最初是為了改善MapReduce的實(shí)現(xiàn)，但也是一種資源調(diào)度框架，具有通用性，可為上層應(yīng)用提供統(tǒng)一的資源管理和調(diào)度，可以支持其他的分布式計(jì)算模式（如Spark）。它的引入為集群在利用率、資源統(tǒng)一管理和數(shù)據(jù)共享等方面帶來(lái)了巨大好處。Yarn的基礎(chǔ)架構(gòu)07架構(gòu)Yarn的基礎(chǔ)架構(gòu)08Container（容器）YARN中資源包括內(nèi)存、CPU、磁盤輸入輸出等等。Container是YARN中資源的抽象，它封裝了某個(gè)節(jié)點(diǎn)上的多維度資源。ResourceManager（資源管理器）ResourceManager負(fù)責(zé)整個(gè)系統(tǒng)的資源分配和管理，是一個(gè)全局的資源管理器。主要由兩個(gè)組件構(gòu)成：調(diào)度器和應(yīng)用程序管理器：調(diào)度器（Scheduler）：

調(diào)度器根據(jù)資源情況為應(yīng)用程序分配封裝在Container中的資源。應(yīng)用程序管理器（ApplicationManager）：

應(yīng)用程序管理器負(fù)責(zé)管理整個(gè)系統(tǒng)中所有應(yīng)用程序。Yarn的基礎(chǔ)架構(gòu)09NodeManager(節(jié)點(diǎn)管理器)NodeManager是每個(gè)節(jié)點(diǎn)上的資源和任務(wù)管理器。定時(shí)向ResourceManager匯報(bào)本節(jié)點(diǎn)上的資源使用情況和各個(gè)Container的運(yùn)行狀態(tài)；接收并處理來(lái)自ApplicationManager的Container啟動(dòng)/停止等請(qǐng)求。Yarn的基礎(chǔ)架構(gòu)10ApplicationMaster(主應(yīng)用)ApplicationMaster是一個(gè)詳細(xì)的框架庫(kù)，它結(jié)合從ResourceManager獲得的資源和NodeManager協(xié)同工作來(lái)運(yùn)行和監(jiān)控任務(wù)。用戶提交的每一個(gè)應(yīng)用程序均包含一個(gè)ApplicationMaster。主要功能包括：與ResourceManager調(diào)度器協(xié)商以獲取抽象資源（Container）；負(fù)責(zé)應(yīng)用的監(jiān)控，跟蹤應(yīng)用執(zhí)行狀態(tài)，重啟失敗任務(wù)等；并且與NodeManager協(xié)同工作完成Task的執(zhí)行和監(jiān)控。Yarn工作機(jī)制與調(diào)度器02Yarn的工作機(jī)制01YARN中應(yīng)用（Application）運(yùn)行機(jī)制（流程）Yarn的工作機(jī)制02YARN中任務(wù)進(jìn)度監(jiān)控Yarn新增功能03新舊框架比較同：客戶端不變，其調(diào)用API及接口大部分保持兼容異：原框架中核心的JobTasker和TaskTracker不見了，取而代之的是RM，AppMaster和NM三個(gè)部分Yarn的改進(jìn)RM相對(duì)于JobTracker，大大減少了資源的消耗，并且讓監(jiān)測(cè)每個(gè)Job子任務(wù)（task）狀態(tài)的程序分布式化了。在Yarn中，AppMaster是一個(gè)可變更的部分，用戶可以對(duì)不同的程序模型編寫自己的AppMaster，讓更多類型的編程模型能夠跑在Hadoop集群中。容錯(cuò)率更好，AppMaster監(jiān)控task運(yùn)行情況，RM監(jiān)控AppMaster的狀況，一旦出問(wèn)題會(huì)在其他機(jī)器上重啟Yarn調(diào)度器04調(diào)度器種類YARN調(diào)度器分三種：（1）FIFOScheduler→先進(jìn)先出調(diào)度器（2）CapacityScheduler→容器調(diào)度器（3）FairScheduler→公平調(diào)度器Yarn調(diào)度器05FIFOScheduler最簡(jiǎn)單的調(diào)度器job1運(yùn)行完后，job2才能獲取到資源Yarn調(diào)度器06CapacitySchedule分成多個(gè)隊(duì)列，每個(gè)隊(duì)列占用一定資源，可以看作是FIFOScheduler的多隊(duì)列版本。每個(gè)隊(duì)列可以限制資源使用量。但是，隊(duì)列間的資源分配以使用量作排列依據(jù)，使得容量小的隊(duì)列有競(jìng)爭(zhēng)優(yōu)勢(shì)。注意：如果不限制某隊(duì)列最大容量，則運(yùn)行過(guò)程中，它可以占用全部資源。YARN默認(rèn)采用CapacitySchedul