教學YarnCluster模式工作流程

主講：侯磊目錄01了解Yarn02Yarn-Cluster模式了解Yarn1了解Yarn背景Yarn是一個分布式的資源管理系統(tǒng)，用以提高分布式的集群環(huán)境下的資源利用率，這些資源包括內存、IO、網(wǎng)絡、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。最初MapReduce的committer們還可以周期性的在已有的代碼上進行修改，可是隨著代碼的增加以及原MapReduce框架設計的不足，在原MapReduce框架上進行修改變得越來越困難，所以MapReduce的committer們決定從架構上重新設計MapReduce,使下一代的MapReduce(MRv2/Yarn)框架具有更好的擴展性、可用性、可靠性、向后兼容性和更高的資源利用率以及能支持除了MapReduce計算框架外的更多的計算框架。了解YarnYarn架構Yarn/MRv2最基本的想法是將原JobTracker主要的資源管理和job調度/監(jiān)視功能分開作為兩個單獨的守護進程。有一個全局的ResourceManager(RM)和每個Application有一個ApplicationMaster(AM)，Application相當于map-reducejob或者DAGjobs。ResourceManager和NodeManager(NM)組成了基本的數(shù)據(jù)計算框架。ResourceManager協(xié)調集群的資源利用，任何client或者運行著的applicatitonMaster想要運行job或者task都得向RM申請一定的資源。ApplicatonMaster是一個框架特殊的庫，對于MapReduce框架而言有它自己的AM實現(xiàn)，用戶也可以實現(xiàn)自己的AM，在運行的時候，AM會與NM一起來啟動和監(jiān)視tasks。Yarn-Cluster模式2Yarn-Cluster模式YARN-cluster的工作流程分為以下幾個步驟：1.

SparkYarnClient向YARN中提交應用程序，包括ApplicationMaster程序、啟動ApplicationMaster的命令、需要在Executor中運行的程序等；2.

ResourceManager收到請求后，在集群中選擇一個NodeManager，為該應用程序分配第一個Container，要求它在這個Container中啟動應用程序的ApplicationMaster，其中ApplicationMaster進行SparkContext等的初始化；3.

ApplicationMaster向ResourceManager注冊，這樣用戶可以直接通過ResourceManage查看應用程序的運行狀態(tài)，然后它將采用輪詢的方式通過RPC協(xié)議為各個任務申請資源，并監(jiān)控它們的運行狀態(tài)直到運行結束；Yarn-Cluster模式4.

一旦ApplicationMaster申請到資源（也就是Container）后，便與對應的NodeManager通信，要求它在獲得的Container中啟動啟動CoarseGrainedExecutorBackend，CoarseGrainedExecutorBackend啟動后會向ApplicationMaster中的SparkContext注冊并申請Task。這一點和Standalone模式一樣，只不過SparkContext在SparkApplication中初始化時，使用CoarseGrainedSchedulerBackend配合YarnClusterScheduler進行任務的調度，其中YarnClusterScheduler只是對TaskSchedulerImpl的一個簡單包裝，增加了對Executor的等待邏輯等；Yarn-Cluster模式5.

ApplicationMaster中的SparkContext分配Task給CoarseGrainedExecutorBackend執(zhí)行，CoarseGrainedExecutorBackend運行Task并向ApplicationMaster匯報運行的狀態(tài)和進度，以讓ApplicationMa