教學配置Yarn環(huán)境變量

主講：侯磊目錄01了解Yarn02配置Yarn了解Yarn1了解Yarn背景Yarn是一個分布式的資源管理系統(tǒng)，用以提高分布式的集群環(huán)境下的資源利用率，這些資源包括內(nèi)存、IO、網(wǎng)絡、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。最初MapReduce的committer們還可以周期性的在已有的代碼上進行修改，可是隨著代碼的增加以及原MapReduce框架設計的不足，在原MapReduce框架上進行修改變得越來越困難，所以MapReduce的committer們決定從架構上重新設計MapReduce,使下一代的MapReduce(MRv2/Yarn)框架具有更好的擴展性、可用性、可靠性、向后兼容性和更高的資源利用率以及能支持除了MapReduce計算框架外的更多的計算框架。了解YarnYarn架構Yarn/MRv2最基本的想法是將原JobTracker主要的資源管理和job調(diào)度/監(jiān)視功能分開作為兩個單獨的守護進程。有一個全局的ResourceManager(RM)和每個Application有一個ApplicationMaster(AM)，Application相當于map-reducejob或者DAGjobs。ResourceManager和NodeManager(NM)組成了基本的數(shù)據(jù)計算框架。ResourceManager協(xié)調(diào)集群的資源利用，任何client或者運行著的applicatitonMaster想要運行job或者task都得向RM申請一定的資源。ApplicatonMaster是一個框架特殊的庫，對于MapReduce框架而言有它自己的AM實現(xiàn)，用戶也可以實現(xiàn)自己的AM，在運行的時候，AM會與NM一起來啟動和監(jiān)視tasks。了解YarnResourceManagerResourceManager作為資源的協(xié)調(diào)者有兩個主要的組件：Scheduler和ApplicationsManager(AsM)。Scheduler負責分配最少但滿足application運行所需的資源量給Application。Scheduler只是基于資源的使用情況進行調(diào)度，并不負責監(jiān)視/跟蹤application的狀態(tài)，當然也不會處理失敗的task。RM使用resourcecontainer概念來管理集群的資源，resourcecontainer是資源的抽象，每個container包括一定的內(nèi)存、IO、網(wǎng)絡等資源，不過目前的實現(xiàn)只包括內(nèi)存一種資源。了解YarnApplicationsManager負責處理client提交的job以及協(xié)商第一個container以供applicationMaster運行，并且在applicationMaster失敗的時候會重新啟動applicationMaster。配置Yarn2配置Yarn配置Yarn的方法很簡單首先進入已經(jīng)搭建好的Hadoop平臺中進入到軟件包所在的目錄/mnt/Rpms，使用yum命令安裝hadoop軟件包，進入安裝目錄：#cd/mnt/Rpms/#yuminstall-ybigdata-xiandian-hadoop-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/hadoop-2.7.0/#cdetc/hadoop/配置Yarn配置yarn-env.sh在yarn-env.sh中只需要添加JDK的路徑：#cdhadoop-2