




版權說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權,請進行舉報或認領
文檔簡介
主講:侯磊目錄01了解Yarn02配置Yarn了解Yarn1了解Yarn背景Yarn是一個分布式的資源管理系統(tǒng),用以提高分布式的集群環(huán)境下的資源利用率,這些資源包括內(nèi)存、IO、網(wǎng)絡、磁盤等。其產(chǎn)生的原因是為了解決原MapReduce框架的不足。最初MapReduce的committer們還可以周期性的在已有的代碼上進行修改,可是隨著代碼的增加以及原MapReduce框架設計的不足,在原MapReduce框架上進行修改變得越來越困難,所以MapReduce的committer們決定從架構上重新設計MapReduce,使下一代的MapReduce(MRv2/Yarn)框架具有更好的擴展性、可用性、可靠性、向后兼容性和更高的資源利用率以及能支持除了MapReduce計算框架外的更多的計算框架。了解YarnYarn架構Yarn/MRv2最基本的想法是將原JobTracker主要的資源管理和job調(diào)度/監(jiān)視功能分開作為兩個單獨的守護進程。有一個全局的ResourceManager(RM)和每個Application有一個ApplicationMaster(AM),Application相當于map-reducejob或者DAGjobs。ResourceManager和NodeManager(NM)組成了基本的數(shù)據(jù)計算框架。ResourceManager協(xié)調(diào)集群的資源利用,任何client或者運行著的applicatitonMaster想要運行job或者task都得向RM申請一定的資源。ApplicatonMaster是一個框架特殊的庫,對于MapReduce框架而言有它自己的AM實現(xiàn),用戶也可以實現(xiàn)自己的AM,在運行的時候,AM會與NM一起來啟動和監(jiān)視tasks。了解YarnResourceManagerResourceManager作為資源的協(xié)調(diào)者有兩個主要的組件:Scheduler和ApplicationsManager(AsM)。Scheduler負責分配最少但滿足application運行所需的資源量給Application。Scheduler只是基于資源的使用情況進行調(diào)度,并不負責監(jiān)視/跟蹤application的狀態(tài),當然也不會處理失敗的task。RM使用resourcecontainer概念來管理集群的資源,resourcecontainer是資源的抽象,每個container包括一定的內(nèi)存、IO、網(wǎng)絡等資源,不過目前的實現(xiàn)只包括內(nèi)存一種資源。了解YarnApplicationsManager負責處理client提交的job以及協(xié)商第一個container以供applicationMaster運行,并且在applicationMaster失敗的時候會重新啟動applicationMaster。配置Yarn2配置Yarn配置Yarn的方法很簡單首先進入已經(jīng)搭建好的Hadoop平臺中進入到軟件包所在的目錄/mnt/Rpms,使用yum命令安裝hadoop軟件包,進入安裝目錄:#cd/mnt/Rpms/#yuminstall-ybigdata-xiandian-hadoop-1.0-1.x86_64.rpm#cd/opt/hadoop_resources/hadoop-2.7.0/#cdetc/hadoop/配置Yarn配置yarn-env.sh在yarn-env.sh中只需要添加JDK的路徑:#cdhadoop-2
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2024演出經(jīng)紀人資格證知識實操試題及答案
- 悉尼大學物理考題及答案
- 物理考試必考題及答案
- 《貝多芬傳》讀后感
- 第6課 隋唐時期的中外文化交流-2024-2025學年統(tǒng)編版(2024)七年級歷史下冊課時練解析卷
- 匝道施工方案
- 天津生物工程職業(yè)技術學院《越南語視聽說二》2023-2024學年第二學期期末試卷
- 廣州工商學院《基礎日語Ⅳ》2023-2024學年第一學期期末試卷
- 湖州職業(yè)技術學院《大數(shù)據(jù)挖掘及應用》2023-2024學年第二學期期末試卷
- 2025年黑龍江省綏化七中高考生物試題(課標版)押題卷解析含解析
- 潮汕英歌舞文化傳承與創(chuàng)新研究
- 大學美育學習通超星期末考試答案章節(jié)答案2024年
- 2024年版《輸變電工程標準工藝應用圖冊》
- 2024年大學生信息素養(yǎng)大賽(校賽)培訓考試題庫(含答案)
- 1 水到哪里去了(教案)-2024-2025學年科學三年級上冊教科版
- 遼寧大連歷年中考語文現(xiàn)代文之記敘文閱讀10篇(含答案)(2003-2023)
- 2025年高考作文素材積累:17則熱聞(新聞+觀點+運用)及人民日報18篇時評
- 深海組網(wǎng)技術調(diào)研
- 2022-2023學年江蘇省蘇州市高一下學期期末考學業(yè)質(zhì)量陽光指標調(diào)研英語試卷含答案
- 石油天然氣股份有限公司領導人員管理辦法模板
- 教科版科學三年級下冊《 直線運動和曲線運動 》課件
評論
0/150
提交評論