分布式并行編程_第1頁
分布式并行編程_第2頁
分布式并行編程_第3頁
分布式并行編程_第4頁
分布式并行編程_第5頁
已閱讀5頁，還剩6頁未讀， 繼續(xù)免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

分布式并行編程學習任務2了解什么是MapReduce了解MapReduce概述MapReduce適合處理的任務MapReduce框架的核心優(yōu)勢3知識目標了解什么是MapReduceMapReduce適合處的任務MapReduce框架的核心優(yōu)勢01能力目標了解什么是MapReduceMapReduce適合處的任務MapReduce框架的核心優(yōu)勢02學習目標4目錄01MapReduce概述02MapReduce適合處理的任務03MapReduce框架的核心優(yōu)勢Hadoop概述-什么是MapReduceMapReduce是一種用于大規(guī)模數(shù)據(jù)集（數(shù)量大、類型復雜）離線并行運算的編程框架。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。5Hadoop概述-什么是MapReduce在Hadoop中，每個MapReduce任務都被初始化為一個Job，每個Job又可以分為四個主要階段：Split，Map，Shuffle以及Reduce，其中最重要的兩個階段是Map階段和Reduce階段。6MapReduce適合處理的任務復雜的數(shù)據(jù)：業(yè)務數(shù)據(jù)不能適合行列的數(shù)據(jù)庫結構。超大規(guī)模數(shù)據(jù)：很多公司僅僅應為數(shù)據(jù)存放成本過高就放棄了很多有價值的數(shù)據(jù)。新的分析手段：海量復雜數(shù)據(jù)分析需要使用新的方法。7MapReduce框架的核心優(yōu)勢高度可擴展，可動態(tài)增加/削減計算節(jié)點，真正實現(xiàn)彈性計算。高容錯能力，支持任務自動遷移、重試和預測執(zhí)行，不受計算節(jié)點故障影響。公平調度算法，支持優(yōu)先級和任務搶占，兼顧長/短任務，有效支持交互式任務。8MapReduce框架的核心優(yōu)勢就近調度算法，調度任務到最近的數(shù)據(jù)節(jié)點，有效降低網絡帶寬。動態(tài)靈活的資源分配和調度，達到資源利用最大化，計算節(jié)點不會出現(xiàn)閑置和過載的情況；同時支持資源配額管理。經過大量實際生產環(huán)境使用和驗證，最大集群規(guī)模在4000個計算節(jié)點9小

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現(xiàn)方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯(lián)系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論