2023學(xué)年完整公開課版MapReduce基本概念

MapReduce基本概念2MapReduce基本概念3MapReduce基本概念MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（歸約）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。4MapReduce基本概念MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運(yùn)算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語(yǔ)言里借來(lái)的，還有從矢量編程語(yǔ)言里借來(lái)的特性。它極大地方便了編程人員在不會(huì)分布式并行編程的情況下，將自己的程序運(yùn)行在分布式系統(tǒng)上。當(dāng)前的軟件實(shí)現(xiàn)是指定一個(gè)Map（映射）函數(shù)，用來(lái)把一組鍵值對(duì)映射成一組新的鍵值對(duì)，指定并發(fā)的Reduce（歸約）函數(shù)，用來(lái)保證所有映射的鍵值對(duì)中的每一個(gè)共享相同的鍵組。5MapReduce基本概念MapReduce是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)，它隱含了三層含義一.MapReduce是一個(gè)基于集群的高性能并行計(jì)算平臺(tái)（ClusterInfrastructure）。它允許用市場(chǎng)上普通的商用服務(wù)器構(gòu)成一個(gè)包含數(shù)十、數(shù)百至數(shù)千個(gè)節(jié)點(diǎn)的分布和并行計(jì)算集群。6MapReduce基本概念MapReduce是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)，它隱含了三層含義二.MapReduce是一個(gè)并行計(jì)算與運(yùn)行軟件框架（SoftwareFramework）。它提供了一個(gè)龐大但設(shè)計(jì)精良的并行計(jì)算軟件框架，能自動(dòng)完成計(jì)算任務(wù)的并行化處理，自動(dòng)劃分計(jì)算數(shù)據(jù)和計(jì)算任務(wù)，在集群節(jié)點(diǎn)上自動(dòng)分配和執(zhí)行任務(wù)以及收集計(jì)算結(jié)果，將數(shù)據(jù)分布存儲(chǔ)、數(shù)據(jù)通信、容錯(cuò)處理等并行計(jì)算涉及到的很多系統(tǒng)底層的復(fù)雜細(xì)節(jié)交由系統(tǒng)負(fù)責(zé)處理，大大減少了軟件開發(fā)人員的負(fù)擔(dān)。7MapReduce基本概念MapReduce是面向大數(shù)據(jù)并行處理的計(jì)算模型、框架和平臺(tái)，它隱含了三層含義三.MapReduce是一個(gè)并行程序設(shè)計(jì)模型與方法（ProgrammingModel&Methodology）。它借助于函數(shù)式程序設(shè)計(jì)語(yǔ)言Lisp的設(shè)計(jì)思想，提供了一種簡(jiǎn)便的并行程序設(shè)計(jì)方法，用Map和Reduce兩個(gè)函數(shù)編程實(shí)現(xiàn)基本的并行計(jì)算任務(wù)，提供了抽象的操作和并行編程接口，以簡(jiǎn)單方便地完成大規(guī)模數(shù)據(jù)的編程和計(jì)算處理8MapReduce基本概念MapReduce的由來(lái)MapReduce最早是由Google公司研究提出的一種面向大規(guī)模數(shù)據(jù)處理的并行計(jì)算模型和方法。Google公司設(shè)計(jì)MapReduce的初衷主要是為了解決其搜索引擎中大規(guī)模網(wǎng)頁(yè)數(shù)據(jù)的并行化處理。Google公司發(fā)明了MapReduce之后首先用其重新改寫了其搜索引擎中的Web文檔索引處理系統(tǒng)。但由于MapReduce可以普遍應(yīng)用于很多大規(guī)模數(shù)據(jù)的計(jì)算問(wèn)題，因此自發(fā)明MapReduce以后，Google公司內(nèi)部進(jìn)一步將其廣泛應(yīng)用于很多大規(guī)模數(shù)據(jù)處理問(wèn)題。到目前為止，Google公司內(nèi)有上萬(wàn)個(gè)各種不同的算法問(wèn)題和程序都使用MapReduce進(jìn)行處理。9MapReduce基本概念MapReduce用途在Google，MapReduce用在非常廣泛的應(yīng)用程序中，包括“分布grep，分布排序，web連接圖反轉(zhuǎn)，每臺(tái)機(jī)器的詞矢量，web訪問(wèn)日志分析，反向索引構(gòu)建，文檔聚類，機(jī)器學(xué)習(xí)，基于統(tǒng)計(jì)的機(jī)器翻譯...”值得注意的是，MapReduce實(shí)現(xiàn)以后，它被用來(lái)重新生成Google的整個(gè)索引，并取代老的adhoc程序去更新索引。10MapReduce基本概念MapReduce用途MapReduce會(huì)生成大量的臨時(shí)文件，為了提高效率，它利用Google文件系統(tǒng)來(lái)管理和訪問(wèn)這些文件。在谷歌，超過(guò)一萬(wàn)個(gè)不同的項(xiàng)目已經(jīng)采用MapReduce來(lái)實(shí)現(xiàn),包括大規(guī)模的算法圖形處理、文字處理、數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)機(jī)器翻譯以及眾多其他領(lǐng)域。其他實(shí)現(xiàn)Nu