2024谷歌MapReduce：簡(jiǎn)化?型集群上的數(shù)據(jù)處理

MapReduce

MapReduceMapReduceTB

發(fā)現(xiàn)該系統(tǒng)易于使用MapReduceGoogle群上執(zhí)行了上千個(gè)MapReduce作業(yè)

6節(jié)探討了MapReduce

計(jì)算采用一組輸入鍵/值對(duì)

（k1v1

Reduce(k2,list(v2))→到Reduce中間密鑰I和該密鑰的一組值Reduce

Grepmap

mapMapReduce（C）A

map

1

01

hash(key)modR)（R和圖

7mapReduce由master執(zhí)行M個(gè)map任務(wù)和R個(gè)mapworker

任務(wù)的

ReduceWorkerMastermapReduce

Worker行調(diào)度map任務(wù)或reduce）據(jù)的Reduce任務(wù)都將從workerB讀取數(shù)據(jù)。MapReduceMapReduce80的工作MapReduce操作。

ReduceR1的輸出相當(dāng)于非確定性程序按順序執(zhí)行產(chǎn)生的R1

況并根據(jù)需要重試MapReduce操作。

系統(tǒng)狀態(tài)僅包含一次Reduce任務(wù)執(zhí)行所產(chǎn)生的數(shù)據(jù)。

如上所述M個(gè)部分R個(gè)部分

度決策O(MR)狀態(tài)保存在內(nèi)存中（O(MRmapreduce文件中M以便每個(gè)經(jīng)常使用M=200,000執(zhí)行MapReduce計(jì)算

使用“hash(Hostname(urlkey)modRURLmapReduce

Zipfmap<the1

MapReduceAmap（例如

包含發(fā)現(xiàn)有用（gdb）。mapreduce

哪些worker發(fā)生故障map和Reduce

GetCounter(大寫(xiě)w：

響應(yīng)mapReducemapReduce由

2

5.21TB的數(shù)據(jù)進(jìn)行排序。

計(jì)算

GFS1000超線程，4GB內(nèi)存160GBIDE

TeraSort[10]

（c200圖3

600的初始字節(jié)將其分成R個(gè)塊之一。

測(cè)試的最佳結(jié)果1057秒相近[18]。GB/s本地磁盤grep

輸出速率大多數(shù)數(shù)據(jù)都是從本地磁盤讀取的960秒后5個(gè)Reduce任務(wù)外

3（c

4

63479,1863,288758Google 本地搜索

120044MapReduce1MapReduce·于MapReduce3800CMapRe?duce700

,·MapReduce庫(kù)的性能良好

workerworker在本地對(duì)數(shù)據(jù)進(jìn)行排序（如果可能的話）

計(jì)算[6913]MapReduce

分布式隊(duì)列MapReduceRiver編程模型，MapReduce框架能夠MapReduce與（1（2

DavidKramerShun?TakLeungJoshRedstone感謝PercyLiang和OlcanSercinoglu所做的工作MapReduceMikeBurrowsWilsonHsiehJoshLev?ber