mapreduce運(yùn)行全流程圖解析

1、 mapreduce運(yùn)行全流程圖解析MapReduce三大問題:一、讀數(shù)據(jù)是怎么回事?二、shuffle的過程?三、結(jié)果數(shù)據(jù)存儲是怎么回事?源碼解析:FileInputFormat-createRecordReader控制切片，壓縮格式不能切片。LongWritable關(guān)于偏移量的底層代碼：解一：讀數(shù)據(jù)是怎么回事?1.首先map task驅(qū)動TextInputFormat，底層方法有craeteRecordReader，然后生成LineRecordReader，底層包含nextKeyvalue,getCurrentKey,getCurrentValue方法，主要是定義key ，value的數(shù)據(jù)

2、類型，keyin的值定義了按行讀取的偏移量。2.解析:map task拿到key和value后驅(qū)動自己定義的MyMapper類.MyMapper類繼承了Mapper基類。讀取文件數(shù)據(jù)的細(xì)節(jié):maptask先經(jīng)過切片，通過流式讀取文件。以上為切片的規(guī)則，大小為128M，往下一個切片會多讀一行，下一個切片會永遠(yuǎn)拋棄第一行，文件的起始片不能拋棄第一行，文件的最后一個切片不往下多讀一行。context.write(k,v)輸出數(shù)據(jù)后，由outputCollector收集,之后進(jìn)入環(huán)形緩存區(qū)，區(qū)內(nèi)分為80%的數(shù)據(jù)區(qū)和20%的保留區(qū)，多余的數(shù)據(jù)會溢出到溢出器，溢出器會保留在磁盤。在這個過程中數(shù)據(jù)會進(jìn)行，分

3、區(qū)及排序。數(shù)據(jù)分區(qū)排序后，會生成文件，并通過索引分區(qū)文件。索引是描述區(qū)的偏移量。很多的小文件，通過外部排序及歸并算法，生成一個大文件。Reduce端:這里注意：在調(diào)用reduce（）方法時，框架reducetask先從合并文件中讀出一個key傳給reduce方法，同時傳出一個迭化器。Value迭化器的hasnext方法會判斷文件的下一個key是否是已經(jīng)傳入的key。如果是，則next返回下一個value。否則，hasnext直接返回false，導(dǎo)致本次reduce方法調(diào)用結(jié)束。看起來的效果則是，reducetask會把數(shù)據(jù)按照key事先分好組，然后對每一組的數(shù)據(jù)調(diào)用一次reduce的方法。1.

4、reducetask先從合并文件中讀出一個key傳給reduce方法,同時傳一個迭代器。2.value的迭代器的hasnext()方法會判斷文件的下一個key是否是已經(jīng)傳入的key,如果是,則next返回下一個value,否則,hadnext()直接返回false,導(dǎo)致本次reduce方法調(diào)用結(jié)束。3.看起來的效果是:reducetask會把數(shù)據(jù)按照key事先分好組,然后對每一組的數(shù)據(jù)調(diào)用一次reduce方法來做統(tǒng)計(jì)-通過context.write()，輸出key，value，到外部存儲系統(tǒng).按行輸入數(shù)據(jù)。這里會有人問到，有哪些是可干預(yù)的?1.數(shù)據(jù)讀的方式：InputFormat(可設(shè)置文件，流,xml，只要能解析元數(shù)據(jù))。配套的LineRecordReader也要改。2.分區(qū)。Partitioner。3.排序。pareTo()順序，倒敘，重寫