Hadoop中TeraSort算法分析

1、Hadoop中TeraSort算CategorMya:pRedTTeraortHadoopHadoopTTeraortHadoopTeraortthoDr:oHaaptaredapred(OIJTTDL3)fubfuy|G2(oujocsjqiajcif)U|Guucqi!Jicy|ca內(nèi)就）bpta?cjSUIUOJJjf-ROLf高redapyeqncs-百呂$1數(shù)據(jù)tr悶LI中OIJ|f叮jjLmpi打b訊附!ho沁1中01丁1KCXJSBrXbsuifroupb典里!凹出二L円ycrjnccia?|t內(nèi)曲|tR|l!SK-inmbm(ou嚴(yán)亡即qjjfRimcLUKqrsicic?uH

2、DL3)lubnfijicaptai.cinofcLGirqb勺wi!u1L-iJi!*：1；:|山|.譏|:.;山:|bUIJJOIJK-1RO14TeraSort皿Iiedgbctao分個(gè)數(shù)囚想b數(shù)據(jù)red-utask個(gè)數(shù))redkumnoijn內(nèi)1jnaj(1fjcqnc&何蘋(píng)蝕HL)L)箏叭ujcafOfT-tlni昨1()rtrbrt|iTeraortaptaHadoopTeraortredtae數(shù)據(jù)采樣在端進(jìn)行，首先從輸入數(shù)據(jù)中抽取一部分?jǐn)?shù)據(jù)，將這些數(shù)據(jù)進(jìn)行排序，然后將它們劃分成個(gè)數(shù)據(jù)塊，找出每個(gè)數(shù)據(jù)塊的數(shù)據(jù)上限和下線(xiàn)（稱(chēng)為分割點(diǎn)），并將這些分割點(diǎn)保存到分布式緩存中。在階段，每個(gè)首

3、先從分布式緩存中讀取分割點(diǎn)，并對(duì)這些分割點(diǎn)建立樹(shù)（兩層樹(shù)，樹(shù)的葉子節(jié)點(diǎn)上保存有該節(jié)點(diǎn)對(duì)應(yīng)的編號(hào)）。然后正式開(kāi)始處理數(shù)據(jù)，對(duì)于每條數(shù)據(jù)，在樹(shù)中查找它屬于的的編號(hào)，并保存起來(lái)。在階段，每個(gè)從每個(gè)中讀取其對(duì)應(yīng)的數(shù)據(jù)進(jìn)行局部排序，最后將處理后結(jié)果按編號(hào)依次輸出即可。算法關(guān)鍵點(diǎn)（1）采樣自帶了很多數(shù)據(jù)采樣工具，包括，等（具體見(jiàn)）。采樣數(shù)據(jù)條數(shù)：選取的個(gè)數(shù)：是所有組成的數(shù)組。每個(gè)提取的數(shù)據(jù)條數(shù)：對(duì)采樣的數(shù)據(jù)進(jìn)行全排序，將獲取的分割點(diǎn)寫(xiě)到文件中，并將它存放到分布式緩存區(qū)中。舉例說(shuō)明：比如采樣數(shù)據(jù)為b，b，c，b，dbc，d，b，cedf，gh，f，drr，rm，k經(jīng)排序后，得到：，如果個(gè)數(shù)為，則分割點(diǎn)為：，（）對(duì)數(shù)據(jù)記錄做標(biāo)記每個(gè)從文件讀取分割點(diǎn)，并創(chuàng)建樹(shù)（假設(shè)是，即組織利用前兩個(gè)字節(jié)）。從中一條一條讀取數(shù)據(jù)，并通過(guò)樹(shù)查找每條記錄所對(duì)應(yīng)的編號(hào)。比如