了解Mapreduce拓展知識

MapReduce并行計算單元目錄1.了解MapReduce的基本概念2.理解YARN3.了解Mapreduce命令行用法4.了解Mapreduce拓展知識MapReduce項目實戰(zhàn)了解Mapreduce拓展知識MapReduce數(shù)據(jù)流在分布式計算中，MapReduce框架負(fù)責(zé)處理了并行編程中分布式存儲、工作調(diào)度、負(fù)載均衡、容錯均衡、容錯處理以及網(wǎng)絡(luò)通信等復(fù)雜問題，把處理過程高度抽象為兩個函數(shù)：map和reduce，map負(fù)責(zé)把任務(wù)分解成多個任務(wù)，reduce負(fù)責(zé)把分解后多任務(wù)處理的結(jié)果匯總起來。需要注意的是，用MapReduce來處理的數(shù)據(jù)集（或任務(wù)）必須具備這樣的特點：待處理的數(shù)據(jù)集可以分解成許多小的數(shù)據(jù)集，而且每一個小數(shù)據(jù)集都可以完全并行地進(jìn)行處理。如圖所示，所有組件一起工作場景。了解Mapreduce拓展知識在上一圖中，描述了HadoopMapReduce的高層視圖。從那個圖你可以看到mapper和reducer組件是如何用到詞頻統(tǒng)計程序中的，它們是如何完成它們的目標(biāo)的。接下來，我們要近距離的來來看看這個系統(tǒng)以獲取更多的細(xì)節(jié)。了解Mapreduce拓展知識首先我們來看下輸入文件，該文件是MapReduce任務(wù)的數(shù)據(jù)的初始存儲地。正常情況下，輸入文件一般是存在HDFS里。這些文件的格式可以是任意的；我們可以使用基于行的日志文件，也可以使用二進(jìn)制格式，多行輸入記錄或其它一些格式。一般這些文件會很大，比如1G-100G或更大。輸入格式：Mapreduce任務(wù)的輸入類InputFormat類定義了如何分割和讀取輸入文件，它提供有下面的幾個功能：選擇作為輸入的文件或?qū)ο?；定義把文件劃分到任務(wù)的InputSplits；為RecordReader讀取文件提供了一個工廠方法；Hadoop自帶了好幾個輸入格式。其中有一個抽象類叫FileInputFormat，所有操作文件的InputFormat類都是從它那里繼承功能和屬性。當(dāng)開啟Hadoop作業(yè)時，F(xiàn)ileInputFormat會得到一個路徑參數(shù)，這個路徑內(nèi)包含了所需要處理的文件，F(xiàn)ileInputFormat會讀取這個文件夾內(nèi)的所有文件（譯注：默認(rèn)不包括子文件夾內(nèi)的），然后它會把這些文件拆分成一個或多個的InputSplit。你可以通過JobConf對象的setInputFormat()方法來設(shè)定應(yīng)用到你的作業(yè)輸入文件上的輸入格式。了解Mapreduce拓展知識化MapReduce任務(wù)。相信每個都會問自己兩個問題“我如何完成這個任務(wù)”，以及“怎么能讓程序運(yùn)行得更快”。同樣，MapReduce計算模型的多次優(yōu)化也是為了更好地解答這兩個問題。MapReduce計算模型的優(yōu)化涉及了方方面面的內(nèi)容，但是主要集中在兩個方面：一是計算性能方面的優(yōu)化；二是I/O操作方面的優(yōu)化。這其中，又包含六個方面的內(nèi)容。任務(wù)調(diào)度任務(wù)調(diào)度是Hadoop中非常重要的一環(huán)，這個優(yōu)化又涉及兩個方面的內(nèi)容。計算方面：Hadoop總會優(yōu)先將任務(wù)分配給空閑的機(jī)器，使所有的任務(wù)能公平地分享系統(tǒng)資源。I/O方面：Hadoop會盡量將Map任務(wù)分配給InputSplit所在的機(jī)器，以減少網(wǎng)絡(luò)I/O的消耗。數(shù)據(jù)預(yù)處理與InputSplit的大小MapReduce任務(wù)擅長處理少量的大數(shù)據(jù)，而在處理大量的小數(shù)據(jù)時，MapReduce的性能就會遜色很多。因此在提交MapReduce任務(wù)前可以先對數(shù)據(jù)進(jìn)行一次預(yù)處理，將數(shù)據(jù)合并以提高M(jìn)apReduce任務(wù)的執(zhí)行效率，這個辦法往往很有效。如果這還不行，可以參考Map任務(wù)的運(yùn)行時間，當(dāng)一個Map任務(wù)只需要運(yùn)行幾秒就可以結(jié)束時，就需要考慮是否應(yīng)該給它分配更多的數(shù)據(jù)。通常而言，一個Map任務(wù)的運(yùn)行時間在一分鐘左右比較合適，可以通過設(shè)置Map的輸入數(shù)據(jù)大小來調(diào)節(jié)Map的運(yùn)行時間。在FileInputFormat中（除了CombineFileInputFormat），Hadoop會在處理每個Block后將其作為一個InputSplit，因此合理地設(shè)置block塊大小是很重要的調(diào)節(jié)方式。除此之外，也可以通過合理地設(shè)置Map任務(wù)的數(shù)量來調(diào)節(jié)Map任務(wù)的數(shù)據(jù)輸入。了解Mapreduce拓展知識Map和Reduce任務(wù)的數(shù)量合理地設(shè)置Map任務(wù)與Reduce任務(wù)的數(shù)量對提高M(jìn)apReduce任務(wù)的效率是非常重要的。默認(rèn)的設(shè)置往往不能很好地體現(xiàn)出MapReduce任務(wù)的需求，不過，設(shè)置它們的數(shù)量也要有一定的實踐經(jīng)驗。首先要定義兩個概念—Map/Reduce任務(wù)槽。Map/Reduce任務(wù)槽就是這個集群能夠同時運(yùn)行的Map/Reduce任務(wù)的最大數(shù)量。比如，在一個具有1200臺機(jī)器的集群中，設(shè)置每臺機(jī)器最多可以同時運(yùn)行10個Map任務(wù)，5個Reduce任務(wù)。那么這個集群的Map任務(wù)槽就是12000，Reduce任務(wù)槽是6000。任務(wù)槽可以幫助對任務(wù)調(diào)度進(jìn)行設(shè)置。設(shè)置MapReduce任務(wù)的Map數(shù)量主要參考的是Map的運(yùn)行時間，設(shè)置Reduce任務(wù)的數(shù)量就只需要參考任務(wù)槽的設(shè)置即可。一般來說，Reduce任務(wù)的數(shù)量應(yīng)該是Reduce任務(wù)槽的0.95倍或是1.75倍，這是基于不同的考慮來決定的。當(dāng)Reduce任務(wù)的數(shù)量是任務(wù)槽的0.95倍時，如果一個Reduce任務(wù)失敗，Hadoop可以很快地找到一臺空閑的機(jī)器重新執(zhí)行這個任務(wù)。當(dāng)Reduce任務(wù)的數(shù)量是任務(wù)槽的1.75倍時，執(zhí)行速度快的機(jī)器可以獲得更多的Reduce任務(wù)，因此可以使負(fù)載更加均衡，以提高任務(wù)的處理速度。了解Mapreduce拓展知識Combine函數(shù)Combine函數(shù)是用于本地合并數(shù)據(jù)的函數(shù)。在有些情況下，Map函數(shù)產(chǎn)生的中間數(shù)據(jù)會有很多是重復(fù)的，比如在一個簡單的WordCount程序中，因為詞頻是接近與一個zipf分布的，每個Map任務(wù)可能會產(chǎn)生成千上萬個記錄，若將這些記錄一一傳送給Reduce任務(wù)是很耗時的。所以，MapReduce框架運(yùn)行用戶寫的combine函數(shù)用于本地合并，這會大大減少網(wǎng)絡(luò)I/O操作的消耗。此時就可以利用combine函數(shù)先計算出在這個Block中單詞the的個數(shù)。合理地設(shè)計combine函數(shù)會有效地減少網(wǎng)絡(luò)傳輸?shù)臄?shù)據(jù)量，提高M(jìn)apReduce的效率。在MapReduce程序中使用combine很簡單，只需在程序中添加如下內(nèi)容：job.setCombinerClass(combine.class);在WordCount程序中，可以指定Reduce類為combine函數(shù)，具體如下：job.setCombinerClass(Reduce.class);壓縮編寫MapReduce程序時，可以選擇對Map的輸出和最終的輸出結(jié)果進(jìn)行壓縮（同時可以選擇壓縮方式）。在一些情況下，Map的中間輸出可能會很大，對其進(jìn)行壓縮可以有效地減少網(wǎng)絡(luò)上的數(shù)據(jù)傳輸量。對最終結(jié)果的壓縮雖然會減少數(shù)據(jù)寫HDFS的時間，但是也會對讀取產(chǎn)生一定的影響，因此要根據(jù)實際情況來選擇（第7章中提供了一個小實驗來驗證壓縮的效果）。自定義co