《Hadoop技術(shù)原理》課件-7.MapReduce進(jìn)階

Hadoop技術(shù)原理MapReduce進(jìn)階MapReduce進(jìn)階01MapReduce進(jìn)階01MapReduce輸入格式邏輯分片（按照200字分片）MapReduce進(jìn)階02MapReduce輸入格式邏輯分片有了邏輯分片，就可以逐行獲取數(shù)據(jù)MapReduce進(jìn)階03MapReduce輸入格式InputFormat類實(shí)現(xiàn)了兩個(gè)功能數(shù)據(jù)切分，獲得SplitInput（邏輯切片），F(xiàn)ileInputFormat.getSplits()獲取到。為Mapper提供輸入數(shù)據(jù)。有多少個(gè)SplitInput，就有多少個(gè)Mapper由于沒(méi)有定義InputFormat，默認(rèn)使用TextInputFormat逐行獲取文本MapReduce進(jìn)階04MapReduce輸出格式OutputFormat主要用于描述輸出數(shù)據(jù)的格式，通過(guò)RecordWriter能夠?qū)⒂脩籼峁┑膋ey/value對(duì)寫入特定格式的文件中TextOutputFormt調(diào)用toString()方法把它們轉(zhuǎn)換為字符串NullWritable來(lái)省略輸出的key或valueMapReduce進(jìn)階05分區(qū)(partition)Partition定義Mapper任務(wù)劃分?jǐn)?shù)據(jù)的過(guò)程稱作Partition。負(fù)責(zé)實(shí)現(xiàn)數(shù)據(jù)的類稱作Partitioner，默認(rèn)的分區(qū)是Hash分區(qū)(HashPartition)。Partition作用將map階段產(chǎn)生的所有<key,value>對(duì)分配給不同的Reducer處理，可以將Reduce階段的處理負(fù)載進(jìn)行分?jǐn)偂０褦?shù)據(jù)打散進(jìn)行處理，最終是為了避免熱塊（數(shù)據(jù)傾斜）Partition的數(shù)量決定Reducer的數(shù)量。MapReduce進(jìn)階06分區(qū)分區(qū)的基本原理計(jì)算某個(gè)值的hash值，如果結(jié)果相同，則放入同一個(gè)分區(qū)MapReduce進(jìn)階07合并是一種特殊Reducer，在Mapper端，先執(zhí)行一次Reducer作用：減少M(fèi)apper輸出到Reduce的數(shù)據(jù)量，緩解網(wǎng)絡(luò)傳輸瓶頸，提高reducer的執(zhí)行效率。需要注意的問(wèn)題：一定要謹(jǐn)慎使用Combiner，有些情況不能使用Combiner---->如：求平均值保證引入Combiner以后，不能改變?cè)瓉?lái)的邏輯

合并（Combiner）合并簡(jiǎn)介MapReduce進(jìn)階08合并（Combiner）使用Combiner差異MapReduce進(jìn)階09合并（Combiner）不能使用Combiner情況-->舉例：求平均值MapReduce工作機(jī)制02MapReduce工作機(jī)制01Yarn中運(yùn)行MapReduce的工作原理MapReduce工作機(jī)制02Yarn中運(yùn)行MapReduce的工作原理整個(gè)過(guò)程涉及五個(gè)獨(dú)立的實(shí)體：客戶端：提交MapReduce作業(yè)YARNResourceManager：負(fù)責(zé)協(xié)調(diào)集群上計(jì)算機(jī)資源的分配YARNNodeManager：負(fù)責(zé)啟動(dòng)和監(jiān)視集群中機(jī)器上的計(jì)算容器(container)MapReduce的ApplicationMaster，負(fù)責(zé)協(xié)調(diào)運(yùn)行MapReduce作業(yè)的任務(wù)。它和MapReduce任務(wù)在容器中運(yùn)行，這些容器由資源管理器分配并由節(jié)點(diǎn)管理器進(jìn)行管理。分布式文件系統(tǒng)（一般為HDFS）：共享作業(yè)文件MapReduce工作機(jī)制03狀態(tài)更新在MapReduce中的傳遞流程MapReduce工作機(jī)制04狀態(tài)更新在MapReduce中的傳遞流程map任務(wù)或reduce任務(wù)運(yùn)行時(shí)，向自己的MRAppMaster報(bào)告進(jìn)度和狀態(tài)。MRAppMaster形成一個(gè)作業(yè)的匯聚視圖客戶端每秒鐘輪詢一次MRAppMaster獲取最新?tīng)顟B(tài)。Shuffle（MapReduce的核心）05MapReduce確保每個(gè)reducer的輸入都是按鍵排序的。系統(tǒng)執(zhí)行排序、將map輸出作為輸入傳給reducer的過(guò)程稱為Shuffle。Shuffle是MapReduce奇跡發(fā)生的地方。Shuffle（MapReduce的核心）06Shuffle：把中間結(jié)果里相同鍵值的數(shù)據(jù)送給同一個(gè)Reducer一個(gè)Reducer處理多個(gè)鍵值一個(gè)Reducer處理的所有鍵值稱為一個(gè)“分片”(Partition)Mapper任務(wù)輸出中間結(jié)果后，需要確定每個(gè)鍵值對(duì)所對(duì)應(yīng)的分片MapReduce編程案例07排序基本數(shù)據(jù)類型（1）數(shù)字默認(rèn)：升序舉例：查詢員工的薪水，按照升序排序降序：重寫一個(gè)比較器 （2）字符串字典順序舉例：WordCount單詞計(jì)數(shù)非基本