MapReduce技術(shù)平臺(tái)詳解

1、技術(shù)創(chuàng)新，變革未來MapReduce技術(shù)平臺(tái)詳解內(nèi)容MapReduce介紹MapReduce優(yōu)缺點(diǎn)MapReduce基本流程 MapReduce編程范例MapReduce練習(xí)案例MapReduce介紹MapReduce 是一個(gè)分布式計(jì)算框架基于它寫出來的應(yīng)用程序能夠運(yùn)行在由上千個(gè)商用機(jī)器組 成的大型集群上以一種可靠容錯(cuò)的方式并行處理PB級(jí)別的數(shù)據(jù)集Hadoop MapReduce 其實(shí)就是 Google MapReduce 的一 個(gè)開源版本MapReduce優(yōu)點(diǎn)易于編程：簡單的實(shí)現(xiàn)一些接口，類似于寫一個(gè)簡單的串 行程序，就可以完成一個(gè)分布式程序，這個(gè)分布式程序可以 分布到大量廉價(jià)的 PC 機(jī)器

2、運(yùn)行良好的擴(kuò)展性：計(jì)算資源不夠的時(shí)候，可以通過簡單的增 加機(jī)器擴(kuò)展計(jì)算能力高容錯(cuò)性：例如其中一臺(tái)機(jī)器掛了，會(huì)自動(dòng)把上面的計(jì)算任務(wù)轉(zhuǎn)移到另外一個(gè)節(jié)點(diǎn)上運(yùn)行，不至于任務(wù)運(yùn)行失敗，整 個(gè)過程不需要人工參與離線處理PB 級(jí)以上海量數(shù)據(jù)：適合離線處理MapReduce缺點(diǎn)實(shí)時(shí)計(jì)算： MapReduce 無法像 Mysql 一樣，在毫秒或者 秒級(jí)內(nèi)返回結(jié)果流式計(jì)算： MapReduce 自身的設(shè)計(jì)特點(diǎn)決定了數(shù)據(jù)源必 須是靜態(tài)的，不能動(dòng)態(tài)變化，而流式計(jì)算的輸入數(shù)據(jù)是動(dòng)態(tài) 的DAG計(jì)算：涉及多次迭代計(jì)算，MapReduce 可以做，但是每個(gè)MapReduce 作業(yè)的輸出結(jié)果都會(huì)寫入到磁盤，造成 大量的磁盤IO

3、，導(dǎo)致性能低下MapReduce基本流程（1）MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集的并行 計(jì)算，主要思想是Map(映射)和Reduce(化簡)。MapReduce程序?qū)⑤斎霐?shù)據(jù)列表變成輸出數(shù)據(jù)列表。MapReduce程序由兩個(gè)階段組成：Map和Reduce，用戶 只需要實(shí)現(xiàn)map()和reduce()兩個(gè)函數(shù)，即可實(shí)現(xiàn)分布式計(jì) 算。MapReduce基本流程（2）map任務(wù)處理對(duì)輸入文件的每一行，解析成key、value對(duì)，每一個(gè)鍵值 對(duì)調(diào)用一次map函數(shù)寫自己的邏輯，對(duì)輸入的key、value處理，轉(zhuǎn)換成新的key、value輸出對(duì)輸出的key、value進(jìn)行分區(qū)對(duì)不同分區(qū)的數(shù)

4、據(jù)，按照key進(jìn)行排序、分組，相同key的value放到一個(gè)集合中(可選)分組后的數(shù)據(jù)進(jìn)行歸約MapReduce基本流程（3）reduce任務(wù)處理對(duì)多個(gè)map任務(wù)的輸出，按照不同的分區(qū)，通過網(wǎng)絡(luò)copy到不同的reduce節(jié)點(diǎn)對(duì)多個(gè)map任務(wù)的輸出進(jìn)行合并、排序?qū)憆educe函數(shù)邏輯，對(duì)輸入的key、value處理，轉(zhuǎn)換成新 的key、value輸出把reduce的輸出保存到文件中MapReduce的基本設(shè)計(jì)思想對(duì)大數(shù)據(jù)并行處理：分而治之上升到抽象模型：Map與Reduce上升到框架：以統(tǒng)一框架為程序員隱藏系統(tǒng)細(xì)節(jié)MapReduce編程范例PatentMapReduce練習(xí)某旅行APP每天產(chǎn)生

5、大量訪問日志，用戶【uuid-x】每一次操作會(huì)產(chǎn)生一條 日志記錄，假設(shè)用戶可通過單程搜索【search-dancheng】，往返搜索【 search-wangfan】等多個(gè)入口進(jìn)入，可通過報(bào)價(jià)詳情頁【detail】選擇航班 并完成最后的下訂單，可通過【submit】完成購票操作日志格式如下，請(qǐng)計(jì)算20150521這一天該旅行APP有多少單程搜索，有多 少往返搜索MapReduce練習(xí)合并文檔去重：資源文件a1：hadoop test hello word資源文件a2： happy birthdaythis isa test最終結(jié)果： hadoop testhello word happy birthday thisis a如果不去重呢？MapReduce練習(xí)統(tǒng)計(jì)結(jié)果：1-3年經(jīng)驗(yàn)3-5年經(jīng)驗(yàn)5-10年經(jīng)驗(yàn)8-30k10-33k20-35kMapReduce練習(xí)氣象數(shù)據(jù)集：由分布在美國全國各地區(qū)的很多氣象傳感器每隔一小時(shí)進(jìn)行 收集MapRedu