Hadoop大數(shù)據(jù)開發(fā)基礎(chǔ)與案例實戰(zhàn)（微課版）課件 5.10MapReduce性能調(diào)優(yōu)(完)

Hadoop大數(shù)據(jù)項目開發(fā)——MapReduce性能調(diào)優(yōu)目錄content02MapReduce優(yōu)化方法01MapReduce運行效率瓶頸MapReduce運行效率瓶頸運行效率哪些因素影響MapReduce運行效率瓶頸1.數(shù)據(jù)傾斜并行處理的數(shù)據(jù)集中，某一部分的數(shù)據(jù)顯著多于其它部分。使得該部分的處理速度成為整個數(shù)據(jù)集處理的瓶頸。MapReduce運行效率瓶頸2.Map和Reduce數(shù)量設(shè)置不合理100M0.8默認(rèn)緩沖區(qū)大小默認(rèn)溢出的百分比1默認(rèn)Reduce任務(wù)數(shù)量MapReduce運行效率瓶頸3.Map運行時間太長，導(dǎo)致Reduce等待過久使Map運行到一定程度后，Reduce也開始運行，減少Reduce的等待時間。MapReduce運行效率瓶頸4.小文件過多當(dāng)輸入的是大量的小文件時，會啟動大量的MapTask；一方面大量占用NameNode的內(nèi)存空間，另一方面索引文件過大使得索引速度變慢MapReduce運行效率瓶頸5.大量不可分塊的超大文件源文件無法分塊；導(dǎo)致需要通過網(wǎng)絡(luò)IO從其他節(jié)點讀取文件塊，IO開銷較大。不可分塊超大文件MapReduce運行效率瓶頸6.Spill次數(shù)過多當(dāng)Map產(chǎn)生的數(shù)據(jù)非常大時，如果默認(rèn)的Buffer大小不夠；會進行非常多次的Spill，進行Spill就意味著要寫磁盤，產(chǎn)生IO開銷。10Merge默認(rèn)處理Spill數(shù)量MapReduce運行效率瓶頸7.merge次數(shù)過多Spill非常多，Merge階段每次只能處理10個Spill，造成頻繁的IO處理；調(diào)大并行處理的Spill數(shù)減少Merge次數(shù)，但是如果調(diào)整的數(shù)值過大，并行處理Spill的過程過多會對節(jié)點造成很大壓力。MapReduce優(yōu)化方法1、數(shù)據(jù)輸入優(yōu)化合并小文件大量的小文件會產(chǎn)生大量的裝載任務(wù)，增大Map任務(wù)裝載次數(shù)。CombineTextinputFormat采用這個類作為輸入，解決輸入端大量小文件場景。CombineInputFormat使用這個類自定義分片策略，對小文件進行合并處理從而減少MapTask的數(shù)量。MapReduce優(yōu)化方法2、Map階段優(yōu)化減少溢寫次數(shù)100M默認(rèn)緩沖區(qū)大小200M增大到200M減少磁盤的IO操作。減少合并次數(shù)10個文件20個文件減少歸并的次數(shù)在map之后，先進行Combine處理，減少IO操作。MapReduce優(yōu)化方法合理設(shè)置Reduce端的Buffer3、Reduce階段優(yōu)化合理設(shè)置Reduce數(shù)量設(shè)置Map、Reduce共存Map運行到一定程度后，Reduce也開始運行，減少Reduce的等待時間。保證reduce可以直接從buffer中拿一部分?jǐn)?shù)據(jù)MapReduce優(yōu)化方法4、I/O傳輸優(yōu)化采用數(shù)據(jù)壓縮的方式，減少網(wǎng)絡(luò)IO的時間Snappy速度快，系統(tǒng)自帶LZO壓縮編碼器速度快，支持切片MapReduce優(yōu)化方法5、數(shù)據(jù)傾斜優(yōu)化某一個區(qū)域的數(shù)據(jù)量遠遠大于其他區(qū)域，如何減少數(shù)據(jù)數(shù)據(jù)傾斜：1.抽樣和范圍分區(qū)通過對原始數(shù)據(jù)進行抽樣得到的結(jié)果來預(yù)設(shè)分區(qū)邊界值；2.自定義分區(qū)數(shù)據(jù)量大的進行分區(qū)處理；01020304傾斜優(yōu)化3.Combine在Map端減少數(shù)據(jù)4.采用Map

Join,避免ReduceJoinReduceJoin有數(shù)據(jù)傾斜的情況，MapJoin不會，不過MapJoin適用于一張表很小，另一張表很大的情況。聚合精簡數(shù)據(jù)；MapReduce優(yōu)化方法6、HDFS小文件優(yōu)化方法JVM原理：一個MAP運行在一個JVM上，開啟重用，該Map在JVM上運行完畢，JVM繼續(xù)運行其他Map。開啟JVM，重用會減少45%的運行時間CombineTextInputFormat用于將多個文件合并成一個單獨的spilt。HadoopArcHive可以高效地將多個小文件打包成一個HAR文件，減少了nameNode的內(nèi)存使用。將小文件合成大文件再上傳HDFS采用CombineTextInputFormat提高效率1234使用MapReduce程序?qū)π∥募M行合并SequenceFile由一系列的二進制key/value組成，如果Key為文件名，value為文件內(nèi)容，則可以將大批小文件合并