Hadoop集群測試報告

1、測試報告一、 集群設(shè)置1. 服務(wù)器配置CPU24內(nèi)存128G帶寬1024M磁盤44T磁盤吞吐預(yù)計100M/s2. Hadoop服務(wù)部署HADOOP-12-151NameNode、Balancer、Hive Gateway、Spark Gateway、ResourceManager、Zk ServerHADOOP-12-152DataNode、SNN、HFS、Hive Gateway、WebHCat、Hue、Impala Deamon、CM Server Monitor、CM Activity Monitor、CM Host Monitor、CM Event Server、CM Alert Pu

2、blisher、Oozie Server、Spark History Server、Spark Gateway、NodeManager、JobHistory Server、Zk ServerHADOOP-12-153DataNode、Hive Gateway、HiveMetastore、HiveServer2、Impala Catalog、Impala StateStore、Impala Deamon、Spark Gateway、NodeManager、Zk ServerHADOOP-12-154DataNode、Hive Gateway、Impala Deamon、Spark Gateway

3、、NodeManager、Sqoop2HADOOP-12-155DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Zk ServerHADOOP-12-156DataNode、Hive Gateway、Impala Deamon、Spark Gateway、NodeManager、Zk Server3. hadoop參數(shù)設(shè)置yarnyarn.nodemanager.resource.memory-mbyarn.scheduler.minimum-allocation-mb4096yarn.scheduler.maximu

4、m-allocation-mb32768yarn.scheduler.increment-allocation-mb4096yarn.nodemanager.resource.cpu-vcores24yarn.nodemanager.vmem-pmem-ratio3.1mapreducemapreduce.map.memory.mb4096mapreduce.reduce.memory.mb8192mapreduce.map.java.opts3072mapreduce.reduce.java.opts6144mapreduce.task.io.sort.mb1536mapreduce.tas

5、node.handler.count35dfs.da

6、tanode.handler.count3dfs.datanode.max.transfer.threads4096二、 基準測試1. HDFS讀寫的吞吐性能1.1 連續(xù)10次執(zhí)行如下寫操作，其性能見圖示：cd /opt/cloudera/parcels/CDH-5.4.9-1.cdh5.4.9.p0.19/jarshdfsadmin hadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar TestDFSIO -write -nrFiles 10 -fileSize 1000 -resFile /tmp/TestDFSIO_results.log其具體數(shù)據(jù)見

7、表格： No.Throughput mb/secAverage IO rate mb/secTest exec time sec77573974825416197698179781063均值4HDFS寫文件吞吐均值：26.76MS平均執(zhí)行時間：61.54S占用帶寬：53.52MS結(jié)論：HDFS寫，其磁盤吞吐基本上處于理想狀態(tài)，且在此吞吐水平上其網(wǎng)絡(luò)帶寬占用較少，沒有造成明顯

8、的帶寬負載。1.2連續(xù)10次執(zhí)行如下讀操作，其性能見圖示：hdfsadmin hadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar TestDFSIO -read -nrFiles 10 -fileSize 1000 -resFile /tmp/TestDFSIO_results.logMap Task平均吞吐：67.5M/S 。文件的平均IO速度：288.5M/S，基本符合理想狀態(tài)。附：I. 帶寬計算過程：10000/61.54/26.76=6，10個文件則10個進程并發(fā)，復(fù)本數(shù)為2，則有1份網(wǎng)絡(luò)傳輸，10個進程并發(fā)在5臺機器上，基本上每臺機器有2個寫進

9、程，則網(wǎng)絡(luò)流量大約為：26.76M/S1*2=53.52M，遠遠低于千兆網(wǎng)絡(luò)的帶寬。II. 清除測試數(shù)據(jù)：dfsadmin hadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar TestDFSIO cleandfs.datanode.handler.count20dfs.datanode.max.transfer.threads8192寫性能：基本上與之前相當。讀性能：Map Task平均吞吐：65.1M/S 。文件的平均IO速度：198.5M/S。2. mrbench基準測試重復(fù)執(zhí)行小作業(yè)50次，檢查平均執(zhí)行時間hdfsadmin hadoop jar

10、hadoop-test-2.6.0-mr1-cdh5.4.9.jar mrbench -numRuns 50基本情況，上述操作完全來自默認值：inputlines：1mapper：2reducer：1完成時間：17986ms，即17秒。修改上述各參數(shù)的設(shè)置，inputlines：mapper：1000reducer：200hdfsadmin hadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar mrbench -numRuns 10 -inputLines -maps 1000 -reduces 200完成時間：ms，即190秒。在此參數(shù)設(shè)置下，集群負載很

11、重，mapper&reducer總數(shù)明顯超過了集群一般可以承受的水平。繼續(xù)調(diào)整參數(shù)設(shè)置，inputlines：mapper：100reducer：5hdfsadmin hadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar mrbench -numRuns 10 -inputLines -maps 100 -reduces 5完成時間：28682ms，即28秒。在此參數(shù)設(shè)置下，基本上符合集群負載的一般水平，mapper&reducer數(shù)設(shè)置較為合理，完成時間比較理想，即數(shù)據(jù)量越大，Hadoop越能夠體現(xiàn)其優(yōu)勢。dfs.datanode.handler.cou

12、nt20dfs.datanode.max.transfer.threads8192hdfsadmin hadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar mrbench -numRuns 5015996ms,16shdfsadmin hadoop jar hadoop-test-2.6.0-mr1-cdh5.4.9.jar mrbench -numRuns 10 -inputLines -maps 100 -reduces 528975ms,29s3. 利用全局排序Terasort測試MapReduce執(zhí)行性能cd /opt/cloudera/parce

13、ls/CDH-5.4.9-1.cdh5.4.9.p0.19/jars生成10G數(shù)據(jù)：hdfsadmin hadoop jar hadoop-examples.jar teragen -Dmapred.map.tasks=100 /home/songuanglei/gen10G排序：hdfsadmin hadoop jar hadoop-examples.jar terasort -Dmapred.reduce.tasks=100/60/10/5 /home/songuanglei/gen10G /home/songuanglei/output10Gmap數(shù)目為2，不斷調(diào)整reducer數(shù)目為1

14、00、60、10、5，其執(zhí)行時間趨勢如下圖：結(jié)論：reducer數(shù)越接近集群節(jié)點數(shù)目，其執(zhí)行速度越快。生成100G數(shù)據(jù)：hdfsadmin hadoop jar hadoop-examples.jar teragen -Dmapred.map.tasks=100 0 /home/songuanglei/gen100G排序：hdfsadmin hadoop jar hadoop-examples.jar terasort -Dmapred.reduce.tasks=100/6010/5 /home/songuanglei/gen100G /home/songuanglei/output100Gm

15、ap數(shù)目為800，不斷調(diào)整reducer數(shù)目為100、60、10、5，其執(zhí)行時間趨勢如下圖：結(jié)論：隨著處理數(shù)據(jù)的增大，map階段耗時顯著增加，成為整個Job執(zhí)行的重點，reducer數(shù)越接近集群節(jié)點數(shù)目，其執(zhí)行速度越快。附：I. 驗證是否有序hdfsadmin hadoop jar hadoop-examples.jar teravalidate /home/songuanglei/output100G /home/songuanglei/validate100G4. 利用wordcount測試MR執(zhí)行性能wordcount是CPU資源消耗型的操作如下：hdfsadmin hadoop jar hadoop-examples.jar wordcount -Dmapred.reduce.tasks=10 /user/songguanglei/_status_data.csv /user/songguanglei/output基本情況：輸入文件：622MB默認mapper數(shù)：