Hadoop技術(shù)介紹與發(fā)展

1、Hadoop技術(shù)介紹與發(fā)展技術(shù)創(chuàng)新，變革未來概要Hadoop的歷史Hadoop 3介紹CommonHDFSYARNMapReduceHadoop的未來發(fā)展方向Hadoop的歷史2005200820092010201120122006200720132014201520162003 2004Hadoop從Nutch分離Google GFS& MapReducePaperHBase HiveCloudera創(chuàng)立Hortonworks創(chuàng)立Hadoop 1.0發(fā)布Hadoop 2.0 GASpark成為頂級項目Hadoop 3.02017Hadoop生態(tài)系統(tǒng)文件存儲層 HDFS資源任務(wù)調(diào)度 YARN計

2、算引擎MapReduce計算引擎SparkNoSQLHBase數(shù)據(jù)倉庫SQL機(jī)器/深 度學(xué)習(xí)Batch任務(wù)流處理搜索KafkaHadoop 3介紹CommonJDK 8+ 升級Classpath隔離Shell腳本的重構(gòu)HDFSYARNMapReduceClasspath隔離HADOOP-11656, HDFS-6200問題：依賴性地獄(Dependency Hell)，版本沖突解決方案：客戶端(client-side)和服務(wù)器端(server-side)的隔離Shell腳本的重構(gòu) - HADOOP-9902腳本重構(gòu)，提升可維護(hù)性和易用性修正一些長期存在的bugs加入一些改進(jìn)加入一些新功能帶來一

3、些不兼容性Shell腳本現(xiàn)在更易于調(diào)試: -debugHadoop 3介紹CommonHDFS糾錯碼(Erasure Coding)多個Standby NamenodeDatanode內(nèi)部balance工具云計算平臺的支持YARNMapReduceHDFS糾錯碼(Erasure Coding)一個簡單的例子1備份: 1,0 需要額外的2位XOR編碼: 1,0 需要額外的1位HDFS糾錯碼(Erasure Coding)Reed-Solomon (RS) 編碼數(shù)據(jù)可靠性和存儲效率數(shù)據(jù)可靠性：可以最多幾個節(jié)點故障存儲效率：k/(k+m)可靠性存儲效率單副本0100%3副本233%XOR(6個數(shù)據(jù)單

4、元)186%RS(6,3)367%RS(10,4)471%存儲布局連續(xù)和條狀小文件處理 并行IO數(shù)據(jù)本地性數(shù)據(jù)本地性 小文件處理糾錯碼在分布式存儲系統(tǒng)中HDFS性能多個Standby NamenodeActive NNStandby NNStandby NNDNDNDNDNJournal NodeJournal NodeJournal NodeWrite edit logsRead edit logsBlock reportsHDFS-6440云計算存儲虛擬化Hadoop 文件系統(tǒng)APISQL, 機(jī)器學(xué)習(xí), 流處理, BatchHadoop 3介紹CommonHDFSYARNYARN Time

5、line Service v.2YARN Federation動態(tài)資源配置容器資源的動態(tài)調(diào)整資源隔離調(diào)度的增強(qiáng)YARN的Web頁面的增強(qiáng)MapReduceYARN Timeline Service v.2擴(kuò)展性分布式讀寫讀寫分離HBase存儲YARN Timeline Service v.2可用性流(flow)聚合(aggregation)YARN FederationYARN-2915允許YARN的集群擴(kuò)展到一萬個戒更多個節(jié)點YARN的集群的集群對用戶來說是一個整體的集群動態(tài)資源配置YARN-291允許動態(tài)的改變NM的資源配置容器資源的動態(tài)調(diào)整YARN-1197允許運(yùn)行時動態(tài)的調(diào)整分配給容器

6、的資源資源隔離磁盤資源的隔離 YARN-2619網(wǎng)絡(luò)IO的隔離 YARN-2140Docker Container YARN-3611調(diào)度的增強(qiáng)在同一個隊列(queue)的優(yōu)先級 YARN-1963YARN的Web頁面的增強(qiáng)YARN-3368Hadoop 3介紹CommonHDFSYARNMapReduceTask層次的Native優(yōu)化MapReduce Task層次Native優(yōu)化對map output collector的Native實現(xiàn)，對于shuffle密集型的task能帶來30%的性能提升。Hadoop 的未來HDFS的未來對象存儲 - HDFS-7240更高性能的Namenode：更高