Hadoop生態(tài)系統(tǒng)簡介

1、培訓目標了解HADOOP生態(tài)系統(tǒng)123了解HADOOP應用環(huán)境及解決方案培訓目錄Hadoop 的創(chuàng)立和沿革1Hadoop的基本概念2HDFS基礎知識3Map/Reduce基礎知識4Hadoop生態(tài)系統(tǒng)介紹5培訓目錄Hadoop 的創(chuàng)立和沿革1Hadoop的基本概念2HDFS基礎知識3Map/Reduce基礎知識4Hadoop生態(tài)系統(tǒng)介紹5Hadoop的創(chuàng)立和沿革起源：谷歌三大論文GFS(2003)Sanjay Ghemawat(美國工程院士)(GFS,MR,Bigtable)Howard GobioffShun-Tak Leungmap/reduce (2004)Dean Jeffrey(美國

2、工程院士)(Adsense,pb,News,Code search)Sanjay GhemawatBigtable(2006)Fay ChangDean JeffreySanjay Ghemawat.Doug Cutting和YahooLucene - Nutch - Hadoop培訓目錄Hadoop 的創(chuàng)立和沿革1Hadoop的基本概念2HDFS基礎知識3Map/Reduce基礎知識4Hadoop生態(tài)系統(tǒng)介紹5Hadoop的基本概念分布式存儲分布式存儲HDFS文件分塊自行備份分布式計算分布式計算Map/Reduce函數式設計將計算移動到數據Hadoop解決了什么難題? 移動計算而非移動數據,

3、化整為零,分片處理； 本地化計算,并行IO,降低網絡通信Hadoop 前的數據倉庫流程反饋決策周期！快 ？反饋決策粒度! 細 ？反饋決策準確性! 準 ？ 反饋總體成本! 廉價 ？ perl,shell,awk Hadoop后的數據倉庫流程反饋決策周期！快 ？反饋決策粒度! 細 ？反饋決策準確性! 準 ？ 反饋總體成本! 廉價 ？持續(xù)擴展成本 ？ Hql,Pig,Mapreduce,工作流 培訓目錄Hadoop 的創(chuàng)立和沿革1Hadoop的基本概念2HDFS基礎知識3Map/Reduce基礎知識4Hadoop生態(tài)系統(tǒng)介紹5HDFS基礎知識Rack1Rack2NN meta - foo.barbl

4、k1,blk2,blk3,blk4,blk5DN1blk1,blk2,blk3,blk5DN2blk1,blk4,blk5DN3DN4DN5blk2,blk3,blk5blk1,blk3,blk4blk2,blk4培訓目錄Hadoop 的創(chuàng)立和沿革1Hadoop的基本概念2HDFS基礎知識3Map/Reduce基礎知識4Hadoop生態(tài)系統(tǒng)介紹5Map/Reduce基礎知識培訓目錄Hadoop 的創(chuàng)立和沿革1Hadoop的基本概念2HDFS基礎知識3Map/Reduce基礎知識4Hadoop生態(tài)系統(tǒng)介紹5Hadoop生態(tài)系統(tǒng)介紹Hive-SQL/MR編譯器Pig-Pig-Latin/MR編譯器

5、Zookeeper-分布式協同調度和鎖Avro-接口開發(fā)工具HBase-基于列簇的分布式NoSQLFlume/NG/Scribe-日志流匯總工具Mahout-基于MR的算法庫Drill/Impala-內存SQL引擎，Dremel開源實現Thrift-接口開發(fā)工具Sqoop-ETL工具Oozie-工作流案例解析：暴風數據組簡介關于我們：關于我們：人員規(guī)模15人9開發(fā)/4報表/1經理/1運維加開發(fā)(Me)集群接收日志超過2TB/天7000+任務/日任務數據吞吐60TB+/天，離線小時數據分析我們做的：我們做的：常規(guī)運營數據分析數據挖掘和用戶精分推薦系統(tǒng)用戶按地域收入年齡性別收入層次劃分廣告系統(tǒng)暴風Hadoop集群架構使用的Hadoop生態(tài)圈Hadoop 1.0.3基礎計算框架 Hive 離線數據分析 95%任務 Pig 離線數據分