大數(shù)據(jù)平臺介紹

大數(shù)據(jù)平臺介紹

大數(shù)據(jù)

二零一五年七月目前一頁\總數(shù)四十三頁\編于十三點(diǎn)12目錄Hadoop大數(shù)據(jù)生態(tài)圈介紹大數(shù)據(jù)應(yīng)用介紹3ClouderaManager介紹目前二頁\總數(shù)四十三頁\編于十三點(diǎn)Hadoop大數(shù)據(jù)生態(tài)圈目前三頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop生態(tài)圈目前四頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop簡介Hadoop一個(gè)分布式系統(tǒng)基礎(chǔ)架構(gòu)，由Apache基金會開發(fā)。用戶可以在不了解分布式底層細(xì)節(jié)的情況下，開發(fā)分布式程序。充分利用集群的威力高速運(yùn)算和存儲。簡單地說來，Hadoop是一個(gè)可以更容易開發(fā)和運(yùn)行處理大規(guī)模數(shù)據(jù)的軟件平臺。Hadoop的框架最核心的設(shè)計(jì)就是：HDFS和MapReduce。HDFS為海量的數(shù)據(jù)提供了存儲，則MapReduce為海量的數(shù)據(jù)提供了計(jì)算。目前五頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop能解決哪些問題海量數(shù)據(jù)需要及時(shí)分析和處理。海量數(shù)據(jù)需要深入分析和挖掘。數(shù)據(jù)需要長期保存問題：磁盤IO成為一種瓶頸,而非CPU資源。網(wǎng)絡(luò)帶寬是一種稀缺資源硬件故障成為影響穩(wěn)定的一大因素目前六頁\總數(shù)四十三頁\編于十三點(diǎn)

HDFS適應(yīng)條件HDFS：為以流式數(shù)據(jù)訪問模式存儲超大文件而設(shè)計(jì)的文件系統(tǒng)。流式數(shù)據(jù)訪問

指的是幾百M(fèi)B，幾百GB，幾百TB，甚至幾百PB流式數(shù)據(jù)訪問HDFS建立的思想是：一次寫入、多次讀取模式是最高效的。商用硬件hadoop不需要運(yùn)行在昂貴并且高可靠的硬件上。目前七頁\總數(shù)四十三頁\編于十三點(diǎn)

HDFS不適應(yīng)條件低延遲數(shù)據(jù)訪問HDFS是為了達(dá)到高數(shù)據(jù)吞吐量而優(yōu)化的，這是以延遲為代價(jià)的，對于低延遲訪問，可以用Hbase（hadoop的子項(xiàng)目）。大量的小文件多用戶寫入，任意修改目前八頁\總數(shù)四十三頁\編于十三點(diǎn)

HDFS基本單元Block(塊)：HDFS基本儲存單元，是個(gè)邏輯單元。一個(gè)文件有可能包含多個(gè)塊，一個(gè)塊有可以包含多個(gè)文件，由文件的大小和塊大小的參數(shù)決定。參數(shù)。Hdfs中Block的大小，默認(rèn)64MB，如果設(shè)置大，就會有可能導(dǎo)致Map運(yùn)行慢，設(shè)置小，有可能導(dǎo)致Map個(gè)數(shù)多，所有一定要設(shè)置適當(dāng)。（目前主流機(jī)器建議設(shè)置為128M）設(shè)置一個(gè)Block64MB，如果上傳文件小于該值，仍然會占用一個(gè)Block的命名空間（NameNodemetadata），但是物理存儲上不會占用64MB的空間Block大小和副本數(shù)由Client端上傳文件到HDFS時(shí)設(shè)置，其中副本數(shù)可以變更，Block是不可以再上傳后變更的目前九頁\總數(shù)四十三頁\編于十三點(diǎn)

HDFS處理機(jī)制Client：切分文件；訪問HDFS；與NameNode交互，獲取文件位置信息；與DataNode交互，讀取和寫入數(shù)據(jù)。NameNode：Master節(jié)點(diǎn)，管理HDFS的名稱空間和數(shù)據(jù)塊映射信息，配置副本策略，處理客戶端請求。DataNode：Slave節(jié)點(diǎn)，存儲實(shí)際的數(shù)據(jù)，匯報(bào)存儲信息給NameNode。SecondaryNameNode：輔助NameNode，分擔(dān)其工作量；定期合并fsimage和fsedits，推送給NameNode；緊急情況下，可輔助恢復(fù)NameNode，但SecondaryNameNode并非NameNode的熱備目前十頁\總數(shù)四十三頁\編于十三點(diǎn)

HDFS文件讀取目前十一頁\總數(shù)四十三頁\編于十三點(diǎn)

MapReduce簡介簡介MapReduce是一個(gè)高性能的批處理分布式計(jì)算框架，用于對海量數(shù)據(jù)進(jìn)行并行分析和處理。MapReduce將分析任務(wù)分為大量的并行Map任務(wù)和Reduce任務(wù)兩類。與傳統(tǒng)數(shù)據(jù)倉庫和分析技術(shù)相比，MapReduce適合處理各種類型的數(shù)據(jù)，包括結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)。結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)（即行數(shù)據(jù)，存儲在數(shù)據(jù)庫里，可以用二維表結(jié)構(gòu)來邏輯表達(dá)實(shí)現(xiàn)的數(shù)據(jù)）不方便用數(shù)據(jù)庫二維邏輯表來表現(xiàn)的數(shù)據(jù)即稱為非結(jié)構(gòu)化數(shù)據(jù)（包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報(bào)表、圖像和音頻/視頻信息等等）所謂半結(jié)構(gòu)化數(shù)據(jù)，就是介于完全結(jié)構(gòu)化數(shù)據(jù)（如關(guān)系型數(shù)據(jù)庫、面向?qū)ο髷?shù)據(jù)庫中的數(shù)據(jù)）和完全無結(jié)構(gòu)的數(shù)據(jù)（如聲音、圖像文件等）之間的數(shù)據(jù)，HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的，數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起，沒有明顯的區(qū)分。目前十二頁\總數(shù)四十三頁\編于十三點(diǎn)

MapReduce簡介適合處理的任務(wù)適用于離線批處理任務(wù)是以“行”為處理單位的，無法回溯已處理過的“行”，故每行都必須是一個(gè)獨(dú)立的語義單元，行與行之間不能有語義上的關(guān)聯(lián)。相對于傳統(tǒng)的關(guān)系型數(shù)據(jù)庫管理系統(tǒng)，MapReduce計(jì)算模型更適合于處理半結(jié)構(gòu)化或無結(jié)構(gòu)話的數(shù)據(jù)。不適合處理的任務(wù)不適合一般web應(yīng)用不適合實(shí)時(shí)響應(yīng)的任務(wù)不適合小數(shù)據(jù)集的處理不適合需要大量臨時(shí)空間的任務(wù)不適合CPU密集且具有許多交叉調(diào)用的任務(wù)目前十三頁\總數(shù)四十三頁\編于十三點(diǎn)

MapReduce工作原理MapReduce執(zhí)行流程MapReduce

角色Client：作業(yè)提交發(fā)起者。JobTracker:初始化作業(yè)，分配作業(yè)，與TaskTracker通信，協(xié)調(diào)整個(gè)作業(yè)。TaskTracker：保持JobTracker通信，在分配的數(shù)據(jù)片段上執(zhí)行MapReduce任務(wù)。任務(wù)的分配TaskTracker和JobTracker之間的通信與任務(wù)的分配是通過心跳機(jī)制完成的。TaskTracker會主動(dòng)向JobTracker詢問是否有作業(yè)要做，如果自己可以做，那么就會申請到作業(yè)任務(wù)，這個(gè)任務(wù)可以使Map也可能是Reduce任務(wù)。目前十四頁\總數(shù)四十三頁\編于十三點(diǎn)

MapReduce工作原理任務(wù)的執(zhí)行申請到任務(wù)后，TaskTracker會做如下事情：拷貝代碼到本地拷貝任務(wù)的信息到本地

啟動(dòng)JVM運(yùn)行任務(wù)狀態(tài)與任務(wù)的更新任務(wù)在運(yùn)行過程中，首先會將自己的狀態(tài)匯報(bào)給TaskTracker，然后由TaskTracker匯總告之JobTracker。作業(yè)的完成JobTracker是在接受到最后一個(gè)任務(wù)運(yùn)行完成后，才會將任務(wù)標(biāo)志為成功。此時(shí)會做刪除中間結(jié)果等善后處理工作。目前十五頁\總數(shù)四十三頁\編于十三點(diǎn)

MapReduce工作原理目前十六頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop實(shí)例根據(jù)URL的頂級域名進(jìn)行分類統(tǒng)計(jì)輸入、輸出格式：文件源文件格式如下：統(tǒng)計(jì)目標(biāo)：目前十七頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop實(shí)例1.編寫MapReduce函數(shù)，客戶端作業(yè)Map函數(shù)目前十八頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop實(shí)例Reduce函數(shù)Job設(shè)置目前十九頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop實(shí)例編譯、打包成jar文件略3.源文件提交到HDFS文件系統(tǒng)文件從本地提交到HDFS文件系統(tǒng)[put命令]查看HDFS文件系統(tǒng)中已提交的文件目前二十頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop實(shí)例使用Hadoop命令提交作業(yè)提交作業(yè)查看作業(yè)http://localhost:50030目前二十一頁\總數(shù)四十三頁\編于十三點(diǎn)

Hadoop實(shí)例查看執(zhí)行結(jié)果查看執(zhí)行結(jié)果生成的文件查看HDFS文件系統(tǒng)中的結(jié)果HDFS文件拷貝到本地，查看結(jié)果目前二十二頁\總數(shù)四十三頁\編于十三點(diǎn)

Hive簡介Hive是什么hive是基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供完整的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。其優(yōu)點(diǎn)是學(xué)習(xí)成本低，可以通過類SQL語句快速實(shí)現(xiàn)簡單的MapReduce統(tǒng)計(jì)，不必開發(fā)專門的MapReduce應(yīng)用，十分適合數(shù)據(jù)倉庫的統(tǒng)計(jì)分析。Hive是建立在Hadoop上的數(shù)據(jù)倉庫基礎(chǔ)構(gòu)架。它提供了一系列的工具，可以用來進(jìn)行數(shù)據(jù)提取轉(zhuǎn)化加載（ETL），這是一種可以存儲、查詢和分析存儲在Hadoop中的大規(guī)模數(shù)據(jù)的機(jī)制。Hive定義了簡單的類SQL查詢語言，稱為HQL，它允許熟悉SQL的用戶查詢數(shù)據(jù)。同時(shí)，這個(gè)語言也允許熟悉MapReduce開發(fā)者的開發(fā)自定義的mapper和reducer來處理內(nèi)建的mapper和reducer無法完成的復(fù)雜的分析工作。目前二十三頁\總數(shù)四十三頁\編于十三點(diǎn)

Hive實(shí)例創(chuàng)建托管表1.在Hive命令行執(zhí)行建表語句2.查看元數(shù)據(jù)庫中的表信息、字段信息[sds、columns_v2]目前二十四頁\總數(shù)四十三頁\編于十三點(diǎn)

Hive實(shí)例3.從本地向net_addr_1表中導(dǎo)入數(shù)據(jù)4.查看導(dǎo)入的數(shù)據(jù)目前二十五頁\總數(shù)四十三頁\編于十三點(diǎn)

Hive實(shí)例根據(jù)URL的頂級域名進(jìn)行分類統(tǒng)計(jì)-Hive實(shí)現(xiàn)1.源數(shù)據(jù)入表[略]，使用已生成的net_addr_12.源數(shù)據(jù)加工轉(zhuǎn)換，生成中間表 INSERTOVERWRITETABLEnet_addr_3selectnet_id,regexp_replace(net_url,'(.+\\.)','')fromnet_addr_1;3.根據(jù)中間表數(shù)據(jù)進(jìn)行統(tǒng)計(jì)目前二十六頁\總數(shù)四十三頁\編于十三點(diǎn)

Hbase簡介HBase是一個(gè)針對結(jié)構(gòu)化數(shù)據(jù)的可伸縮、高可靠、高性能、分布式和面向列的動(dòng)態(tài)模式數(shù)據(jù)庫。和傳統(tǒng)關(guān)系數(shù)據(jù)庫不同，HBase采用了BigTable的數(shù)據(jù)模型：增強(qiáng)的稀疏排序映射表（Key/Value），其中，鍵由行關(guān)鍵字、列關(guān)鍵字和時(shí)間戳構(gòu)成。HBase提供了對大規(guī)模數(shù)據(jù)的隨機(jī)、實(shí)時(shí)讀寫訪問，同時(shí)，HBase中保存的數(shù)據(jù)可以使用MapReduce來處理，它將數(shù)據(jù)存儲和并行計(jì)算完美地結(jié)合在一起。利用HBase技術(shù)可在廉價(jià)PCServer上搭建起大規(guī)模結(jié)構(gòu)化存儲集群目前二十七頁\總數(shù)四十三頁\編于十三點(diǎn)

Hbase架構(gòu)目前二十八頁\總數(shù)四十三頁\編于十三點(diǎn)

Hbase實(shí)例1、構(gòu)建Hbase表hbase_testhbase>create'hbase_test','id01'2、構(gòu)建hive外表hive_test,并對應(yīng)hbase_test表CREATEEXTERNALTABLEhive_test(id01STRING)STOREDBY'org.apache.hadoop.hive.hbase.HBaseStorageHandler'WITHSERDEPROPERTIES("hbase.columns.mapping"=":key,id01")TBLPROPERTIES(""="hbase_test");3、數(shù)據(jù)通過hive_test導(dǎo)入到hbase_test表中INSERTOVERWRITETABLEhive_testSELECTid01FROMhive_date;目前二十九頁\總數(shù)四十三頁\編于十三點(diǎn)

Hbase實(shí)例目前三十頁\總數(shù)四十三頁\編于十三點(diǎn)大數(shù)據(jù)應(yīng)用介紹目前三十一頁\總數(shù)四十三頁\編于十三點(diǎn)用戶上網(wǎng)行為分析系統(tǒng)目前三十二頁\總數(shù)四十三頁\編于十三點(diǎn)用戶行為分析系統(tǒng)數(shù)據(jù)處理流程圖目前三十三頁\總數(shù)四十三頁\編于十三點(diǎn)唯品會日志處理框架簡介目前三十四頁\總數(shù)四十三頁\編于十三點(diǎn)唯品會日志處理框架簡介目前三十五頁\總數(shù)四十三頁\編于十三點(diǎn)全國重點(diǎn)車輛聯(lián)網(wǎng)聯(lián)控平臺目前三十六頁\總數(shù)四十三頁\編于十三點(diǎn)ClouderaManager介紹目前三十七頁\總數(shù)四十三頁\編于十三點(diǎn)ClouderaManager介紹CDH(Cloudera'sDistribution,includingApacheHadoop)，是Hadoop眾多分支中的一種，由Cloudera維護(hù)，基于穩(wěn)定版本的ApacheHadoop構(gòu)建，并集成了很多補(bǔ)丁，可直接用于生產(chǎn)環(huán)境。ClouderaManager則是為了便于在集群中進(jìn)行Hadoop等大數(shù)據(jù)處理相關(guān)的服務(wù)安裝和監(jiān)控管理的組件，對集群中主機(jī)、Hadoop、Hive、Hbase、Spark等服務(wù)的安裝配置管理做了極大簡化。ClouderaManager有四大功能（1）管理（2）監(jiān)控（3）診斷（4）集成目前三十八頁\總數(shù)四十三頁\編于十三點(diǎn)ClouderaManager介紹ClouderaFlumeFlume是Cloudera提供的日志收集系統(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；Flume是Cloudera提供的一個(gè)高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時(shí)，F(xiàn)lume提供對數(shù)據(jù)進(jìn)行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。目前三十九頁\總數(shù)四十三頁\編于十三點(diǎn)ClouderaManager介紹ClouderaImpalaClouderaImpala對你存儲在ApacheHadoop在HDFS，HBase的數(shù)據(jù)提供直接查詢互動(dòng)的SQL。除了像Hive使用相同的統(tǒng)一存儲平臺，Impala也使用相同的元數(shù)據(jù)，SQL語法（HiveSQL），ODBC驅(qū)動(dòng)程序和用戶界面（HueBeeswax）。Impala還提供了一個(gè)熟悉的面向批量或?qū)崟r(shí)查詢和統(tǒng)一平臺。

Impala不再使用緩慢的Hive+MapReduce批處理，而是通過與商用并行關(guān)系數(shù)據(jù)庫中類似的分布式查詢引擎（由QueryPlanner、QueryCoordinator和QueryExecEngine三部分組成），可以直接從HDFS或者HBase中用SELECT、JOIN和統(tǒng)計(jì)函數(shù)查詢數(shù)據(jù)，從而大大降低了延遲目前四十頁\總數(shù)四十三頁\編于十三點(diǎn)ClouderaManager介紹ClouderahueHue是cdh專門的一套web管理器，它包括3個(gè)部分hueui，hueserver，huedb。hue提供所有的cdh組件的shell界面的接口。你可以在hue編寫mr，查看修改hdfs的文件，管理hive的元數(shù)據(jù)，運(yùn)行Sqoop，編寫Oozie工作流等大量工作。目前四十