數(shù)據(jù)存儲與分析平臺需求

數(shù)據(jù)存儲與分析平臺需求掌握大數(shù)據(jù)數(shù)據(jù)存儲與分析平臺項目建設(shè)需求

按照需求分析工程師、軟件設(shè)計工程師的分析，對我們的項目中數(shù)據(jù)的存儲和分析進行了整體的設(shè)計，系統(tǒng)結(jié)構(gòu)如下：簡介

從架構(gòu)圖中，我們可以看到，我們通過Flume將數(shù)據(jù)采集子系統(tǒng)產(chǎn)生的數(shù)據(jù)存儲到HDFS平臺，進行數(shù)據(jù)的存儲，在存儲的過程完成之后再通過MapReduce進行數(shù)據(jù)的清洗工作，清洗之后符合規(guī)則的數(shù)據(jù)還需要再存儲在HDFS中，然后將存儲之后的數(shù)據(jù)轉(zhuǎn)換成Hive中的表，再通過Hive的SQL對整個項目的需求進行分析，分析之后的結(jié)果會暫存再Hive的表中，最后通過Sqoop工具將最后的結(jié)果傳輸?shù)娇梢暬酉到y(tǒng)中。

架構(gòu)圖解釋

數(shù)據(jù)處理過程在凌晨00:01啟動，首先將接收到的數(shù)據(jù)通過Map/Reduce程序完成不合規(guī)數(shù)據(jù)的清洗，將有效數(shù)據(jù)保存并上傳到HDFS分布式存儲系統(tǒng)后，將數(shù)據(jù)導(dǎo)入Hive數(shù)據(jù)倉庫后，啟動數(shù)據(jù)分析模塊，完成數(shù)據(jù)統(tǒng)計后，將統(tǒng)計結(jié)果通過Sqoop推送到數(shù)據(jù)可視化模塊，完成當(dāng)前的離線分析工作。數(shù)據(jù)處理過程mapreduce MapReduce是一種編程模型，用于大規(guī)模數(shù)據(jù)集（大于1TB）的并行運算。概念"Map（映射）"和"Reduce（歸約）"，是它們的主要思想，都是從函數(shù)式編程語言里借來的，還有從矢量編程語言里借來的特性。它極大地方便了編程人員在不會分布式并行編程的情況下，將自己的程序運行在分布式系統(tǒng)上。當(dāng)前的軟件實現(xiàn)是指定一個Map（映射）函數(shù)，用來把一組鍵值對映射成一組新的鍵值對，指定并發(fā)的Reduce（歸約）函數(shù)，用來保證所有映射的鍵值對中的每一個共享相同的鍵組。組件介紹sqoop Sqoop(發(fā)音：skup)是一款開源的工具，主要用于在Hadoop(Hive)與傳統(tǒng)的數(shù)據(jù)庫(mysql、postgresql...)間進行數(shù)據(jù)的傳遞，可以將一個關(guān)系型數(shù)據(jù)庫（例如：MySQL,Oracle,Postgres等）中的數(shù)據(jù)導(dǎo)進到Hadoop的HDFS中，也可以將HDFS的數(shù)據(jù)導(dǎo)進到關(guān)系型數(shù)據(jù)庫中。組件介紹HDFS

HDFS是一個高度容錯性的系統(tǒng)，適合部署在廉價的機器上。HDFS能提供高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用。HDFS放寬了一部分POSIX約束，來實現(xiàn)流式讀取文件系統(tǒng)數(shù)據(jù)的目的。HDFS在最開始是作為ApacheNutch搜索引擎項目的基礎(chǔ)架構(gòu)而開發(fā)的。HDFS是ApacheHadoopCore項目的一部分。組件介紹Flume Flume是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，F(xiàn)lume支持在日志系統(tǒng)中定制各類數(shù)據(jù)發(fā)送方，用于收集數(shù)據(jù)；同時，F(xiàn)lume提供對數(shù)據(jù)進行簡單處理，并寫到各種數(shù)據(jù)接受方（可定制）的能力。組件介紹HIVE hive是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進行運行。其優(yōu)點是學(xué)習(xí)成本低，可以通過類SQL語句快速實現(xiàn)簡單的MapReduce統(tǒng)計，不必開發(fā)專門的MapRed