數(shù)據(jù)倉庫方案設計

1、數(shù)據(jù)倉庫方案設計設計需求建立一套報表系統(tǒng)、數(shù)據(jù)倉庫，做數(shù)據(jù)收集，清洗，匯總，提取任務。日后發(fā)展為數(shù)據(jù) 集市和數(shù)據(jù)平臺。數(shù)據(jù)倉庫將存儲交易數(shù)據(jù)、支付數(shù)據(jù)、用戶行為數(shù)據(jù)等。需要滿足.數(shù)據(jù)整合整合Oracle與Mysql數(shù)據(jù)。數(shù)據(jù)存儲一一結構化數(shù)據(jù)(Oracle，Mysql)；非結構化數(shù)據(jù)(交易日志，用戶行為日 志等)。大數(shù)據(jù)量保存每天產生的200萬筆交易日志。數(shù)據(jù)倉庫方案根據(jù)需求數(shù)據(jù)倉庫中的數(shù)據(jù)將會來自不同數(shù)據(jù)源、不同數(shù)據(jù)格式，以及海量數(shù)據(jù)存儲需 求的特點。使用高可用、高擴展性、高性能、多種使用場景的Hadoop架構作為數(shù)據(jù)倉庫?？蚣苁褂没A的MapReduce，對大批量數(shù)據(jù)進行離線處理。離線大數(shù)

2、據(jù)量LOGFILEHveMapReduce數(shù)據(jù)應用數(shù)據(jù)計算數(shù)據(jù)存儲數(shù)據(jù)采集Oracle,Mysql數(shù)據(jù)通過sqoop ;日志數(shù)據(jù)，非結構化數(shù)據(jù)通過flume連接Kafka導入HDFS 數(shù)據(jù)存儲層，應用程序使用Hive數(shù)據(jù)庫作為接口調用Mapreduce的計算功能和HDFS的 存儲功能。方案拓撲Hadoop集群中每臺服務器都是存儲節(jié)點和計算節(jié)點；NameNode節(jié)點管理所有節(jié)點的存儲分配；ZooKeeper節(jié)點管理各分布式組件；Hive節(jié)點是抽象的數(shù)據(jù)庫，將計算與存 儲以數(shù)據(jù)庫模式提供給使用者，使用mysql數(shù)據(jù)庫存儲元數(shù)據(jù)；Kafka節(jié)點是針對活動數(shù)據(jù)流的消息隊列服務器；所有的數(shù)據(jù)使用工具導入

3、。多場景方案基礎的Hadoop-Mapreduce架構可以滿足數(shù)據(jù)倉庫的功能需求，但是Mapreduce架構 使用物理磁盤進行迭代操作，所以任務執(zhí)行時間較長，只能滿足大數(shù)據(jù)低時效需求。針對低 時效需求的工作任務需要在原架構上引入Spark架構，Spark架構的迭代操作在內存中執(zhí)行， 只將結果存儲在硬盤上大大減少了工作時間Spark集群服務器中的內存大小決定了 spark操作的數(shù)據(jù)量，內存越大執(zhí)行的數(shù)據(jù)量也越大，如果數(shù)據(jù)超出內存大小會發(fā)生頁交換，影響 計算速度。另外一種需求是對實時數(shù)據(jù)的處理，如實時推薦，實時統(tǒng)計，實時預警等，對于實時數(shù)據(jù)的處理使用Storm架構，Storm開啟后創(chuàng)建實時數(shù)據(jù)流，數(shù)據(jù)流中的數(shù)據(jù)不會保存。數(shù)據(jù)應用數(shù)據(jù)計算數(shù)據(jù)存儲數(shù)據(jù)采集多應用場景設計拓撲Spark集群建立在hadoop集群基礎之上，新安裝spark軟件，在Spark集群上搭建hive數(shù)據(jù)庫，提供服務。Storm集群建立在hadoop集群基礎之上，新安裝Storm軟件，Storm集群中Nimbus 節(jié)點做主控節(jié)點，superviser做工作節(jié)點，數(shù)據(jù)流通過kafka輸入。服務器選擇集群中每臺服務器都是存儲節(jié)點和計算節(jié)點單臺服務器的性能不足可以通過添加服務 器來補充。每臺普通服務器需要單顆8核CPU，