【技術(shù)研究】大數(shù)據(jù)方案

消息接收消息接收消息接收實時計算Kafkaspoutbolt……boltspoutbolt……boltspoutbolt……boltAdapterKafka高速緩存redismc安徽云南青海數(shù)據(jù)接入方案-storm車牌、終端對應關(guān)系g_vbox其他應用其他應用storm集群消息接收業(yè)務處理1業(yè)務處理n結(jié)果落地消息接收消息接收消息接收實時計算Kafka接收運算1……結(jié)果落地AdapterKafka高速緩存redismc安徽云南青海數(shù)據(jù)接入方案-sparkstreaming車牌、終端對應關(guān)系g_vbox鷹眼其他應用spark集群接收運算1……結(jié)果落地接收運算1……結(jié)果落地Kafka分布式文件存儲（HDFS）YARNHbaseMRhivesparkimpalazookeeper離線分析實時查詢數(shù)據(jù)存儲整體方案軌跡查詢里程計算分析統(tǒng)計……平臺管理(CM)數(shù)據(jù)采集(Flume)說明：1、Flume直接采集消息中間件kafka消息，并存儲至Hbase中，提供業(yè)務查詢能力；2、分析工具（hive、spark、impala）通過讀取hbase存儲在hdfs上數(shù)據(jù)，提供分析統(tǒng)計能力；3、Hbase支持動態(tài)擴展，快速修改表結(jié)構(gòu)，提供高效的KV查詢，同時可以集成sql工具，具備sql查詢能力；4、數(shù)據(jù)存儲至HDFS，支持動態(tài)擴展，支持數(shù)據(jù)保留多個數(shù)據(jù)副本，數(shù)據(jù)安全可靠；5、使用YARN提供統(tǒng)一的資源管理和調(diào)度，方便集群各組件資源動態(tài)配置；消息落地Hbase數(shù)據(jù)存儲方案Kafka分布式文件存儲（HDFS）zookeeper大數(shù)據(jù)平臺平臺管理(CM)消息落地Flume-安徽Flume-云南Flume-青海說明：1、kafka分布式消息中間件，通過按topic方式，實現(xiàn)按省份分發(fā)消息；2、flume針對不同省份topic，實時采集消息，并存儲到Hbase中；3、Hbase存儲基于HDFS，提供數(shù)據(jù)副本機制，高效安全；4、Hbase做為NOSQL數(shù)據(jù)庫，提供快速KV查詢，支持高并發(fā)（只支持單行事務）；Hbase安徽云南青海Hbase數(shù)據(jù)備份方案HbaseNameNodeNameNodeDataNodeDataNodeDataNode數(shù)據(jù)備份程序（impala/hive）Hadoop集群HDFS數(shù)據(jù)備份步驟：1、編寫impala或hive程序，定期執(zhí)行，把需要備份數(shù)據(jù)同步至hive表（底層數(shù)據(jù)存儲在HDFS上），hive表數(shù)據(jù)按省份、日期分區(qū)；2、編寫hbase程序，批量清理Hbase中歷史數(shù)據(jù)；歷史數(shù)據(jù)遷移方案數(shù)據(jù)遷移步驟：1、搭建大數(shù)據(jù)集群，部署組件包括：集群管理工具（CM）、分布式文件系統(tǒng)（HDFS）、Hbase數(shù)據(jù)庫、zookeeper、yarn等；2、部署數(shù)據(jù)同步工具sqoop；3、設計Hbase表結(jié)構(gòu)，重點關(guān)注rowkey設計；4、編寫sqoop數(shù)據(jù)同步腳本；5、執(zhí)行數(shù)據(jù)同步；6、新舊數(shù)據(jù)庫數(shù)據(jù)量比對；MySQLsqoopHbase測試集群配置清單CPU內(nèi)存存儲操作系統(tǒng)節(jié)點名稱部署程序I732G1T*7200轉(zhuǎn)，機械盤centos6.5master-0平臺管理工具（clouderamanger）服務端（server）、客戶端（agent）MySQL數(shù)據(jù)庫（元數(shù)據(jù)存儲）zookeeperNameNodeResourceManagerNodeManagerHiveServer、metaStoreServermaster-1zookeeperNameNodeResourceManagerNodeManagerMasterimpalastateStoreimpalacatalogserverslave-0zookeeperRegionServerDataNodeFlumekafka（broker）gateWay(hive)impaladaemonslave-1RegionServerDataNodesqoopkafka（broker）gateWay(hive)impaladaemonslave-2RegionServerDataNodekafka（broker）gateWay(hive)impaladaemon配置說明：1、集群中機器采用同構(gòu)方案，即CPU、內(nèi)存、存儲采用完全相同的要求；2、此為配置僅用于開發(fā)測試，生產(chǎn)中需要提高配置；生產(chǎn)集群最小配置要求CPU內(nèi)存存儲網(wǎng)卡操作系統(tǒng)節(jié)點名稱部署程序2*IntelXeonE52630V32.4G/八核/十六線程128G,最大支持擴展至1T2*600GSAS15000轉(zhuǎn)；6*2TSATA；千兆網(wǎng)卡centos6.5master-0平臺管理工具（clouderamanger）服務端（server）、客戶端（agent）MySQL數(shù)據(jù)庫（元數(shù)據(jù)存儲）zookeeperNameNodeResourceManagerNodeManagerHiveServer、metaStoreServermaster-1zookeeperNameNodeResourceManagerNodeManagerMasterimpalastateStoreimpalacatalogserverslave-0zookeeperRegionServerDataNodeFlumekafka（broker）gateWay(hive)impaladaemonslave-1RegionServerDataNodesqoopkafka（broker）gateWay(hive)impaladaemonslave