【技術(shù)研究】大數(shù)據(jù)方案

消息接收消息接收消息接收實(shí)時(shí)計(jì)算Kafkaspoutbolt……boltspoutbolt……boltspoutbolt……boltAdapterKafka高速緩存redismc安徽云南青海數(shù)據(jù)接入方案-storm車牌、終端對(duì)應(yīng)關(guān)系g_vbox其他應(yīng)用其他應(yīng)用storm集群消息接收業(yè)務(wù)處理1業(yè)務(wù)處理n結(jié)果落地消息接收消息接收消息接收實(shí)時(shí)計(jì)算Kafka接收運(yùn)算1……結(jié)果落地AdapterKafka高速緩存redismc安徽云南青海數(shù)據(jù)接入方案-sparkstreaming車牌、終端對(duì)應(yīng)關(guān)系g_vbox鷹眼其他應(yīng)用spark集群接收運(yùn)算1……結(jié)果落地接收運(yùn)算1……結(jié)果落地Kafka分布式文件存儲(chǔ)（HDFS）YARNHbaseMRhivesparkimpalazookeeper離線分析實(shí)時(shí)查詢數(shù)據(jù)存儲(chǔ)整體方案軌跡查詢里程計(jì)算分析統(tǒng)計(jì)……平臺(tái)管理(CM)數(shù)據(jù)采集(Flume)說明：1、Flume直接采集消息中間件kafka消息，并存儲(chǔ)至Hbase中，提供業(yè)務(wù)查詢能力；2、分析工具（hive、spark、impala）通過讀取hbase存儲(chǔ)在hdfs上數(shù)據(jù)，提供分析統(tǒng)計(jì)能力；3、Hbase支持動(dòng)態(tài)擴(kuò)展，快速修改表結(jié)構(gòu)，提供高效的KV查詢，同時(shí)可以集成sql工具，具備sql查詢能力；4、數(shù)據(jù)存儲(chǔ)至HDFS，支持動(dòng)態(tài)擴(kuò)展，支持?jǐn)?shù)據(jù)保留多個(gè)數(shù)據(jù)副本，數(shù)據(jù)安全可靠；5、使用YARN提供統(tǒng)一的資源管理和調(diào)度，方便集群各組件資源動(dòng)態(tài)配置；消息落地Hbase數(shù)據(jù)存儲(chǔ)方案Kafka分布式文件存儲(chǔ)（HDFS）zookeeper大數(shù)據(jù)平臺(tái)平臺(tái)管理(CM)消息落地Flume-安徽Flume-云南Flume-青海說明：1、kafka分布式消息中間件，通過按topic方式，實(shí)現(xiàn)按省份分發(fā)消息；2、flume針對(duì)不同省份topic，實(shí)時(shí)采集消息，并存儲(chǔ)到Hbase中；3、Hbase存儲(chǔ)基于HDFS，提供數(shù)據(jù)副本機(jī)制，高效安全；4、Hbase做為NOSQL數(shù)據(jù)庫，提供快速KV查詢，支持高并發(fā)（只支持單行事務(wù)）；Hbase安徽云南青海Hbase數(shù)據(jù)備份方案HbaseNameNodeNameNodeDataNodeDataNodeDataNode數(shù)據(jù)備份程序（impala/hive）Hadoop集群HDFS數(shù)據(jù)備份步驟：1、編寫impala或hive程序，定期執(zhí)行，把需要備份數(shù)據(jù)同步至hive表（底層數(shù)據(jù)存儲(chǔ)在HDFS上），hive表數(shù)據(jù)按省份、日期分區(qū)；2、編寫hbase程序，批量清理Hbase中歷史數(shù)據(jù)；歷史數(shù)據(jù)遷移方案數(shù)據(jù)遷移步驟：1、搭建大數(shù)據(jù)集群，部署組件包括：集群管理工具（CM）、分布式文件系統(tǒng)（HDFS）、Hbase數(shù)據(jù)庫、zookeeper、yarn等；2、部署數(shù)據(jù)同步工具sqoop；3、設(shè)計(jì)Hbase表結(jié)構(gòu)，重點(diǎn)關(guān)注rowkey設(shè)計(jì)；4、編寫sqoop數(shù)據(jù)同步腳本；5、執(zhí)行數(shù)據(jù)同步；6、新舊數(shù)據(jù)庫數(shù)據(jù)量比對(duì)；MySQLsqoopHbase測(cè)試集群配置清單CPU內(nèi)存存儲(chǔ)操作系統(tǒng)節(jié)點(diǎn)名稱部署程序I732G1T*7200轉(zhuǎn)，機(jī)械盤centos6.5master-0平臺(tái)管理工具（clouderamanger）服務(wù)端（server）、客戶端（agent）MySQL數(shù)據(jù)庫（元數(shù)據(jù)存儲(chǔ)）zookeeperNameNodeResourceManagerNodeManagerHiveServer、metaStoreServermaster-1zookeeperNameNodeResourceManagerNodeManagerMasterimpalastateStoreimpalacatalogserverslave-0zookeeperRegionServerDataNodeFlumekafka（broker）gateWay(hive)impaladaemonslave-1RegionServerDataNodesqoopkafka（broker）gateWay(hive)impaladaemonslave-2RegionServerDataNodekafka（broker）gateWay(hive)impaladaemon配置說明：1、集群中機(jī)器采用同構(gòu)方案，即CPU、內(nèi)存、存儲(chǔ)采用完全相同的要求；2、此為配置僅用于開發(fā)測(cè)試，生產(chǎn)中需要提高配置；生產(chǎn)集群最小配置要求CPU內(nèi)存存儲(chǔ)網(wǎng)卡操作系統(tǒng)節(jié)點(diǎn)名稱部署程序2*IntelXeonE52630V32.4G/八核/十六線程128G,最大支持?jǐn)U展至1T2*600GSAS15000轉(zhuǎn)；6*2TSATA；千兆網(wǎng)卡centos6.5master-0平臺(tái)管理工具（clouderamanger）服務(wù)端（server）、客戶端（agent）MySQL數(shù)據(jù)庫（元數(shù)據(jù)存儲(chǔ)）zookeeperNameNodeResourceManagerNodeManagerHiveServer、metaStoreServermaster-1zookeeperNameNodeResourceManagerNodeManagerMasterimpalastateStoreimpalacatalogserverslave-0zookeeperRegionServerDataNodeFlumekafka（broker）gateWay(hive)impaladaemonslave-1RegionServerDataNodesqoopkafka（broker）gateWay(hive)impaladaemonslave