XXX大數據平臺產品介紹課件

1、 , Inc. All rights reserved.1XXX大數據平臺介紹提綱數據正在驅動行業(yè)的發(fā)展以Hadoop為核心的大數據平臺企業(yè)數據平臺（Enterprise Data Hub）大數據安全平臺大數據管理平臺大數據技術支持總結無所不在的數據物聯(lián)網及智能終端數據用戶交互行為數據企業(yè)運營數據數據正成為企業(yè)的核心資產，數據可以幫助企業(yè)實現(xiàn)商業(yè)價值。數據價值挖掘體量大速度快多樣性價值密度低日志社交數據 用戶行為 機器數據 圖片音頻 視頻 傳感器運營數據Value更好地理解并服務客 戶精細化運營管理個性化醫(yī)療健康服務公共事業(yè)服務安全和合規(guī)性檢查用戶標簽行為分析文本分析情感分析圖片分析音頻分析軌

2、跡分析DataSourcesData SystemsDataAccessBusinessAnalyticsCustomApplicationsExisting DataDatabases/ WarehouseOperationalApplicationsNew DataLimited DataNot efficient to keep existing data, let alone handle new data sources.Time consuming to transform datafor analysis in existing systems.Limited InsightsP

3、ower users struggle with data. Many users have no data.Compliance and PrivacyMore data, more users, and more tools create complexity.Need to balance business agilitywith security and governance.傳統(tǒng)架構的劣勢DataSourcesData SystemsDataAccessBusinessAnalyticsCustomApplicationsExisting DataDatabasesOperation

4、alApplicationsNew DataKeep Unlimited DataFrom disparate and limited views, to unlimited information access.Unlock Value from DataFrom analytics for some, to insights for all.Manage ComplianceFrom risk due to regulations and customer privacy concerns,to trust in a secure and compliant platform.Unlimi

5、ted StorageEnterprise Data HubProcessDiscoverModelServeSecurity and Administration亟需新的數據平臺架構企業(yè)級數據平臺穩(wěn)定性嚴格的測試被客戶和開發(fā)者證明開源的模式易用性標準的API（Java, SQL, Python, Rest）標準的工具集成（MS, Qlikview, Tableau, Teradata,Netezza, Quest）一站式管理解決方案安全性企業(yè)安全標準集成統(tǒng)一的訪問安全控制全面的數據保護，密鑰管理可管理性部署、管理、監(jiān)控、警告可治理性數據溯源數據發(fā)現(xiàn)數據生命周期管理靈活性不同的問題可以有不同的

6、技術選擇性能高吞吐的NoSQL存儲原生的大規(guī)模數據處理引擎內存計算為X86平臺做的原生優(yōu)化最具創(chuàng)新的開源核心CDH Distribution for Apache Hadoop100%開源且開放標 準的Hadoop核心數據采集多樣化的可擴展存儲資源（負載）管理框架靈活多樣的處理引擎全面的安全技術體系易用的Hadoop交互界面Workload ManagementProcessIngest Sqoop, Flume，KafkaTransform MapReduce, Hive, Pig, SparkDiscoverAnalytic Database ImpalaSearch SolrModelM

7、achine Learning R, Spark Mlib, MahoutServeNoSQL DatabaseHBaseStreaming Spark StreamingUnlimited Storage HDFS, HBaseYARNSentryCDHCDH全球最流行的Hadoop發(fā)行版最完整且穩(wěn)定的版本，經過嚴格的行業(yè)檢驗具有最快的更新，更多新的功能方便開發(fā)者和集成商使用Hadoop和其他一些Hadoop發(fā)行版提供商對比做Hadoop開發(fā)的，其他廠商僅是做Hadoop集成或CDH集成和Hadoop trunk最快的同步，能保證業(yè)務的前向兼容性；其他廠商在Hadoop上做的定制優(yōu)化或修復，

8、無法保證兼容性所有組件的開發(fā)和專業(yè)支持能力，其他廠商也僅僅跟隨包含的版本進行集成，缺乏問題修復和專業(yè)支持能力HDFS分布式文件系統(tǒng)靈活性多樣化數據的統(tǒng)一存儲可擴展性良好的線性可擴展性高容錯性設計之初就考慮了高容錯性開放性存儲的數據格式和內容完全可見適合大文件的順序讀寫, 寫一 次讀多次Unlimited StorageEnterprise Data HubProcessDiscoverModelServeSecurity and AdministrationApache HBase構建在分布式存儲上的NoSQL數據庫和HDFS緊密結合，適合高并發(fā)隨機讀寫具有分布式存儲的所有優(yōu)點靈活性多樣化數據

9、的統(tǒng)一存儲可擴展性良好的線性可擴展性開放性存儲的數據格式和內容完全可見+ 在線數據服務Security and AdministrationUnlimited StorageEnterprise Data HubProcessDiscoverModelServeApache Kafka每個節(jié)點稱為 Broker數據以 Topics方式寫入Kafka每一個Topic都可以被分片分片分布在Broker上分片可以有多個副本，其中一個 為LeaderProducer, Consumer都與partition直接進行數據交換Broker 1Broker 2Broker 3Partition 1 (Lea

10、der)Partition 2Partition 3Partition 2 (Leader)Partition 1Partition 3Partition 3(Leader)Partition 1Partition 2ProducerProducerConsumerConsumerKafka ClusterKafka + Apache FlumeKafka 可以被配置為 Flume 的ChannelFlume Sources 和 Sinks 可以配置成Kafka的Consumer和ProducerFlume Sources Consume from Kafka:Write data to HD

11、FS, HBase, or SearchFlume Sinks Write to Kafka:Read from logs, files, jms, http, rpc, thrift,etc and write events to Kafka多樣的工作引擎批處理引擎（MapReduce, Hive, Spark） - 適合長時間的數據處理作業(yè)，高度 成熟可靠實時數據處理（Spark Streaming）- 實時的數據同時，異常檢測，預測分析等自助BI分析/交互式SQL （Impala） 準實時的分析作業(yè)，高效的數據探索式 分析，高并發(fā)的自助BI功能搜索（ Search） - 快速的跨應用數據

12、搜索能力數據挖掘（Spark Mllib, R, Mahout）- 適合數據分析人員的快速模型創(chuàng)建，迭 代在線服務（HBase）- 提供實時的數據服務能力交互式分析引擎Impala構建于HDFS上的原生的分析型SQL易用性利用現(xiàn)有的SQL語法，和絕大多數BI工具完美集成高并發(fā)為高并發(fā)的隨機分析而優(yōu)化， 用C+編寫交互性提供交互式的體驗原生和Hadoop棧深度融合Enterprise Data HubSecurity and AdministrationUnlimited StorageProcessDiscoverModelServeApache Spark適合數據科學家的分布式內存計算引擎靈

13、活多種接口，多種算法高效內存計算，適合迭代是計算易用好用且豐富的API安全集成和數據平臺的其他功能無縫集成適合批處理、流計算以及迭代 式計算Enterprise Data HubSecurity and AdministrationUnlimited StorageProcessDiscoverModelServeSQL的實現(xiàn)途徑Hive是一個SQL解析和優(yōu)化層， 底層引擎可以是MapReduce或 是SparkSparkSQL是Spark生態(tài)系統(tǒng)的一 個SQL解析和優(yōu)化層，也需要借 助于Spark引擎Impala就是一個原生的SQL解析、 優(yōu)化以及內存執(zhí)行引擎，直接 操縱HDFSUnlimi

14、ted Storage HDFSImpalaHiveMapReduceSparkSparkSparkSQL數據處理和分析多樣化的SQL解決方案不同的需求需要不同的技術互補而不是替代實時監(jiān)控交互式分析和探和分析索式分析批處理時延要求 秒級數秒到分鐘幾十分鐘以上數據源交互式SQL性能050100150250200300PrestoHive-on-TezTime (in seconds)350Single User vs 10 User Response Time/ImpalaTimes Faster(Lower bars = better)Single User, 510 Users, 11Sin

15、gle User, 2510 Users, 12010 Users, 30210 Users, 202Single User, 37Single User, 775.0 x10.6x7.4x27.4x15.4x18.3xImpalaSpark SQLIndependent validation by IBM Research SQL-on-Hadoop VLDB paper:“Impalas database architecture provides significant performance gains” Search大數據平臺內的搜索引擎易用性實現(xiàn)了企業(yè)內數據平臺的搜索引擎標準化基于

16、Solr的標準搜索實現(xiàn)靈活性實現(xiàn)了多種索引的構建方式安全和集成和企業(yè)級功能的緊密集成|Search所有人都知道怎么搜索Enterprise Data HubSecurity and AdministrationUnlimited StorageProcessDiscoverModelServe實時數據處理實時搜索HDFSOnline Streaming DataEnd User Client App (e.g.Hue)FlumeRaw, filtered, or annotated dataSolrCloud Cluster(s)Indexed dataMapReduce Batch Inde

17、xing w/ MorphlinesGoLive updatesHBase ClusterNRT Replication Events indexed w/ MorphlinesOLTP Data ManagerSearch queriesNRT Data indexed w/ Morphlines企業(yè)消息總線Hue專門為Hadoop打造的用戶界面HDFS的瀏覽以及管理HBase的管理作業(yè)流設計，作業(yè)提交以及管理SQL操作前端定制化的搜索前端訪問權限配置界面CDH發(fā)布模式領先于開源的版本包含社區(qū)版本尚未發(fā)布的創(chuàng)新和穩(wěn)定性功能更快獲取問題的修復 強大的Committer團隊保證客戶問題得到更快的

18、修復最廣泛的測試 活躍的開源社區(qū)能讓所有功能得到最全的測試CDH凝聚在開源的貢獻有89位Hadoop以及相關生態(tài)的Committer，涵蓋：Hadoop, HBase, Hive, Spark, Lucene/Solr, Flume, Sqoop等項目提供了最多的企業(yè)級Hadoop功能HDFS/YARN HA, Hadoop Secure Communication, HDFS Short-Circuit, HDFS Caching, HDFS Transparent EncryptionHBase snapshots, HBase multi-tenancyHiveServer 2, Hiv

19、e-on-SparkSpark Streaming exactly-once, Spark Shuffle OptimizationSolr + Hadoop Integration大數據安全安全的挑戰(zhàn)越來越多的開發(fā)人員和業(yè)務人員會使用大數據平臺企業(yè)數據平臺正成為黑客的主要目標Hadoop及衍生的眾多項目缺乏統(tǒng)一的安全解決方案傳統(tǒng)的應用層安全方案難以勝任新平臺平臺有多種接口給用戶使用傳統(tǒng)方案中各應用系統(tǒng)相對獨立用戶一旦突破應用層安全，數據平臺就完全暴露數據沒有任何保護訪問沒有任何限制全面的安全管控Apache Sentry, HDFS Encryption, Navigator, Key Tr

20、ustee數據平臺的安全不可或缺：多樣化的數據導入方式多種引擎的協(xié)同工作多業(yè)務的并發(fā)多用戶的訪問和企業(yè)的基礎設施集成符合行業(yè)的安全審查Perimeter Standards-based AuthenticationProcessDiscoverModelServeAccess Unified Role-based AuthorizationSecurity and AdministrationVisibility Auditing & GovernanceUnlimited StorageData Encryption & Key Management安全技術架構認證, 授權, 審計, 以及行

21、業(yè)監(jiān)管規(guī)范Perimeter限制什么樣的用戶可以訪問集群Technical Concepts: Authentication Network isolationAccess定義用戶或者應用可以訪問什么數據Technical Concepts: Permissions Authorization ManagerApache SentryVisibility數據從什么地方來 以及數據是怎么被 用的Technical Concepts: Auditing Lineage NavigatorData敏感數據保護以防止為授權的訪問Technical Concepts: Encryption, Token

22、ization, Data maskingNavigator Encrypt & Key Trustee | Partners多層次的安全多層級的身份認證（ Manager, Kerberos, AD, Hue）管理平臺，運維人員，客戶端，BI工具統(tǒng)一的授權訪問控制（Apache Sentry）在平臺上提供統(tǒng)一的訪問安全控制策略數據保護（HDFS At-Rest Encryption, Navigator Encrypt, Navigator KeyTrustee）On-the-wire和at-rest數據保護，并內置有Key Management方案全面的審計（ Navigator）不管以什

23、么方式進行訪問集群，都會得到審計使用者視圖認證和授權認證和授權HiveServer2AuthNLDAPKerberosAuthZIdentityManagementKDCSentryBindingSentry ServicePolicy Definition/RetrievalEnforcementGroupGroup MappingLocalGroupMappingShellLDAPHadoop UserGroupMapping數據保護底層文件系統(tǒng)的數據保護（Navigator Encrypt, Navigator KeyTrustee）臨時文件，緩存到本地的中間計算結果，配置文件以及元數據

24、文件HDFS文件的保護（HDFS Data-At-Rest Encryption, Navigator KeyTrustee）只能保護HDFS的文件或目錄數據網絡傳輸的安全性（TCP over SSL）基于SSL的節(jié)點間網絡通信Navigator Encrypt/KeyTrustee (Gazzang)Navigator Encrypt全面高效的數據保護，Linux文件系統(tǒng)以下硬件指令加速（AES-NI）存儲節(jié)點上的加解密方案Navigator KeyTrustee集中化的秘鑰管理靈活的部署方式on-premise或者SaaS Navigator全面的審計功能對HDFS、Impala、Hive

25、、HBase和Sentry的審計追蹤提供集中式的配置管理接口查看用戶/用戶組對HDFS、Impala、Hive和HBase的訪問權限以保證對隱私及合規(guī)的正確 配置數據發(fā)現(xiàn)和探索快速檢索相關數據，加速數據發(fā)現(xiàn)流程自動發(fā)現(xiàn)元數據并允許用戶自定義可定制化標簽與注釋，便于數據追蹤與歸類數據溯源幫助用戶直觀理解數據集的上下游血脈關系，驗證數據源頭與數據演變過程可以導出數據溯源信息到其他的溯源信息管理系統(tǒng)中生命周期管理定義并自動化復雜的數據生命周期管理工作，包括分類，保留及加解密策略 一切都基 于Navigator豐富的元數據管理能力大數據平臺-系統(tǒng)管理平臺系統(tǒng)管理平臺 Manager Manager 專

26、注于 企業(yè)管理平臺，而不只是一 個集群管理工具基于角色的管理視圖豐富且可定制化的監(jiān)控圖表展現(xiàn)LDAP/Kerberos/SNMP/Rest API集成零宕機安裝和升級復制和災備多租戶資源管理自動化的運營和診斷報告開放API可以集成第三方工具 滾動重啟和升級集群災備配置歷史版本回滾智能的配置警告智能決策配置過期需要重啟客戶端配置過期全局時間線控制方便診斷極方便的全局時間線控制啟用Kerberos啟用Kerberos啟用Kerberos啟用Kerberos通過 Manager管理用戶自定義服務/cm_ext/wiki Manager Rest API多租戶管理在多用戶的環(huán)境下共享相同的系統(tǒng)或程序組

27、件，且仍可確保各用戶間數據、 配置甚至計算資源的隔離性。各租戶的資源保障租戶間的細粒度的安全隔離租戶資源請求的快速響應租戶資源使用的報告多租戶的優(yōu)勢數據共享方便運營提高資源使用率多租戶的挑戰(zhàn)開源版本已經實現(xiàn)的YARN的資源管理平臺，可以實現(xiàn)對MapReduce、Spark的動態(tài)資源管理基于Queue的資源抽象描述基于Queue的用戶權限控制挑戰(zhàn)只支持批處理的引擎對有時延要求租戶的支持統(tǒng)一的權限控制模型沒有對租戶資源使用的詳細報告平臺的多租戶資源隔離和管理保障租戶對服務質量的要求，且有效利用集群的資源安全和管治平臺提供了從身份驗證、授權、審計和數據安全的全面保護，確 保租戶之間的隔離性資源使用報

28、告統(tǒng)計租戶對資源的使用要求，優(yōu)化租戶的資源分配資源管理資源劃分動態(tài)資源劃分按需給租戶提供滿足服務質量的資源保障有效利用集群資源靜態(tài)資源劃分滿足關鍵負載的作業(yè)保障配額管理磁盤空間配額文件、目錄數量配額，以優(yōu)化文件系統(tǒng)元數據靜態(tài)資源管理通過Linux cgroup來靜態(tài)劃分各服務所占用的資源支持HBase, HDFS, Implala, YARN保障關鍵作業(yè)的資源占用YARN 30%HBase 20%HDFS 30%Impala20%Product 2Mkt 1Developer 3靜態(tài)資源管理配置HBase內部的資源管理對某個用戶、某張表或某個表空間的訪問進行限制（Throttling）將HBa

29、se上的作業(yè)按類型進行調度分析或查詢讀或寫動態(tài)資源管理基于YARN的資源管理框架可以實現(xiàn)MapReduce, Spark以及Impala對資源的共 享通過Llama實現(xiàn)Impala和YARN資源的集成按租戶的資源使用狀況定期調整資源分配策略YARN/Impala 50%Product 1Business 3Developer 2Impala 4YARN/Impala 50%Product 1Business 1Developer 4Impala 4WeekdayWeekend資源使用狀況統(tǒng)計租戶對于資源的歷史使用統(tǒng)計和趨勢，以更好滿足企業(yè)內部的Showback和Chargeback模式大數據平

30、臺-技術支持技術支持專業(yè)服務近百人的專業(yè)技術支持團隊豐富的知識庫基于大數據技術的預測支持及主動支持嚴格的問題修復流程專業(yè)服務預定義的企業(yè)服務內容駐場架構師和專人技術支持集群部署及 調優(yōu)數據導 入及ETL 指導數據分 析指導安全指 導生產環(huán) 境就緒預測、主動技術支持資源管理YARN在線NOSQLHBASESYSTEM MANAGEMENT MANAGER存儲各種類型數據批處理MAPREDUCE文件系統(tǒng)HDFS3RD PARTY APPSTABLEAU利用大數據平臺技術，在客戶集群還沒發(fā)生問題之前就可以得到主動的預警付費客戶可以定期向支持中心發(fā)送集群診斷包以獲取主動支持基于的EDH構建日志文件客戶

31、節(jié)點數據集群描述命令輸出知識庫CRM數據支持記錄Apache郵件列表社區(qū)論壇AN分AL析YTICSSQQLLIMPALA搜SE索AR引C擎HENGINESOLR硬件配置嚴格的問題修復過程 工 程師修復問 題并進行測 試客戶發(fā)現(xiàn)并 通過系統(tǒng)報 告問題 工 程師重現(xiàn)問 題 在Apache報告JIRA并提交 補丁committer 審查并提交補 丁到開源社 區(qū) 把 補丁放到下 一個版本發(fā) 布 給 客戶提供補 丁程序客戶通過的無宕機滾動 升級打補丁客戶升級版 本總結 Enterprise專注于開源Hadoop的開發(fā)，保護用戶的投資（Open Standard）最具創(chuàng)新的Hadoop發(fā)行版 （Innov

32、ation）最好用的企業(yè)數據平臺（Usability）活躍的社區(qū)一站式的管理平臺最完善的安全架構（Security）方便集成（Integration）全面可擴展（Extensibility）最專業(yè)的、可持續(xù)的技術支持與Apache開源項目比集成性：包含了20多個開源項目，組 件版本的兼容，解決了組件內部的配 置和組件間的配置集成12管理性：自動化的安裝部署；智能的 配置優(yōu)化；超級易用的監(jiān)控診斷；企 業(yè)級的管理能力；基礎設施的集成安全性：全面的安全技術架構；獨有 的主數據管理能力幫助用戶快速發(fā)現(xiàn) 數據并理解數據處理流程34技術支持：開源項目的發(fā)布周期不 定，會定期發(fā)布問題修復 版，并提供快速的問

33、題修復；同時開 源項目有時會破壞一些兼容性與社區(qū)版對比 Express Enterprise平臺核心CDHCDH包含數據采集、存儲、處理和分析等組件管理性基本的安裝、部署、監(jiān)控、 告警等管理功能還包含一系列企業(yè)級功能： 配置歷史修改和回退平臺運營歷史報告 零宕機重啟、升級 備份和復制定期診斷等等不需要花大把的時間去查看由于配置修 改導致的性能下降降低關鍵業(yè)務宕機的風險定期的診斷快照縮短解決問題的周期無意的數據損壞安全性有限的、松散的安全特性自動化的Kerberos部署 統(tǒng)一訪問權限控制全面的審計整體的數據保護解決方案發(fā)現(xiàn)惡意的訪問防止系統(tǒng)管理員直接通過底層文件系統(tǒng) 去讀取敏感數據數據治理無集群

34、元數據的管理 數據溯源理解集群中有什么數據，快速發(fā)現(xiàn)數據數據的依賴關系，理解報表依賴的數據 源技術支持無主動的集群診斷、產品支持團隊、客戶可以訪問的知識庫、專業(yè)技術服務 定期的平臺缺陷通知、路線圖需要花費大量的時間來優(yōu)化集群來滿足業(yè)務需求系統(tǒng)持續(xù)穩(wěn)定運行的技術保障與閉源廠商對比閉源平臺 Enterprise平臺核心UnknownCDH閉源的組件或者功能缺乏和開源的持 續(xù)兼容；閉源特性沒有社區(qū)支持增加 了用戶使用代價管理性基本的安裝、部署、監(jiān)控、告警等 管理功能業(yè)界最好用，完全為Hadoop而開發(fā)的管 理工具 Manager安全性有限的、松散的安全特性全面的安全解決方案，業(yè)界唯一一個符 合PCI

35、 (Payment Card Industry)安全標準的 平臺數據治理無集群元數據的管理 數據溯源技術支持有但不可持續(xù)專業(yè)的產品支持團隊，嚴格的問題修復 流程，主動的集群診斷和預測支持版本和服務免費版（ Express）和按年訂閱的付費版（ Enterprise）免費版包含CDH和功能受限的 Manager付費版可以使用 Enterprise的所有功能，但根據可以享受的服務內容 不一樣Basic Edition：只提供Hadoop核心和 Director的服務Flex Edition：HBase/Search/Impala/Spark/Navigator選擇其一Data Hub Editio

36、n：所有組件都有服務提供Basic Edition只有5x8或7x24的標準支持Flex Edition和Data Hub Edition有5x8或7x24 Premium支持可選許可證模式不提供永久的許可證產品采取的是按年訂閱許可證模式，假設用戶訂閱了三年的，則具 體的付費方式根據客戶要求：一次性付費按三年平均，分三次付第一年可以付大部分費用，后兩年以維保的名義付費訂閱期結束之后，如果用戶不再續(xù)訂，則原有的功能都可以繼續(xù)使用（包括 付費版才有的功能）訂閱期結束之后，如果用戶需要續(xù)訂，則視為一次新的訂閱期，此次訂閱的 價格會視前次訂閱的周期和本次訂閱的周期酌情考慮迅速體驗 Express 完全

37、免費全功能數據平臺（CDH），無存儲容量和節(jié)點數限制一站式的管理工具（ Manager）獲取社區(qū)支持 Community Enterprise Trial企業(yè)版60天的試用獲取試用版許可證，得到專業(yè)的技術支持 Live在線的數據分析體驗（Hue，Tableau，Zoomdata，Trifacta）開源模式可以防止被某一個提供商綁定，在后期可能需要付出高昂的維護和技術支持費用產品的穩(wěn)定性更好，有更多的用戶參與產品的使用和測試，使得產品存在的問題 更少安全性更好，有更多的人可以審查代碼，任何代碼的安全漏洞可以被很快地發(fā)現(xiàn) 和修復匯聚全球智慧，加速產品創(chuàng)新；沒有任何一個提供商能夠提供比社區(qū)更快、更全

38、 的產品更新開源比閉源能更好地遵守開放標準，不受專有的數據存儲和處理引擎限制，方便 業(yè)務部門、企業(yè)間的互操作企業(yè)可以通過多種渠道快速解決問題，培養(yǎng)團隊的自我技能企業(yè)需要開源Hadoop平臺Hadoop及其生態(tài)的項目屬性決定核心平臺要開源，任何定制化開發(fā)最終損 壞的是客戶利益開源是幫助客戶解決問題的手段，不是目的對于任何開源項目的問題都能夠以開源的方式解決，否則長此以往會和社區(qū)主流差異化越來越大，或者只能等下一個開源版本的發(fā)布有足夠的解決開源問題的能力，這樣可以更快的滿足客戶的需求領導Hadoop作為企業(yè)級應用的缺陷功能定義和開發(fā)- HDFS HA, Short-circuit read, Ne

39、twork Encryption, HBase snapshots, Hive authentication, HDFS Caching, At-rest HDFS Encryption,Thank you大數據分析平臺幫助客戶實現(xiàn)數據驅動大型數據存儲計算平臺開放、融合、跨平臺、全過程按需組裝產品定位大數據分析平臺支撐多種數據源接入，可與RDBMS、JAVAAPI，工業(yè)OPC等接入，可制成企業(yè)級大數據存儲架構在原有大數據數據倉庫HIVE和列式數據庫HBASE的基礎上，自主研發(fā)實時、離線大數據存儲同一企業(yè)、行業(yè)、領域和產業(yè)鏈內進行遷移、共享、靈活擴展，大大降低應用成本滿足分析應用實時性要求，提升

40、企業(yè)管理和業(yè)務分析決策的敏捷反應能力，提高企業(yè)運營效率 支撐大數據實時處理與分析,充分滿足企業(yè)科學和快速精準決策對于 信息的時效性和完整性要求作為平臺級產品方案，可有效規(guī)避項目級方案應用交付和運維模式高成本的風險和問題3大核心功能模塊存儲與計算大數據可視化數據挖掘開放式API和協(xié)議實時監(jiān)控信息實時歷史信息歷史分析信息歷史存儲信息MPP分析計算集群NO-SQL搜索數據存儲數據獲取數據組織數據分析數據應用實時數據流處理服務器聯(lián)合訪問大數據平臺產品創(chuàng)新故障診斷均質生產能源測算實時監(jiān)控問題評價透明感知企業(yè)級報告工具Ad hoc 即時查詢例外分析實時數據分析預測與挖掘數據集群處理ETL處理服務器RDBMSHiveHbase社交媒體RSSWEB日志JavaOpc數據抽取數據清洗數據濃縮數據聚合數據分析數據挖掘hadoopspark大數據分析應用平臺架構內嵌一站式數據存儲平臺核心的一站式數據存儲平臺，存儲能支撐HADOOP,SPARK，HBASE，IMPALA等大數據平臺。通過內存計算技術、高效索引、執(zhí)行計劃優(yōu)化和高度容錯的技術，使得一個平臺能夠處理從GB到PB的數據，并且在每個數量級上，都能比現(xiàn)有技術提供更快的性能；可以連接多種大數據存儲平臺廣泛支持連接各種