大數(shù)據(jù)平臺(tái)解決方案

聯(lián)想大數(shù)據(jù)平臺(tái)-LEAP目錄22016LenovoInternal.Allrightsreserved.目錄CONTENT01聯(lián)想大數(shù)據(jù)概述02聯(lián)想大數(shù)據(jù)平臺(tái)-LEAP03行業(yè)大數(shù)據(jù)解決方案隨著移動(dòng)互聯(lián)網(wǎng)飛速發(fā)展，催生“大數(shù)據(jù)時(shí)代”的到來。各種新型智能移動(dòng)設(shè)備的迅速普及、工業(yè)互聯(lián)網(wǎng)概念的興起及其實(shí)踐，帶來了海量數(shù)據(jù)的爆炸式增長(zhǎng)。大數(shù)據(jù)時(shí)代，企業(yè)如何管理海量大數(shù)據(jù)，如何分析應(yīng)用大數(shù)據(jù)成為重要的機(jī)遇和挑戰(zhàn)。數(shù)據(jù)存儲(chǔ)的碎片化傳統(tǒng)煙囪式IT架構(gòu)管理未充分融入企業(yè)運(yùn)營(yíng)中缺乏統(tǒng)一運(yùn)維管控小機(jī)+數(shù)據(jù)庫技術(shù)單一大數(shù)據(jù)時(shí)代企業(yè)面臨的挑戰(zhàn)

數(shù)據(jù)資產(chǎn)價(jià)值不斷增長(zhǎng)

Facebook2012/05/18日上市，其公司公布的賬面資產(chǎn)為66億美元。數(shù)據(jù)的價(jià)值并不僅限于特定的用途，它可以為了同一目的而被多次使用，也可以用于其它目的。FacebookIPO定價(jià)為38美元/股，價(jià)值1040億美元。Gartner研究表明：Facebook收集了2.1萬億條“獲利信息”，每條信息約為4美分價(jià)值，即每個(gè)Facebook用戶的價(jià)值為100美元。數(shù)據(jù)的價(jià)值并不僅限于特定的用途，它可以為了同一目的而被多次使用，也可以用于其它目的。數(shù)據(jù)的真實(shí)價(jià)值就像漂浮在海洋中的冰山，第一眼只能看到冰山一角，而絕大部分則隱藏在表面之下。數(shù)據(jù)就像一個(gè)神奇的鉆石礦，是“取之不盡，用之不竭”的通過賬面資產(chǎn)來確定企業(yè)的價(jià)值的方式，已經(jīng)無法充分反映公司的真實(shí)價(jià)值；投資者開始注意到數(shù)據(jù)的潛在價(jià)值；擁有數(shù)據(jù)或者具有數(shù)據(jù)收集和分析能力的企業(yè)，其公司價(jià)值會(huì)上升；給數(shù)據(jù)的潛在價(jià)值貼上價(jià)格標(biāo)簽會(huì)給金融部門帶來無限的商機(jī)。大數(shù)據(jù)分析就是企業(yè)智能商務(wù)的導(dǎo)航系統(tǒng)，因?yàn)樗ㄟ^前所未有的前瞻性分析，帶領(lǐng)企業(yè)尋找和獲取最大化商業(yè)價(jià)值，并且在瞬息萬變的傷害，永不迷航！構(gòu)建面向海量數(shù)據(jù)的管理與分析能力、實(shí)現(xiàn)數(shù)據(jù)的價(jià)值體現(xiàn)正逐漸成為提高企業(yè)競(jìng)爭(zhēng)能力的核心要素之一。聯(lián)想企業(yè)級(jí)數(shù)據(jù)分析平臺(tái)正是處理企業(yè)級(jí)大數(shù)據(jù)場(chǎng)景的高性能一站式分析平臺(tái)。競(jìng)爭(zhēng)優(yōu)勢(shì)分析成熟度原始數(shù)據(jù)清洗后數(shù)據(jù)常規(guī)報(bào)表領(lǐng)域經(jīng)驗(yàn)多維分析大數(shù)據(jù)分析優(yōu)化感知&響應(yīng)已經(jīng)發(fā)生了什么?（史實(shí)）已經(jīng)發(fā)生的為何發(fā)生?（經(jīng)驗(yàn)決策）預(yù)測(cè)&行動(dòng)即將發(fā)生什么?（前瞻）怎樣于預(yù)測(cè)到的未來，為企業(yè)尋求利益最大化？（以數(shù)據(jù)為依據(jù)的前瞻性決策，將引領(lǐng)企業(yè)）大數(shù)據(jù)分析應(yīng)用的價(jià)值越來越受到企業(yè)重視5年！300+研發(fā)人員持續(xù)投入全球部署的超大規(guī)模集群海量數(shù)據(jù)分析與持續(xù)性業(yè)務(wù)支撐300名開發(fā)工程師60名運(yùn)維工程師30名數(shù)據(jù)科學(xué)家全球8個(gè)數(shù)據(jù)中心2000臺(tái)服務(wù)器3000名操作用戶12Pb數(shù)據(jù)容量規(guī)模9Pb數(shù)據(jù)量150億條記錄／天30TB／天技術(shù)融合深度優(yōu)化持續(xù)演進(jìn)工匠情懷在戰(zhàn)斗中成長(zhǎng)！LEAP早在2011年8月，聯(lián)想就啟動(dòng)了大數(shù)據(jù)建設(shè)數(shù)據(jù)管理服務(wù)IT/DT規(guī)劃服務(wù)業(yè)務(wù)咨詢服務(wù)服務(wù)器、存儲(chǔ)工具與應(yīng)用軟件技術(shù)支持、運(yùn)維大數(shù)據(jù)計(jì)算平臺(tái)能力開放平臺(tái)軟件：硬件：高級(jí)分析服務(wù)聯(lián)想大數(shù)據(jù)服務(wù)：形成端到端的整體解決方案，將處于技術(shù)底層的企業(yè)數(shù)據(jù)資產(chǎn)，通過軟硬件平臺(tái)和專業(yè)化服務(wù)，一步步轉(zhuǎn)化為上層業(yè)務(wù)價(jià)值當(dāng)客戶需要將數(shù)據(jù)資產(chǎn)轉(zhuǎn)化為業(yè)務(wù)洞察和商業(yè)價(jià)值時(shí)我們提供大數(shù)據(jù)分析及業(yè)務(wù)應(yīng)用的咨詢服務(wù)。我們擁有強(qiáng)大的數(shù)據(jù)科學(xué)家團(tuán)隊(duì)，已經(jīng)支撐了聯(lián)想全集團(tuán)、全產(chǎn)品線、全業(yè)務(wù)流的大數(shù)據(jù)分析支撐，同時(shí)還在制造、零售、能源等行業(yè)的大數(shù)據(jù)分析領(lǐng)域針對(duì)客戶痛點(diǎn)問題進(jìn)行數(shù)學(xué)建模和業(yè)務(wù)分析，最終實(shí)現(xiàn)業(yè)務(wù)優(yōu)化。當(dāng)客戶難以管理自己多源、異構(gòu)、海量的大數(shù)據(jù)資產(chǎn)時(shí)我們提供數(shù)據(jù)科學(xué)管理的咨詢與實(shí)施。包含了數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)架構(gòu)咨詢、數(shù)據(jù)安全與隱私、元數(shù)據(jù)管理，通過一系列業(yè)務(wù)咨詢、軟件工具、和技術(shù)實(shí)施，確保客戶數(shù)據(jù)資產(chǎn)的完整性、正確性、可用性、以及業(yè)務(wù)連續(xù)性。當(dāng)客戶需要一個(gè)成熟的、高性能的大數(shù)據(jù)平臺(tái)及解決方案時(shí)我們提供聯(lián)想企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)（LEAP）產(chǎn)品以及運(yùn)維服務(wù)。LEAP是軟件化平臺(tái)，整合了最先進(jìn)的大數(shù)據(jù)開源技術(shù)，實(shí)現(xiàn)了基于IaaS層聯(lián)想服務(wù)器面向大數(shù)據(jù)分析的深度優(yōu)化，同時(shí)也包含了面向數(shù)據(jù)及分析能力開放的各類數(shù)據(jù)工具組件。聯(lián)想大數(shù)據(jù)提供端到端的企業(yè)級(jí)大數(shù)據(jù)產(chǎn)品與服務(wù)

聯(lián)想大數(shù)據(jù)已具備多方面的能力專業(yè)的分析能力超大的部署規(guī)模強(qiáng)大的研發(fā)實(shí)力

完善的運(yùn)維體系

全球化多中心部署2000臺(tái)的集群規(guī)模3000名操作用戶

總?cè)萘?2PB

數(shù)據(jù)總量9PB

日新增數(shù)據(jù)30TB

日處理數(shù)據(jù)4.3PB

聯(lián)想大數(shù)據(jù)專家、數(shù)據(jù)科學(xué)家、行業(yè)顧問50+余人80%海外留學(xué)背景，博士占比近70%在頂級(jí)期刊和會(huì)議中發(fā)表學(xué)術(shù)論文近百篇，獲得國(guó)內(nèi)和美國(guó)專利數(shù)十項(xiàng)300+研發(fā)人員的持續(xù)投入多年來不斷向開源社區(qū)做出技術(shù)貢獻(xiàn)。被北京市發(fā)改委于2011年評(píng)為“移動(dòng)互聯(lián)網(wǎng)系統(tǒng)軟件及服務(wù)工程北京市工程實(shí)驗(yàn)室”全面完整的技術(shù)支持保障貫通一致的針對(duì)產(chǎn)品功能的高質(zhì)量技術(shù)支持高級(jí)服務(wù)包含與售后及升級(jí)，遷移的咨詢服務(wù)提供完善的產(chǎn)品文檔及自助服務(wù)選項(xiàng)目錄92016LenovoInternal.Allrightsreserved.目錄CONTENT01聯(lián)想大數(shù)據(jù)概述02聯(lián)想大數(shù)據(jù)平臺(tái)-LEAP03行業(yè)大數(shù)據(jù)解決方案LEAP，聯(lián)想集團(tuán)基于開源架構(gòu)自研的業(yè)內(nèi)領(lǐng)先平臺(tái)級(jí)大數(shù)據(jù)產(chǎn)品，旨在為企業(yè)客戶提供端到端的完整大數(shù)據(jù)解決方案，使企業(yè)能夠快速構(gòu)建強(qiáng)大的大數(shù)據(jù)平臺(tái)，便捷的部署基于自身業(yè)務(wù)的大數(shù)據(jù)分析應(yīng)用，通過挖掘大數(shù)據(jù)潛在價(jià)值打造企業(yè)面向未來的核心競(jìng)爭(zhēng)力。001數(shù)據(jù)04運(yùn)維05價(jià)值02平臺(tái)03管理數(shù)據(jù)：整合各方數(shù)據(jù)，沉淀業(yè)務(wù)知識(shí)，LEAP將為客戶提供豐富的數(shù)據(jù)接口與強(qiáng)大的數(shù)據(jù)資源整合能力。平臺(tái)：LEAP將為客戶提供安全可靠的分布式的大數(shù)據(jù)平臺(tái)，解決了海量數(shù)據(jù)的計(jì)算，存儲(chǔ)實(shí)時(shí)數(shù)據(jù)計(jì)算等問題。管理：參與到企業(yè)運(yùn)營(yíng)的各環(huán)節(jié)，通過對(duì)業(yè)務(wù)數(shù)據(jù)的分析，發(fā)現(xiàn)各種規(guī)律趨勢(shì)，為策略制定提供參考依據(jù)。運(yùn)維：LEAP提供集中的運(yùn)維管控組件，實(shí)現(xiàn)從設(shè)備到服務(wù)的全方位監(jiān)控、管理和擴(kuò)展。價(jià)值：聯(lián)想提供端到端的大數(shù)據(jù)服務(wù)，旨在發(fā)現(xiàn)數(shù)據(jù)潛在價(jià)值，幫助客戶通過大數(shù)據(jù)解決商業(yè)問題，與客戶共同成長(zhǎng)。聯(lián)想大數(shù)據(jù)LEAP核心解決的問題

資源開放分析武庫數(shù)據(jù)工廠數(shù)據(jù)能力開放平臺(tái)

GaussBigDataasaService大數(shù)據(jù)計(jì)算平臺(tái)Descartes大數(shù)據(jù)技術(shù)整合與深度優(yōu)化數(shù)據(jù)采集轉(zhuǎn)換套件

Euclid數(shù)據(jù)分析應(yīng)用套件Nash數(shù)據(jù)資產(chǎn)管理平臺(tái)系統(tǒng)運(yùn)維監(jiān)控中心EulerArchitonRiemannBayesFourier為企業(yè)級(jí)數(shù)據(jù)中心提供數(shù)據(jù)存儲(chǔ)和數(shù)據(jù)處理能力，提供統(tǒng)一的集成平臺(tái)環(huán)境，將硬件和平臺(tái)軟件做有效的集成。為企業(yè)級(jí)數(shù)據(jù)中心提供多域的數(shù)據(jù)模型、標(biāo)準(zhǔn)的元數(shù)據(jù)、數(shù)據(jù)處理調(diào)度任務(wù)、后臺(tái)處理程序和前臺(tái)應(yīng)用程序，以及數(shù)據(jù)產(chǎn)品；實(shí)現(xiàn)對(duì)環(huán)境中系統(tǒng)資源、軟件資源、業(yè)務(wù)應(yīng)用、參與人員等各種資源統(tǒng)一管理，綜合監(jiān)控。聯(lián)想大數(shù)據(jù)LEAP6大產(chǎn)品線全景圖

分布式存儲(chǔ)系統(tǒng)HDFSSQL引擎數(shù)據(jù)倉庫工具數(shù)據(jù)安全與隱私元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)/質(zhì)量管理數(shù)據(jù)資產(chǎn)管理平臺(tái)運(yùn)維管理數(shù)據(jù)模型管理終端數(shù)據(jù)采集流式數(shù)據(jù)采集批量數(shù)據(jù)采集網(wǎng)絡(luò)爬蟲實(shí)時(shí)計(jì)算流處理消息隊(duì)列流計(jì)算引擎批處理/交互式計(jì)算引擎NoSQL數(shù)據(jù)庫多維分析引擎數(shù)據(jù)工廠分析武庫資源開放基于X86平臺(tái)的集成與調(diào)優(yōu)統(tǒng)一資源調(diào)度管理Yarn第三方RDBMS數(shù)據(jù)API應(yīng)用套件數(shù)據(jù)產(chǎn)品業(yè)務(wù)分析應(yīng)用第三方工具數(shù)據(jù)服務(wù)管理可視化報(bào)表工具多維分析工具機(jī)器學(xué)習(xí)圖計(jì)算引擎用戶與權(quán)限管理監(jiān)控告警集群管理安全管理可視化自助查詢資源調(diào)度訪問控制任務(wù)調(diào)度多租戶管理日志與審計(jì)管理數(shù)據(jù)生命周期管理業(yè)務(wù)模型挖掘算法數(shù)據(jù)轉(zhuǎn)換與處理分布式計(jì)算框架內(nèi)存計(jì)算框架聯(lián)想企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)（LEAP）功能架構(gòu)聯(lián)想企業(yè)級(jí)大數(shù)據(jù)分析平臺(tái)（LEAP）技術(shù)架構(gòu)LEAP-Process

HDFSSparkSQLHive數(shù)據(jù)資產(chǎn)管理平臺(tái)運(yùn)維管理SDKFlume-NGSqoopKettleStormSpark-StreamingKafaka流計(jì)算引擎批處理/交互式計(jì)算引擎HbaseKylin資源開放基于X86平臺(tái)的集成與調(diào)優(yōu)YarnMYSQL分析應(yīng)用套件EchartsCaravelGraphXLEAP-SQLQlik/TableauLEAP-managerScrapy數(shù)據(jù)工廠分析武庫數(shù)據(jù)API數(shù)據(jù)產(chǎn)品數(shù)據(jù)服務(wù)管理MLib/Python業(yè)務(wù)模型R算法包MapReduceSparkLEAP-DataSecurityLEAP-MetadataLEAP-DataQuality各組件清單列表（1）組件描述版本ApacheHadoop穩(wěn)定可靠并具有高可擴(kuò)展性的分布式存儲(chǔ)于技術(shù)級(jí)別架構(gòu)hadoop-2.6.0HDFSHadoop分布式文件系統(tǒng)-可擴(kuò)展、分布式的、高容錯(cuò)性和高吞吐量的數(shù)據(jù)存儲(chǔ)hdfs-2.6.0MapReduce2(YARN)新一代ApacheHadoop分布式計(jì)算框架，引入統(tǒng)一資源管理器YARNyarn+MR2-2.1.0Hbase分布式的、面向列的NoSQL數(shù)據(jù)庫，在Hadoop之上提供類似于Bigtable的能力hbase-1.2.0Hive基于Hadoop的一個(gè)數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡(jiǎn)單的SQL查詢功能，可以將SQL語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行hive-1.1.0LEAPSQL可以在瀏覽器端的Web控制臺(tái)上與Hadoop集群進(jìn)行交互來分析處理數(shù)據(jù)，例如操作HDFS上的數(shù)據(jù)，運(yùn)行MapReduceJob等等Priest-SQL-2.0.1Sqoop將Haddoop與關(guān)系型數(shù)據(jù)庫集成的書籍傳輸引擎sqoop-1.4.6Flume高可用的、高可靠的、分布式的海量日志采集、聚合和傳輸?shù)南到y(tǒng)，并具有寫到各種數(shù)據(jù)接受方（可定制）的能力flume-ng-1.6.0Kafka高度可擴(kuò)展的、容錯(cuò)的發(fā)布-訂閱消息系統(tǒng)kafka-2.0.0Slider基于HadoopYARN的應(yīng)用服務(wù)管理框架slider-0.80.0組件描述版本spark快速綜合的數(shù)據(jù)處理引擎，支持循環(huán)數(shù)據(jù)流的內(nèi)存計(jì)算spark-2.0.0pig處理Hadoop中存儲(chǔ)數(shù)據(jù)的高級(jí)數(shù)據(jù)流語言pig-0.12.0Oozie協(xié)調(diào)Hadoop活動(dòng)的流程引擎oozie-4.1.0Zookeeper高度可靠的分布式協(xié)同服務(wù)zookeeper-3.4.5Ambari提供基于ambari平臺(tái)的優(yōu)化方案，增加自動(dòng)化監(jiān)控運(yùn)維的能力，另外針對(duì)管理層次，采用松耦合的方式與其他框架進(jìn)行銜接Ambari-2.4LeapProcess倉庫計(jì)算調(diào)度系統(tǒng)：

1、process平臺(tái)提供了多種組件工具，技術(shù)人員可以根據(jù)業(yè)務(wù)需要，按流程方式組織計(jì)算任務(wù)，設(shè)置調(diào)度方式，報(bào)警方式。2、可以新建計(jì)算任務(wù)流程、查詢流程、停用、啟用、導(dǎo)出流程。3、流程定義完成后，可以查詢流程的運(yùn)行情況，并可進(jìn)行補(bǔ)跑等操作。4、可根據(jù)業(yè)務(wù)需求，在此系統(tǒng)中管理監(jiān)控規(guī)則，如果執(zhí)行情況滿足條件，則根據(jù)預(yù)警設(shè)置的方式，以短信或郵件的形式進(jìn)行通知。5、可以在此系統(tǒng)中查看流程每天運(yùn)行時(shí)間點(diǎn)分布圖，觀察同一時(shí)間段流程運(yùn)行密集度。Leap-Process-3.0.1storm實(shí)時(shí)流數(shù)據(jù)處理引擎storm-0.10.0Solr自由文本、模糊配對(duì)以及多面化搜索引擎solr-4.10.3各組件清單列表（2）組件描述版本監(jiān)控告警監(jiān)視各個(gè)模塊的cpu,內(nèi)存,網(wǎng)絡(luò)等資源使用情況，當(dāng)資源占用超過設(shè)定的閾值時(shí)，向系統(tǒng)管理員和業(yè)務(wù)負(fù)責(zé)人發(fā)出警報(bào)Leap-3.0.1用戶管理管理平臺(tái)中的用戶角色，配置各個(gè)用戶的應(yīng)用訪問權(quán)限Leap-Manager-3.0.1集群管理配置集群中各個(gè)模塊的啟動(dòng)，停止，查看模塊的狀態(tài)，同時(shí)可以配置模塊的具體參數(shù)。Leap-Manager-3.0.1自動(dòng)化部署根據(jù)業(yè)務(wù)的要求，部署計(jì)算存儲(chǔ)模塊，動(dòng)態(tài)生成最優(yōu)配置Leap-Manager-3.0.1訪問控制配置各個(gè)用戶對(duì)數(shù)據(jù)訪問的權(quán)限Leap-Manager-3.0.1性能管理從業(yè)務(wù)的角度分析業(yè)務(wù)用戶的響應(yīng)時(shí)間，優(yōu)化數(shù)據(jù)業(yè)務(wù)過程Leap-Manager-3.0.1容災(zāi)管理當(dāng)機(jī)器出現(xiàn)故障的時(shí)候，模塊系統(tǒng)自動(dòng)切換到備份的機(jī)器Leap-Manager-3.0.1智能運(yùn)維智能優(yōu)化模塊部署，配置參數(shù)，優(yōu)化系統(tǒng)運(yùn)行情況Leap-Manager-3.0.1特性說明全源數(shù)據(jù)整合能力，快速匯聚各類數(shù)據(jù)一站式大數(shù)據(jù)開發(fā)應(yīng)用環(huán)境，快速構(gòu)建分析應(yīng)用高性能數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，快速處理與分析數(shù)據(jù)深度分析引擎，挖掘數(shù)據(jù)價(jià)值全球超大規(guī)模實(shí)踐，驗(yàn)證系統(tǒng)高可靠性自動(dòng)化智能運(yùn)維，易用易管理010203040506特性1：全源數(shù)據(jù)整合能力，快速匯聚各類數(shù)據(jù)通過統(tǒng)一的數(shù)據(jù)采集轉(zhuǎn)換套件，可降低多套采集系統(tǒng)運(yùn)維的復(fù)雜度，實(shí)現(xiàn)數(shù)據(jù)采集的統(tǒng)一調(diào)度。通過圖形化的配置監(jiān)控界面，快速完成各類采集規(guī)則的配置和發(fā)布。同時(shí)結(jié)合多樣化的數(shù)據(jù)采集能力，對(duì)各類表、文件、消息等多種數(shù)據(jù)的實(shí)時(shí)采集和批量采集。與第三方組件良好的集成硬件線性擴(kuò)展及功能橫向擴(kuò)展多樣化的數(shù)據(jù)采集便捷的圖形化操作跨系統(tǒng)、跨平臺(tái)的統(tǒng)一調(diào)度數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)倉庫數(shù)據(jù)倉庫本地文件MySQLexcel文件OracleSAP阿里云／Amazon實(shí)時(shí)數(shù)據(jù)企業(yè)大數(shù)據(jù)平臺(tái)支持的數(shù)據(jù)源：IBMDB2OracleInformixMySQLSAPERPSystemMSAccessSybaseMSSQLServerPostgreSQLTeradataSQLiteHadoopHive2AS/400MaxDBExtenDBOpenERPServerH2dBase5ApacheDerbyMonetDBFirebirdSQLOracleRDBHadoopHiveIngresBorlanInterbaseNativeMondrianGenericdatabasePaloMOLAPServerHypersonicIntersystemsCacheCalpontInfiniDBNeoviewGreenplumUniVersedatabaseImpalaKingbaseESExasol4NetezzaGuptaSQLBaseVerticaInfobrightLucidDBAliyunAmazonAWSGoogleCloudAdobeCloudFTP……SDK移動(dòng)端：AndroidSDK,iOSSDKWeb端：WebSDKPC端：WindowsSDK網(wǎng)絡(luò)數(shù)據(jù)

通過網(wǎng)絡(luò)爬蟲來獲取企業(yè)外部的相關(guān)數(shù)據(jù)視頻數(shù)據(jù)

視頻采集分析模塊，為企業(yè)提供基于視頻的數(shù)據(jù)采集多樣化的數(shù)據(jù)接入采集能力特性2：高性能數(shù)據(jù)存儲(chǔ)和計(jì)算平臺(tái)，快速處理與分析LEAP平臺(tái)集成了業(yè)界最先進(jìn)的批量、流式、實(shí)時(shí)計(jì)算技術(shù)，采用靈活、高擴(kuò)展性的數(shù)據(jù)處理架構(gòu)，支持通用X86平臺(tái)，同時(shí)面向聯(lián)想x86服務(wù)器進(jìn)行了深度集成與優(yōu)化，實(shí)現(xiàn)了超高性能的大數(shù)據(jù)分析技術(shù)平臺(tái)。設(shè)備資源統(tǒng)一管理無限的水平擴(kuò)展實(shí)時(shí)數(shù)據(jù)處理海量數(shù)據(jù)快速查詢批量數(shù)據(jù)處理海量數(shù)據(jù)存儲(chǔ)通過資源調(diào)度技術(shù)，將共享的各類計(jì)算資源按需動(dòng)態(tài)分配給不同負(fù)載的應(yīng)用。實(shí)現(xiàn)一個(gè)集群支撐多套同的應(yīng)用運(yùn)行，從而提升集、群設(shè)備資源利用率。系統(tǒng)可線性擴(kuò)充存儲(chǔ)容量或提高處理性能，只需向向集群中增加機(jī)器，無需停機(jī)。有效解決企業(yè)由于數(shù)據(jù)增長(zhǎng)導(dǎo)致的處理性能緩慢的問題。實(shí)時(shí)流處理引擎提供強(qiáng)大的流計(jì)算表達(dá)能力，可支持復(fù)雜的實(shí)時(shí)處理邏輯，滿足企業(yè)實(shí)時(shí)告警、風(fēng)險(xiǎn)控制、在線統(tǒng)計(jì)和挖掘等應(yīng)用需求。批量處理將海量結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化等多種類型數(shù)據(jù)進(jìn)行批量計(jì)算和存儲(chǔ)，實(shí)現(xiàn)對(duì)OLTP事務(wù)、全文搜索等統(tǒng)計(jì)業(yè)務(wù)的支撐。通過低成本的硬件提供高性能的數(shù)據(jù)加載、索引和查詢能力，具備對(duì)海量數(shù)據(jù)（PB級(jí)）的存儲(chǔ)，

提供毫秒級(jí)的查詢響應(yīng)能力，從而提升客戶體驗(yàn)。通過分布式文件系統(tǒng)，可將海量各類原始數(shù)據(jù)、結(jié)果數(shù)據(jù)進(jìn)行快速存儲(chǔ)。并通過自帶副本機(jī)制，完成對(duì)數(shù)據(jù)的多份備份。TPC-DS測(cè)試結(jié)果通過上述的TPC-DS測(cè)試結(jié)果可以看到，聯(lián)想的交互式分析引擎即便對(duì)于大數(shù)據(jù)集的查詢也可以在分鐘級(jí)完成。測(cè)試結(jié)果表明：SQL兼容性方面，聯(lián)想大數(shù)據(jù)平臺(tái)已兼容TPC-DS99中的89條，處較高的水平(Spark1.6.1支持40條，Hive1.2.1支持45條)；測(cè)試環(huán)境名稱SQL兼容性測(cè)試操作系統(tǒng)CentOS6.5LinuxKernel版本號(hào)2.6.32-431HADOOP軟件廠商聯(lián)想LEAP硬件設(shè)備配置2CPU/128GRAM/17TBHD/萬兆網(wǎng)卡設(shè)備數(shù)量10臺(tái)SQL特征查詢數(shù)量子表達(dá)式31關(guān)聯(lián)的子查詢15不相互關(guān)聯(lián)的子查詢76Groupby78Orderby64Rollup9Partition11Exists5Union17Intersect2Minus1Case24Having5LEAP-Process一站式的大數(shù)據(jù)開發(fā)環(huán)境數(shù)據(jù)字典處理LEAP-SQL通過Matrix，進(jìn)行元數(shù)據(jù)和數(shù)據(jù)字典管理通過LEAP-SQL，實(shí)現(xiàn)幾秒鐘從巨量的數(shù)據(jù)倉庫中找到需要的分析結(jié)果通過LEAP-Process，執(zhí)行復(fù)雜的數(shù)據(jù)計(jì)算流程，生成定制化的報(bào)表通過可視化工具，構(gòu)建快速的商業(yè)智能分析平臺(tái)，構(gòu)建酷炫的可視化能力通過Sense，無需了解復(fù)雜的分析算法，即可進(jìn)行深度的數(shù)據(jù)分析和挖掘通過DataHub,簡(jiǎn)化原有數(shù)據(jù)庫系統(tǒng)遷移到大數(shù)據(jù)平臺(tái)特性3：一站式的大數(shù)據(jù)開發(fā)應(yīng)用環(huán)境，快速構(gòu)建分析應(yīng)用

2016LenovoInternal.Allrightsreserved.計(jì)算任務(wù)管理支持4類流程節(jié)點(diǎn)支持11種計(jì)算任務(wù)計(jì)算任務(wù)(Task)數(shù)據(jù)計(jì)算流程定義計(jì)算流程屬性流程調(diào)度參數(shù)設(shè)置流程故障報(bào)警runtime環(huán)境變量傻瓜式分布式計(jì)算開發(fā)；可視化流程定制；抽象多種大數(shù)據(jù)計(jì)算組件；計(jì)算任務(wù)監(jiān)控、預(yù)警；示例：高效的圖形化數(shù)據(jù)處理工作流配置

23ARIMA模型2016LenovoInternal.Allrightsreserved.特性4：深度數(shù)據(jù)分析引擎，挖掘數(shù)據(jù)價(jià)值

24Cyberport-HK

VirginiaCalliforlia

ChicagoFrankfurtSingaporeIDC,CNC-BJEssen,Ger2012/Q12015/Q42013/Q1BJ:2010/Q12013/Q22015/Q22016/Q32015/Q3IDC,TIS-TJTJ:2013/Q3總?cè)萘?2PB數(shù)據(jù)總量9PB日新增數(shù)據(jù)30TB日處理數(shù)據(jù)4.3PB全球化多中心部署，2000臺(tái)服務(wù)器，3000名操作用戶在實(shí)踐中充分驗(yàn)證系統(tǒng)的高可靠性企業(yè)數(shù)據(jù)本地化收集和存儲(chǔ)完全合規(guī)各國(guó)數(shù)據(jù)保護(hù)和隱私保護(hù)法律特性5：全球超大規(guī)模實(shí)踐，驗(yàn)證系統(tǒng)高可靠性特性6：自動(dòng)化智能運(yùn)維，易用易管理提供全面豐富的平臺(tái)運(yùn)維功能，各類性能指標(biāo)和功能故障監(jiān)控功能，結(jié)合運(yùn)維知識(shí)庫，利用自動(dòng)化策略，實(shí)現(xiàn)平臺(tái)的智能運(yùn)維。各類監(jiān)控管理---指標(biāo)監(jiān)控平臺(tái)提供集中監(jiān)控管理平臺(tái)，豐富的監(jiān)控管理指標(biāo)體系使使用者可以直觀便捷的掌握平臺(tái)信息。自動(dòng)化部署支持Web圖像化界面和快速向?qū)?，幫助用戶短時(shí)間內(nèi)部署一個(gè)或者多個(gè)集群，大大減輕工作量。自動(dòng)部署服務(wù)大數(shù)據(jù)平臺(tái)的部署形態(tài)大數(shù)據(jù)平臺(tái)數(shù)據(jù)倉庫DW數(shù)據(jù)倉庫DW大數(shù)據(jù)平臺(tái)企業(yè)級(jí)大數(shù)據(jù)中心數(shù)據(jù)倉庫傳統(tǒng)分析應(yīng)用新型探索分析其他數(shù)據(jù)傳統(tǒng)分析應(yīng)用新型探索分析/傳統(tǒng)分析應(yīng)用大數(shù)據(jù)平臺(tái)定位：是數(shù)據(jù)倉庫平臺(tái)的一個(gè)補(bǔ)充系統(tǒng)，主要面向新型數(shù)據(jù)和部分倉庫數(shù)據(jù)的存儲(chǔ)和處理，通過數(shù)據(jù)挖掘算法等，發(fā)現(xiàn)隱性的數(shù)據(jù)規(guī)律和價(jià)值。小：系統(tǒng)規(guī)模小，使用人員少（以專業(yè)研究分析人員為主）快：針對(duì)特定專題快速分析；支持實(shí)時(shí)處理和分析靈：專用平臺(tái)，靈活響應(yīng)和嘗試深：專業(yè)深挖，挖掘算法、模式分析、圖分析、文本分析等大數(shù)據(jù)平臺(tái)定位：是數(shù)據(jù)倉庫平臺(tái)的重要并列系統(tǒng)，分擔(dān)DW系統(tǒng)的存儲(chǔ)和計(jì)算壓力，提高處理效率、降低成本傳統(tǒng)應(yīng)用逐漸遷移到大數(shù)據(jù)平臺(tái)通過數(shù)據(jù)挖掘算法等，發(fā)現(xiàn)隱性的數(shù)據(jù)規(guī)律和價(jià)值。地位重要，承載的作用更大支持新型分析方法和傳統(tǒng)應(yīng)用系統(tǒng)可靠性、支撐能力要求更高數(shù)據(jù)倉庫DW的重要性下降數(shù)據(jù)遷移應(yīng)用逐步遷移特點(diǎn)：大數(shù)據(jù)平臺(tái)定位：企業(yè)級(jí)大數(shù)據(jù)中心，采集全企業(yè)層面的各類內(nèi)部數(shù)據(jù)及相關(guān)外部數(shù)據(jù)，并對(duì)這些結(jié)構(gòu)化/非結(jié)構(gòu)化海量數(shù)據(jù)進(jìn)行整合、加工、處理，完成信息的深加工，逐步形成數(shù)據(jù)資產(chǎn)，為公司進(jìn)行企業(yè)決策管理和生產(chǎn)一線的營(yíng)銷服務(wù)等工作提供完整、及時(shí)、準(zhǔn)確、科學(xué)的信息支撐。特點(diǎn)：傳統(tǒng)分析應(yīng)用/新型探索分析專業(yè)探索分析集市混搭雙中心企業(yè)級(jí)大數(shù)據(jù)中心一個(gè)中心承載各類數(shù)據(jù)，進(jìn)行各類分析應(yīng)用，服務(wù)企業(yè)內(nèi)外部各類用戶系統(tǒng)可靠性、系統(tǒng)穩(wěn)定性、系統(tǒng)開放性、支撐能力要求很高特點(diǎn)：HBase查詢性能最好，在清單查詢等典型場(chǎng)景中優(yōu)勢(shì)明顯Hadoop的數(shù)據(jù)處理性能最優(yōu)，與客戶的典型應(yīng)用場(chǎng)景最匹配面向未來的復(fù)雜計(jì)算條件下在計(jì)算資源緊張的大壓力條件下查詢性能數(shù)據(jù)處理性能復(fù)雜計(jì)算抗壓能力基礎(chǔ)功能Hadoop平臺(tái)功能性最為完善，超過其他友商等聯(lián)想VS友商附表.某制造行業(yè)客戶組織Hadoop平臺(tái)各廠商測(cè)試詳細(xì)結(jié)果廠商功能得分Hbase查詢兩文件關(guān)聯(lián)五文件關(guān)聯(lián)匯總壓力主索引查詢26Ggz包含踢重、上傳26Ggz包含上傳47Ggz包含上傳大文件加載聯(lián)想8624.9”28'1115'0450'3758'56XXX8139”47'4131'2858'4969’XXX8529”32'17'1261'0461'06聯(lián)想與其它HDADOOP廠商的測(cè)試數(shù)據(jù)對(duì)比

LEAP同業(yè)對(duì)標(biāo)LEAP可靠性安全性易用性易管理性可持續(xù)性300+核心研發(fā)團(tuán)隊(duì)全球技術(shù)共享根植Apache社區(qū)，回饋社區(qū)組件迭代周期平均1個(gè)月100+研發(fā)團(tuán)隊(duì)封閉內(nèi)核組件迭代周期平均3個(gè)月無固定人員投入基于Apache社區(qū)無固定組件迭代周期導(dǎo)向式部署，一鍵式升級(jí)圖形化管理與監(jiān)控，提供優(yōu)化建議豐富的調(diào)優(yōu)參數(shù)配置集成部署環(huán)境，手工升級(jí)圖形化管理界面提供調(diào)優(yōu)參數(shù)手工部署與升級(jí)無圖形化管理界面人工配置調(diào)優(yōu)基于知識(shí)庫的開發(fā)助手豐富的開發(fā)組件庫基于機(jī)器學(xué)習(xí)的平臺(tái)知識(shí)庫開發(fā)文檔部分代碼樣例無知識(shí)庫開發(fā)文檔無開發(fā)代碼或樣例無知識(shí)庫統(tǒng)一集中的用戶賬戶管理限制匿名訪問HDFS數(shù)據(jù)加密存儲(chǔ)集中用戶賬戶管理限制匿名訪問HDFS數(shù)據(jù)加密存儲(chǔ)分散用戶賬戶管理原生無限制匿名訪問無知識(shí)庫統(tǒng)一監(jiān)控，故障及時(shí)拉起全部組件支持HA支持熱切換，對(duì)業(yè)務(wù)與數(shù)據(jù)影響為零統(tǒng)一監(jiān)控，故障及時(shí)拉起部分組件支持HA支持熱切換，運(yùn)行任務(wù)需中斷重跑原生態(tài)分布式，被動(dòng)拉起部分組件支持HA不支持熱切換某產(chǎn)品化方案開源方案目錄312016LenovoInternal.Allrightsreserved.01聯(lián)想大數(shù)據(jù)概述02聯(lián)想大數(shù)據(jù)平臺(tái)-LEAP03行業(yè)大數(shù)據(jù)解決方案制造業(yè)政府及公共事業(yè)現(xiàn)代化的制造生產(chǎn)線安裝有數(shù)以千計(jì)的小型傳感器，來探測(cè)溫度、壓力、熱能、振動(dòng)和噪聲。利用大數(shù)據(jù)將所有信息收集分析，對(duì)生產(chǎn)計(jì)劃進(jìn)行實(shí)時(shí)調(diào)整與預(yù)測(cè)。交通運(yùn)輸業(yè)交通運(yùn)輸每時(shí)每刻都產(chǎn)生大量的數(shù)據(jù)。利用大數(shù)據(jù)的海量處理和分析能力，為交通運(yùn)輸行業(yè)的決策和服務(wù)帶來新的解決思路。能源行業(yè)通過運(yùn)用大數(shù)據(jù)，及時(shí)呈現(xiàn)能源使用情況，發(fā)現(xiàn)低效與浪費(fèi)，并提出優(yōu)化建議，幫助合理規(guī)劃能源的生產(chǎn)和使用，從而為全社會(huì)的綠色節(jié)能開拓新領(lǐng)域。零售業(yè)醫(yī)療行業(yè)通過大數(shù)據(jù)分析的公共衛(wèi)生數(shù)據(jù)，提高疾病預(yù)報(bào)和預(yù)警能力。整合基礎(chǔ)健康相關(guān)數(shù)據(jù)，提高危機(jī)探測(cè)能力。金融行業(yè)運(yùn)用大數(shù)據(jù)技術(shù)對(duì)交易信息、調(diào)查報(bào)告、業(yè)績(jī)報(bào)告及消費(fèi)者研究信息等數(shù)據(jù)的分析，可實(shí)現(xiàn)精準(zhǔn)的營(yíng)銷、風(fēng)險(xiǎn)的管控、精細(xì)化的管理。同時(shí)帶來金融服務(wù)和產(chǎn)品的創(chuàng)新。通用行業(yè)通過大數(shù)據(jù)實(shí)現(xiàn)對(duì)各類網(wǎng)絡(luò)海量信息的爬取、分析及管理。隨著供應(yīng)鏈越來越復(fù)雜，通過大數(shù)據(jù)分析可為供應(yīng)鏈提供精準(zhǔn)的需求預(yù)測(cè)、敏捷的資源獲取、優(yōu)化的庫存等多方面能力。零售業(yè)通過整合各類消費(fèi)數(shù)據(jù)，利用大數(shù)據(jù)分析各類顧客的消費(fèi)行為，商品間的銷售關(guān)聯(lián)性，以快速精確支持營(yíng)銷。政府通過運(yùn)用大數(shù)據(jù)，將多渠道的數(shù)據(jù)采集和快速綜合的處理分析，可提升治理社會(huì)的能力，實(shí)現(xiàn)政府公共服務(wù)的管理創(chuàng)新和服務(wù)模式創(chuàng)新。聯(lián)想大數(shù)據(jù)在行業(yè)中的應(yīng)用移動(dòng)設(shè)備PC智能硬件企業(yè)數(shù)據(jù)銷量數(shù)據(jù)客服數(shù)據(jù)供應(yīng)鏈數(shù)據(jù)設(shè)備數(shù)據(jù)內(nèi)部應(yīng)用應(yīng)用商店設(shè)備預(yù)裝應(yīng)用內(nèi)部網(wǎng)站外部數(shù)據(jù)社交媒體產(chǎn)品社區(qū)聯(lián)想內(nèi)部大數(shù)據(jù)分析平臺(tái)產(chǎn)品分析和優(yōu)化業(yè)務(wù)運(yùn)營(yíng)分析和優(yōu)化用戶Profile和精準(zhǔn)營(yíng)銷整合企業(yè)不同數(shù)據(jù)來源數(shù)據(jù)統(tǒng)一清洗并結(jié)構(gòu)化處理統(tǒng)一數(shù)據(jù)處理和分析統(tǒng)一數(shù)據(jù)消費(fèi)構(gòu)建商業(yè)智能統(tǒng)一數(shù)據(jù)池ExtractTransformLoad分業(yè)務(wù)數(shù)據(jù)集市數(shù)據(jù)挖掘和機(jī)器學(xué)習(xí)按需智能查詢實(shí)時(shí)計(jì)算數(shù)據(jù)可視化處理設(shè)備結(jié)構(gòu)化數(shù)據(jù)輿情結(jié)構(gòu)化數(shù)據(jù)應(yīng)用結(jié)構(gòu)化數(shù)據(jù)用戶結(jié)構(gòu)化數(shù)據(jù)企業(yè)運(yùn)營(yíng)結(jié)構(gòu)化數(shù)據(jù)聯(lián)想大數(shù)據(jù)的業(yè)務(wù)分析應(yīng)用示例應(yīng)用分析（Avatarapps）設(shè)備分析（AvatarDevice）設(shè)備激活,用戶行為跟蹤,系統(tǒng)優(yōu)化,設(shè)備畫像

應(yīng)用數(shù)據(jù)分析&服務(wù)經(jīng)營(yíng)輿情分析市場(chǎng)矩陣,渠道優(yōu)化,公眾情緒從各個(gè)評(píng)論網(wǎng)站獲取手機(jī)的評(píng)價(jià)正向評(píng)價(jià)/反向評(píng)價(jià)服務(wù)效率(Service)客服中心優(yōu)化,部件預(yù)測(cè)優(yōu)化,新產(chǎn)品引進(jìn)優(yōu)化手機(jī)市場(chǎng)分析(Accelerator)從手機(jī)出貨到渠道-》渠道到客戶-》客戶開機(jī)激活的監(jiān)控店面熱力圖基于店面camera采集數(shù)據(jù)，分析店面布局、客流量、客戶對(duì)產(chǎn)品的關(guān)注度手機(jī)質(zhì)量管理（MQM）設(shè)備質(zhì)量預(yù)警，備件預(yù)測(cè)用戶洞察用戶畫像,設(shè)備畫像,聯(lián)想分析,用戶反饋?2016Lenovo.Allrightsreserved.全生命周期的數(shù)據(jù)分析和產(chǎn)品管理工廠出貨銷售渠道銷售中間商出售用戶使用用戶服務(wù)營(yíng)銷銷量分析營(yíng)銷管理訂單管理社交媒體生產(chǎn)過程供應(yīng)鏈管理新品上線產(chǎn)品質(zhì)量物流運(yùn)輸管理貨品調(diào)配管理渠道銷量管理渠道庫存管理合作伙伴管理銷售過程分析經(jīng)銷商關(guān)系管理經(jīng)銷商庫存分析用戶激活網(wǎng)點(diǎn)備貨設(shè)備使用用戶反饋用戶畫像社交網(wǎng)絡(luò)產(chǎn)品保修客戶服務(wù)呼叫中心聯(lián)想大數(shù)據(jù)支持全集團(tuán)業(yè)務(wù)的生命周期管理優(yōu)化

聯(lián)想大數(shù)據(jù)在銀行與金融行業(yè)的解決方案36

數(shù)據(jù)產(chǎn)生層電子銀行核心業(yè)務(wù)個(gè)貸系統(tǒng)CRM系統(tǒng)企業(yè)內(nèi)外部半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)數(shù)據(jù)管控層流程調(diào)度層

數(shù)據(jù)交換層實(shí)時(shí)數(shù)據(jù)流結(jié)構(gòu)化數(shù)據(jù)交換非結(jié)構(gòu)化數(shù)據(jù)交換數(shù)據(jù)存儲(chǔ)計(jì)算層歷史歸檔數(shù)據(jù)區(qū)實(shí)時(shí)數(shù)據(jù)區(qū)沙盤演練數(shù)據(jù)區(qū)大數(shù)據(jù)應(yīng)用數(shù)據(jù)應(yīng)用層交易行為變化數(shù)據(jù)賬戶動(dòng)態(tài)實(shí)時(shí)數(shù)據(jù)……全量數(shù)據(jù)區(qū)主題數(shù)據(jù)區(qū)管理分析數(shù)據(jù)區(qū)客戶管理運(yùn)營(yíng)管理營(yíng)銷管理客戶管理……明細(xì)區(qū)匯總區(qū)運(yùn)營(yíng)風(fēng)控營(yíng)銷……用戶主題賬戶主題產(chǎn)品主題……結(jié)構(gòu)化數(shù)據(jù)區(qū)大數(shù)據(jù)存儲(chǔ)層社交媒體用戶評(píng)價(jià)訪問日志移動(dòng)互聯(lián)音頻視頻沙盤演練應(yīng)用歷史查詢應(yīng)用精準(zhǔn)營(yíng)銷個(gè)性推薦市場(chǎng)監(jiān)控反欺詐運(yùn)營(yíng)優(yōu)化輿情監(jiān)控智能客戶服務(wù)風(fēng)險(xiǎn)防范支持用戶訪問層運(yùn)維人員業(yè)務(wù)人員運(yùn)維人員運(yùn)維人員數(shù)據(jù)科學(xué)家銀行大數(shù)據(jù)應(yīng)用實(shí)踐37

更好地了解客戶，制定有針對(duì)性的行動(dòng)方案?jìng)€(gè)性化定價(jià)和交叉銷售客戶細(xì)分客戶流失預(yù)測(cè)智能渠道管控第三方增值服務(wù)服務(wù)品質(zhì)提升，客戶黏性增強(qiáng)海量實(shí)時(shí)商業(yè)咨詢與情報(bào)商業(yè)模式與資本信號(hào)識(shí)別非結(jié)構(gòu)化數(shù)據(jù)挖掘針對(duì)性定價(jià)與交叉銷售客戶細(xì)分第三方增值服務(wù)服務(wù)品質(zhì)提升，客戶黏性增強(qiáng)個(gè)性化產(chǎn)品定制針對(duì)性定價(jià)與交叉銷售客戶流失預(yù)測(cè)基于成本效益的財(cái)務(wù)建議違規(guī)預(yù)警優(yōu)化評(píng)分算法智能催收欺詐檢測(cè)異常識(shí)別風(fēng)險(xiǎn)管理零售銀行業(yè)務(wù)公司銀行業(yè)務(wù)資本銀行業(yè)務(wù)交易銀行業(yè)務(wù)資產(chǎn)管理業(yè)務(wù)財(cái)富管理業(yè)務(wù)

數(shù)據(jù)產(chǎn)生層設(shè)備數(shù)據(jù)，設(shè)計(jì)圖紙，多媒體信息，文檔資料，網(wǎng)絡(luò)輿情，地圖信息，企業(yè)內(nèi)外半結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)等ERP系統(tǒng)電控系統(tǒng)庫存系統(tǒng)設(shè)備系統(tǒng)其他企業(yè)信息系統(tǒng)

數(shù)據(jù)感知層設(shè)備數(shù)據(jù)采集整合實(shí)時(shí)數(shù)據(jù)流采集整合批量數(shù)據(jù)采集整合網(wǎng)絡(luò)爬蟲數(shù)據(jù)文件采集整合數(shù)據(jù)預(yù)處理海量系統(tǒng)數(shù)據(jù)批量文件數(shù)據(jù)互聯(lián)網(wǎng)數(shù)據(jù)&日志實(shí)時(shí)設(shè)備信息分布式存儲(chǔ)系統(tǒng)HDFSSQL引擎集成開發(fā)環(huán)境實(shí)時(shí)計(jì)算流處理消息隊(duì)列流計(jì)算引擎批處理/交互式計(jì)算引擎NoSQL數(shù)據(jù)庫內(nèi)存計(jì)算多維分析引擎統(tǒng)一資源調(diào)度管理Yarn第三方RDBMS圖計(jì)算引擎

數(shù)據(jù)計(jì)算存儲(chǔ)層海量結(jié)構(gòu)化數(shù)據(jù)海量非結(jié)構(gòu)化數(shù)據(jù)實(shí)