大數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀和最新趨勢(shì)

1、 1大數(shù)據(jù)技術(shù)的發(fā)展現(xiàn)狀和最新趨勢(shì)Hadoop的發(fā)展歷程回顧 2大數(shù)據(jù)技術(shù)的軟件棧分布式存儲(chǔ)引擎通用計(jì)算引擎資源管理框架應(yīng)用級(jí)引擎分析管理工具批處理框架 Map/Reduce2， Tez高性能處理框架 Spark向量處理框架TensorFlow短時(shí)任務(wù)資源管理框架YARN長(zhǎng)時(shí)任務(wù)資源管理框架Mesos資源隔離調(diào)度管理框架Kubernetes分布式文件系統(tǒng) HDFS分布式大表 HBase搜索引擎 Elastic Search分布式緩存 Redis消息隊(duì)列Kafka分布式協(xié)作服務(wù)Zookeeper流處理引擎 Streaming ProcessingSQL批處理 Batch Processing數(shù)據(jù)

2、挖掘機(jī)器學(xué)習(xí) 算法庫(kù)框架MachineLearning交互式分析OLAPAnalysis實(shí)時(shí)數(shù)據(jù)庫(kù) OLTPTransactionalProcessing圖分析引擎 Graph Analysis深度學(xué)習(xí) Deep Learning 3ETL數(shù)據(jù)裝載工具Workflow工作流開發(fā)工具數(shù)據(jù)質(zhì)量 管理工具可視化 報(bào)表工具機(jī)器學(xué)習(xí)建模工具統(tǒng)計(jì)挖掘 開發(fā)工具資源 管理工具分布式計(jì)算已逐漸成為主流計(jì)算方式TransactionRelational DatabaseBatchData WarehouseAnalyzeStreamingDevicesAnalyze(MapReduce)OrganizeTrad

3、itional Data AnalysisBig Data AnalysisUnstructuredClusterTest environment:29 workernodes2 CPUs, 12 Cores, E5-2620 v296GB memoryNetwork: 2 X 1GbpsDisks: 12 X 3TB 40500100015002000250030001TB10TB30TB100TB星環(huán)大數(shù)據(jù)集群已經(jīng)可以在生產(chǎn)環(huán)境中處理20PB的數(shù)據(jù)星環(huán)SQL on Hadoop已經(jīng)能夠高效處理100TB數(shù)據(jù)的復(fù)雜分析 Transwarp Inceptors PerformanceTPC-D

4、S Execution Time for 99 Queries (in minutes)數(shù)據(jù)分析算法逐漸豐富，工具普及化R和Midas中可以連接 TDH中數(shù)據(jù)表做數(shù)據(jù) 預(yù)覽可以對(duì)列做tag/feature的管理通過(guò)內(nèi)置的分布式統(tǒng) 計(jì)算法完成相關(guān)的預(yù) 處理與數(shù)據(jù)分析支持標(biāo)準(zhǔn)化，歸一化， 正則化，缺失值填充， 數(shù)據(jù)分箱等支持通過(guò)Inceptor SQL進(jìn)行數(shù)據(jù)ETL處理用戶通過(guò)GUI選擇算 法開發(fā)訓(xùn)練模型模型編譯成為DAG，由Hubble組件來(lái)調(diào)度 任務(wù)支持單機(jī)R算法和分布式算法訓(xùn)練模型導(dǎo)出模型為PMMLPMML模型可以轉(zhuǎn)換成生產(chǎn)系統(tǒng)的代碼， 部署到實(shí)際業(yè)務(wù)中Inceptor結(jié)合業(yè)務(wù)領(lǐng)域?qū)＜抑?識(shí)

5、，以及相關(guān)算法降 維，選擇特征指標(biāo)與 維度利用深度學(xué)習(xí)神經(jīng)網(wǎng) 絡(luò)算法，通過(guò)升維降 低特征工程維度選取 難度StreamDiscoverDeep Learning深度學(xué)習(xí)模型上生產(chǎn)模型訓(xùn)練RPython語(yǔ)言開發(fā)= 算法工程師，數(shù)據(jù)科學(xué)家交互式挖掘= 業(yè)務(wù)分析師，數(shù)據(jù)科學(xué)家數(shù)據(jù)預(yù)覽預(yù)處理特征工程Dimension Reduction 主成分分析Linear Regression 線性回歸 5煉化廠實(shí)時(shí)流處理技術(shù)推動(dòng)IoT數(shù)據(jù)分析能力分布式 隊(duì)列SQLaggregationmachinelearning usingjava/scala/Rbatch t+1batch t報(bào)警data mining o

6、n streams100k records/s/node 1KB/recordtranswarp streamATM現(xiàn)場(chǎng)交易POSPOS刷卡客服智能風(fēng)機(jī)光伏發(fā)電飛行參數(shù)人流信息 6Streaming processing and batch processing are unified in one programming modelSQL and its extension is the unifieddeclarative language for devicemonitoring and diagnostics.ANSI SQL 2003 and PL/SQL aresupported

7、on streaming events.Linear AlgebraMachine learningUsage cases in IoT & FS:Real-time event monitoring Real-time dashboard & statistics Real-time outlier detection Realt-ime fraud detection 7Hype Cycle for Information Infrastructure 8Hype Cycle for Advanced Analytics and Data Science后Hadoop/Spark時(shí)代的技術(shù)

8、發(fā)展趨勢(shì)RDBMSTBPBEBbatchinteractivereal-time新技術(shù)在四個(gè)維度上加速創(chuàng)新數(shù)據(jù)量Volume驅(qū)動(dòng)力來(lái)自結(jié)構(gòu)化數(shù)據(jù)的不斷增加，企業(yè)需要性價(jià) 比更高的技術(shù)方案SQL on Hadoop快速成熟，Big Data Database將替代傳 統(tǒng)relational database。傳統(tǒng)的MPP分析型數(shù)據(jù)庫(kù)將消 失。類型Variety驅(qū)動(dòng)力來(lái)自對(duì)多種數(shù)據(jù)類型數(shù)據(jù)（文本、圖片、音頻、視頻）的存儲(chǔ)和分析需求深度機(jī)器學(xué)習(xí)技術(shù)（如TensorFlow）快速發(fā)展并得到應(yīng)用，基于GPUFPGA的加速技術(shù)逐漸普及。速度從離線處理進(jìn)步到實(shí)時(shí)數(shù)據(jù)處理，特別是IoT的廣泛Velocity部

9、署，推動(dòng)了對(duì)實(shí)時(shí)計(jì)算的需求Flink，Apex，SqlStream，Internana，ParStream，Transwarp Stream等新技術(shù)，融合了批處理和流處理，提供強(qiáng)大易用的低延時(shí)實(shí)時(shí)計(jì)算能力，將逐漸取代現(xiàn)有流處理技術(shù)。價(jià)值Value從歷史統(tǒng)計(jì)發(fā)展到預(yù)測(cè)性分析。大數(shù)據(jù)的真正意義 在于從數(shù)據(jù)中發(fā)現(xiàn)價(jià)值。數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)、圖計(jì)算等產(chǎn)品和工具將日益 普及，使用門檻將極大降低，普通業(yè)務(wù)人員很快能 夠自助進(jìn)行分析建模。DiscoverInceptorTranswarp ProprietaryApache ProjectsStream流處理引擎NoSQL數(shù)據(jù)庫(kù)搜索、圖計(jì)算InceptorPL

10、/SQL批處理交互式分析資源管理 YARN(內(nèi)置Transwarp Extension)優(yōu)化存儲(chǔ) HDFS(內(nèi)置Transwarp Erasure Code)批處理Pig批處理框架MapReduce2實(shí) 時(shí) 數(shù) 據(jù) 同 步Data Alive消息隊(duì)列Kafka工作流Oozie日志采集Flume全文搜索Elastic Search數(shù)據(jù)集成SqoopTranswarp ManagerDiscoverHyperbase數(shù)據(jù)挖掘機(jī)器學(xué)習(xí)交互工具HUEGuardian安全管控協(xié)作服務(wù)Zookeeper交互分析ZeppelinHyperbaseStream 9Hadoop及其生態(tài)系統(tǒng)將重構(gòu)數(shù)據(jù)處理市場(chǎng)10bn $29bn $2bn$Data Warehouse PlatformDatabase SoftwareExtraction ToolsDWGenerationDWManagementOLTP DBMS/NoSQLETL ToolsOLAP DBMSData AnalyticsBI / Visualizatio n ToolsForecast(IDC)12bn $“Big Data” Predictive Real-time Vertical