SAP HANA及大數(shù)據(jù)方案

1、SAP HANA及大數(shù)據(jù)方案SAP In-Memory主要內(nèi)容大數(shù)據(jù)領(lǐng)域的概況石油行業(yè)大數(shù)據(jù)方面的需求SAP大數(shù)據(jù)方案概述SAP HANA針對(duì)大數(shù)據(jù)領(lǐng)域提供的技術(shù)問(wèn)答環(huán)節(jié)SAP Big DataGartner對(duì)IT業(yè)界敏感話題研究Big Data大數(shù)據(jù)機(jī)會(huì): 將原始數(shù)據(jù)轉(zhuǎn)化為推動(dòng)大規(guī)模的商業(yè)價(jià)值的見解大數(shù)據(jù)挑戰(zhàn):通常是指來(lái)自與內(nèi)部與外部數(shù)據(jù)源的多種格式的數(shù)據(jù)，數(shù)據(jù)量一般在TB或者PB級(jí)別，這些數(shù)據(jù)產(chǎn)生的速度很快并且需要進(jìn)行復(fù)雜的分析1“大數(shù)據(jù)是指捕獲，存儲(chǔ)，管理和分析各種數(shù)據(jù)的大量的相關(guān)問(wèn)題。” 1 /Aberdeen-Library/8361/RA-big-data-quality-mana

2、gement.aspx互聯(lián)警務(wù)互聯(lián)醫(yī)療互聯(lián)城市互聯(lián)家庭互聯(lián)汽車互聯(lián)家庭SAP 大數(shù)據(jù)將觸及到生活和業(yè)務(wù)的方方面面互聯(lián)零售互聯(lián)資產(chǎn)管理響應(yīng)迅速的供應(yīng)鏈互聯(lián)物流預(yù)測(cè)性維護(hù)互聯(lián)建筑石油和天然氣領(lǐng)域的大數(shù)據(jù) 石油和天然氣信息正在迅猛增加燃料 POS 數(shù)據(jù)競(jìng)爭(zhēng)價(jià)格GPS促銷計(jì)劃速度主要趨勢(shì)生產(chǎn)數(shù)據(jù)儀表數(shù)據(jù)雇員記錄供應(yīng)商采購(gòu)訂單貿(mào)易及交易電子郵件Tweet計(jì)劃社交媒體移動(dòng)即時(shí)消息最佳渠道分類這意味著什么進(jìn)行分析以獲取洞察力大數(shù)據(jù)蘊(yùn)含1.數(shù)量3D 地震數(shù)據(jù)集、地面監(jiān)控、鉆探測(cè)量、天氣、市場(chǎng)價(jià)格等2.高速度實(shí)時(shí)流送數(shù)據(jù)的 SCADA 系統(tǒng)、鉆頭、流量和條件傳感器等。3.多樣化結(jié)構(gòu)化、非結(jié)構(gòu)化、準(zhǔn)結(jié)構(gòu)化（經(jīng)過(guò)處

3、理的）數(shù)據(jù)。一口井1 太字節(jié)(TB) 每日生產(chǎn)數(shù)據(jù)2014 年在加拿大將會(huì)鉆探 11,475 口井加拿大 石油服務(wù)協(xié)會(huì) (PSAC) 估計(jì)：每口生產(chǎn)井生成的數(shù)據(jù)量達(dá)到 Wikipedia 每周的全部文本數(shù)據(jù)參考來(lái)源在此。/SAPanalytics/drilling-for-data-analytics-to-extract-insight-infographic融合一切的單一平臺(tái)內(nèi)存業(yè)務(wù)交易數(shù)字連接協(xié)作業(yè)務(wù)云社交大數(shù)據(jù)移動(dòng)高級(jí)分析實(shí)時(shí)石油和天然氣的下一代業(yè)務(wù)平臺(tái)通過(guò)來(lái)自 SAP 的大數(shù)據(jù)解決方案把握石油和天然氣行業(yè)的機(jī)遇基于HANA的SAP大數(shù)據(jù)平臺(tái)覆蓋內(nèi)容從機(jī)器、資產(chǎn)和設(shè)備的角度提供了更實(shí)時(shí)

4、的決策、分析預(yù)測(cè)和更高的操作性能機(jī)器數(shù)據(jù)洞察力全渠道的洞察力傳感器M2M移動(dòng)設(shè)備IoT資產(chǎn)流程非結(jié)構(gòu)化數(shù)據(jù)多媒體數(shù)據(jù)實(shí)時(shí)地理數(shù)據(jù)富格式數(shù)據(jù)企業(yè)數(shù)據(jù)社交數(shù)據(jù)從海量和多種形態(tài)數(shù)據(jù)進(jìn)行實(shí)時(shí)分析和可操作的情報(bào)提供了洞察力大數(shù)據(jù) 機(jī)器數(shù)據(jù)洞察從物理資產(chǎn)的詳細(xì)數(shù)據(jù)中提供洞察力實(shí)時(shí)地集成與互聯(lián)根據(jù)條件與環(huán)境進(jìn)行預(yù)測(cè)并采取措施低成本新增并改進(jìn)服務(wù)新業(yè)務(wù)模型預(yù)測(cè)性維護(hù)位置信息服務(wù)遠(yuǎn)程資產(chǎn)管理分布式流程監(jiān)控大數(shù)據(jù) 多渠道的數(shù)據(jù)洞察非結(jié)構(gòu)化數(shù)據(jù)的洞察力與分析模擬預(yù)測(cè)性能優(yōu)化從多個(gè)數(shù)據(jù)源與多種類型中獲取洞察力集成和整合企業(yè)的實(shí)時(shí)數(shù)據(jù)為了獲取更加的洞察力與性能而進(jìn)行的優(yōu)化最大限度地提高業(yè)務(wù)與IT優(yōu)勢(shì)優(yōu)化組織績(jī)效提高銷售

5、業(yè)績(jī)/提升服務(wù)質(zhì)量SAP大數(shù)據(jù)方案概覽使客戶完成實(shí)時(shí)的商業(yè)決策14大數(shù)據(jù)平臺(tái)內(nèi)存計(jì)算平臺(tái)分析型數(shù)據(jù)庫(kù)Hadoop流式數(shù)據(jù)處理Data Services加快你獲取、分析大數(shù)據(jù)洞察并能快速地采取行動(dòng)大數(shù)據(jù)分析預(yù)測(cè)分析可視化文本分析商務(wù)智能在企業(yè)內(nèi)部全面釋放大數(shù)據(jù)的能力大數(shù)據(jù)應(yīng)用大數(shù)據(jù)應(yīng)用自開發(fā)應(yīng)用采用新的商業(yè)模式，提供大數(shù)據(jù)應(yīng)用的見解大數(shù)據(jù)服務(wù)端到端方案：探索、規(guī)劃、實(shí)現(xiàn)、運(yùn)行數(shù)據(jù)科學(xué)專家：更全面規(guī)劃您的企業(yè)需求實(shí)現(xiàn)從大數(shù)據(jù)計(jì)劃實(shí)際成果與應(yīng)用科學(xué)的數(shù)據(jù)為您的企業(yè)服務(wù)平臺(tái) + 工具 數(shù)據(jù)的提取與分析專家 從多年的行業(yè)經(jīng)驗(yàn)中細(xì)化數(shù)據(jù)需求應(yīng)用 將洞察力融入每個(gè)人與業(yè)務(wù)流程SAP HANA品牌情感:-)預(yù)

6、測(cè)性維護(hù)網(wǎng)絡(luò)優(yōu)化內(nèi)部威脅探測(cè)實(shí)時(shí)風(fēng)險(xiǎn)管理資產(chǎn)追蹤360度客戶視圖客戶流失個(gè)性化關(guān)懷產(chǎn)品建議實(shí)時(shí)需求供應(yīng)預(yù)測(cè)欺詐監(jiān)測(cè)利用大數(shù)據(jù)來(lái)驅(qū)動(dòng)業(yè)務(wù)更深入地了解客戶的需求SAP HANA平臺(tái)為預(yù)測(cè)分析、規(guī)劃、文本處理和商業(yè)分析提供各種庫(kù)，使得這些業(yè)務(wù)可以達(dá)到實(shí)時(shí)的操作任何應(yīng)用任何應(yīng)用服務(wù)器SAP商務(wù)套件 BW ABAP應(yīng)用服務(wù)器JSONROpen ConnectivityMDXSQLSAP HANA平臺(tái)統(tǒng)一管理生命周期管理安全擴(kuò)展應(yīng)用服務(wù)數(shù)據(jù)集成服務(wù)Deployment:數(shù)據(jù)庫(kù)服務(wù)應(yīng)用程序開發(fā)流程編排OLTP | OLAP | 搜索 | 文本分析 | 預(yù)測(cè)分析| 事件處理| 地理信息 | 規(guī)則| 計(jì)劃 處理

7、引擎應(yīng)用函數(shù)庫(kù) & 數(shù)據(jù)模型Predictive Analysis Libraries | Business Function Libraries | Data Models & Stored Procedures數(shù)據(jù)虛擬化| 復(fù)制| ETL/ELT | 移動(dòng)設(shè)備同步| 流式處理App Server| UI Integration Services | Web Server預(yù)置型 | 云部署 | 混合部署模式Supports any DeviceSAP HANA平臺(tái)涵蓋了數(shù)據(jù)庫(kù)、數(shù)據(jù)處理與應(yīng)用平臺(tái)的能力SAP HANA平臺(tái)不僅僅是數(shù)據(jù)產(chǎn)品SAP HANAIn-Memory / Text Ana

8、lysis /PredictiveSAP HANA 大數(shù)據(jù)處理平臺(tái)移動(dòng)與嵌入式高級(jí)分析HANA Extended Services (XS), Data Services, SAP ESP Information and Real-time Data Movement集成建模和元數(shù)據(jù)處理Common Data AccessBusiness WarehouseBusiness IntelligenceMobile & Embedded ERPOData, JSON, Smart Data AccessSAP ESP流式分析SAP IQ近線EDW分析應(yīng)用 / BI Lumira云應(yīng)用商務(wù)套件自開發(fā)

9、應(yīng)用 Hadoop海量數(shù)據(jù)管理集成的系統(tǒng)管理和靈活的部署模式分析應(yīng)用 / BI Lumira云應(yīng)用HTML5/UI5Fiori Apps 商務(wù)套件以HANA為核心的技術(shù)平臺(tái)集成和整合了大量大數(shù)據(jù)管理工具采用最領(lǐng)先的技術(shù)處理不同類型的數(shù)據(jù)，同時(shí)從任何其他源訪問(wèn)數(shù)據(jù). 內(nèi)存計(jì)算可提升所有數(shù)據(jù)處理的性能.SAP HANA平臺(tái)快速部署的解決方案簡(jiǎn)單SAP HANASAP HANA平臺(tái)新版本中的革新SAP HANA Platform多租戶數(shù)據(jù)容器動(dòng)態(tài)分層Smart Data Streaming圖形數(shù)據(jù)處理Smart Data Integration & QualityHadoop集成簡(jiǎn)化配置的多個(gè)數(shù)據(jù)庫(kù)

10、的部署和管理管理和分析實(shí)時(shí)的各種信息流直接訪問(wèn)Hadoop的HDFS和Map降低與HANA的UDF優(yōu)化內(nèi)存使用，擴(kuò)展對(duì)海量數(shù)據(jù)的支持集成的數(shù)據(jù)加載，轉(zhuǎn)換，清洗很容易發(fā)現(xiàn)和分析復(fù)雜的關(guān)系Series Data庫(kù)內(nèi)多形態(tài)數(shù)據(jù)存儲(chǔ)和處理能力高級(jí)分析利用新的和增強(qiáng)的高級(jí)分析功能簡(jiǎn)化配置的多個(gè)數(shù)據(jù)庫(kù)的部署和管理管理和分析實(shí)時(shí)的各種信息流直接訪問(wèn)Hadoop的HDFS和Map降低與HANA的UDF集成的數(shù)據(jù)加載，轉(zhuǎn)換，清洗很容易發(fā)現(xiàn)和分析復(fù)雜的關(guān)系庫(kù)內(nèi)多形態(tài)數(shù)據(jù)存儲(chǔ)和處理能力增強(qiáng)的數(shù)據(jù)虛擬化和訪問(wèn)功能支持新一代邏輯的企業(yè)架構(gòu) - 分析數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)源新增: SAP MaxDBSAP數(shù)據(jù)源: HANA, AS

11、E, IQ, MaxDB, ESP, SQLA數(shù)據(jù)庫(kù): Teradata, Microsoft SQLServer, Oracle, IBM DB2, IBM NetezzaHadoop: Cloudera, Hortonworks, MapR & Others效益實(shí)時(shí) 虛擬化訪問(wèn)外部數(shù)據(jù)源充分利用企業(yè)現(xiàn)有系統(tǒng)，保護(hù)投資利用HANA高級(jí)原生功能構(gòu)建應(yīng)用優(yōu)化性能 避免在內(nèi)存中存放過(guò)多數(shù)據(jù)降低開發(fā)成本 直接從數(shù)據(jù)源中獲取數(shù)據(jù)HANA創(chuàng)新智能數(shù)據(jù)訪問(wèn)(Smart Data Access)新的增強(qiáng)使Hadoop集成方式更先進(jìn)，大數(shù)據(jù)的處理手段更加豐富虛擬UDF (vUDF)為實(shí)現(xiàn)數(shù)據(jù)聯(lián)盟而設(shè)計(jì)的新的用

12、戶函數(shù)類型直接訪問(wèn)Hadoop Distributed File System (HDFS) 調(diào)用自定義的Map Reduce jobvUDF可以嵌入到SQL中使用場(chǎng)景與優(yōu)勢(shì)可以利用Hadoop集群中除HIVE和Spark之外的其它技術(shù) (e.g. Hadoop Distributed File System (HDFS) and MapReduce)即席查詢功能和非結(jié)構(gòu)化數(shù)據(jù)的處理利用vUDF用戶無(wú)需通過(guò)SDA調(diào)用HIVE轉(zhuǎn)譯SAP HANAvUDF OperatorRFC HadoopHadoopMap ReduceHDFSYARNHIVEHANA創(chuàng)新Hadoop的高級(jí)集成Merge采用H

13、ANA技術(shù)的EDW平臺(tái)簡(jiǎn)化: 消除了數(shù)據(jù)緩存和數(shù)據(jù)冗余，實(shí)現(xiàn)了實(shí)時(shí)的數(shù)據(jù)聚集計(jì)算加速: 利用內(nèi)存計(jì)算技術(shù)實(shí)現(xiàn)實(shí)時(shí)的數(shù)據(jù)訪問(wèn)預(yù)測(cè): 庫(kù)集成了預(yù)測(cè)算法和數(shù)據(jù)流傳統(tǒng)方式: OLTP 與 OLAP 相分離10:00 AM10:00 AMMultiple Data SourcesOLTP + OLAP in SAP HANA10:00:00 AM10:00:00 AMImmediateSmart Data AccessCurrent Data24hr Old DataAggregateETLMultiple Data Sources available with Live Access ETLStrea

14、msStaging DBTransactionsTransactionsStreamsETLLots of separate ETL processes!48 Hours利用HANA Live的虛擬模型在OLTP庫(kù)中直接進(jìn)行分析SAP HANASAPHANA LiveCustomersChannelSuppliersAccountingForecastingInventoryProductsPricingPlanning* SAP HANA Live is a separate package, available with SAP HANACustomer ServiceRisk Manag

15、ement TeamFinance and OperationsAccount AdministrationExecutive ManagementSAP HANA Live為用戶提供了一個(gè)通用的數(shù)據(jù)分析模型:易于業(yè)務(wù)人員理解和使用快速出具業(yè)務(wù)報(bào)表 (無(wú)時(shí)延)沒有冗余的數(shù)據(jù)易于使用和擴(kuò)展SAP大數(shù)據(jù)領(lǐng)域的部分案例Provide engagement for 380 million fans with 65 years of statistics available on website2X More time spent by fans on NBA websiteIdentify cance

16、r DNA variants for treatment216x faster results: 3 days 20 minutesPremier soccer club performs real-time spatial analysis of player movements to optimize trainingStress-tolerance for each player identified and addressed in real-timeImproved forecasting of energy load on in order to make sound invest

17、ment decisions 70% Reduction In the efforts for generation of the forecastingEnable fleets to sense deviations in tire temperature and pressure3% Cost Reduction in fuel and tire costsSupport decisions about sales campaigns, loan risks with SAP Sybase IQ - 250 analysts14 Terabytes Uncompressed dataIm

18、prove analysis and create influencer impact, crawling data form ca. 450 social media sites using SAP HANA (POC)$12M USD Revenue channel enabled by implementationUse real-time information to operate its call centers with greater productivity, a higher first-call resolution rate, and a lower cost per

19、transaction.5% Cost Reduction In total overall costReal-time decision-making and greater control of the supply chain for better inventory management50% Decrease in inventoryPulse Analytics Social Media Analytics using SAP HANA One6x faster Text analysis processingMonitor eBays marketplace through au

20、tomated signal detection powered by predictive analytics100% Accuracy that a signal is positive at 97% confidence地震數(shù)據(jù)處理和解釋挑戰(zhàn)：處理例程的操作：增強(qiáng)信號(hào)會(huì)導(dǎo)致噪音過(guò)大提供速度信息折疊衍射，將浸漬事件放到其真正的地下位置（遷移）提高分辨率解決方案詳情：震波圖分析的目的是為了將獲取的數(shù)據(jù)處理成圖片，用于推斷地下結(jié)構(gòu)。POC 探索了儀表盤和可視化展示方法的使用以定義和調(diào)整噪音參數(shù)，以便來(lái)自多個(gè)記錄點(diǎn)的多波段數(shù)據(jù)能夠在同一個(gè)視圖中顯示。然后這些數(shù)據(jù)讀取能夠與其他分析進(jìn)行比較，并進(jìn)行優(yōu)化以找出現(xiàn)有已知儲(chǔ)量和預(yù)測(cè)的未來(lái)儲(chǔ)量之間的一致性優(yōu)勢(shì)介紹： 提高對(duì)地震數(shù)據(jù)的