POWER大數(shù)據(jù)解決方案房樹(shù)新

大數(shù)據(jù)處理方案交流房樹(shù)新國(guó)際商業(yè)機(jī)器〔中國(guó)〕Agenda從傳統(tǒng)架構(gòu)到大數(shù)據(jù)架構(gòu)的轉(zhuǎn)變幾種典型方案引見(jiàn)大數(shù)據(jù)案例分享企業(yè)級(jí)市場(chǎng)的大數(shù)據(jù)運(yùn)用時(shí)機(jī)KeyIndustryOpportunityandTrendsTelecom,BankingandGovernmentcontributethelargestincrementalBigData&Analyticsmarketsizefrom2021to2021inGCGMorerationalthanlastyear,notonlyfocusingonHadoopplatformTelecom,Banking,Gov’tsectorswillhavemoredemandsforadvancedBD&AsolutionsHelpcustomersbegintheirBigDataJourneyBigdataasservicesbegantoemergeinthemarket如何著手思索大數(shù)據(jù)——五個(gè)建議海量數(shù)據(jù)的處置方案三種分析與計(jì)算方式的整合傳統(tǒng)分析方法和大數(shù)據(jù)分析方法的整合銀行與金融市場(chǎng)行業(yè)的大數(shù)據(jù)的部分場(chǎng)景從傳統(tǒng)數(shù)據(jù)處置到大數(shù)據(jù)，技術(shù)的變革SQL事務(wù)分析事務(wù)OldSQL分析NewSQL互聯(lián)網(wǎng)NoSQL傳統(tǒng)時(shí)代數(shù)據(jù)處置一種架構(gòu)支持多類運(yùn)用(OneSizeFitsAll〕大數(shù)據(jù)時(shí)代數(shù)據(jù)處置多種架構(gòu)支持多類運(yùn)用架構(gòu)多元化傳統(tǒng)數(shù)據(jù)庫(kù)的根本架構(gòu)是30年前以事務(wù)處置為主要運(yùn)用設(shè)計(jì)的。大數(shù)據(jù)時(shí)代應(yīng)采用新的技術(shù)架構(gòu)。行業(yè)的技術(shù)大思緒應(yīng)該由“一種架構(gòu)支持一切運(yùn)用〞轉(zhuǎn)變成“多種架構(gòu)支持多類運(yùn)用〞。數(shù)據(jù)庫(kù)行業(yè)出現(xiàn)三個(gè)互為補(bǔ)充的三大陣營(yíng)，OldSQL、NewSQL和NoSQL。從傳統(tǒng)數(shù)據(jù)處置到大數(shù)據(jù)，技術(shù)的變革數(shù)據(jù)管理才干TBPBEB數(shù)據(jù)價(jià)值密度/實(shí)時(shí)性高低OldSQLNewSQLNoSQL流計(jì)算/內(nèi)存計(jì)算Stream/Storm/Spark內(nèi)存關(guān)系數(shù)據(jù)庫(kù)TimesTen/Altibase內(nèi)存KV數(shù)據(jù)庫(kù)Memcache/Redis內(nèi)存數(shù)據(jù)分析DB2BLU/HANA海量數(shù)據(jù)批處置HadoopM-R/Spark海量數(shù)據(jù)管理MongoDB/SequoiaDB/Impala/HBase數(shù)據(jù)倉(cāng)庫(kù)/MPPDB2DPF/GreenPlum/GBase傳統(tǒng)事務(wù)處置Oracle/DB2/SQLServer大數(shù)據(jù)計(jì)算需求什么樣的硬件平臺(tái)？OLAPDWBigDataSQLNoSQLNewSQLRDBMSHadoopSpark批處置交互分析流計(jì)算更大容量更低本錢更快的處置速度支持多樣化的計(jì)算類型橫向擴(kuò)展的才干更大更多的磁盤更少機(jī)器更少空間和耗電更低的造價(jià)游戲Map-ReduceHPC圖像渲染云存儲(chǔ)工業(yè)仿真計(jì)算密集消重/歸檔風(fēng)險(xiǎn)分析IO密集流計(jì)算實(shí)時(shí)分析/交互分析更快的CPU更多的線程并行更大的內(nèi)存容量和帶寬更大的IO帶寬Flash加速大數(shù)據(jù)處置技術(shù)的開(kāi)展，對(duì)硬件提出了更高的要求…靈敏的硬件配比支持從計(jì)算密集到IO密集多種計(jì)算類型靈敏定制硬件創(chuàng)新，CPU、GPU和混合計(jì)算多種計(jì)算負(fù)載的混合調(diào)度PowerLinux與Software兼容需求軟件軟件產(chǎn)品軟件類別商業(yè)運(yùn)營(yíng)公司應(yīng)用客戶操作系統(tǒng)Redhat/Suse/Ubuntucentos紅旗Linux中標(biāo)麒麟OSLinux-likeLinux-likeLinux-likeBSDRedhat/Noval/Canonical普華基礎(chǔ)軟件/中移蘇研紅旗Linux公司中標(biāo)軟件……中移動(dòng)政府政府?dāng)?shù)據(jù)庫(kù)KingbaseESGBase達(dá)夢(mèng)DMMongoDB*Memcache/RedisSequoiaDBMPP內(nèi)存數(shù)據(jù)倉(cāng)庫(kù)MariaDBPostgresQLXC/XLMySQLHBaseFastDBOLTPMPP-OLAPOLTP文檔數(shù)據(jù)庫(kù)K-V文檔數(shù)據(jù)庫(kù)MPP-OLAPOLTPRDB-OLTPOLTPKV-列InmemoryDB人大金倉(cāng)（普華控股）天津南大通用武漢達(dá)夢(mèng)MongoDBNA廣州巨杉公司威訊柏睿（北京）NA亞信/中移蘇研OracleNANA政府運(yùn)營(yíng)商/政府國(guó)網(wǎng)…………OTT/銀行/運(yùn)營(yíng)商金融證券OTT運(yùn)營(yíng)商OTT/運(yùn)營(yíng)商…………PowerLinux與Software兼容需求軟件軟件產(chǎn)品軟件類別商業(yè)運(yùn)營(yíng)公司應(yīng)用客戶中間件BESApacheTomcatNginxRabbitMQApacheActiveMQLinuxvirtualserverJavaEEWeb

serviceHTTPserverMessageQMessageQLoadBalance寶蘭德NANANANANA運(yùn)營(yíng)商……………………OTT大數(shù)據(jù)ApacheHadoopCDHHadoop*HDPHadoopTDPHadoopBC-HadoopHuaweiHadoopElasticSearch/LuceneFlumeKafkaStormHadoopHadoopHadoopHadoopHadoopHadoop搜索引擎日志采集日志采集流計(jì)算NACloudera/IntelHortonworks星環(huán)科技華為中移蘇研NAClouderaNANA……最多較多較少部分較少較多較多較多部分Linux社區(qū)奉獻(xiàn)排名公司第2，主流Linux發(fā)行版均有Power優(yōu)化版本，Power支持KVM虛擬化。IBMPower與開(kāi)源的協(xié)作白金資助商，19個(gè)中心奉獻(xiàn)者，奉獻(xiàn)排名第2，超越100個(gè)活潑開(kāi)發(fā)者。IBM根底架構(gòu)云全面以O(shè)penStack為中心。投入10億美金開(kāi)展Linux及相關(guān)開(kāi)源技術(shù)。IBM發(fā)起創(chuàng)建軟件定義網(wǎng)絡(luò)開(kāi)源聯(lián)盟Hadoop社區(qū)主要奉獻(xiàn)者，提供Hadoop發(fā)行版，發(fā)起成立ODP，提供Hadoop加強(qiáng)方案。IBM與國(guó)內(nèi)實(shí)力最強(qiáng)的星環(huán)、亞信，巨杉等新技術(shù)公司協(xié)作，開(kāi)發(fā)Power優(yōu)化的Hadoop版本和NewSQL數(shù)據(jù)庫(kù)，與國(guó)內(nèi)公司一同拓展開(kāi)源商業(yè)生態(tài)系統(tǒng)。IBM與Redis協(xié)作，基于IBMCAPICPU硬件加速技術(shù)，建立創(chuàng)新的Redis方案。IBM和Docker宣布建立戰(zhàn)略同伴關(guān)系，提供基于Power的Docker優(yōu)化版本。Power+PostgreSQL提供分布式事務(wù)處置數(shù)據(jù)庫(kù)優(yōu)化方案Power+HBase：大數(shù)據(jù)快速存儲(chǔ)查詢方案〔磁盤KV數(shù)據(jù)庫(kù)〕磁盤KV型數(shù)據(jù)庫(kù)，如〔Hbase/Cassandra/Hypertable/Accumulo等〕，可以很好地實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的實(shí)時(shí)讀寫訪問(wèn)，實(shí)時(shí)數(shù)據(jù)存儲(chǔ)管理和實(shí)時(shí)簡(jiǎn)單查詢。其目的是存儲(chǔ)并處置大型的數(shù)據(jù)，是一個(gè)分布式的，多版本的，面向列的存儲(chǔ)模型，存儲(chǔ)的是松散型數(shù)據(jù)。--高可靠性--高效性--面向列--可伸縮IBMPower針對(duì)Hbase進(jìn)展優(yōu)化，提供更好地性能和平安性。目前已有多個(gè)基于Power的Hbase工程正在或曾經(jīng)交付。Power不僅能為開(kāi)源Hbase提供更高運(yùn)轉(zhuǎn)性能，還能運(yùn)用IBMSymphony軟件對(duì)Hbase義務(wù)進(jìn)展調(diào)度，進(jìn)一步提高加載查詢環(huán)節(jié)的性能表現(xiàn)。WhyPower?--Power硬件在多線程，內(nèi)存通道和IO帶寬方面有更好的性能，并有更高的可靠性--HBase在Powerlinux上有更好的性能適用場(chǎng)景：海量構(gòu)造化數(shù)據(jù)的快速預(yù)置查詢，海量非構(gòu)造化數(shù)據(jù)的實(shí)時(shí)讀寫與存儲(chǔ)。在某案例中，Power+Symphony+Hbase的組合，可以提升加載環(huán)節(jié)性能4倍以上，提升查詢環(huán)節(jié)性能2倍以上。Power+文檔型數(shù)據(jù)庫(kù)：大數(shù)據(jù)實(shí)時(shí)查詢分析方案MongoDB，最流行的開(kāi)源NewSQL數(shù)據(jù)庫(kù)面向文檔存儲(chǔ)完好的索引支持方式自在，可自在更新數(shù)據(jù)構(gòu)造支持復(fù)制和缺點(diǎn)恢復(fù)，易擴(kuò)展主機(jī)主機(jī)\CPU\內(nèi)存進(jìn)程部署存儲(chǔ)占比平均處理效率(條/秒)CPU使用情況(使用占比）內(nèi)存使用情況(內(nèi)存使用量）X864*X8624C，128GB3副本，共60個(gè)數(shù)據(jù)庫(kù)(DB)，啟動(dòng)16個(gè)查重進(jìn)程共測(cè)試話單約26億條,存儲(chǔ)占用約360G3555340128GPowerLinux4*PowerLinux8C,128GB5271740128GPower針對(duì)MongoDB優(yōu)化，可提供更好的性能和平安性。以下為某客戶實(shí)地進(jìn)展的測(cè)試，Power平臺(tái)上的MongoDB可比x86提供5倍以上的處置性能。SequoiaDB—優(yōu)秀的國(guó)產(chǎn)文檔數(shù)據(jù)庫(kù)產(chǎn)品?靈敏動(dòng)態(tài)的數(shù)據(jù)類型?并?執(zhí)?行引擎?線性程度擴(kuò)張?MPP–無(wú)單點(diǎn)缺點(diǎn)?在緊縮數(shù)據(jù)上執(zhí)?行SQL?堅(jiān)持?jǐn)?shù)據(jù)接近CPU/核以下為采用Power+SequoiaDB方案構(gòu)建的某運(yùn)用日志查詢分析平臺(tái)。明細(xì)日志源文件NAS存儲(chǔ)模塊SequoiaDB存儲(chǔ)模塊CRM運(yùn)用效力器1CRM運(yùn)用效力器2CRM運(yùn)用效力器3CRM運(yùn)用效力器4CRM運(yùn)用效力器5…………CRM運(yùn)用效力器N文件工具腳本日志傳輸實(shí)時(shí)訪問(wèn)模塊日志查詢/簡(jiǎn)單分析日志復(fù)雜分析Hadoop分析模塊Web展現(xiàn)模塊Power+流計(jì)算：大數(shù)據(jù)實(shí)時(shí)分析計(jì)算方案StreamStormSparkStreamingIBM成熟的商用流計(jì)算技術(shù)，廣泛的案例驗(yàn)證開(kāi)源流式計(jì)算框架，簡(jiǎn)單適用大規(guī)模流式數(shù)據(jù)處置的新貴，基于Spark通用計(jì)算框架Streaming適用場(chǎng)景：實(shí)時(shí)監(jiān)控訴警分析，實(shí)時(shí)營(yíng)銷分析觸發(fā)，高速數(shù)據(jù)采集預(yù)處置，流式動(dòng)態(tài)數(shù)據(jù)處置等。Power靈敏支持商用和開(kāi)源流計(jì)算方案，Power特性和流計(jì)算框架的結(jié)合，具有更好的性能和效費(fèi)比。流式計(jì)算的原理是在內(nèi)存里不延續(xù)地對(duì)流入的數(shù)據(jù)進(jìn)展計(jì)算，經(jīng)過(guò)多節(jié)點(diǎn)多核多線程并發(fā)已到達(dá)亞秒級(jí)快速處置大量數(shù)據(jù)的目的。因此，CPU的主頻，并發(fā)多線程才干，cache大小，內(nèi)存帶寬和Java性能等方面都會(huì)直接影響到流式計(jì)算的性能表現(xiàn)。性能指標(biāo)IBMPower8IntelE5/E7CPU主頻3.7～4.3GHz1.7～2.8GHz超線程能力8個(gè)2個(gè)CPU片內(nèi)緩存大小/每core8～12MBL3Cache2～2.5MBL3Cache硬件事務(wù)性內(nèi)存支持不支持內(nèi)存帶寬230～410GB/s51～83GB/sL4Cache（內(nèi)存緩存）支持，128MB/CPU不支持單機(jī)可靠性設(shè)計(jì)指標(biāo)99.999%99.95%針對(duì)Streams的Java庫(kù)優(yōu)化有無(wú)IBM和x86針對(duì)流計(jì)算的性能目的對(duì)比Power+Redis：創(chuàng)新大數(shù)據(jù)緩存方案〔內(nèi)存KV數(shù)據(jù)庫(kù)〕LoadBalancer500GBCacheNode10GbUplinkPOWER8ServerFlashArrayw/upto40TBDifferentiatedNoSQL(POWER8+CAPIFlash)NewmemorytierforPOWER8serverUpto40TBforNoSQLbasedapplicationsClustersolutioninaboxInfrastructureAttributes192threadsin2UServerdrawer40TBofmemorybasedFlashper2UDrawerSharedMemory&CachefordynamictuningEliminationofI/OandNetworkOverheadToday’sNoSQLinmemory(x86)InfrastructureRequirementsLargeDistributed(Scaleout)LargeMemorypernodeNetworkingBandwidthNeedsLoadBalancing基于Power8CAPI接口的閃存創(chuàng)新方案，實(shí)現(xiàn)Redis在內(nèi)存和閃存間的自在切換，相對(duì)于全內(nèi)存方案，提供更加靈敏的性能本錢配置，并具有更少的資源占用。WWW10GbUplinkWWWBackupNodes500GBCacheNode500GBCacheNode500GBCacheNode512GBCacheNode24:1Reductionininfrastructure2.4xPricereduction12xLessEnergy12xLessrackspace40TBofextendedmemory4U適用場(chǎng)景：高并發(fā)實(shí)時(shí)緩存，如網(wǎng)站前端靜態(tài)數(shù)據(jù)，用戶/商品/訂單查詢系統(tǒng)，讀寫分別的讀庫(kù)等。海量數(shù)據(jù)批處置，共享資源多運(yùn)用大數(shù)據(jù)處置框架--Power+HadoopM-R/SparkHDFSMap-Reduce/YarnGPFSSymphonyHBaseSpark物理層平臺(tái)層工具層HiveStormBigSQLStreamMapReduceBigSheetSPSSPowerlinux：企業(yè)級(jí)環(huán)境的最正確選擇，性能與本錢最正確平衡的新一代硬件平臺(tái)規(guī)范linux,Redhat/Suse全面支持更加成熟、可靠與更高性能的分布式文件系統(tǒng)領(lǐng)先的大數(shù)據(jù)計(jì)算調(diào)度平臺(tái)，多租戶管理，更智能調(diào)度，更高性能、SLA管理，支持更多大數(shù)據(jù)計(jì)算類型多種大數(shù)據(jù)運(yùn)用，共享資源，混合運(yùn)轉(zhuǎn)完全支持開(kāi)源大數(shù)據(jù)版本Powerlinux是大數(shù)據(jù)計(jì)算的理想平臺(tái)多線程:POWER7+每處置器中心有4線程,而Intel的處置器只需2線程高吞吐:POWER7+有非常大的內(nèi)存和I/O帶寬(沃森勝利的關(guān)鍵)依賴Java運(yùn)用:POWER7+提供了高度優(yōu)化的JVM企業(yè)用戶的大數(shù)據(jù)建立方向是：資源共享的大數(shù)據(jù)中心20管理和運(yùn)維方面的需求共享資源，提高資源利用率，提高投資收益資源一致調(diào)度，為每個(gè)運(yùn)用彈性供應(yīng)資源一致管理運(yùn)用一致管理用戶一致管理數(shù)據(jù)平安一致管理一致的企業(yè)大數(shù)據(jù)中心平臺(tái)業(yè)支網(wǎng)運(yùn)O域分析B域分析開(kāi)發(fā)商A運(yùn)用1開(kāi)發(fā)商A運(yùn)用2開(kāi)發(fā)商B運(yùn)用1開(kāi)發(fā)商C運(yùn)用2義務(wù)1義務(wù)1義務(wù)3義務(wù)4義務(wù)5義務(wù)6義務(wù)7義務(wù)8業(yè)務(wù)和開(kāi)發(fā)的需求一致的根底平臺(tái)層，一致的數(shù)據(jù)和運(yùn)用接口，便于運(yùn)用開(kāi)發(fā)的規(guī)范化和開(kāi)放化獨(dú)立的根底平臺(tái)層，便于靈敏引入各種力量進(jìn)展運(yùn)用層的開(kāi)發(fā)創(chuàng)新數(shù)據(jù)和運(yùn)用的共享和重用，提高開(kāi)發(fā)效率，推進(jìn)運(yùn)用的迭代創(chuàng)新其關(guān)鍵是實(shí)現(xiàn)面向多租戶的義務(wù)調(diào)度和資源管理IBM面向多租戶的大數(shù)據(jù)共享平臺(tái)實(shí)現(xiàn)場(chǎng)景IBM多租戶大數(shù)據(jù)平臺(tái)技術(shù)實(shí)現(xiàn)框架PlatformComputingSymphonyEGO(DCOS)(dynamicclusterresourcemanagementsupportingdiversetenants)HDFS/GPFS/GPFSFPO(reliable,distributedstorage–yourchoiceofdistributed,orfastparallelPOSIXfilesystems)ABB–applicationbackboneBigInsightsinstance,Streams,Hbase,Oozie,NativeSQLapps,MongoDB,CassandraPlatformSymphonyPlatformSymphonySOAM,PSMRIBMPlatformClusterManager(provisioningandmanagementofdistributedenvironments)HPA,BigData,AnalyticSPSS,Algo,RBigSQL,Pig,Hive,DataExplorer,..PlatformLSFPlatformLSFSerialBatchMPIParallelSessionorientedHPC&BatchanywhereR,SAS,MatLab,DataStageFlowManagementHypervisorPlatformResourceSchedulerExistingDataCenterProvisioningTechnologiesPuppetRPMTPMKick-start…PlatformPPMParallelSOADataAffinityParallelRecursionMapReducePlatformPPMBatchanywhereSAS,Integrationw/Autosys,CtrlMDAGPlatformSymphonyAdvancedServiceControllerYARNAPIPlatformAdvancedServiceControllerMRAMRStreamsDataExplCognosBigSQL(online)HBase(online)YARN(Hadoop2.xRM)MRBatchTezStormABBAppsIBMSymphony支持多種高性能計(jì)算，高性能分析，大數(shù)據(jù)和其它分布式框架實(shí)踐消費(fèi)環(huán)境驗(yàn)證的多租戶，共享資源框架。支持包括Hadoop在內(nèi)的分布式負(fù)載。IBMSymphony提供面向多租戶的資源調(diào)度多租戶間基于戰(zhàn)略的資源共享多運(yùn)用間可配置的資源共享戰(zhàn)略尊重資源擁有者–可獨(dú)占支持資源分組，運(yùn)用可運(yùn)用多個(gè)資源組，每組配置共享戰(zhàn)略基于時(shí)間的共享戰(zhàn)略可配置資源借出、借入戰(zhàn)略可配置搶占戰(zhàn)略具有保證租戶SLA機(jī)制，去除資源共享的業(yè)務(wù)妨礙多種負(fù)載、計(jì)算框架資源共享：可同時(shí)調(diào)度并執(zhí)行MapReduce分析框架、SPARK內(nèi)存計(jì)算、Stream/Storm流式計(jì)算、Hbase/MPP/NoSQL數(shù)據(jù)庫(kù)、SOA實(shí)時(shí)計(jì)算，R/SAS等傳統(tǒng)BI分析及ETL運(yùn)用等7種類型的負(fù)載某運(yùn)營(yíng)商流計(jì)算案例--Streams24網(wǎng)絡(luò)質(zhì)量實(shí)時(shí)監(jiān)測(cè)數(shù)據(jù)規(guī)模大，大于10萬(wàn)/秒的信令實(shí)時(shí)洞察網(wǎng)絡(luò)質(zhì)量目的實(shí)時(shí)分析CDR短頻話單分析短頻話單分析并按小區(qū)/號(hào)段統(tǒng)計(jì)切換頻話單異常話單單通話單掉話率分析測(cè)試結(jié)果〔CDR/秒〕配置：2GHz*4核*2臺(tái)效力器單節(jié)點(diǎn)：702083兩節(jié)點(diǎn)：140000按小區(qū)或號(hào)段緯度統(tǒng)計(jì)短頻話單：1、占用時(shí)長(zhǎng)小于15秒的通話，且同一主叫和被叫的兩統(tǒng)統(tǒng)話間隔小于20秒反復(fù)小區(qū)切換話單.2、剔除業(yè)務(wù)臺(tái)號(hào)碼；3、按照小區(qū)維度統(tǒng)計(jì)滿足條件1、2的話單數(shù)包含設(shè)備和業(yè)務(wù)種類多，涉及目的多，數(shù)據(jù)量大不斷的增大等挑戰(zhàn)．需求有一個(gè)實(shí)時(shí)分析平臺(tái)處理實(shí)時(shí)分析網(wǎng)絡(luò)質(zhì)量問(wèn)題，優(yōu)化網(wǎng)絡(luò)設(shè)備提高客戶稱心度．某運(yùn)營(yíng)商挪動(dòng)流量運(yùn)營(yíng)和大數(shù)據(jù)分析平臺(tái)硬件配置:IBMPower70*7R1Redhatv6.46Cores,128GBMemInternalDisk:2*300GB,4*1.2TBEXP24s:24*1.2TBSASdiskNetworkAdapter:2x1000Gbps,2x10000Gbps開(kāi)源軟件部分清單:Hadoop

2.3.0-cdh5.0.0

HBase0.98.Spark(Sparkstream)

HDFS2.3.0-cdh5.0.0 某省挪動(dòng)企業(yè)級(jí)多租戶大數(shù)據(jù)平臺(tái)30臺(tái)7R1單臺(tái)7R1配置：8core128GB54×SASHDD4×10GE+4×1GE面向多租戶資源SLA的一致平臺(tái)運(yùn)用之間，用戶之間的資源的共享和隔離跨O域和B域的共享資源大數(shù)據(jù)平臺(tái)，多個(gè)開(kāi)發(fā)商并行開(kāi)發(fā)并行運(yùn)轉(zhuǎn)，每日處置數(shù)據(jù)超越50TB資源隔離:運(yùn)用之間的隔離,防止某些運(yùn)用發(fā)生異常，搶占過(guò)多資源資源共享:運(yùn)用之間的資源共享，提高資源的利用率某省挪動(dòng)日志分析系統(tǒng)明細(xì)日志源文件NAS存儲(chǔ)模塊SequoiaDB存儲(chǔ)模塊CRM運(yùn)用效力器1CRM運(yùn)用效力器2CRM運(yùn)用效力器3CRM運(yùn)用效力器4CRM運(yùn)用效力器5…………CRM運(yùn)用效力器N文件工具腳本日志傳輸實(shí)時(shí)訪問(wèn)模塊日志查詢/簡(jiǎn)單分析日志復(fù)雜分析Hadoop分析模塊Web展現(xiàn)模塊后端以NoSQL數(shù)據(jù)庫(kù)結(jié)合Hadoop運(yùn)轉(zhuǎn)框架，前端以AJAX結(jié)合JSP搭建XX挪動(dòng)日志分析系統(tǒng)。該系統(tǒng)提供對(duì)XX挪動(dòng)運(yùn)用程序日志的實(shí)時(shí)檢索和批處置分析功能，經(jīng)過(guò)分析運(yùn)用程序日志的方式進(jìn)展錯(cuò)誤信息回溯以及進(jìn)展業(yè)務(wù)審計(jì)的功能。〔1〕日志實(shí)時(shí)錄入；〔2〕日志根據(jù)指定條件實(shí)時(shí)查詢；〔3〕日志分析處置，包括錯(cuò)誤信息回溯以及業(yè)務(wù)審計(jì)等。Citi銀行Symphony網(wǎng)格計(jì)算平臺(tái)在愛(ài)Citi網(wǎng)格運(yùn)轉(zhuǎn)分析Citi–計(jì)算和數(shù)據(jù)結(jié)合型網(wǎng)格系統(tǒng),主要為風(fēng)險(xiǎn)分析在一個(gè)共享的網(wǎng)格資源里運(yùn)轉(zhuǎn)著200以上不同的IB和零售分析運(yùn)用全球動(dòng)態(tài)共享的40,000cores可以繼續(xù)維持70%以上的利用率超強(qiáng)的管理效率–管理者與主機(jī)的比為1:400作業(yè)吞吐量–400,000,000作業(yè)/天14條不同的業(yè)務(wù)線共享著全球的HPC資源為每個(gè)商業(yè)業(yè)務(wù)單元確保SLAs時(shí)間目的,實(shí)現(xiàn)廣泛的資源共享4個(gè)數(shù)據(jù)中心包含了異構(gòu)的Linux&Windows主機(jī),一處在倫敦,一處在香港,還有兩處在美國(guó)處置國(guó)內(nèi)增長(zhǎng)的風(fēng)險(xiǎn),定價(jià)運(yùn)用和其他的商務(wù)運(yùn)用,與SAS,Murex等集成.異構(gòu)的任務(wù)內(nèi)容(批處置,SOA,方案部署MapReduce)自定義效力,報(bào)表和退款實(shí)時(shí)的監(jiān)控和管理主機(jī),一切全球資產(chǎn)的完全可視化針對(duì)整個(gè)企業(yè)相關(guān)運(yùn)用和風(fēng)險(xiǎn)控制的全球資源分配方案在數(shù)據(jù)中心和功能域根底上的有關(guān)LOBs和運(yùn)用的彈性的資源分配方式橫跨整個(gè)地域的有關(guān)LOBs和運(yùn)用的全球資源共享視圖28實(shí)時(shí)數(shù)據(jù)分析方案-內(nèi)存分析數(shù)據(jù)庫(kù)--Power+DB2BLUStandAloneSolutionAdvantageArchitecture：OpenSolutionismorepreferredinChinacustomersTechnology:DynamicIn-Memory,ActionableCompression,ParallelVectorProcessing,DataSkipping,etc.Performance：DB2BLUonPower7xbetterperformancethanSAPHANAPrice：DB2BLUonPower1/9costofSAPHANASizing720(8c,128GB)2.5-5TB740(16c,256GB)5-10TB750(32c,512TB)10-20TB720(4c,64GB)<2.5TB38xAverageAcceleration

ofdatabasequeriesforreporting(vs.previousversion)實(shí)現(xiàn)10TB數(shù)據(jù)亞秒級(jí)查詢Power+DB2BLU內(nèi)存分析案例企業(yè)ETL運(yùn)用DB2BLU加速原來(lái)Row數(shù)據(jù)庫(kù)中需求執(zhí)行2小時(shí)20分的ETL過(guò)程縮減到3分30秒即可完成，整體提升性能30倍，硬件環(huán)境：Power716Cores；128GBOurBIsolutionisbuiltonaCognos/DB2,WithBLUAcceleration,wehavebeenabletoreducethetimespentonpre-aggregationfromonehourtotwominutes.?BLUAccelerati