IBMPDA數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)

IBMPureDataforAnalytics(PDA)數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)

趙DA售前技術(shù)支持工程師2BI/Reporting BI/

ReportingExploration/VisualizationFunctional

AppIndustry

AppPredictiveAnalyticsContentAnalyticsAnalyticApplicationsIBMBigDataPlatformSystemsManagementApplicationDevelopmentVisualization

&DiscoveryAcceleratorsInformationIntegration&GovernanceHadoop

SystemStreamComputingDataWarehouseHadoop系統(tǒng)管理多樣化海量數(shù)據(jù)企業(yè)級(jí)應(yīng)用增強(qiáng)了開源Hadoop能力流計(jì)算用于分析流動(dòng)的數(shù)據(jù)能夠處理分析多種數(shù)據(jù)–通過高級(jí)分析運(yùn)算符來支持結(jié)構(gòu)化，非結(jié)構(gòu)化，視頻，音頻等數(shù)據(jù)倉(cāng)庫(kù)工作負(fù)載均衡的MPP架構(gòu)，支持高性能的OLAP及混合型的操作和分析負(fù)載數(shù)據(jù)可視化企業(yè)級(jí)搜索引擎圖形展現(xiàn)海量分析結(jié)果IBM大數(shù)據(jù)平臺(tái)

設(shè)計(jì)集成深度集成并調(diào)優(yōu)硬件和軟件–在一個(gè)隨時(shí)可用的工作負(fù)載優(yōu)化的系統(tǒng)中預(yù)置專家模式捕獲并自動(dòng)化專家的做法–從基礎(chǔ)架構(gòu)模式到應(yīng)用模式簡(jiǎn)化體驗(yàn)

讓IT生命周期的每個(gè)部分更容易–借助整個(gè)系統(tǒng)的集成管理，以及優(yōu)化的解決方案的龐大、開放的生態(tài)系統(tǒng)4月，IBM發(fā)布了一個(gè)新的專家集成系統(tǒng)系列：具有集成的專業(yè)知識(shí)且專為云構(gòu)建的系統(tǒng)新發(fā)布的PureSystems系列產(chǎn)品可改變IT經(jīng)濟(jì)效益并加快價(jià)值實(shí)現(xiàn)速度基礎(chǔ)架構(gòu)提供基礎(chǔ)架構(gòu)服務(wù)應(yīng)用平臺(tái)提供平臺(tái)服務(wù)數(shù)據(jù)平臺(tái)提供數(shù)據(jù)服務(wù)

SystemforAnalytics為分析提供數(shù)據(jù)服務(wù)IBMPureDataSystemforAnalytics（PDA）

專為分析數(shù)據(jù)工作負(fù)載而優(yōu)化速度比傳統(tǒng)自定義系統(tǒng)快10-100倍*獲得專利的MPP硬件加速（大規(guī)模并行處理）簡(jiǎn)單性幾小時(shí)內(nèi)準(zhǔn)備好數(shù)據(jù)加載無需數(shù)據(jù)庫(kù)索引無需調(diào)優(yōu)無需存儲(chǔ)管理可擴(kuò)展性PB級(jí)數(shù)據(jù)容量智慧設(shè)計(jì)為在幾分鐘內(nèi)運(yùn)行復(fù)雜分析，而不是幾小時(shí)最豐富的數(shù)據(jù)庫(kù)中分析集合*基于IBM客戶報(bào)告的結(jié)果?！皞鹘y(tǒng)自定義系統(tǒng)”指沒有經(jīng)過專業(yè)的預(yù)先構(gòu)建、預(yù)先測(cè)試和優(yōu)化的系統(tǒng)。各次結(jié)果可能不同。充分利用簡(jiǎn)化

將分析置入數(shù)據(jù)倉(cāng)庫(kù)將服務(wù)器、存儲(chǔ)、數(shù)據(jù)庫(kù)和分析集成到一個(gè)優(yōu)化的包中將復(fù)雜的分析轉(zhuǎn)移到數(shù)據(jù)庫(kù)中數(shù)據(jù)倉(cāng)庫(kù)內(nèi)集成的高性能分析服務(wù)器存儲(chǔ)數(shù)據(jù)庫(kù)分析NPS7.0新功能

更好的并發(fā)性、性能、I/O效率和可管理性

更高的性能更好的管理和效率超過6個(gè)方面的性能改進(jìn)：優(yōu)化器效率內(nèi)存管理通信協(xié)議工作負(fù)載管理更快、更好、對(duì)最終用戶完全透明20倍于前幾代IBMNetezza設(shè)備的戰(zhàn)術(shù)查詢吞吐量和并發(fā)性1高達(dá)200個(gè)查詢/秒的微分析工作負(fù)載定向數(shù)據(jù)處理提高了戰(zhàn)術(shù)查詢的吞吐量更好的彈性和容錯(cuò)能力刀片級(jí)的彈性，實(shí)現(xiàn)持續(xù)的高性能增強(qiáng)的自動(dòng)系統(tǒng)軟件彈性，可滿足企業(yè)級(jí)需求1基于IBM對(duì)以前版本和目前版本的內(nèi)部性能基準(zhǔn)測(cè)試。

BI報(bào)告和即席分析發(fā)生了什么？時(shí)間和地點(diǎn)？花費(fèi)了多少資金？預(yù)測(cè)分析將發(fā)生什么？將有何種影響？?jī)?yōu)化最佳選擇是什么？?2012IBMCorporation9PDA讓分析超越報(bào)告為集成而設(shè)計(jì)

IBMNetezzaIn-DatabaseAnalyticsVersion2.0沒有數(shù)據(jù)移動(dòng)分析深入和廣泛的數(shù)據(jù)高性能、并行計(jì)算轉(zhuǎn)換數(shù)學(xué)運(yùn)算地理空間預(yù)測(cè)統(tǒng)計(jì)時(shí)序數(shù)據(jù)挖掘NetezzaIn-DatabaseAnalytics基本算術(shù)*排列組合*最大公因子和最小公倍數(shù)*值轉(zhuǎn)換*指數(shù)和對(duì)數(shù)*Gamma和Beta函數(shù)矩陣代數(shù)+曲線下面積

*插值方法*轉(zhuǎn)換數(shù)學(xué)運(yùn)算時(shí)序線性回歸+邏輯回歸+分類貝葉斯定理采樣模型測(cè)試地理空間數(shù)據(jù)類型幾何函數(shù)集合分析預(yù)測(cè)地理空間數(shù)據(jù)剖析/描述性統(tǒng)計(jì)+一般診斷統(tǒng)計(jì)+采樣數(shù)據(jù)準(zhǔn)備預(yù)先構(gòu)建的數(shù)據(jù)庫(kù)內(nèi)分析描述性統(tǒng)計(jì)+距離測(cè)量*假設(shè)測(cè)試*Chi-Square&Contingency表*單變量和多變量分布+MonteCarlo模擬*自回歸+

預(yù)測(cè)*關(guān)聯(lián)規(guī)則+集群化+特性提取+提取分析*數(shù)據(jù)挖掘統(tǒng)計(jì)NetezzaSpatial?組件數(shù)據(jù)類型

代表空間地理信息SQL函數(shù)

用來做數(shù)據(jù)操作空間地理數(shù)據(jù)在表中由一列表示舉例：路段信息表ID123SURFACEAsphaltAsphaltNAMEPineCir.2ndSt.Bridge

LANES422GEOMETRY(varchar)AsphaltNetezzaSpatial功能舉例主要解決三類查詢：1、“面中點(diǎn)”的問題。這些查詢通常需要找出一個(gè)位置點(diǎn)（經(jīng)度，維度）是否在某個(gè)范圍之類。

應(yīng)用：電信運(yùn)營(yíng)商會(huì)關(guān)心在哪些范圍內(nèi)經(jīng)常發(fā)生掉話現(xiàn)象？

保險(xiǎn)公司會(huì)關(guān)心被保險(xiǎn)的財(cái)產(chǎn)是否在災(zāi)害頻發(fā)的范圍內(nèi)？

零售商會(huì)關(guān)心客戶是否在市場(chǎng)活動(dòng)范圍內(nèi)？2、距離問題。這類查詢會(huì)計(jì)算兩個(gè)地理位置之間的距離。

應(yīng)用：離GPS定位最近的路是哪一條？

被保險(xiǎn)的財(cái)產(chǎn)離消防管道有多遠(yuǎn)？

3、“最近鄰居”問題。這與第二類的問題相似。

應(yīng)用：離我所在位置最近的5個(gè)加油站在哪里？NetezzaSpatial應(yīng)用舉例1、查詢某個(gè)位置是否在某片范圍內(nèi)？(1)、創(chuàng)建位置數(shù)據(jù)表Createtablespatial_points_text(Objectidint,Latitudenumeric(17,13),Longitudenumeric(16,12))Distributeonrandom;(2)、創(chuàng)建范圍表Createtablearea_polygons(Objectidint,Shapest_geometry(32000))Distributeonrandom;(3)、使用ST_POINT函數(shù)將位置點(diǎn)（經(jīng)度，維度）轉(zhuǎn)化成空間對(duì)象Createtablespatial_pointsasselectobjectid,latitude,longitude,st_point(longitude,latitude,4269)::st_geometry(200)asshapefromspatial_points_text;(4)、查詢?cè)撐恢命c(diǎn)是否在定義的范圍內(nèi)Createtablespatial_points_intersectasselecta,*,b.objectidaspolygon_idfromspatial_pointsa,area_polygonsbwherest_intersects(a.shape,b.shape);2、查詢某個(gè)位置到一個(gè)固定建筑的距離？該固定建筑的經(jīng)緯度是（139.745442,35.658661）Createtablespatial_points_distance_to_towerasselectobjectid,latitude,longitude,st_distance(shape,st_point(139.745442,35.658661,4269),‘kilometer’)asdistance_kmfromspatial_points;NetezzaSpatial應(yīng)用舉例NetezzaSpatial應(yīng)用舉例3、查詢對(duì)每個(gè)位置來說最近的5個(gè)位置點(diǎn)？Createtableneapest_5_neighborsas(select*from(selecta.objectid,b.objectidasneighbor_id,st_distance(a.shape,b.shape,‘meter’)asdistance_meters,Row_number()over(partitionbya.objectidorderbydistance_meters)asrankingFromspatial_pointsasa,spatial_pointsasbwhereA.latitudebetweenb.latitude-.1andb.latitude+.1anda.logitudebetweenb.longitude-.1andb.longitude+.1anda.objectid<>b.objectid)AsfooWhererankingbetween1and5);注：該自連接中經(jīng)度和維度的過濾因子(between-.1to+.1)是指有效搜索半徑（.1degrees約等于6英里）。結(jié)合空間和企業(yè)數(shù)據(jù)

提供更多洞察

結(jié)合位置與1億個(gè)呼叫數(shù)據(jù)記錄現(xiàn)在可結(jié)合使用客戶使用和位置數(shù)據(jù)，以：按區(qū)域報(bào)告使用情況開發(fā)新營(yíng)銷活動(dòng)來贏得使用率較低區(qū)域的客戶計(jì)劃更多的信號(hào)塔和網(wǎng)絡(luò)容量IBMPDA一體機(jī)關(guān)鍵技術(shù)高性能可擴(kuò)展性高可用性靈活性與開放性S-BladeMPP架構(gòu)1231000+以太網(wǎng)前端SMP主機(jī)LINUX前端高性能數(shù)據(jù)庫(kù)引擎Streamingjoins,aggregations,sorts,etc.

Processor&streamingDBlogicProcessor&streamingDBlogicProcessor&streamingDBlogicSnippet處理核心Processor&streamingDBlogicPDAPerformanceServer?-TwinFin一體機(jī)高速加載/導(dǎo)出執(zhí)行引擎SQL編譯器查詢計(jì)劃優(yōu)化管理源系統(tǒng)客戶端高速加載器三方應(yīng)用DBACLIETL服務(wù)器SOLARISLINUXHP-UXAIXWINDOWSTRU64ODBCJDBCType4SQL1、PDAMPP?架構(gòu)帶來性能上質(zhì)的飛躍Snippet處理核心Snippet處理核心Snippet處理核心2、PDA的專利FPGA加速卡給計(jì)算加速，帶來革命性突破

Page20Confidential傳統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)：

服務(wù)器和存儲(chǔ)之間的數(shù)據(jù)流存在重大瓶頸!!查詢結(jié)果查詢請(qǐng)求存儲(chǔ)服務(wù)器關(guān)系型數(shù)據(jù)庫(kù)軟件數(shù)據(jù)數(shù)據(jù)首先被搬運(yùn)到內(nèi)存，然后由SQL進(jìn)行處理大批的數(shù)據(jù)從磁盤中“搬移”到內(nèi)存，成為整個(gè)系統(tǒng)的瓶頸

Confidential查詢結(jié)果PDA數(shù)據(jù)倉(cāng)庫(kù)設(shè)備PDA數(shù)據(jù)倉(cāng)庫(kù)專用設(shè)備：

性能的革命性突破MPP“智能存儲(chǔ)”:

數(shù)據(jù)處理單元與存儲(chǔ)相結(jié)合SMP主機(jī)(2-4CPU)查詢請(qǐng)求網(wǎng)絡(luò)流量:

僅為現(xiàn)有系統(tǒng)的1%CPU：僅為現(xiàn)有系統(tǒng)的2%數(shù)據(jù)在進(jìn)入到內(nèi)存之前，已經(jīng)經(jīng)過流式的數(shù)據(jù)處理

PDA數(shù)據(jù)流處理程序FPGACoreCPUCore解壓投影(列)過濾(行)SELECTDISTRICT,PRODUCTGRP,SUM(NRX)FromMTHLY_RX_TERR_DATAWHEREMONTH=‘20091201’ANDMARKET=509123ANDSPECIALTY=‘GASTRO’SliceofTABLEMTHLY_RX_TERR_DATA(compressed)SELECTDISTRICT,PRODUCTGRP,SUM(NRX)WHEREMONTH=‘20091201’ANDMARKET=509123ANDSPECIALTY=‘GASTRO’SUM(NRX)聚合∑連接,匯總,等.行數(shù)據(jù)分隔成列數(shù)據(jù)流編譯獨(dú)立的數(shù)據(jù)流應(yīng)用區(qū)段指令壓縮后存儲(chǔ)保留所有壓縮前存儲(chǔ)的行級(jí)結(jié)構(gòu)特征執(zhí)行區(qū)段指令恢復(fù)完整大小數(shù)值重新組裝恢復(fù)完整大小的數(shù)值，解壓數(shù)據(jù)行，傳遞到后續(xù)的高速引擎3、自動(dòng)化的壓縮/解壓縮技術(shù)輕松IO能力，節(jié)省存儲(chǔ)空間在數(shù)據(jù)裝載時(shí)行數(shù)據(jù)數(shù)據(jù)分隔成列數(shù)據(jù)流每個(gè)數(shù)據(jù)流處理獨(dú)立編譯區(qū)段指令應(yīng)用到數(shù)據(jù)塊頭blockheaders壓縮數(shù)據(jù)保留行級(jí)結(jié)構(gòu)特征

在數(shù)據(jù)掃描/查詢時(shí)FPGA執(zhí)行區(qū)段指令以線速

wirespeed解碼數(shù)據(jù)重新組裝成行傳遞到后續(xù)高速引擎繼續(xù)處理平均4倍，最高32倍壓縮率4、內(nèi)置的軟件優(yōu)化技術(shù)只掃描核心數(shù)據(jù)，縮短查詢時(shí)間5、”PayAsYouGo”有效的資源分配技術(shù)提供差異化的服務(wù)能力多租戶保障資源分配多租戶優(yōu)先級(jí)別調(diào)度標(biāo)準(zhǔn)訪問接口資源虛擬化統(tǒng)一調(diào)度資源池-2資源池-3資源儲(chǔ)蓄池資源池-1短查詢傾向(SQB)短查詢優(yōu)先于長(zhǎng)時(shí)間運(yùn)行的查詢對(duì)執(zhí)行短查詢的用戶實(shí)時(shí)響應(yīng)在大型混合工作負(fù)載環(huán)境中SQB是非常重要的特征8ItemsorLessFullCartsHereFullCartsHere6、對(duì)短小事務(wù)提供敏捷的響應(yīng)速度，最快速的返回結(jié)果數(shù)據(jù)倉(cāng)庫(kù)高級(jí)分析

傳統(tǒng)方式反欺詐需求分析SPSSAnalyticsGridDataWarehouseC/C++,Java,Python,Fortran,…DataSQLSQLETLSQLETLETL7、提供業(yè)界最豐富的數(shù)據(jù)庫(kù)內(nèi)分析模型，實(shí)現(xiàn)深度分析集成設(shè)計(jì)引入IBMPureDataforAnalytics

簡(jiǎn)化分析反欺詐需求分析SPSSAnalyticsGridDataWarehouseDataSQLSQLETLSQLETLETLC/C++,Java,Python,Fortran,…SQLIBMPDA一體機(jī)關(guān)鍵技術(shù)高性能可擴(kuò)展性高可用性靈活性與開放性ShareNothing+MPP+數(shù)據(jù)HASH分布MassivelyParallelIntelligentStorageSMPHostDBOSFrontEndShareNothing+MPPExecutionEngineSQLCompilerQueryPlansOptimizerAdmin11SnippetProcessingUnit(SPU)ZoneMap12SnippetProcessingUnit(SPU)13SnippetProcessingUnit(SPU)1…nSnippetProcessingUnit(SPU)ConsolidateResultsZoneMapZoneMapZoneMapextentsextentsextentsextentsShareNothing+MPP的整體架構(gòu)特點(diǎn)：高并行性，各個(gè)節(jié)點(diǎn)只處理本節(jié)點(diǎn)的數(shù)據(jù)可靠的被驗(yàn)證過的可擴(kuò)展性。業(yè)界主流的數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)?？梢詳U(kuò)展到10個(gè)機(jī)柜適合數(shù)據(jù)倉(cāng)庫(kù)OLAP特點(diǎn)的應(yīng)用PDA獨(dú)特的AMPP設(shè)計(jì)，有效避免ShareNothing架構(gòu)下對(duì)高可用性支持的不足基于FPGA的IO優(yōu)化以及虛擬資源調(diào)度，業(yè)界第一的資源虛擬化調(diào)度。高度集成數(shù)據(jù)庫(kù)內(nèi)挖掘，支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)逐步貼近“業(yè)務(wù)”部門的從后到前的演進(jìn)方向IBMPDA一體機(jī)關(guān)鍵技術(shù)高性能可擴(kuò)展性高可用性靈活性與開放性高可用性–系統(tǒng)關(guān)鍵數(shù)據(jù)的三重保護(hù)磁盤層面的數(shù)據(jù)鏡像以及故障保護(hù)技術(shù)Raid1實(shí)現(xiàn)不同磁盤之間的數(shù)據(jù)鏡像

每個(gè)S-Blade均有Failover盤，支持磁盤級(jí)別的自動(dòng)恢復(fù)上線

支持在線更換損壞磁盤S-Blade層面的互備磁盤驅(qū)動(dòng)器自動(dòng)重分配給相同底架上的活動(dòng)的S-Blades。支持在線更換S-Blade只讀查詢(還沒有返回?cái)?shù)據(jù)的)自動(dòng)重新開始交易事物和裝載中斷-裝載自動(dòng)從上一成功的checkpoint處重新開始LinuxHA+分布式塊復(fù)制設(shè)備（DRBDProtocolC）LinuxHA支持主機(jī)（HOST）的高可用性

分布式快復(fù)制設(shè)備采用嚴(yán)格同步的模式，保證主被機(jī)關(guān)鍵數(shù)據(jù)庫(kù)文件所在的目錄保持嚴(yán)格同步，避免任何可能的控制文件丟失IBMPDA一體機(jī)關(guān)鍵技術(shù)高性能可擴(kuò)展性高可用性靈活性與開放性Nzadmin--統(tǒng)一的管理平臺(tái)磁盤錯(cuò)誤及狀態(tài)監(jiān)控一體機(jī)功能預(yù)警模塊Nzadmin--統(tǒng)一的監(jiān)控平臺(tái)Nzadmin--簡(jiǎn)單的操作資源分配設(shè)置–實(shí)時(shí)更改實(shí)時(shí)生效對(duì)于保障資源分配以及多租戶用戶級(jí)別的統(tǒng)一管理設(shè)置資源組的最大/最小資源分配以及并行任務(wù)的最大并行度AlterSessionsetpriority….;AltergroupSODEXO_RSGresourceminimum30resourcemaximum30jobmaximum3;IBMPDA高級(jí)分析業(yè)務(wù)生態(tài)鏈

PureDataforAnalyticsAMPPPlatformSoftwareDevelopmentKit3rdPartyIn-DatabaseAnalyticsPDAIn-DatabaseAnalyticsUser-DefinedExtensions(UDF,UDA,UDTF,UDAP)TransformationsMathematicalGeospatialPredictiveStatisticsTimeSeriesDataMiningFuzzyLogixSASZementisIBMSPSSLanguageSupport(MapReduce,Java,Python,Lua,Perl,C,C++,

Fortran,PMML)MathworksRevolutionAnalyticsBIToolsVisualizationToolsEclipseRevolutionAnalyticsSASIBMSPSSApacheHadoopClouderaIBMInfoSphereBigInsightsTanayGPUAppliancebyFuzzyLogixIBMInfoSphereStreamsIBMPDA于2003年推出第一款數(shù)據(jù)倉(cāng)庫(kù)一體機(jī)設(shè)備，歷經(jīng)10年發(fā)展，全球客戶700+家，與倉(cāng)庫(kù)平臺(tái)之上的應(yīng)用無縫集成輸入數(shù)據(jù)與PDA集成的ETL工具數(shù)據(jù)集成AbInitioClouderaCompositeSoftwareIBMBigInsightsIBMInformationServerIBMInfoSphereStreamsInformaticaOracleDataIntegratorOracleGoldenGateSAPBusinessObjectsSQLODBCJDBCOLE-DB與PDA集成的報(bào)表分析工具報(bào)告和分析IBMCognosIBMSPSSIBMUnicaInformationBuildersKalidoKXENMicrosoftExcelMicroStrategyOracleOBIEESAPBusinessObjectsSASActuate輸出數(shù)據(jù)SQLODBCJDBCOLE-DB客戶案例42全球700+成功客戶案例分布廣泛

數(shù)字傳媒金融服務(wù)政府健康與生命科學(xué)零售業(yè)電信業(yè)其他客戶背景：湖南電信現(xiàn)有1000多萬用戶，向客戶提供固定電話、移動(dòng)電話、互聯(lián)網(wǎng)接入及應(yīng)用、數(shù)據(jù)災(zāi)備、視訊服務(wù)、國(guó)際及港澳臺(tái)通信等多種類綜合信息服務(wù)?？蛻羰找妫?、支撐湖南電信本地網(wǎng)管理層及時(shí)掌握企業(yè)當(dāng)月經(jīng)營(yíng)收入整體情況。

2、使湖南電信省、市、縣經(jīng)營(yíng)分析數(shù)據(jù)縱向一體化、實(shí)現(xiàn)各本地網(wǎng)信息透明、橫向可比。

3、實(shí)現(xiàn)“渠道任務(wù)分解”和“渠道績(jī)效考核”的高效支撐。4.

滿足本地網(wǎng)個(gè)性化、頻繁變化、響應(yīng)時(shí)限要求高的相關(guān)數(shù)據(jù)需求。解決方案：IBMNetezza采用大規(guī)模并行處理無共享架構(gòu)。高性能的引擎：針對(duì)數(shù)據(jù)集市應(yīng)用特點(diǎn)專門優(yōu)化的引擎，管理維護(hù)簡(jiǎn)單。數(shù)據(jù)庫(kù)高可用性良好的工作負(fù)載管理成果/whyIBM選擇IBM