利群數據倉庫ibm方案含參考預算

1、青島利群集團數據倉庫項目IBM解決方案Analytics Platform分析源增強型應用可操作的洞察 決策管理 數據建模 預測分析探索&發(fā)現 分析報表規(guī)劃&預言內容分析共享操作性信息主數據&相關參考核心內容核心活動元數據編目客戶體驗管理財務績效支持新業(yè)務模式風險管理防欺詐API 經濟整合數據倉庫企業(yè)數據倉庫數據沉淀探索&歸檔基礎數據平臺交互式分析&報表數據集市數據集成 數據質量轉換&加載數據源傳統數據源交易數據 應用數據 第三方數據新數據源 機器 傳感器數據 圖像音視頻數據企業(yè)內容數據社交媒體 數據移動互聯網數據數據獲取與訪問流計算 實時分析與處理安全與業(yè)務持續(xù)性管理事件檢測與處理IT基礎平

2、臺數據治理IBM數據分析參考架構數據倉庫建設路線第一期第二期第三期階段關注點平臺搭建數據利用能力提升子系統數據模型建立數據模型擴展數據模型進化數據模型數據集成項目內數據集成組織內數據集成按需數據集成企業(yè)級數據倉庫建立平臺優(yōu)化平臺擴展平臺基礎數據平臺共享平臺獨立成長相互融合流數據處理平臺建立平臺推廣平臺數據展現能力標準化展現自助式展現智能化展現數據挖掘能力應用數據挖掘推廣數據挖掘數據治理部門級數據標準組織級數據標準數據倉庫解決方案(一期)方案一：數據倉庫一體機方案方案二：開放平臺方案分析源增強型應用可操作的洞察 決策管理 數據建模 預測分析探索&發(fā)現 分析報表規(guī)劃&預言內容分析共享操作性信息主數

3、據&相關參考核心內容核心活動元數據編目客戶體驗管理財務績效支持新業(yè)務模式風險管理防欺詐API 經濟整合數據倉庫企業(yè)數據倉庫數據沉淀探索&歸檔基礎數據平臺交互式分析&報表數據集市數據集成 數據質量轉換&加載數據源傳統數據源交易數據 應用數據 第三方數據新數據源 機器 傳感器數據 圖像音視頻數據企業(yè)內容數據社交媒體 數據移動互聯網數據數據獲取與訪問流計算 實時分析與處理安全與業(yè)務持續(xù)性管理事件檢測與處理IT基礎平臺數據治理產品架構圖PDADatastageCognos一體機方案部署架構部署數據倉庫一體機服務器1臺，用于數據倉庫和ODS數據的存儲和訪問管理。部署ETL服務器1臺，用于ETL工具Dat

4、astage的運行。部署B(yǎng)I服務器1臺，用于展現工具CognosBI的運行。2臺X86服務器之間實現互為備份，保證高可用性。配置列表數據倉庫服務器PDA N3001-0011臺ETL服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺BI服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺ETL軟件IBM Datastage1套BI軟件IBM Cognos1套有目的性構造的分析引擎集成了數據庫、服務器、存儲標準接口總體擁有成本低速度: 快于傳統系統10-100 x倍簡單: 最小化管理和調優(yōu)擴

5、展: PB級的用戶數據容量智慧: 高可用性實現高級分析功能PureData for Analysis 專為數據倉庫設計PureData System for Analytics N3001-001集成度更高配置更合理、速度更快磁盤、I/O通道、內存、CPU、網絡均衡設計針對數據倉庫訪問最優(yōu)設計比傳統類似平臺高出一個數量級以上整體能耗更低同等計算任務，能耗最低系統更加穩(wěn)定可靠消除各種單點故障環(huán)節(jié)管理維護費用低數據倉庫的常規(guī)管理全部集成大大簡化物理設計環(huán)節(jié)可規(guī)劃和預見的系統擴容、升級路線圖系統擴充、軟件升級、舊設備回收N3001-0012 * IBM x3650 M4每臺服務器CPU2cpus *

6、 10cores=20cores， 2.28GHz內存128GB磁盤24*600GB SAS disks, hot swappable, RAID 10網卡可用的網卡包括：1張4口的千兆卡(2個口可用)2張2口的萬兆卡(2個口可用)1張雙口的HBA卡（2個口可用）其他模塊1 Integrated Management Module(host-independent remote control,10/100Mbps)（遠程管理硬件的模塊）,4個USB口電源2 redundant power supplies, hot-pluggable（2個冗余配置的電源）操作系統Red Hat Enterp

7、rise Linux Server壓縮后可用數據16T1數據掃描速度60TB/hr1數據庫NPS7.21 Assuming 4X compressionEvolution of Netezza & PureData System for Analytics Worlds FirstData WarehouseApplianceWorlds First100 TB DataWarehouse ApplianceWorlds FirstPetabyte DataWarehouse ApplianceWorlds FirstAnalytic Data Warehouse ApplianceNPS80

8、00 SeriesTwinFin with i-Class Advanced AnalyticsNPS10000 Series TwinFin20032006200920102012 2016Worlds Fastest and Greenest Analytical AppliancePureData System for AnalyticsN300 xPureData System for AnalyticsN200 xWorlds First appliance with no cost encryption傳統的數據倉庫架構：服務器和存儲之間的數據流存在重大瓶頸! 查詢結果查詢請求存儲

9、服務器關系型數據庫軟件數據數據首先被搬運到內存，然后由 SQL 進行處理大批的數據從磁盤中“搬移”到內存，成為整個系統的瓶頸 查詢結果PDA數據倉庫設備PDA數據倉庫專用設備：性能的革命性突破MPP “智能存儲”: 數據處理單元與存儲相結合SMP主機(2-4 CPU)查詢請求網絡流量:僅為現有系統的1%CPU：僅為現有系統的2% 數據在進入到內存之前，已經經過流式的數據處理 Zone MapsTM “自由”的存在，自動維護，無需干預每個磁盤extent包含來自于各個表的記錄我們在每個extent上跟蹤字段的最大最小值Zone maps可以對date, timestamp, byteint, s

10、mallint, integer和bigint型數據生效 當數據被loaded / updated / deleted時Zone maps自動更新沒有對load / update / delete 速度的影響Zone Maps自動分區(qū)Zone Maps利用內在的數據順序在一個數據切片內.為表中的每一列(Integers, timestamps, dates型)按每個extent收集最大最小值每條搜集到的記錄插入zonemap中為該表準備的數據區(qū)中.當一個查詢運行時, 數據切片減少到只掃描一部分extents自動配置在搜集統計信息時Stats在Loads時在inserts, updates, l

11、oads和reclaims時.Zone MapsZone Maps可以用于只掃描相關數據系統知道數據在不在extents上，并只掃描有關的表extentsBase TableSelect State, Age, Gender, count(*) From MultiBillionRowCustomerTable Where BirthDate 01/01/1960 And State in (FL, GA, SC, NC) Group by State, Age, Gender Order by State, Age, Gender數據流處理CPU Core 解壓投影過濾SQL &Advanc

12、ed AnalyticsFrom MultiBillionRowCustomerTableWhere BirthDate Header and Footer to change this footer text to the event title開放的軟件生態(tài)圈SQL ODBC JDBC OLE-DBSQL ODBC JDBC OLE-DBData InData OutData IntegrationReporting & AnalysisIBMBigInsightsInformation ServerInfoSphere StreamsAb InitioClouderaComposite

13、SoftwareHadoopInformaticaMicrosoftOracleSAPSASIBMCognosSPSSUnicaActuateHadoopInformation BuildersKalidoKXENMicrosoft MicroStrategyOracle SAPSASTableauNote: Sample list, not all inclusive IBM Fluid QueryCross platform query from PureData System for Analytics to dashDB, DB2, Oracle, and PureData Syste

14、m for Analytics統一訪問多樣化信息源SQL QueriesQuestionAnswerData Movement23國內成功案例（部分）More Coming 數據倉庫解決方案(一期)方案一：數據倉庫一體機方案方案二：開放平臺方案分析源增強型應用可操作的洞察 決策管理 數據建模 預測分析探索&發(fā)現 分析報表規(guī)劃&預言內容分析共享操作性信息主數據&相關參考核心內容核心活動元數據編目客戶體驗管理財務績效支持新業(yè)務模式風險管理防欺詐API 經濟整合數據倉庫企業(yè)數據倉庫數據沉淀探索&歸檔基礎數據平臺交互式分析&報表數據集市數據集成 數據質量轉換&加載數據源傳統數據源交易數據 應用數據 第

15、三方數據新數據源 機器 傳感器數據 圖像音視頻數據企業(yè)內容數據社交媒體 數據移動互聯網數據數據獲取與訪問流計算 實時分析與處理安全與業(yè)務持續(xù)性管理事件檢測與處理IT基礎平臺數據治理產品架構圖DB2 MPP+BLUDatastageCognos一體機方案部署架構部署數據倉庫一體機服務器1臺，用于數據倉庫的數據存儲與處理。建議使用DB2 BLU技術。部署ODS服務器1臺，用于ODS層的數據存儲和處理。建議使用DB2 DPF技術。部署X86服務器1臺，用于ETL工具Datastage的運行。部署X86服務器1臺，用于展現工具CognosBI的運行。配置列表數據倉庫服務器CPU: 32 cores內存

16、: 256GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺ODS服務器CPU: 32 cores內存: 256GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺Datastage服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺Cognos服務器CPU: 20 cores內存: 128GB內置硬盤:300GB*2以太網卡:1*雙口千兆網卡1臺外置存儲設備4T空間1臺數據倉庫軟件IBM DB2 高級企業(yè)版 V111套ETL軟件IBM Datastage1套BI軟件IBM Cognos1套面向聯機分析的 DB2 數據倉庫集群

17、- DB2 DPF分區(qū)數據庫分布在多個服務器上 為什么需要分區(qū)? 規(guī)模超大, 性能需要, 優(yōu)勢對用戶和應用程序透明并行性工作負載分散在所有結點通過增加更多服務器來增加伸縮性適用于大型數據庫:數據倉庫數據挖掘在線分析處理DB2 with DPFDB2 核心超尺寸構架基于并行性，又稱為 Shared NothingInter and intraNode/partition Parallelism Inter Query Parallelism. Intra Query性能, divide and rule, 沒有限制的規(guī)?；陂_銷的優(yōu)化器和查詢重寫器SQL和實用工具完全平行運行根據負載動態(tài)分流異步

18、I/O 平行I/ODPF的MPP架構，專門為數據倉庫設計優(yōu)化非共享DB2數據庫和哈希分區(qū)一個 數據庫被拆分成多個數據庫分區(qū) 數據庫分區(qū)運行于不同的服務器之上 每個數據庫分區(qū)具有平衡的系統資源 所有數據庫分區(qū)并行處理、有DBMS統一協調管理 對用戶、DBA和應用程序來講為單一數據庫系統映像select from tableTablesFCM networkDatabasePartition ndata+logEnginePartition 3data+logEnginePartition 2data+logEnginePartition 1data+logEngineDB2 DPF Share

19、Nothing系統架構DB2 下一代分析技術 BLUDB2 BLU是什么？DB2 BLU 是面向分析的內存計算數據庫直接內置在 DB2 內核中的列計算引擎按列方式存儲和管理表DB2 BLU的價值極高性能，BLU針對CPU、內存和IO進行特別優(yōu)化，如矢量計算引擎、自適應CPU并行、高級頁面緩存、按列選取數據、無效數據過濾等深度智能壓縮，大規(guī)模節(jié)約存儲空間，大幅減少運算量簡單易用，無需索引、分區(qū)及物化視圖，更低的運營成本和DB2無縫集成，一致的SQL語句、開發(fā)接口和管理方式突破的技術結合并擴展最好的技術已申請和待批的專利超過25 項利用跨全球7 個國家的10 個實驗室的多年IBM研發(fā)成果典型的體驗

20、易于實施和使用10 倍至25 倍的性能提升和未壓縮的數據和索引相比，節(jié)約10倍至20倍的存儲Super Fast, Super Easy Create, Load and Go!No Indexes, No Aggregates, No Tuning, No SQL changes, No schema changesBLU Acceleration與眾不同的技術31InstructionsDataResultsDynamic In-Memory 動態(tài)內存In-memory columnar processing with dynamic movement of data from stora

21、ge Parallel Vector Processing并行向量處理Multi-core and SIMD parallelism(Single Instruction Multiple Data)Data Skipping數據忽略Skips unnecessary processing of irrelevant dataActionable Compression可行性壓縮Patented compression technique that preserves order so data can be used without pressingEncoded 2015 IBM Corp

22、oration 業(yè)務敏捷部署在本地或者在云上,需要較少的硬件資源“使用 DB2 10.5 with BLU Acceleration, 我們的存儲消耗下降了 10 x” - Kent Collins, Database Solutions Architect 分析速度分析數據的速度像提問一樣快“我們在分析負載中驗證了DB2 10.5 with BLU Acceleration,發(fā)現可以得到 43x 的性能提升” - Randy Wilson, Lead DB2 for LUW DBA 操作簡單基于現有的架構最大化業(yè)務價值;無需打破或替換“由于較少的管理和調優(yōu)需求,我們一年可以節(jié)省42天.” B

23、renda Boshoff, Sr. DBADB2 with BLU Acceleration BLU可以更多地支持哪些業(yè)務?如何能在有限的時間內得到更多的業(yè)務查詢結果?額外一個月能多做多少業(yè)務?怎樣節(jié)省10倍投資并得到更多的業(yè)務價值? DB2 BLU的典型應用場景 - 改善查詢分析的性能報表數據集市Multi-platform softwareDB2 BLU業(yè)務數據庫或數據倉庫復制表結構，遷移數據!性能的飛躍處理TB級數據無需進行調優(yōu)支持Power、Linux多種平臺查詢分析應用查詢分析應用簡單遷移到DB2 BLU數據集市Cognos BI +BLU Acceleration + Power

24、 Systems 快速,快速,快速對于Cognos BI 用戶，有效地提升存儲利用率DB2 with BLU組件增強Cognos BI分析能力基于MPP（海量數據處理的處理器架構設計）vs. Competitor Row Store Database on Ivy Bridge (x86)182x fasterDynamicQueryCompatibleQueryDynamicCubes DB2 with BLUCognos基于DB2 with BLU Acceleration上的預測型分析DB2 with BLU Acceleration對SPSS的支持提升預測型決策分析的響應時間利用in-

25、database性能減少數據移動，在更短的時間內分析大量的數據在影響點提供決策的智能預測 DB2 with BLU數據庫Database SQL pushback & in-DB處理使用的資源.服務器 分析使用的資源.SPSS Modeler ServerSPSS Modeler Desktops紫色節(jié)點表示SQL pushback發(fā)生在數據庫內 A sample SPSS Modeler and SPSS Analytic Server streamInfoSphere DataStage 是統一數據集成平臺數據整合數據質量廣泛鏈接元數據支持分布式交易數據屏蔽業(yè)務規(guī)則工業(yè)標注 高可擴展架構平

26、衡優(yōu)化器使用模式企業(yè)應用包 統一元數據存儲一套設計套件統一管理中心統一設計環(huán)境基于 DataStage 的數據整合架構建立標準化的數據采集、數據整合、數據交換和分發(fā)的架構；能隨業(yè)務需求變化而維持和成長，確保一個高質量的可維護架構加速生產力，提高效率圖形化開發(fā)，并行處理方式，提高處理效率好的易用性高可擴展性擴展硬件架構不需要重新開發(fā)工作，只需相應修改硬件配置文件即可，支持跨多個服務器配置的MPP或Grid的運行方式。高可維護性基于Web的運維監(jiān)控友好易用，快速瀏覽和分析運行環(huán)境，高效負載管理高集成性廣泛的數據聯結性，支持目前的各種應用接口；統一的并行處理和統一的元數據是服務器架構的核心 ；轉換功

27、能廣泛又靈活，可滿足各種集成要求，并高速結合并整理異構數據，轉換并轉移海量的復雜數據。InfoSphere Data Click點擊兩次即可向數據集市加載數據基于Web的用戶體驗，允許毫無經驗的用戶通過簡單地點擊以批量或者實時的方式移動數據，并具有內置的管理和優(yōu)化措施內置管理: 定義和控制數據獲取的范圍和數據結構業(yè)務靈活性:數據獲取自服務，選擇所需數據結構來獲取數據內置管理:查看和管理環(huán)境和依從度IBM Cognos 能夠充分利用企業(yè)內所有數據源，滿足企業(yè)各種業(yè)務用戶對于數據報表和分析的需求經過驗證的SOA平臺,開放的API公共元數據(單一版本事實)開放的數據訪問接口數據倉庫Modern an

28、d Legacy SourcesApplication SourcesOLAP SourcesRelational Sources同樣的信息,多樣化的訪問方式報表KPI預警儀表盤查詢&分析自定義報表協作數據倉庫一體機(Inetezza/HANA/TD/GP.)IBM Cognos 提供多種展現形式,滿足企業(yè)不同業(yè)務用戶的需求面向高管的儀表盤關鍵指標的預警&分析固定報表自定義報表&分析個人數據探查分析簡便,可交互,支持脫機和移動設備訪問關鍵業(yè)務&財務指標的可視化展現,能夠對關鍵指標主動告警(郵件,短信,門戶信息推送等主動告警)通過鼠標拖拽的形式定義各種復雜的報表,支持報表的調度/分發(fā),格式轉換,條件選擇,鉆取分析等.基于Web的鼠標拖拽形式的自定義報表功能,操作簡便,直觀.基于桌面的個人數據探查和分析,無需IT建模,支持桌面數據文件及BI服務器數據,可將結果共享給BI應用中其他用戶.分析型儀表盤支持儀表盤的快速拼裝,對發(fā)現的業(yè)務問題提供極強地交互相分析能力數據高級可視化分析提供高級可視化圖形引擎,從復雜數