數(shù)據(jù)倉庫OLA技術(shù)

1/15/2023大數(shù)據(jù)培訓(xùn)-數(shù)據(jù)倉庫olap技術(shù)模型講師：楊勇2015年7月電話：1/15/2023議題OLAP技術(shù)簡介OLAP技術(shù)簡介OLAP分析方法小結(jié)1/15/2023OLAP技術(shù)簡介OLAP發(fā)展背景及定義OLAP相關(guān)基本概念OLAP基本特征OLAP多維數(shù)據(jù)結(jié)構(gòu)OLAP多維數(shù)據(jù)分析方法OLAP分類OLAP評價準(zhǔn)則OLAP新的發(fā)展特征OLAP工具在移動業(yè)務(wù)分析中是否能發(fā)揮作用，為什么？1/15/2023發(fā)展背景（一）60年代，關(guān)系型數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系模型，促進了OLTP（OnLineTransactionProcessing，聯(lián)機事務(wù)處理）模型的發(fā)展。1993年，E.F.Codd提出了OLAP（OnLineAnalyticalProcessing聯(lián)機分析處理）概念，認(rèn)為OLTP已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要，SQL對大型數(shù)據(jù)庫進行的簡單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進行大量計算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。OLAP技術(shù)簡介1/15/2023發(fā)展背景（二）OLAP技術(shù)簡介OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)導(dǎo)出數(shù)據(jù)細(xì)節(jié)性數(shù)據(jù) 綜合性和提煉性數(shù)據(jù)當(dāng)前值數(shù)據(jù)歷史數(shù)據(jù)可更新不可更新，但周期性刷新一次處理的數(shù)據(jù)量小一次處理的數(shù)據(jù)量大面向應(yīng)用，事務(wù)驅(qū)動面向分析，分析驅(qū)動面向操作人員，支持日常操作面向決策人員，支持管理需要從數(shù)據(jù)角度看，OLTP系統(tǒng)與OLAP系統(tǒng)的主要差異如下：1/15/2023OLAP定義OLAP技術(shù)簡介定義1：OLAP(聯(lián)機分析處理)是針對特定問題的聯(lián)機數(shù)據(jù)訪問和分析。通過對信息(維數(shù)據(jù))的多種可能的觀察形式進行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對數(shù)據(jù)進行深入觀察。定義2：OLAP(聯(lián)機分析處理)是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實反映企業(yè)維特性的信息進行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會的定義)。OLAP的目標(biāo)：滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術(shù)核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合1/15/2023OLAP的相關(guān)基本概念OLAP技術(shù)簡介維（Dimension）：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時的一類屬性，屬性集合構(gòu)成一個維（時間維、地理維等）

。維的層次（Generation，Level）：人們觀察數(shù)據(jù)的某個特定角度（即某個維）還可以存在細(xì)節(jié)程度不同的各個描述方面（時間維：日期、月份、季度、年）。維的成員（Member）：維的一個取值。是數(shù)據(jù)項在某維中位置的描述。（“某年某月某日”是在時間維上位置的描述）多維數(shù)組：維和變量的組合表示。一個多維數(shù)組可以表示為：（維1，維2，……，維n，變量）。（時間，地區(qū)，漫游類型，通話費）數(shù)據(jù)單元（Cell）：多維數(shù)組的取值。（2000年1月1日，上海，國際漫游，通話費XXXX元）1/15/2023OLAP的基本特征OLAP技術(shù)簡介快速性：用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)對用戶的大部分分析要求的響應(yīng)速度應(yīng)該為秒級。

可分析性：OLAP系統(tǒng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計分析。多維性：多維性是OLAP的關(guān)鍵屬性。系統(tǒng)提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。信息性：不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲在何處，OLAP系統(tǒng)應(yīng)能及時獲得信息，并且具有管理大容量信息的能力1/15/2023OLAP的多維數(shù)據(jù)結(jié)構(gòu)OLAP技術(shù)簡介超立方體結(jié)構(gòu)：超立方結(jié)構(gòu)指用三維或更多的維數(shù)來描述一個對象,每個維彼此垂直。數(shù)據(jù)的測量值發(fā)生在維的交叉點上,數(shù)據(jù)空間的各個部分都有相同的維屬性。多立方體結(jié)構(gòu)：即將超立方結(jié)構(gòu)變?yōu)樽恿⒎浇Y(jié)構(gòu)。面向某一特定應(yīng)用對維進行分割,它具有很強的靈活性,提高了數(shù)據(jù)（特別是稀疏數(shù)據(jù)）的分析效率。1/15/2023OLAP分類（一）OLAP技術(shù)簡介MOLAP（MultidimensionalOnLineAnalyticalProcessing）

：數(shù)據(jù)以多維方式存儲，每一個數(shù)據(jù)單元（Cell）都可以通過維度的定位直接訪問。db2ROLAP（RelationalOnLineAnalyticalProcessing）：數(shù)據(jù)存放于關(guān)系型數(shù)據(jù)庫中，用戶的多維查詢請求由ROLAP引擎處理為SQL查詢，結(jié)果以多維方式呈現(xiàn)。oracleHOLAP（Hybridonlineanalyticalprocessing）：MOLAP與ROLAP的結(jié)合形式，兼具MOLAP的查詢效率高和ROLAP的存儲效率高的優(yōu)點，預(yù)存儲按照存儲類型，OLAP可以分為以下三種類型：12/31/2022OLAP分類（（三））OLAP技技術(shù)簡簡介以多維維立方方體和和預(yù)計計算來來存儲儲，實實際數(shù)數(shù)據(jù)的的稀疏疏分布布以及及預(yù)計計算是是導(dǎo)致致MOLAP空空間急急劇膨膨脹的的主要要因素素。MOLAP的邏邏輯存存儲模模型：：XXXXX12/31/2022OLAP分類（（二））OLAP技技術(shù)簡簡介ROLAP存儲儲模式式：ROLAP數(shù)據(jù)以以星型型模式式（StarSchema）或或雪花花型模模式存存儲：：事實表：用用來存儲事事實的度量量值和各個個維的碼值值。。維表：用來來存放維的的元數(shù)據(jù)（（維的層次次、成員類類別等描述述信息）。Time_idSalesTableDiscount%DollarsUnits"FactTable"Market_idProduct_idScenarioProduct_idProductTableSizeBrandProduct_Desc"DimensionTable"Time_idYearQuarterPeriod_DescPeriodTable"DimensionTable"ScenarioTableActualProfitScenario"DimensionTable"Market_idMarketTableRegionDistrictMarket_Desc"DimensionTable"12/31/2022OLAP分類（四））OLAP技技術(shù)簡介沒有大小限限制。（因因為StarSchema本身不需需要額外的的存儲空間間）?，F(xiàn)有的關(guān)系系數(shù)據(jù)庫的的技術(shù)可以以沿用。可以通過SQL實現(xiàn)現(xiàn)詳細(xì)數(shù)據(jù)據(jù)與概要數(shù)數(shù)據(jù)的存儲儲?，F(xiàn)有關(guān)系型型數(shù)據(jù)庫已已經(jīng)對OLAP做了了很多優(yōu)化化，包括并并行存儲、、并行查詢詢、并行數(shù)數(shù)據(jù)管理、、基于成本本的查詢優(yōu)優(yōu)化、位圖圖索引、SQL的的OLAP擴展（cube，，rollup）等等大大提高高ROALP的速度度ROLAP的優(yōu)勢：性能好、響響應(yīng)速度快快。專為OLAP所設(shè)計計。支持高性能能的決策支支持計算。。MOLAP的優(yōu)勢：：12/31/2022OLAP分類（五））OLAP技技術(shù)簡介比MOLAP響應(yīng)速速度相差極極遠(yuǎn)。不支持有關(guān)關(guān)預(yù)計算的的讀寫操作作。SQL無法法完成部分分計算。ROLAP的缺點：：增加系統(tǒng)復(fù)復(fù)雜度，增增加系統(tǒng)培培訓(xùn)與維護護費用。需要進行預(yù)預(yù)計算，可可能導(dǎo)致數(shù)數(shù)據(jù)急劇膨膨脹。支持維的動動態(tài)變化比比較困難。MOLAP的缺點：：12/31/2022OLAP分類（六））OLAP技技術(shù)簡介ROLAPArchitecture：SQLResultSetInfo.RequestResultSetDatabaseServer

RDBMSFront-endToolROALPArchitectureROLAPServerMetadataRequestProcessing12/31/2022OLAP分類類（（七七））OLAP技技術(shù)術(shù)簡簡介介MOLAPArchitecture：：Info.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolMOALPArchitectureMOLAPServerMetadataRequestProcessing12/31/2022OLAP分類類（（八八））OLAP技技術(shù)術(shù)簡簡介介MOLAPArchitecture：：SQLResultSetInfo.RequestResultSetLoadDatabaseServer

RDBMSFront-endToolHybridArchitectureMOLAPServerIntegrationServerInfo.Request12/31/2022OLAP的多多維維數(shù)數(shù)據(jù)據(jù)分分析析方方法法簡簡介介（（一一））OLAP技術(shù)術(shù)簡介切片和切塊(SliceandDice)：在確定某些維維數(shù)據(jù)的確定定情況下對其其他維進行觀觀察，在多維數(shù)據(jù)結(jié)結(jié)構(gòu)中,按二維進行行切片,按三三維進行切塊塊,可得到所所需要的數(shù)據(jù)據(jù)。如在“城城市、時間、、漫游”三維維立方體中進進行切塊和切切片,可得到到各城市、各各漫游類型的的費用情況。鉆取(Drill)：在一個維內(nèi)沿沿著從高到低低或者從低到到高的方向考考察數(shù)據(jù)，鉆取包含向下下鉆?。―rill-down））和向上鉆取取（Drill-up））/上卷卷（Roll-up）操操作，鉆取取的深度與維維所劃分的層層次相對應(yīng)。。旋轉(zhuǎn)(Rotate)/轉(zhuǎn)轉(zhuǎn)軸(Pivot):通過旋轉(zhuǎn)可以以得到不同視視角的數(shù)據(jù)，，按不同的順順序組織維，，對結(jié)果進行行考察穿透：是指從多維數(shù)數(shù)據(jù)庫向關(guān)系系型數(shù)據(jù)庫讀讀取明細(xì)數(shù)據(jù)據(jù)OLAP的三種基本分分析手段：多維視圖12/31/2022時間地區(qū)漫游2003年2003年1月2003年1月1日2003年1月2日2003年1月3日2003年2月考察一個特定定的維時間維，包括括每一個地區(qū)區(qū)漫游業(yè)務(wù)量量鉆取到下面的的層次來考察察詳細(xì)情況OLAP的多多維數(shù)據(jù)分析析方法簡介（（二）：鉆取取OLAP技術(shù)術(shù)簡介12/31/2022時間地區(qū)漫游按照不同的順順序組合維，，對數(shù)據(jù)進行行考察OLAP的多多維數(shù)據(jù)分析析方法簡介（（二）：旋轉(zhuǎn)轉(zhuǎn)OLAP技術(shù)術(shù)簡介地區(qū)漫游時間12/31/2022OLAP的的多維維數(shù)據(jù)據(jù)分析析方法法簡介介（三三）：：切片片、切切塊OLAP技技術(shù)簡簡介AdHocViewRegionalMgr.ViewProductMgr.ViewTImeMgr.ViewPRODUCTregionTIMESALES12/31/2022OLAP的的多維維數(shù)據(jù)據(jù)分析析方法法簡介介（四四）：：穿透透OLAP技技術(shù)簡簡介關(guān)系型型數(shù)據(jù)據(jù)庫12/31/2022OLAP分類的的評價價標(biāo)準(zhǔn)準(zhǔn)OLAP技技術(shù)簡簡介OLAP模模型必必須提提供多多維概概念模模型。。透明性性準(zhǔn)則則，存存儲無無法清清除。。存取能能力準(zhǔn)準(zhǔn)則。。穩(wěn)定的的報表表性能能客戶/服務(wù)務(wù)器體體系結(jié)結(jié)構(gòu)維的等等同性性準(zhǔn)則則，按按照維維度存存儲動態(tài)稀稀疏矩矩陣處處理準(zhǔn)準(zhǔn)則：：dense,sparse多用戶戶支持持能力力準(zhǔn)則則,并并行非受限限的跨跨維操操作，，多cube,多數(shù)數(shù)據(jù)庫庫的關(guān)關(guān)聯(lián)查查詢靈活的的報表表生成成非受限限的維維與維維的層層次12/31/2022OLAP技技術(shù)術(shù)發(fā)展展新新特特征征OLAP技技術(shù)術(shù)簡簡介介聚集集存存儲儲數(shù)數(shù)據(jù)據(jù)庫庫(AggregateStorageDatabase)：：支持持聚聚集集存存儲儲數(shù)數(shù)據(jù)據(jù)庫庫（（由由新新的的聚聚集集存存儲儲核核心心提提供供））實實現(xiàn)現(xiàn)了了在在數(shù)數(shù)據(jù)據(jù)庫庫聚聚集集時時間間和和維維度度可可量量測測性性兩兩方方面面的的動動態(tài)態(tài)可可量量測測性性的的提提高高。。聚聚集集存存儲儲數(shù)數(shù)據(jù)據(jù)庫庫典典型型只只滿滿足足只只讀讀，，“機架架堆堆疊疊”具有有大大量量維維度度的的應(yīng)應(yīng)用用聚聚集集數(shù)數(shù)據(jù)據(jù)可可以以同同時時滿滿足足讀讀取取和和計計算算存儲儲高高效效性性能能，，存存儲儲量量很很小小存儲儲高高效效性性和和讀讀取取效效率率可可以以取取得得平平衡衡點點預(yù)計計算算可可以以在在數(shù)數(shù)據(jù)據(jù)讀讀取取是是進進行行，，也也可可以以預(yù)預(yù)處處理理計計算算節(jié)節(jié)點點12/31/2022OLAP在日常常分析中中隨處可可見KPI展示EIS多維分析數(shù)據(jù)挖掘OLAP使用分分析思路路（二））12/31/2022OLAP分析方方法的應(yīng)應(yīng)用主題分析析數(shù)據(jù)挖掘掘應(yīng)用報表KPI專題分析析經(jīng)營分析析、決策策支持系系統(tǒng)平臺臺工具APIOLAP…挖掘技術(shù)OLAP分析…SQLOLAP分析…SQLOLAP分析…SQL、挖掘OLAP分析…OLAP分析方方法12/31/2022OLAP分析獨立個人分析基礎(chǔ)應(yīng)用分析專題分析應(yīng)用OLAP分析案案例講解解思路（（一）12/31/2022時間基礎(chǔ)使用案例驗證問題發(fā)現(xiàn)問題尋找答案綜合使用分析之獨立分析主題獨立完成分析需求組織數(shù)據(jù)數(shù)據(jù)分析分析報告OLAP分析使使用使用現(xiàn)有有系統(tǒng)獨立完成成集成商的輔助之下分析需求組織數(shù)據(jù)形成方案，形成分析方法綜合使用之專題分析OLAP分析使使用思路路（二））在集成商商參與下下合作完完成12/31/2022OLAP分析析案例講解思思路（一）。。。。。PPT、EXECEL工具數(shù)據(jù)挖掘技術(shù)報表，前端工具使用數(shù)據(jù)庫sql專題分析獨立業(yè)務(wù)分析析AnalysisProjectExecutingOlap分析方法12/31/2022議題OLAP技術(shù)簡介OLAP分析析方法小結(jié)OLAP分析析方法小結(jié)12/31/2022OLAP分析析課程要點1.OLAP技術(shù)的簡單單介紹2.OLAP的基礎(chǔ)分析析案例3.OLAP的綜合分析析案例，包括括套餐專題和和世界風(fēng)分析析4.OLAP分析的重要要性5.不要孤立立的使用OLAP分析6.OLAP分析是經(jīng)營營分析系統(tǒng)或或者是數(shù)據(jù)倉倉庫系統(tǒng)中眾眾多分析方法法中的一種7.作為一個個好的分析員員，應(yīng)該可以以綜合使用各各類分析方法法完成相應(yīng)的的分析12/31/2022OLAP分分析獨立個人分析基礎(chǔ)應(yīng)用分析專題分析應(yīng)用OLAP分分析方法簡簡介12/31/2022發(fā)現(xiàn)現(xiàn)問問題題驗證證問問題題解決決問問題題OLAP基基礎(chǔ)礎(chǔ)使使用用案案例例分分析析旋轉(zhuǎn)轉(zhuǎn)切片片、、切切塊塊下鉆鉆、、上上卷卷OLAP分分析析技技術(shù)術(shù)穿透透尋找找答答案案OLAP