在線分析處理課件

在線分析處理OnlineAnalyticalProcessingOLAP發(fā)展背景60年代，關(guān)系數(shù)據(jù)庫(kù)之父E.F.Codd提出了關(guān)系模型，促進(jìn)了聯(lián)機(jī)事務(wù)處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲(chǔ))。1993年，E.F.Codd提出了OLAP概念，認(rèn)為OLTP已不能滿足終端用戶對(duì)數(shù)據(jù)庫(kù)查詢分析的需要，SQL對(duì)大型數(shù)據(jù)庫(kù)進(jìn)行的簡(jiǎn)單查詢也不能滿足終端用戶分析的要求。用戶的決策分析需要對(duì)關(guān)系數(shù)據(jù)庫(kù)進(jìn)行大量計(jì)算才能得到結(jié)果，而查詢的結(jié)果并不能滿足決策者提出的需求。因此，E.F.Codd提出了多維數(shù)據(jù)庫(kù)和多維分析的概念，即OLAP。OLAP是目前RDBMS不可缺少的功能，可以作為一個(gè)獨(dú)立的OLAP服務(wù)器實(shí)現(xiàn)，也可以集成在RDBMS中。

什么是OLAP？定義1：OLAP(聯(lián)機(jī)分析處理)是針對(duì)特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析。通過對(duì)信息(維數(shù)據(jù))的多種可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察。定義2：OLAP(聯(lián)機(jī)分析處理)是使分析人員、管理人員或執(zhí)行人員能夠從多種角度對(duì)從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真實(shí)反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對(duì)數(shù)據(jù)的更深入了解的一類軟件技術(shù)。(OLAP委員會(huì)的定義)OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢和報(bào)表需求，它的技術(shù)核心是“維”這個(gè)概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。OLAP的數(shù)據(jù)源OLTP&LegacyERPFlatFilesDataWarehouses,DataMarts,ODSSpreadsheetsOLAP基本概念維：是人們觀察數(shù)據(jù)的特定角度，是考慮問題時(shí)的一類屬性(時(shí)間維、地理維等)。維的層次：人們觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維)還可以存在細(xì)節(jié)程度不同的各個(gè)描述方面(時(shí)間維：日期、月份、季度、年)。維的成員：維的一個(gè)取值。是數(shù)據(jù)項(xiàng)在某維中位置的描述。(“某年某月某日”是在時(shí)間維上位置的描述)多維數(shù)組：維和變量的組合表示。一個(gè)多維數(shù)組可以表示為：(維1，維2，…，維n，變量)。(時(shí)間，地區(qū)，產(chǎn)品，銷售額)數(shù)據(jù)單元(單元格)：多維數(shù)組的取值。(2000年1月，上海，筆記本電腦，$100000)OLAP特性快速性:用戶對(duì)OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對(duì)用戶的大部分分析要求做出反應(yīng)?？蛻?服務(wù)器體系結(jié)構(gòu)－兩層或三層C/S結(jié)構(gòu)。

可分析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維視圖和分析,包括對(duì)層次維和多重層次維的完全支持。信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。OLAP多維數(shù)據(jù)結(jié)構(gòu)超立方結(jié)構(gòu)(Hypercube)

多維數(shù)據(jù)集立方體或超立方結(jié)構(gòu)指用三維或更多的維數(shù)來描述一個(gè)對(duì)象,每個(gè)維彼此垂直。數(shù)據(jù)的測(cè)量值發(fā)生在維的交叉點(diǎn)上,數(shù)據(jù)空間的各個(gè)部分都有相同的維屬性(收縮超立方結(jié)構(gòu)，這種結(jié)構(gòu)的數(shù)據(jù)密度更大,數(shù)據(jù)的維數(shù)更少,并可加入額外的分析維)。

客戶種類數(shù)量分布多維立方

OLAP操作Codd從可視化角度提出，主要基于統(tǒng)計(jì)的方法：切片和切塊(SliceandDice)在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片,按三維進(jìn)行切塊,可得到所需要的數(shù)據(jù)。如在“城市、產(chǎn)品、時(shí)間”三維立方體中進(jìn)行切塊和切片,可得到各城市、各產(chǎn)品的銷售情況。鉆取(Drill)鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作，鉆取的深度與維所劃分的層次相對(duì)應(yīng)。

旋轉(zhuǎn)(Rotate)/旋轉(zhuǎn)(Pivot)通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。輔之于各種圖形展示分析結(jié)果銷售數(shù)據(jù)的4-D表示

DicingExampleDicing:

FilteringbyAUS1+AUS2andWholesaleSlicingExampleSlicing:

FilteringbyAUS2鉆取數(shù)據(jù)聚集旋轉(zhuǎn)時(shí)間產(chǎn)品財(cái)務(wù)指標(biāo)財(cái)務(wù)指標(biāo)產(chǎn)品時(shí)間pivotDrill-across:

Distributionfirst,SalesOrg.second國(guó)際體育用品公司的數(shù)據(jù)分析（2）按地區(qū)劃分的頭盔銷售數(shù)據(jù)按地區(qū)和國(guó)家劃分的頭盔銷售數(shù)據(jù)國(guó)際體育用品公司的數(shù)據(jù)分析（3）按地區(qū)、國(guó)家和城市劃分的頭盔銷售數(shù)據(jù)山地車和頭盔銷售的比較BrioEnterprise豐富的鉆取功能OLAP分類按照存儲(chǔ)方式OLAPMOLAPHOLAPROLAP按照處理地點(diǎn)ClientOLAPServerOLAPRelationaldatabaseCubeMicrosoftSQLServerOLAPServiceROLAPMOLAPHOLAP基于關(guān)系數(shù)據(jù)庫(kù)的OLAP－ROLAP用關(guān)系表達(dá)式描述多維概念－大量的關(guān)系表。用星型模型、雪花模型構(gòu)造維模型。

DBDW基礎(chǔ)數(shù)據(jù)元數(shù)據(jù)計(jì)算結(jié)果多維綜合引擎多維視圖SQL存取多維存取RDBMS服務(wù)器關(guān)系型OLAP服務(wù)器客戶ROLAP與MOLAP比較在MOLAP中，不但把多維實(shí)視圖在概念上看成一個(gè)超立方體，而且在物理上把多維實(shí)視圖組成一個(gè)多維數(shù)組，而不象ROLAP以表的形式存儲(chǔ)實(shí)視圖。在MOLAP中，維的屬性值被映射成多維數(shù)組的下標(biāo)值或下標(biāo)的范圍，而總數(shù)據(jù)作為多維數(shù)組的值存儲(chǔ)在數(shù)據(jù)的單元中。ROLAP在節(jié)省存儲(chǔ)空間、靈活性、與關(guān)系數(shù)據(jù)庫(kù)保持一致性等方面有明顯的優(yōu)勢(shì)；MOLAP則在性能和管理的簡(jiǎn)便性方面有其優(yōu)點(diǎn)。MOLAP的查詢速度比較快，但有下面限制：用多維數(shù)組實(shí)現(xiàn)多維實(shí)視圖，需要很大的存儲(chǔ)空間。在實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)中，每維的屬性值個(gè)數(shù)可能數(shù)萬。例如幾萬種產(chǎn)品、幾萬個(gè)連鎖店等。而實(shí)際的維數(shù)可能多達(dá)幾十乃至幾百。耗費(fèi)的存儲(chǔ)空間相當(dāng)可觀，由此帶來加載、維護(hù)等問題。在多維數(shù)組中，很可能有些單元是空白的，如節(jié)假日商店不營(yíng)業(yè)；某些產(chǎn)品在某些地區(qū)不銷售等。MOLAP與關(guān)系數(shù)據(jù)庫(kù)系統(tǒng)從存儲(chǔ)結(jié)構(gòu)到查詢語(yǔ)言都有相當(dāng)大的差別，不可能在RDBMS的基礎(chǔ)上實(shí)現(xiàn)。ROLAP與MOLAP比較（續(xù)）MOLAP與ROLAPHOLAP的特點(diǎn)以HOLAP格式存儲(chǔ)的立