003聯(lián)機分析處理基本概念

聯(lián)機分析處理基本概念數(shù)據(jù)分析模型OLAP的提出多維數(shù)據(jù)結(jié)構(gòu)多維數(shù)據(jù)操作多維數(shù)據(jù)模型的實現(xiàn)

數(shù)據(jù)分析模型概述以前的數(shù)據(jù)分析主要是靜態(tài)的不能與數(shù)據(jù)庫中的數(shù)據(jù)建立動態(tài)聯(lián)系實際需求：更需要復雜、動態(tài)的分析綜合多個數(shù)據(jù)源從不同角度觀察數(shù)據(jù)多變的主題與多維數(shù)據(jù)訪問數(shù)據(jù)分析模型概述（續(xù)）E-R模型：基于數(shù)據(jù)庫的傳統(tǒng)數(shù)據(jù)分析，不適合動態(tài)分析不支持域（Domain）概念只支持主外碼表示的聯(lián)系不能表示如：“產(chǎn)品類型”和“客戶愛好”通過“銷售額”發(fā)生的聯(lián)系Codd提出四種數(shù)據(jù)分析模型劃分依據(jù):處理數(shù)據(jù)的范圍用戶-分析人員的交互需要多維分析需求現(xiàn)有工具的支持四種數(shù)據(jù)分析模型:絕對模型解釋模型思考模型公式化模型數(shù)據(jù)分析模型：絕對模型絕對模型（CategoricalModel）支持工具廣泛靜態(tài)數(shù)據(jù)分析比較歷史數(shù)據(jù)值綜合路徑是數(shù)據(jù)庫設(shè)計時定義的數(shù)據(jù)分析模型：解釋模型解釋模型（ExegeticalModel）支持工具較多靜態(tài)數(shù)據(jù)分析利用已有的多層次路徑層層細化，找出事實發(fā)生的原因數(shù)據(jù)分析模型：思考模型思考模型（ContemplativeModel）支持工具較少動態(tài)數(shù)據(jù)分析（動態(tài)性較低）在一維或多維上引入變量或參數(shù)，分析引入后會發(fā)生什么引入變量時，須創(chuàng)建大量綜合數(shù)據(jù)數(shù)據(jù)分析模型：公式模型公式模型（FormulaticModel）至今沒有支持工具動態(tài)數(shù)據(jù)分析（動態(tài)性很高）分析在多維上需引入哪些變量或參數(shù)，并分析引入后所產(chǎn)生的結(jié)果數(shù)據(jù)分析舉例目標：為了擴大商品銷售量、分析與銷售量相關(guān)因素分析模型：絕對模型：歷史數(shù)據(jù)比較，利用回歸分析“某種商品今年的銷售情況與以往相比，有何變化？今后趨勢？”解釋模型：進一步找出原因“銷售量下降與時間、地區(qū)、商品、銷售渠道中何種因素有關(guān)？”思考模型：引入年齡（變量），分析銷售量與顧客年齡是否有關(guān)系？公式模型：自動引入各種變量，最終給出與銷售量有關(guān)的全部因素。

四種分析模型比較聯(lián)機分析處理基本概念數(shù)據(jù)分析模型OLAP的提出多維數(shù)據(jù)結(jié)構(gòu)多維數(shù)據(jù)操作多維數(shù)據(jù)模型的實現(xiàn)聯(lián)機分析處理（OLAP）的提出.關(guān)系數(shù)據(jù)庫滿足了聯(lián)機事務處理（OLTP）的要求存在著大量的分析型應用——RDB無法適應應用角度：要求對大量的數(shù)據(jù)從各個角度進行綜合分析（多維分析）技術(shù)角度：SQL已經(jīng)不能很好的適應分析應用需求查詢效率（響應時間）SQL本身的限制，尤其對時間的處理能力典型分析應用：對一些統(tǒng)計指標（銷售金額）從不同角度（維）（時間、地區(qū)、商品類型）從不同級別（層次）（地區(qū)：縣、地市、省、大區(qū)）在RDBMS上開發(fā)前端產(chǎn)品，支持上述應用邏輯E.F.Codd把這類技術(shù)稱為“OLAP”（1993年）OLAP應用舉例不同時間段的比較（同期比）各種商品本周（本月、本年）的銷售情況與以往相比，有何變化？今后趨勢？排序和統(tǒng)計分類(topN/bottomN)統(tǒng)計每天銷售量、銷售額和利潤最高的10個商場？客戶特定的即席分析(市場分割、即席分組的情況)按照季度統(tǒng)計一下東北地區(qū)前四個季度的收入情況？聯(lián)機分析處理基本概念數(shù)據(jù)分析模型OLAP的提出多維數(shù)據(jù)結(jié)構(gòu)多維數(shù)據(jù)操作多維數(shù)據(jù)模型的實現(xiàn)多維數(shù)據(jù)模型多維數(shù)據(jù)模型又稱多維概念視圖，通常用Cube來表示。多維數(shù)據(jù)模型可以更加直觀的表示現(xiàn)實中的復雜關(guān)系多維數(shù)據(jù)模型的基本組成：維、度量（變量、指標）舉例：計算每一個商場、每個產(chǎn)品的銷售額多維數(shù)據(jù)模型舉例多維數(shù)據(jù)模型的組成維（Dimension）維層次路徑、維層次、維成員（維實例）、維層次屬性事實（Fact）度量（Measure）數(shù)據(jù)立方體（Cube）維維：對數(shù)據(jù)進行分類的一種結(jié)構(gòu)，以用于從特定的角度觀察數(shù)據(jù)。（例如：時間、地區(qū)、產(chǎn)品）維的兩個用途選擇針對期望詳細程度的層次的數(shù)據(jù)分組對細節(jié)數(shù)據(jù)綜合（聚集）到相應的詳細程度的數(shù)據(jù)層次維維的層次：特定角度的不同細節(jié)程度維的組織方式：維層次路徑（HIERARCHY）維層次路徑由代表不同詳細程度的維層次（Level）組成。維維層次中包含維成員（DIMENSIONVALUES）,維成員樹維的一個取值（稱為該維的一個成員）,每一個維成員屬于某一個特定的維層次。例如：時間維：三個層次，日、月、年，維成員：1999年5月20日、1999年5月；1999年維成員是數(shù)據(jù)在該維上的位置描述例如：1999年5月20日銷售額表示銷售額數(shù)據(jù)在時間維上的位置（相當于時間軸上的某一點或某一區(qū)間）不同維層次的取值的組合（對多層次情況），例如：5月20日維層次屬性（ATTRIBUTES）:維層次上的描述屬性，例如產(chǎn)品的“規(guī)格”、“顏色”、“銷地”、“產(chǎn)地”…維層次關(guān)系定義維層次的聚集和鉆取關(guān)系簡單維層次關(guān)系復雜的維層次關(guān)系較為復雜的維層次關(guān)系在維層次屬性不僅分類屬性，同時還擁有描述屬性在某些維層次結(jié)構(gòu)中還包含復雜數(shù)據(jù)類型的維成員一個維包含擁有同一底層數(shù)據(jù)的多條維層次路徑維成員樹可能是一棵高度不平衡樹。大類產(chǎn)品小類產(chǎn)品顏色包裝大小名稱年份季度日期星期月份總?cè)A東南京華北江蘇北京玄武區(qū)保定河北北市區(qū)海淀區(qū)為什么需要維層次關(guān)系不支持層次關(guān)系帶來的問題增加維的數(shù)目，變成非?！跋∈琛钡臓顩r維成員屬性（維成員的“類”）維成員屬性，維成員的描述屬性，維成員的“類”按一定的劃分標準對維成員全集的一個（分類）劃分劃分：即把全集分成了若干子集各子集的和（并）等于全集子集間的交為空維成員屬性劃分標準一般是實體（維成員）的屬性（特征），稱為類屬性例如（產(chǎn)品的）“規(guī)格”、“顏色”、“銷地”、“產(chǎn)地”…一個類屬性，對應一個劃分；不同類屬性，得到不同類劃分維層次和類的區(qū)別表達的含義不同維層次表達變量在該維的綜合的級別例：銷售額在時間維上按三個級別（日、月、年）進行綜合稱為三個維層次父層次的值由其子層次的值綜合得到維成員的類表達某一子集維成員的共同特征即：對應的類屬性取相同值例如：顏色為紅色的產(chǎn)品，不同顏色的產(chǎn)品為不同的類同一層次的維成員可劃分為類：例如產(chǎn)品大類中的“家電”、“服裝”、“文具”等不同層次的維成員之間不存在類的關(guān)系

維層次和類的區(qū)別（續(xù)1）分析動作不同按維層次進行分析逐層向上綜合數(shù)據(jù)；逐層向下細化數(shù)據(jù)；按維成員的類進行分析選擇類屬性對維成員全集進行分類對同類維成員歸納出共同的特性按類進行分析不能跨維層次，只在同層次（兄弟結(jié)點）進行將維層次與類交叉組合進行分析（見下圖）維層次和類的區(qū)別（續(xù)2）事實（度量）事實:存儲一個多維數(shù)據(jù)表達期望分析的主題（目的、感興趣的事情、事件或者指標等）具有一定的粒度，粒度的大小與維層次相關(guān)一個事實中通常包含一個或者多個度量度量（指標）：數(shù)據(jù)的實際意義，一般是一個數(shù)值度量指標例如：銷售量、銷售額，……

而具體數(shù)據(jù)（如“10000”）是變量的一個值一個度量的兩個組件數(shù)字型指標聚集函數(shù)Cubes按照一定維層次結(jié)構(gòu)和度量（事實）的邏輯上的組織其邏輯上相當于一個多維數(shù)組Cubes（數(shù)據(jù)立方體）Indatawarehousingliterature,ann-Dbasecubeiscalledabasecuboid.Thetopmost0-Dcuboid,whichholdsthehighest-levelofsummarization.Thelatticeofcuboidsformsadatacube.alltimeitemlocationsuppliertime,itemtime,locationtime,supplieritem,locationitem,supplierlocation,suppliertime,item,locationtime,item,suppliertime,location,supplieritem,location,suppliertime,item,location,supplier0-D(apex)cuboid1-Dcuboids2-Dcuboids3-Dcuboids4-D(base)cuboidASampleDataCubeTotalannualsalesofTVinU.S.A.DateProductCountryAll,All,Allsumsum

TVVCRPC1Qtr2Qtr3Qtr4QtrU.S.ACanadaMexicosum多維數(shù)組多維數(shù)組：一個多維數(shù)組表示為：（維1，維2，...，維n，變量）例如：（時間、地區(qū)、銷售渠道、銷售額）可擴展維數(shù)：如（時間、地區(qū)、銷售渠道、商品類型、銷售額）數(shù)據(jù)單元（Cell）數(shù)據(jù)單元（單元格）：多維數(shù)組的取值可表示為：（維1維成員，維2維成員，.，維n維成員，變量的值）例如：（1997年1月，北京，批發(fā)，10000）批發(fā)零售地區(qū)聯(lián)機分析處理基本概念數(shù)據(jù)分析模型OLAP的提出多維數(shù)據(jù)結(jié)構(gòu)多維數(shù)據(jù)操作多維數(shù)據(jù)模型的實現(xiàn)多維分析的基本分析動作切片（Slice）從多維數(shù)組選定一個二維子集，切出一個“平面”切塊（Dice）從多維數(shù)組選定一個三維子集，切出一個“立方體”旋轉(zhuǎn)改變一個報告（或頁面）顯示的維方向鉆取根據(jù)維層次，改變數(shù)據(jù)的粒度切片的定義（Ⅰ）定義1：在多維數(shù)組的某一維上選定一個維成員，即從n維數(shù)組選取n-1維子集，設(shè)多維數(shù)組（維1，維2，…，維n，變量），在維i上，選定維成員Vi則：多維數(shù)組的n-1維子集（維1，…，維i-1，維成員Vi，維i+1，…,維n，變量）為在維i上的一個切片切片的定義（Ⅰ）維1維2維3變量

切片的定義（Ⅱ）選定多維數(shù)組的一個二維子集

設(shè)多維數(shù)組（維1，維2，…，維n，變量）除維i，維j外，每個維都取定一個維成員Vk（1≤k≤n且k≠i，k≠j）則：多維數(shù)組的二維子集（V1,…,Vi

-1,維i,Vi+1,…,Vj-1,維j,Vj+1,…,Vn,變量）簡單表示為:（維i,維j,變量）為維i和維j上的一個切片按定義2進行切片，所得切片是一個二維“平面”（其它維的維成員都已確定）。

二維“平面”易想象，易觀察。切片舉例（Ⅱ）多維數(shù)組：（地區(qū)、時間、產(chǎn)品、銷售渠道、銷售額）選取地區(qū)維與產(chǎn)品維，其它維選定維成員時間：1997年1月銷售渠道：零售得：（地區(qū)、“1997年1月”，產(chǎn)品，“零售”，銷售額）即為：1997年1月零售的產(chǎn)品銷售情況（各地區(qū)各種產(chǎn)品的銷售額）切塊的定義(Ⅰ)定義1在多維數(shù)組的某一維上選定某一區(qū)間的維成員，即限制某一維的取值區(qū)間切片是切塊的特例，即限制的取值區(qū)間只取一個維成員切塊可看作由多個鄰接的切片迭合而成例如：多維數(shù)組（地區(qū)，時間，產(chǎn)品，銷售額）在時間維上選定一區(qū)間：“1997年1月至1997年10月”得：（地區(qū)，“1997年1月至1997年10月”,產(chǎn)品，銷售額）為一切塊切塊的定義(Ⅱ)定義2選定多維數(shù)組的一個三維子集設(shè)多維數(shù)組（維1，維2，…，維n，變量）選定三個維：維i，維j，維k，（該三個維上可取任意維成員或某一空間），其他維上都取定一個維成員得：（維i，維j，維k，變量）為一個切塊。

切片和切塊在一個或多個維度上的投影操作旋轉(zhuǎn)的含義旋轉(zhuǎn)：改變一個報告或頁面顯示的內(nèi)容旋轉(zhuǎn)的含義（續(xù)Ⅰ）(b)把一個縱向為時間和產(chǎn)品，橫向為地區(qū)的報表變成把一個縱向為時間和產(chǎn)品旋轉(zhuǎn)的含義（續(xù)Ⅱ）(c)

把一個橫向為時間，縱向為產(chǎn)品的報表變成一個橫向仍為時間和縱向旋轉(zhuǎn)為地區(qū)的報表。鉆取操作（上卷和下轉(zhuǎn)）OLAP的其它操作Drillthrough（穿透）鉆取操作的進一步衍生，尤其對于ROLAP模式，直接得到最為底層的細節(jié)數(shù)據(jù)，數(shù)據(jù)通常以關(guān)系表的形式給出Ranking（排序）對數(shù)據(jù)單元的度量取值進行排序，獲得top/bottom的若干數(shù)據(jù)取值。TypicalOLAPOperationsRollup(drill-up):summarizedatabyclimbinguphierarchyorbydimensionreductionDrilldown(rolldown):reverseofroll-upfromhigherlevelsummarytolowerlevelsummaryordetaileddata,orintroducingnewdimensionsSliceanddice:

projectandselect

Pivot(rotate):

reorientthecube,visualization,3Dtoseriesof2Dplanes.Otheroperationsdrillacross:involving(across)morethanonefacttabledrillthrough:throughthebottomlevelofthecubetoitsback-endrelationaltables(usingSQL)OLTP與OLAP的比較OLAP所用數(shù)據(jù)來自O(shè)LTP數(shù)據(jù)庫進行了預綜合和多維化處理OLAP更強調(diào)界面的可視化和靈活性可視化：多維報表，各種統(tǒng)計圖形，…靈活性：切片、切塊、旋轉(zhuǎn)；逐層細化，…OLTP數(shù)據(jù)OLAP數(shù)據(jù)原始數(shù)據(jù)細節(jié)性數(shù)據(jù)當前值數(shù)據(jù)可更新一次處理的數(shù)據(jù)量小面向應用，事務驅(qū)動面向操作人員，支持日常操作導出數(shù)據(jù)綜合性或提煉性數(shù)據(jù)歷史數(shù)據(jù)不可更新，但周期性刷新一次處理的數(shù)據(jù)量大面向分析，分析驅(qū)動面向決策人員，支持管理需要OLAP&OLTP的主要區(qū)別（1）

——不同的性能需求聯(lián)機事務處理(OLTP):快速的相應時間非常重要(<1second)在任何時候數(shù)據(jù)隨時更新，必須保持數(shù)據(jù)的一致性和完整性聯(lián)機分析處理(OLAP):查詢可能耗費大量的資源可能使得CPUs和磁盤處于緊張的工作狀態(tài)操作通?；谀骋粋€時間點的靜態(tài)的數(shù)據(jù)“快照”O(jiān)LAP與OLTP必須實現(xiàn)環(huán)境分離OLAP可能導致OLTP系統(tǒng)性能的降低，甚至崩潰例如:分析查詢需要計算所有的銷售量為保證數(shù)據(jù)的一致性，防止臟數(shù)據(jù)的讀出，對銷售表進行“加鎖”新的銷售事務無法提交OLAP&OLTP的主要區(qū)別（2）

——不同的數(shù)據(jù)建模需求聯(lián)機事務處理(OLTP):為保證數(shù)據(jù)的一致性，需要設(shè)計規(guī)范化的模式復雜的數(shù)據(jù)模型，包含大量的數(shù)據(jù)表查詢和修改操作相對比較受限聯(lián)機分析處理(OLAP):簡單的數(shù)據(jù)模型非常重要允許業(yè)務人員執(zhí)行各類即席查詢通常采用非規(guī)范化的模型更少的連接操作→提高查詢性能更少的數(shù)據(jù)表→易于理解數(shù)據(jù)模式OLAP&OLTP的主要區(qū)別（3）

——分析需要綜合多個不同的數(shù)據(jù)源OLTP系統(tǒng)主要服務于某一個特定的應用系統(tǒng)例如:在線商場的訂單管理系統(tǒng)OLAP需要集成多個不同的數(shù)據(jù)源包含銷售、訂單、采購等OLAP包含歷史數(shù)據(jù)確定長時間范圍內(nèi)的一些模式發(fā)現(xiàn)一段時間內(nèi)的變化情況數(shù)據(jù)集成是OLAP系統(tǒng)的重點之一聯(lián)機分析處理基本概念數(shù)據(jù)分析模型OLAP的提出多維數(shù)據(jù)結(jié)構(gòu)多維數(shù)據(jù)操作多維數(shù)據(jù)模型的實現(xiàn)多維數(shù)據(jù)模型的實現(xiàn)技術(shù)RelationalOLAP(ROLAP)利用關(guān)系數(shù)據(jù)庫來存儲和管理基本數(shù)據(jù)和聚合數(shù)據(jù)，并利用一些中間件來支持缺失數(shù)據(jù)的處理具有良好的可擴展性MultidimensionalOLAP(MOLAP)利用多維數(shù)據(jù)庫來存放和管理基本數(shù)據(jù)和聚合數(shù)據(jù)，其中需要對稀疏矩陣處理技術(shù)對預綜合的數(shù)據(jù)進行快速索引HybridOLAP(HOLAP)利用關(guān)系數(shù)據(jù)庫來存儲和管理基本數(shù)據(jù)，利用多維數(shù)據(jù)庫來存儲和管理聚合數(shù)據(jù)。多維數(shù)據(jù)的組織存放（細節(jié)數(shù)據(jù)）維1：產(chǎn)品；維成員：冰箱、彩電、空調(diào)；維2：地區(qū)；維成員：東北、西北、華北；變量：銷售量RDB中的數(shù)據(jù)組織MDB中的數(shù)據(jù)組織MDB方法的優(yōu)點（細節(jié)數(shù)據(jù)）清晰簡明，占用存儲少性能好，尤其像“冰箱銷售總量是多少？”的查詢RDB方法：找出有關(guān)“冰箱”的記錄，再對銷售量求和MDB方法：找到有關(guān)“冰箱”的行，按行求和多維數(shù)據(jù)的組織存放（綜合數(shù)據(jù)）RDB中的數(shù)據(jù)組織

多維數(shù)據(jù)的組織存放（綜合數(shù)據(jù)）表中交點處的數(shù)字稱為數(shù)據(jù)單元MDB中的維對應RDB中的數(shù)據(jù)域（列）MDB中的數(shù)據(jù)單元（包括相關(guān)的維成員）對應RDB中的記錄（行）本表中有16個數(shù)據(jù)單元，上一表中有16條記錄MDB方法的優(yōu)點（綜合數(shù)據(jù)）多維概念表達清晰，占用存儲少對數(shù)據(jù)進行綜合的速度快（只需按行/列累加）在RDB中，“總和”作為某個域上的取值（屬性值）與列定義語義不符多維數(shù)據(jù)庫存儲由許多（經(jīng)壓縮的）類似于數(shù)組的對象構(gòu)成每個對象由聚集成組的單元塊組成每個單元塊按類似于多維數(shù)據(jù)的結(jié)構(gòu)存儲通過直接偏移計算進行存取每個對象帶有（壓縮的）索引和指針結(jié)構(gòu)分析時常需維間的組合從而需“旋轉(zhuǎn)”（數(shù)據(jù)立方體）及“切片”須高效的稀疏數(shù)據(jù)處理能力ROLAP&MOLAP的比較MOLAP中的一個查詢

兩種實現(xiàn)技術(shù)比較MOLAP結(jié)構(gòu)結(jié)構(gòu)簡潔、明了適應數(shù)據(jù)量相對較少的情況靈活性稍差ROLAP結(jié)構(gòu)結(jié)構(gòu)相對龐大適應數(shù)據(jù)量很大的情況靈活性好MOLAP的數(shù)據(jù)存儲和管理多維數(shù)據(jù)庫由類似于數(shù)組的對象構(gòu)成；對象帶有索引和指針結(jié)構(gòu)；每個對象由聚集成組的單元塊組成；單元塊通過直接偏移計算進行存取；以維及維成員為主線進行數(shù)據(jù)管理；數(shù)據(jù)封鎖可以達到單元級MOLAP的數(shù)據(jù)存儲和管理數(shù)據(jù)存儲容量較ROLAP少往往利用RDB存儲細節(jié)數(shù)據(jù)，MDB存儲綜合數(shù)據(jù)元數(shù)據(jù)以內(nèi)在方式處理元數(shù)據(jù)描述了層次關(guān)系、時間序列信息、報表項、安全存取控制、數(shù)據(jù)源以及預綜合等等。利用多維查詢語言直接訪問MDB（不借助附加程序）ROLAP的數(shù)據(jù)存儲和管理以關(guān)系數(shù)據(jù)庫系統(tǒng)方法進行數(shù)據(jù)存儲和管理；安全控制和存取控制基于表；封鎖基于表、頁面或行；多維概念下的安全及存取控制，RDBMS不支持，需由OLAPServer實現(xiàn)數(shù)據(jù)存儲容量大（因為RDB技術(shù)成熟）但為了提高性能，須建中間表（預綜合），數(shù)據(jù)冗余大元數(shù)據(jù)作為應用的一部分，由ROLAPServer管理用戶的分析（查詢）請求，需SQL和附加的應用程序共同完成可以直接在細節(jié)數(shù)據(jù)上提供OLAP的功能MOLAP適應性MOLAP的預綜合較高適應維數(shù)動態(tài)變化較差增加一維，“超立方”規(guī)模迅速增長適應數(shù)據(jù)變化較差數(shù)據(jù)（或計算）變化時，重計算量相當大適應大數(shù)據(jù)量較差ROLAP適應性ROLAP的預綜合度靈活，一般較低適應維數(shù)動態(tài)變化較好增加一維，需增加一些維表、綜合表及事實表中的內(nèi)容適應數(shù)據(jù)變化的范圍大適應大數(shù)據(jù)量的能力較強，技術(shù)成熟用關(guān)系結(jié)構(gòu)表示多維數(shù)據(jù)關(guān)系數(shù)據(jù)庫使用廣泛，相當成熟用二維表表達多維概念用兩類表來表示多維結(jié)構(gòu):事實表，維表事實(fact)表用來存儲變量值和各維的碼值維表用來存儲維的描述信息(元數(shù)據(jù))，包括層次和類等星型模式（StarSchema）銷售事務表為事實表四個維表：產(chǎn)品、銷售渠道、地理、時間事實表中的變量值為總收益、銷售量維表碼值為：產(chǎn)品代碼、銷售商代碼、郵政編碼、財政星期序號事實表與維表的連接操作實現(xiàn)數(shù)據(jù)的多維查詢，查詢變量的值及對應的維成員

星型模式（StarSchema）

星型模式

time_keydayday_of_the_weekmonthquartery