第三章-聯(lián)機分析處理OLAPPPT課件

.,1,第3章聯(lián)機分析處理-OLAP,本章學習目標：通過OLAP技術概念介紹了解OLAP的發(fā)展和特點。通過多維分析學習掌握多維的基本概念。通過OLAP的實施掌握OLAP實施方法。通過MOLAP與ROLAP的學習掌握MOLAP與ROLAP的概念。通過OLAP技術評價學習掌握對OLAP技術的評價。,.,2,3.1概述3.2OLAP定義和基本概念3.3OLAP的數(shù)據(jù)模型3.4多維數(shù)據(jù)分析3.5OLAP的結構與分析工具,第3章聯(lián)機分析處理-OLAP,.,3,3.1概述,60年代，關系數(shù)據(jù)庫之父E.F.Codd提出了關系模型，促進了聯(lián)機事務處理(OLTP)的發(fā)展(數(shù)據(jù)以表格的形式而非文件方式存儲)。1993年，E.F.Codd提出了多維數(shù)據(jù)庫和多維分析的概念，即OLAP。,.,4,OLTPVS.OLAP,.,5,OLAP基本思想,聯(lián)機分析處理（OnLineAnalysisProcessing，OLAP）在數(shù)據(jù)倉庫系統(tǒng)中，聯(lián)機分析處理是重要的數(shù)據(jù)分析工具。OLAP的基本思想是從多方面和多角度以多維的形式來觀察企業(yè)的狀態(tài)和了解企業(yè)的變化。OLAP是獨立于數(shù)據(jù)倉庫的一種技術概念當OLAP與數(shù)據(jù)倉庫結合時，OLAP的數(shù)據(jù)源為數(shù)據(jù)倉庫，數(shù)據(jù)倉庫的大量數(shù)據(jù)是根據(jù)多維方式組織的。,.,6,OLAP特點,OLAP在以數(shù)據(jù)倉庫為數(shù)據(jù)源時，它有兩個特點：在線性（OnLine）：由客戶機/服務器這種體系結構來完成的；多維分析：這也是OLAP的核心所在。,.,7,3.2OLAP定義,聯(lián)機分析處理（OLAP）是一種軟件技術，它使分析人員能夠迅速、一致、交互地從各個方面觀察信息，以達到深入理解數(shù)據(jù)的目的。這些信息是從原始數(shù)據(jù)轉換過來的，按照用戶的理解，它反映了企業(yè)真實的方方面面。（OLAP理事會）,.,8,OLAP的簡單定義,聯(lián)機分析處理是共享多維信息的快速分析。體現(xiàn)了四個特征：（1）快速性：用戶對OLAP的快速反應能力有很高的要求。（2）可分析性：OLAP系統(tǒng)應能處理任何邏輯分析和統(tǒng)計分析。（3）多維性：系統(tǒng)必須提供對數(shù)據(jù)分析的多維視圖和分析。（4）信息性：OLAP系統(tǒng)應能及時獲得信息，并且管理大容量的信息。,.,9,OLAP目標,是滿足決策支持或多維環(huán)境特定的查詢和報表需求，它的技術核心是“維”這個概念，因此OLAP也可以說是多維數(shù)據(jù)分析工具的集合。,.,10,OLAP準則,1993年，E.F.Codd提出OLAP的12條準則，其主要的準則有：多維數(shù)據(jù)分析；客戶/服務器結構；多用戶支持；一致的報表性能等。,.,11,多維數(shù)據(jù)分析,企業(yè)的數(shù)據(jù)空間本身就是多維的。因此OLAP的概念模型也應是多維的。用戶可以對多維數(shù)據(jù)模型進行切片、切塊、旋轉坐標或進行多維的聯(lián)合（概括和聚集）分析。,.,12,客戶/服務器體系結構,OLAP是建立在客戶/服務器體系結構上的。多維數(shù)據(jù)庫服務器能夠被不同的應用和工具所訪問?？蛻舳素撠煈眠壿嫾坝脩艚缑妗?.,13,多用戶支持,當多個用戶要在同一分析模式上并行工作，OLAP工具應能夠提供并發(fā)訪問等功能。,.,14,一致的報表性能,報表必須充分反映數(shù)據(jù)分析模型的多維特征，并可按用戶需要的方式來顯示它報表操作不應隨維數(shù)增加而削弱，即當數(shù)據(jù)維數(shù)和數(shù)據(jù)的綜合層次增加時，提供的報表能力和響應速度不應該有明顯的降低。,.,15,OLAP基本概念,變量：從現(xiàn)實系統(tǒng)抽象出來的，用于描述數(shù)據(jù)的實際含義，即描述數(shù)據(jù)“是什么”維：是與某一事件相關的因素在關系模型的抽象，是人們觀察數(shù)據(jù)的特定角度。如產(chǎn)品維、顧客維、時間維等。維的層次性：是由觀察數(shù)據(jù)細致程度不同造成的。如日、月、季、年是時間維的層次。維的取值：即維的成員。如“某年某月某日”是時間維的一個成員。,.,16,OLAP基本概念,維的分類：按照一定的劃分標準對維的所有取值集合的一個分類劃分，用于數(shù)據(jù)鉆取和聚合。如上半年、下半年是對時間維的劃分。事實：不同維度在某個取值下的交叉點，是對事件的度量。如（牙膏，上海，1998年12月，批發(fā)，銷售額為100000）多維數(shù)據(jù)立方體,.,17,維的例子,一個電子公司的銷售一般從三個方面分析銷售額：時間：在某一段時間內(nèi)的銷售情況，其度量為（年、季度、月、旬、天）地區(qū)：在某個地區(qū)的銷售情況，度量可分為（地區(qū)、國家、省、市）產(chǎn)品：某類或某型號產(chǎn)品的銷售情況，度量可分為（類別、型號等）此處，（時間，地區(qū)，產(chǎn)品）就構成了三個維。維有層次結構，可以在某個層上察看數(shù)據(jù)。,.,18,維的例子,地區(qū)的層次,全國,江蘇,北京,上海,蘇州市,揚州市,寶應縣,.,19,維的例子,正好構成一個數(shù)據(jù)立方體，可以有更高階的維，但仍然稱為數(shù)據(jù)立方體。,時間,地區(qū),產(chǎn)品,原點,.,20,OLAP數(shù)據(jù)立方體的計算（物化）,數(shù)據(jù)立方體的個數(shù)有產(chǎn)品(type)、城市(city)、日期(date)三個維，則：,0-D（頂點）方體,1-D方體,2-D方體,3-D（基本）方體,.,21,OLAP數(shù)據(jù)立方體的計算（物化）,一般，若有n個維，則立方體個數(shù)是,(city,item,date),(city,item),(city,date),(item,date),(city),(item),(date),all,all表示不對任何維分組，這組形成了該數(shù)據(jù)立方體的方體格,.,22,OLAP數(shù)據(jù)立方體的計算（物化）,實際維上有分層，如（年、季度、月、星期、日），所以實際的立方體個數(shù)是極大的。所以，實時計算的工作量極大，但全部事先計算，則存儲量又極大。方體的選擇計算：不物化：即不預先計算任何“非基本”方體全物化：預先計算所有的方體部分物化：在整個可能的方體集中，有選擇地物化一個適當?shù)淖蛹贠LAP中一般采用部分物化，應考慮三個因素:(1)確定要物化的方體子集；(2)利用查詢處理時物化的方體；(3)在裝入和刷新時，有效地更新物化的方體。,.,23,3.3OLAP的數(shù)據(jù)模型,3.3.1MOLAP數(shù)據(jù)模型3.3.2ROLAP數(shù)據(jù)模型3.3.3MOLAP與ROLAP的比較3.3.4HOLAP數(shù)據(jù)模型,.,24,3.3.1MOLAP的數(shù)據(jù)模型,MOLAP是基于多維數(shù)據(jù)庫存儲方式建立的OLAP；表現(xiàn)為“超立方”結構，采用類似于多維數(shù)組的結構。例如，二維MDDB（數(shù)組，即矩陣）的數(shù)據(jù)組織見下表,.,25,3.3.2ROLAP數(shù)據(jù)模型,ROLAP是基于關系數(shù)據(jù)庫的OLAP。它是一個平面結構，用關系數(shù)據(jù)庫表示多維數(shù)據(jù)時，采用星型模型。,.,26,3.3.3MOLAP與ROLAP的比較,1.數(shù)據(jù)存取速度2.數(shù)據(jù)存儲的容量3.多維計算的能力4.維度變化的適應性5.數(shù)據(jù)變化的適應性6.軟硬件平臺的適應性7.元數(shù)據(jù)管理,.,27,1.數(shù)據(jù)存取速度,ROLAP服務器需要將SQL語句轉化為多維存儲語句，臨時“拼合”出多維數(shù)據(jù)立方體。因此，ROLAP的響應時間較長。MOLAP在數(shù)據(jù)存儲速度上性能好，響應速度快。,.,28,2.數(shù)據(jù)存儲的容量,ROLAP使用的傳統(tǒng)關系數(shù)據(jù)庫的存儲方法，在存儲容量上基本沒有限制。MOLAP通常采用多平面疊加成立體的方式存放數(shù)據(jù)。MOLAP受操作系統(tǒng)平臺中文件大小的限制，當數(shù)據(jù)量超過操作系統(tǒng)最大文件長度時，需要進行數(shù)據(jù)分割。多維數(shù)據(jù)庫的數(shù)據(jù)量級難以達到TB級(只能1020G）,.,29,3.多維計算的能力,MOLAP能夠支持高性能的決策支持計算。ROLAP無法完成多行的計算和維之間的計算。,.,30,4.維度變化的適應性,MOLAP增加新的維度，則多維數(shù)據(jù)庫通常需要重新建立。ROLAP對于維表的變更有很好的適應性。,.,31,5.數(shù)據(jù)變化的適應性,當數(shù)據(jù)頻繁的變化時，MOLAP需要進行大量的重新計算，甚至重新建立索引乃至重構多維數(shù)據(jù)庫。在ROLAP中靈活性較好，對于數(shù)據(jù)變化的適應性高。,.,32,6.軟硬件平臺的適應性,ROLAP對軟硬件平臺的適應性很好MOLAP相對較差。,.,33,7.元數(shù)據(jù)管理,目前在元數(shù)據(jù)的管理，MOLAP和ROLAP都沒有成形的標準。,.,34,MOLAPVSROLAP,.,35,3.3.4HOLAP數(shù)據(jù)模型,HOLAP（HybridOLAP），即混和型OLAP介于MOLAP和ROLAP之間。在HOLAP中，對最常用的維度和維層次，使用多維數(shù)據(jù)表來存儲，對于用戶不常用的維度和數(shù)據(jù)，采用ROLAP星型結構來存儲。HOLAP得宜于ROLAP的可伸縮性,和MOLAP的快速計算。（如MSSQLSERVER)在HOLAP的多維數(shù)據(jù)表中的數(shù)據(jù)維度少于MOLAP中的維度表，數(shù)據(jù)存儲容量也少于MOLAP方式。HOLAP在數(shù)據(jù)存取速度上又低于MOLAP。,.,36,3.4OALP的多維數(shù)據(jù)分析,3.4.1OLAP的基本操作3.4.2廣義OLAP功能3.4.3多維數(shù)據(jù)分析實例,.,37,3.4.1OLAP的基本操作,數(shù)據(jù)切片：多維數(shù)據(jù)是由多個維度組成的，如果在某個維度上選定一個取值，則多維數(shù)據(jù)從n維下降成n-1維數(shù)據(jù)切塊：將完整的數(shù)據(jù)立方體切取一部分數(shù)據(jù)而得到的新的數(shù)據(jù)立方體。數(shù)據(jù)鉆取(下鉆)：從較高的維度層次下降到較低的維度層次上來觀察多維數(shù)據(jù)數(shù)據(jù)聚合(上卷)：對數(shù)據(jù)進行高層次綜合的操作數(shù)據(jù)旋轉：改變維度的位置關系，使最終用戶可從其他視角來觀察多維數(shù)據(jù)。,.,38,基本操作示例,以“城市、產(chǎn)品、時間”三維數(shù)據(jù)為例，如下圖,.,39,20,29,40,35,時間,產(chǎn)品,地區(qū),一季度,二季度,三季度,四季度,北京,上海,南京,廣州,VCD,手機,電腦,空調(diào),69,（北京，二季度，電腦的銷售額）,.,40,1.切片,對三維數(shù)據(jù)，通過“切片”，分別從產(chǎn)品和城市等不同的角度觀察銷售情況：,.,41,切片示例1,切片(slice)：地區(qū)=“北京”意義：北京地區(qū)四個季度空調(diào)、電腦、手機、VCD的銷售金額,.,42,切片示例2,切片：產(chǎn)品=“空調(diào)”意義：空調(diào)產(chǎn)品在四個季度中各地區(qū)的銷售金額,.,43,2.切塊,（1）在多維數(shù)組的某一個維上選定某一區(qū)間的維成員的操作切塊可以看成是在切片的基礎上，確定某一個維成員的區(qū)間得到的片段，也即由多個切片疊合起來。（2）選定多維數(shù)組的一個三維子集的操作在多維數(shù)組（維1，維2，維n，變量）中選定3個維，維i、維j、維k，在這3個維上分別取一個區(qū)間，或任意維成員，而其它維都取定一個維成員。,.,44,切塊示例,分塊(dice)：地區(qū)=“南京”AND“廣州”產(chǎn)品“空調(diào)”AND“手機”,.,45,3.鉆取,鉆取有向下鉆?。╠rilldown）和向上鉆取（drillup）操作。向下鉆取是使用戶在多層數(shù)據(jù)中能通過導航信息而獲得更多的細節(jié)性數(shù)據(jù)。向上鉆取獲取概括性的數(shù)據(jù)。,.,46,下鉆（drill_down)：按時間分到月、甚至天為單位,下鉆,.,47,上卷（roll_up)：按時間上卷到半年為單位,20,29,40,35,時間,產(chǎn)品,地區(qū),一季度,二季度,三季度,四季度,南京,廣州,手機,空調(diào),上卷,.,48,4.旋轉,通過旋轉可以得到不同視角的數(shù)據(jù)。旋轉操作相當于平面數(shù)據(jù)將坐標軸旋轉。例如，旋轉可能包含了交換行和列，或是把某一個行維移到列維中去?；蚴前秧撁骘@示中的一個維和頁面外的維進行交換（令其成為新的行或列中的一個）,.,49,旋轉示意圖,行列交換,旋轉以改變顯示布局,.,50,旋轉示例,旋轉前的數(shù)據(jù)旋轉后的數(shù)據(jù),.,51,3.4.2廣義OLAP功能,基本代理操作數(shù)據(jù)分析模型商業(yè)分析模型,.,52,基本代理操作,當系統(tǒng)處于某種特殊狀態(tài)時“代理”提醒分析員。（1）示警報告定義一些條件，一但條件滿足，系統(tǒng)會提醒分析員去做分析。如每日報告完成或月定貨完成等通知分析員作分析。（2）時間報告按日歷和時鐘提醒分析員。（3）異常報告當超出邊界條件時提醒分析員。如銷售情況已超出預定義閾值的上限或下限時提醒分析員。,.,53,數(shù)據(jù)分析模型,（1）絕對模型通過比較歷史數(shù)據(jù)值或行為來描述過去發(fā)生的事實。絕對模型只能對歷史數(shù)據(jù)進行比較，并且利用回歸分析等一些分析方法得出趨勢信息。,.,54,數(shù)據(jù)分析模型,（2）解釋模型利用系統(tǒng)已有的多層次的綜合路徑層層細化，找出事實發(fā)生的原因。假設今年銷售量下降，那么解釋模型應當能找出原因，即下滑與時間、地區(qū)、商品及銷售渠道四者中的何種因素有關。,.,55,數(shù)據(jù)分析模型,（3）思考模型說明在一維或多維上引入一組具體變量或參數(shù)后將會發(fā)生什么。例如該公司決策者為了了解某商品的銷售量是否與顧客的年齡有關，引入了行變量年齡，即在當前的多維視圖上增加了顧客的年齡維。,.,56,數(shù)據(jù)分析模型,（4）公式模型該模型表示在多個維上，需要引入哪些變量或參數(shù)，以及引入后所產(chǎn)生的結果。公式模型自動完成上述變量引入工作，從而最終找出與銷量有關的全部因素，并給出了引入后的結果。,.,57,商業(yè)分析模型,（1）分銷渠道的分析模型（2）客戶利潤貢獻度模型（3）客戶關系（信用）優(yōu)化模型（4）風險評估模型,.,58,（1）分銷渠道的分析模型,通過客戶、渠道、產(chǎn)品或服務三者之間的關系，了解客戶的購買行為、客戶和渠道對業(yè)務收入的貢獻、哪些客戶比較喜好由什么渠道在何時和銀行打交道。為此，銀行需要建立客戶購買傾向模型和渠道喜好模型等。,.,59,（2）客戶利潤貢獻度模型,通過該模型能了解每一位客戶對銀行的總利潤貢獻度。知道哪些利潤高的客戶需要留住，采用什么方法留住客戶，交叉銷售改善客戶的利潤貢獻度，哪些客戶應該爭取，完成個性化服務。,.,60,（3）客戶關系（信用）優(yōu)化模型,銀行對客戶的每一筆交易中，知道客戶需要什么產(chǎn)品或服務，例如，定期存款是希望退休養(yǎng)老使用，申請信用卡需要現(xiàn)金消費，詢問放貸利息需要住房貸款等。通過模型計算，主動地對客戶溝通并進行交叉銷售，達到留住客戶和增加利潤的目標。,.,61,（4）風險評估模型,模擬風險和利潤間的關系，建立風險評估的數(shù)學模型，在滿足高利潤、低風險客戶需求的前提下，達到銀行收益的極大化。,.,62,3.5OLAP結構與分析工具,3.5.1OLAP結構3.5.2OLAP的Web結構,.,63,3.5.1OLAP結構,1OLAP邏輯結構,.,64,2OLAP物理結構,OLAP的C/S物理結構OLAP的三層C/S物理結構,.,65,3.5.2OLAP的Web結構,.,66,3.5.3OLAP工具,目前許多公司已經(jīng)推出了相應的OLAP支持工具ORACLEIBMBusinessObjectSASNCR,.,67,應具備的功能,支持多維和維中的層次；聚集、概括、預計算和導出數(shù)據(jù)；提供計算邏輯、公式和分析過程；提供比較分析能力；進行跨維計算；沿單個或多個維的軸以及交叉表等來進行細剖和瀏覽。,.,68,OLAP工具評價,OLAP服務器和工具可以按以下五個方面來進行評價：特征和功能訪問性能OLAP服務引擎管理能力全局結構視圖從這五個方面分析市場上的OLAP產(chǎn)品，也可以把它們作為應用系統(tǒng)中OLAP需求分析指標。,.,69,特征和功能,支持多維數(shù)據(jù)集中的維與層次，能夠沿某個維或一組維進行數(shù)據(jù)的聚集、匯總、預計計算和派生；能夠對某個維或一組維提供計算邏輯、公式和分析例程進行某種形式的操作；能夠實現(xiàn)從一個維到另外一個維的轉換；能夠進行交叉維的計算，如在不同維之間進行成本分配，或在電子表格中按照不同維進行損益表的計算；,.,70,特征和功能,能夠提供強大的分析模型，包括對選中維及維的元素的邏輯、公式、分析例程、聚集數(shù)據(jù)匯總數(shù)據(jù)和派生數(shù)據(jù)等。如在給定財務數(shù)據(jù)上計算內(nèi)部回報率的財務模型；能夠提供大量的函數(shù)，如財務、統(tǒng)計、代數(shù)、市場等各種函數(shù)；能夠提供強大的計算和邏輯比較能力，如對數(shù)據(jù)的分級、比較、歸類、百分比、極值、均值等；具有智能化的與時間相關的處理，如按照給定時間段的日歷安排；能夠提供強大的導航分析，可以沿單個或