高級(jí)數(shù)據(jù)庫(kù)技術(shù)-高級(jí)數(shù)據(jù)庫(kù)技術(shù)ppt課件

1、數(shù)據(jù)倉(cāng)庫(kù)與olap分析高級(jí)數(shù)據(jù)庫(kù)技術(shù)課程講義郭玉彬數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)倉(cāng)庫(kù)與OLAP分析分析n數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)nETL原理與實(shí)現(xiàn)技術(shù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀2019年年olap技術(shù)開(kāi)展：技術(shù)開(kāi)展： Microsoft收買專業(yè)開(kāi)發(fā)企業(yè)分析軟件的收買專業(yè)開(kāi)發(fā)企業(yè)分析軟件的ProClarity，還發(fā)布了，還發(fā)布了PerformancePoint Server 2019 Oracle發(fā)布了具有內(nèi)嵌發(fā)布了具有內(nèi)嵌OLAP功能的數(shù)功能的數(shù)據(jù)庫(kù)產(chǎn)品據(jù)庫(kù)產(chǎn)品10g，以及在，以及在2019年收買了專年收買了專業(yè)的業(yè)的BI公司公司Hyper

2、ion數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀nOracle的數(shù)據(jù)倉(cāng)庫(kù)處理方案的數(shù)據(jù)倉(cāng)庫(kù)處理方案nOracle Express：nOracle Express Server是一個(gè)是一個(gè)MOLAP (多維多維OLAP)效效力器力器nOracle Express Web Agent支持基于支持基于Web的動(dòng)態(tài)多維的動(dòng)態(tài)多維數(shù)據(jù)展現(xiàn)數(shù)據(jù)展現(xiàn)nOracle Express Objects前端數(shù)據(jù)分析工具，提供圖形前端數(shù)據(jù)分析工具，提供圖形化建模和假設(shè)分析功能，支持可視化開(kāi)發(fā)和事件驅(qū)動(dòng)化建模和假設(shè)分析功能，支持可視化開(kāi)發(fā)

3、和事件驅(qū)動(dòng)編程技術(shù)，提供兼容編程技術(shù)，提供兼容Visual Basic語(yǔ)法的言語(yǔ)，支持語(yǔ)法的言語(yǔ)，支持OCX和和OLE；nOracle Express Analyzer是通用的、面向最終用戶的是通用的、面向最終用戶的報(bào)告和分析工具目前僅支持報(bào)告和分析工具目前僅支持Windows平臺(tái)。平臺(tái)。nOracle Discoverer即席查詢工具是專門為最終用戶設(shè)即席查詢工具是專門為最終用戶設(shè)計(jì)的，分為最終用戶版和管理員版。計(jì)的，分為最終用戶版和管理員版。 數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀nMicrosoft將將OLAP功能集成到功能集成到Microsoft SQL Ser

4、ver 7.0中，提供可擴(kuò)展的基于中，提供可擴(kuò)展的基于COM的的OLAP接口。它經(jīng)過(guò)一系列效力接口。它經(jīng)過(guò)一系列效力程序支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)運(yùn)用。程序支持?jǐn)?shù)據(jù)倉(cāng)庫(kù)運(yùn)用。 nSybaseWarehouse Studion 包括數(shù)據(jù)倉(cāng)庫(kù)的建模、數(shù)據(jù)抽取與轉(zhuǎn)包括數(shù)據(jù)倉(cāng)庫(kù)的建模、數(shù)據(jù)抽取與轉(zhuǎn)換、數(shù)據(jù)存儲(chǔ)與管理、元數(shù)據(jù)管理以及換、數(shù)據(jù)存儲(chǔ)與管理、元數(shù)據(jù)管理以及可視化數(shù)據(jù)分析等工具?？梢暬瘮?shù)據(jù)分析等工具。數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) 技術(shù)現(xiàn)狀技術(shù)現(xiàn)狀nIBM:基于可視數(shù)據(jù)倉(cāng)庫(kù)的商業(yè)智能基于可視數(shù)據(jù)倉(cāng)庫(kù)的商業(yè)智能BI處處理方案，包括：理方案，包括：Visual WarehouseVW、Essbase

5、/DB2 OLAP Server 5.0、IBM DB2 UDB，以及來(lái)自第三方的前端數(shù)據(jù)展現(xiàn)工具，以及來(lái)自第三方的前端數(shù)據(jù)展現(xiàn)工具如如BO和數(shù)據(jù)發(fā)掘工具如和數(shù)據(jù)發(fā)掘工具如SAS。nBusiness ObjectsBO是集查詢、報(bào)表和是集查詢、報(bào)表和OLAP技術(shù)為一身的智能決策支持系統(tǒng)。技術(shù)為一身的智能決策支持系統(tǒng)。 nSAS公司公司90年代參與數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)的競(jìng)爭(zhēng)，并年代參與數(shù)據(jù)倉(cāng)庫(kù)市場(chǎng)的競(jìng)爭(zhēng)，并提供了特點(diǎn)鮮明的數(shù)據(jù)倉(cāng)庫(kù)處理方案，包括提供了特點(diǎn)鮮明的數(shù)據(jù)倉(cāng)庫(kù)處理方案，包括30多個(gè)公用模塊。多個(gè)公用模塊。數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) 系統(tǒng)分層構(gòu)系統(tǒng)分層構(gòu)造圖造圖數(shù)據(jù)層各種數(shù)據(jù)源計(jì)

6、算層關(guān)系數(shù)據(jù)庫(kù)XML 文本文件透視表效力數(shù)據(jù)發(fā)掘其它可視化控制層呈現(xiàn)層系統(tǒng)總體架構(gòu)圖數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計(jì)算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計(jì)算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)

7、據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -元數(shù)據(jù)管元數(shù)據(jù)管理理n技術(shù)現(xiàn)狀nOMG 組織的CWM 規(guī)范(Common Warehouse Metamodel) n 一個(gè)特定于數(shù)據(jù)倉(cāng)庫(kù)領(lǐng)域的元數(shù)據(jù)模型集，它獨(dú)立于詳細(xì)數(shù)據(jù)倉(cāng)庫(kù)的實(shí)現(xiàn)，包含了各類有代表性的數(shù)據(jù)倉(cāng)庫(kù)元數(shù)據(jù)的有效描畫。已被IBM、UNISYS、NCR、 Hyperion 、Oracle 等多家公司支持。n較成熟的元數(shù)據(jù)管理處理方案 nMicrosoft 的Meta Data Servicen Sybase 的WCC 數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -元數(shù)據(jù)管元數(shù)據(jù)管理理數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -元數(shù)據(jù)管元數(shù)據(jù)管理理n元數(shù)

8、據(jù)業(yè)務(wù)流程圖解析XML文件XMl 文件XML解析器元數(shù)據(jù)對(duì)象容器創(chuàng)建元數(shù)據(jù)對(duì)象數(shù)據(jù)庫(kù)或文本加載成員信息數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計(jì)算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算估計(jì)算：估計(jì)算：估計(jì)算指將維度不同的組合即方體對(duì)應(yīng)的聚集值預(yù)估計(jì)算指將維度不同的組合即方體對(duì)應(yīng)的聚集值預(yù)先計(jì)算出來(lái)。估計(jì)算的關(guān)鍵是要減少數(shù)據(jù)立方體的存先計(jì)算出來(lái)。估計(jì)算的關(guān)

9、鍵是要減少數(shù)據(jù)立方體的存儲(chǔ)空間和計(jì)算時(shí)間。當(dāng)前研討的算法主要分類如下：儲(chǔ)空間和計(jì)算時(shí)間。當(dāng)前研討的算法主要分類如下：1選擇物化：即選擇關(guān)鍵方體進(jìn)展計(jì)算。例如：選擇物化：即選擇關(guān)鍵方體進(jìn)展計(jì)算。例如：iceberg cube、star cube2緊縮技術(shù)：即將數(shù)據(jù)立方體的存儲(chǔ)空間進(jìn)展一定的緊緊縮技術(shù)：即將數(shù)據(jù)立方體的存儲(chǔ)空間進(jìn)展一定的緊縮。例如：縮。例如：condensed cube、dwarf cube、quotient cube、closed cube、approximate cubes3分區(qū)技術(shù)：垂直分區(qū)及程度分區(qū)。例如：分區(qū)技術(shù)：垂直分區(qū)及程度分區(qū)。例如：frag cube4并行技術(shù)：例

10、如：并行技術(shù)：例如：pipesort算法、算法、LeastBenefitFirst算算法法 數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算估計(jì)算模塊：根據(jù)估計(jì)算模塊：根據(jù)Cube對(duì)象讀取其對(duì)應(yīng)的數(shù)據(jù)源信息，對(duì)象讀取其對(duì)應(yīng)的數(shù)據(jù)源信息，從而獲得相應(yīng)的現(xiàn)實(shí)表和維表，并做聚集計(jì)算。主要從而獲得相應(yīng)的現(xiàn)實(shí)表和維表，并做聚集計(jì)算。主要功能為：功能為：支持維及層次上的聚集。支持維及層次上的聚集。完成的聚集函數(shù)：完成的聚集函數(shù)：sum、count、avg、max、min。可以集成可以集成“元數(shù)據(jù)模塊接口讀取立方體信息以及數(shù)據(jù)源元數(shù)據(jù)模塊接口讀取立方體信息以及數(shù)據(jù)源信息，并加

11、載相應(yīng)的根本表和維表。信息，并加載相應(yīng)的根本表和維表。支持支持MOLAP及及ROLAP下的估計(jì)算。下的估計(jì)算。支持多核和集群的并行計(jì)算支持多核和集群的并行計(jì)算數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算立方體類型：立方體類型：常規(guī)立方體：為輸入數(shù)據(jù)的聚合定義的框常規(guī)立方體：為輸入數(shù)據(jù)的聚合定義的框 架構(gòu)造架構(gòu)造虛擬立方體：是一個(gè)或多個(gè)常規(guī)虛擬虛擬立方體：是一個(gè)或多個(gè)常規(guī)虛擬 立方體的銜接視圖立方體的銜接視圖組成：任何立方體的任何維組成：任何立方體的任何維優(yōu)點(diǎn)：優(yōu)點(diǎn)：可以處理常規(guī)立方體遇到的問(wèn)題可以處理常規(guī)立方體遇到的問(wèn)題可以處理平安性問(wèn)題可以處理平安性問(wèn)題在

12、常規(guī)立方體中被禁用的維級(jí)可以在虛擬立在常規(guī)立方體中被禁用的維級(jí)可以在虛擬立方體中啟用方體中啟用數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算數(shù)據(jù)立方體存儲(chǔ)：數(shù)據(jù)立方體存儲(chǔ)：分區(qū)：實(shí)現(xiàn)數(shù)據(jù)的邏輯分段減少反復(fù)數(shù)分區(qū)：實(shí)現(xiàn)數(shù)據(jù)的邏輯分段減少反復(fù)數(shù) 據(jù)和去除重要數(shù)據(jù)據(jù)和去除重要數(shù)據(jù)立方體數(shù)據(jù)構(gòu)造可以存儲(chǔ)到一個(gè)或多個(gè)分區(qū)上立方體數(shù)據(jù)構(gòu)造可以存儲(chǔ)到一個(gè)或多個(gè)分區(qū)上每個(gè)分區(qū)可以運(yùn)用不同的存儲(chǔ)方式每個(gè)分區(qū)可以運(yùn)用不同的存儲(chǔ)方式ROLPA、MOLAP、HOLAP分區(qū)可以組合分區(qū)可以組合優(yōu)點(diǎn)：有助于數(shù)據(jù)構(gòu)造進(jìn)展管理和協(xié)調(diào)優(yōu)點(diǎn)：有助于數(shù)據(jù)構(gòu)造進(jìn)展管理和協(xié)調(diào)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)

13、倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算數(shù)據(jù)更新方式：數(shù)據(jù)更新方式：增量更新增量更新將新數(shù)據(jù)添加到立方體中的分區(qū)并更新聚合。不處置將新數(shù)據(jù)添加到立方體中的分區(qū)并更新聚合。不處置對(duì)立方體構(gòu)造度量值、維度等或?qū)ζ洮F(xiàn)有源數(shù)對(duì)立方體構(gòu)造度量值、維度等或?qū)ζ洮F(xiàn)有源數(shù)據(jù)的更改。新數(shù)據(jù)創(chuàng)建暫時(shí)分區(qū)并把它合并到現(xiàn)有據(jù)的更改。新數(shù)據(jù)創(chuàng)建暫時(shí)分區(qū)并把它合并到現(xiàn)有分區(qū)。分區(qū)。刷新刷新去除并重新加載立方體數(shù)據(jù)，并重新計(jì)算它的聚合。去除并重新加載立方體數(shù)據(jù)，并重新計(jì)算它的聚合。在立方體源數(shù)據(jù)已更改、但其構(gòu)造未更改的情況下在立方體源數(shù)據(jù)已更改、但其構(gòu)造未更改的情況下運(yùn)用。運(yùn)用。完全處置完全處置在當(dāng)前定義根底

14、上完全重新構(gòu)造立方體，然后重新計(jì)在當(dāng)前定義根底上完全重新構(gòu)造立方體，然后重新計(jì)算它的數(shù)據(jù)。算它的數(shù)據(jù)。數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算索引技術(shù)：索引技術(shù)：位圖索引最常用的一種索引位圖索引最常用的一種索引減少大級(jí)別特別查詢的呼應(yīng)時(shí)間；減少大級(jí)別特別查詢的呼應(yīng)時(shí)間；減少對(duì)存儲(chǔ)空間占用；減少對(duì)存儲(chǔ)空間占用；在在CPU和內(nèi)存資源相對(duì)較少時(shí)，仍大幅度提升性能；和內(nèi)存資源相對(duì)較少時(shí)，仍大幅度提升性能；運(yùn)用并行運(yùn)用并行DML或或LOAD時(shí)，索引維護(hù)高效。時(shí)，索引維護(hù)高效。 適用于集勢(shì)選擇性較低的列適用于集勢(shì)選擇性較低的列 。BTREE索引運(yùn)用較少索引運(yùn)用較少主

15、要用在獨(dú)一或接近獨(dú)一的列上。主要用在獨(dú)一或接近獨(dú)一的列上。1反轉(zhuǎn)索引列表等其它索引技術(shù)反轉(zhuǎn)索引列表等其它索引技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算構(gòu)造技術(shù)：構(gòu)造技術(shù)：Iceberg對(duì)進(jìn)入數(shù)據(jù)立方體的元組施加了限對(duì)進(jìn)入數(shù)據(jù)立方體的元組施加了限制條件制條件,減少了數(shù)據(jù)立方體的元組個(gè)數(shù)減少了數(shù)據(jù)立方體的元組個(gè)數(shù).Condensed Cube, Quotient Cube和和Dwarf,其根本思想都是經(jīng)過(guò)共享元組來(lái)緊縮數(shù)其根本思想都是經(jīng)過(guò)共享元組來(lái)緊縮數(shù)據(jù)立方體的體積據(jù)立方體的體積,而且不需求實(shí)時(shí)計(jì)算而且不需求實(shí)時(shí)計(jì)算. 封鎖數(shù)據(jù)立方體的概念封鎖數(shù)據(jù)立方體

16、的概念數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體估數(shù)據(jù)立方體估計(jì)算計(jì)算封鎖數(shù)據(jù)立方體的概念封鎖數(shù)據(jù)立方體的概念一個(gè)單元一個(gè)單元c是封鎖的假設(shè)沒(méi)有其它單元是封鎖的假設(shè)沒(méi)有其它單元c滿足以下滿足以下條件：條件：1c可由可由c上卷而來(lái)；并且上卷而來(lái)；并且2c與與c聚集值相等聚集值相等封鎖立方體封鎖立方體Closed Cube是指只包含封鎖單元是指只包含封鎖單元的數(shù)據(jù)立方體。的數(shù)據(jù)立方體。注：商立方體注：商立方體Quotient Cube與封鎖立方體概與封鎖立方體概念等價(jià)，封鎖單元在商立方體中稱為上界念等價(jià)，封鎖單元在商立方體中稱為上界數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -模

17、塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計(jì)算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體數(shù)據(jù)立方體查詢查詢概念：概念：點(diǎn)查詢：查詢條件是值的查詢；點(diǎn)查詢：查詢條件是值的查詢；范圍查詢：查詢條件不是值，而是范圍的查詢；范圍查詢：查詢條件不是值，而是范圍的查詢；冰山查詢：冰山查詢，查詢度量值大于某個(gè)閾值，如冰山查詢：冰山查詢，查詢度量值大于某個(gè)閾值，如select R1, R2 from T group by R1 having co

18、unt(*)=n, 閾值為閾值為n增量維護(hù)：對(duì)根底數(shù)據(jù)變化后的更新維護(hù)；增量維護(hù)：對(duì)根底數(shù)據(jù)變化后的更新維護(hù)；封鎖立方體算法：一種封鎖立方體算法：一種QC的改良算法；的改良算法；完全物化：生成一切能夠的聚集；完全物化：生成一切能夠的聚集；QC立方體：快速產(chǎn)生聚集的集合；立方體：快速產(chǎn)生聚集的集合；QC-tree：一種快速聚集實(shí)現(xiàn)：一種快速聚集實(shí)現(xiàn)QC的算法；的算法；覆蓋集：覆蓋集：t可以上卷到可以上卷到c，那么，那么c覆蓋覆蓋t；c的覆蓋集為滿足條的覆蓋集為滿足條件的件的t的集合；的集合；上界集上界集:對(duì)聚集的每個(gè)對(duì)聚集的每個(gè)cell分類分類,歸類的最細(xì)粒度的歸類的最細(xì)粒度的cell集集下界集

19、下界集:對(duì)聚集的每個(gè)對(duì)聚集的每個(gè)cell分類分類,歸類的最粗粒度的歸類的最粗粒度的cell集集數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體數(shù)據(jù)立方體查詢查詢根據(jù)其查詢要求對(duì)上界集進(jìn)展點(diǎn)查詢和范圍查詢操作。主要功能：封鎖立方體查詢算法：主要是分層查詢的思想，采用了反轉(zhuǎn)表、位圖等方式實(shí)現(xiàn)。完全立方體查詢算法：基于ROLAP上被完全物化視圖的查詢。不計(jì)算立方體的查詢算法：即直接把MDX查詢轉(zhuǎn)化為對(duì)根本表的SQL查詢。 數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -數(shù)據(jù)立方體數(shù)據(jù)立方體查詢查詢n業(yè)務(wù)流程圖有結(jié)果無(wú) 結(jié) 果有結(jié)果無(wú)結(jié)果輸入處置輸出數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技

20、術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計(jì)算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -MDX解析解析nMDX (MultiDimensional Expressions)是一種用來(lái)處置多維是一種用來(lái)處置多維數(shù)據(jù)存儲(chǔ)，支持多維數(shù)據(jù)存儲(chǔ)，支持多維 對(duì)象與數(shù)據(jù)的定義和操作的言對(duì)象與數(shù)據(jù)的定義和操作的言語(yǔ)。語(yǔ)。nMDX語(yǔ)句語(yǔ)句nSELECT Measures.Sales, Measures.Units ON COLUMNS, n Time

21、. 2000.Q1, Time. 2000.Q2 ON ROWS nFROM SalesnWHERE ( CITY.上海上海 ) SalesUnits2000Q1825100Q249658數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -MDX解析解析MDX根本語(yǔ)法根本語(yǔ)法SELECT , FROM WHERE (slicer_specification )被定義成：被定義成：NON EMPTY ON 被定義成：被定義成：COLUMNS / ROWS /PAGES / SECTIONS / CHAPTERS / AXIS(0) AXIS(1) AXIS(2) AXIS(3) AXIS(4)數(shù)據(jù)倉(cāng)

22、庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -MDX解析解析nMDX解析器的構(gòu)造圖解析器的構(gòu)造圖數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -MDX解析解析n由由LEX和和YACC構(gòu)成的編譯器框架構(gòu)成的編譯器框架數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計(jì)算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -XMLA引擎引擎nXML for Analysis 以下簡(jiǎn)稱以下簡(jiǎn)稱XMLA是是Microsof

23、t公司與公司與Hyperion Solutions公司所倡公司所倡導(dǎo)的規(guī)范組織制定的數(shù)據(jù)通用訪問(wèn)規(guī)范，其導(dǎo)的規(guī)范組織制定的數(shù)據(jù)通用訪問(wèn)規(guī)范，其擴(kuò)展了擴(kuò)展了 OLE DB 的概念，提供對(duì)的概念，提供對(duì) Web 上一切上一切規(guī)范數(shù)據(jù)源的規(guī)范化通用數(shù)據(jù)訪問(wèn)，而無(wú)需規(guī)范數(shù)據(jù)源的規(guī)范化通用數(shù)據(jù)訪問(wèn)，而無(wú)需對(duì)提供對(duì)提供 COM 接口的客戶端組件進(jìn)展部署。接口的客戶端組件進(jìn)展部署。n 規(guī)范建立在規(guī)范建立在 、XML 和和 SOAP 等開(kāi)放式等開(kāi)放式 Internet 規(guī)范之上，不受任何詳細(xì)言語(yǔ)或技術(shù)規(guī)范之上，不受任何詳細(xì)言語(yǔ)或技術(shù)的限制的限制 數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -XMLA引擎引擎

24、XMLA規(guī)范具有以下特點(diǎn)：規(guī)范具有以下特點(diǎn)：1、為遠(yuǎn)程數(shù)據(jù)訪問(wèn)提供程序可通用于、為遠(yuǎn)程數(shù)據(jù)訪問(wèn)提供程序可通用于 Internet 或或 Intranet，提供多維數(shù)據(jù)提供規(guī)范數(shù)據(jù)訪問(wèn)提供多維數(shù)據(jù)提供規(guī)范數(shù)據(jù)訪問(wèn) API。2、優(yōu)化無(wú)形狀構(gòu)造，不要求、優(yōu)化無(wú)形狀構(gòu)造，不要求 Web 客戶端組件，往返調(diào)用最少。客戶端組件，往返調(diào)用最少。3、支持運(yùn)用任何工具、編程言語(yǔ)、技術(shù)、硬件平臺(tái)或設(shè)備的、支持運(yùn)用任何工具、編程言語(yǔ)、技術(shù)、硬件平臺(tái)或設(shè)備的、與技術(shù)無(wú)關(guān)的實(shí)現(xiàn)過(guò)程。與技術(shù)無(wú)關(guān)的實(shí)現(xiàn)過(guò)程。4、建立在開(kāi)放式、建立在開(kāi)放式 Internet 規(guī)范如規(guī)范如 SOAP、XML 和和 之上。之上。5、利用并反復(fù)運(yùn)

25、用勝利的、利用并反復(fù)運(yùn)用勝利的 OLE DB 設(shè)計(jì)概念，使設(shè)計(jì)概念，使 OLE DB for OLAP 運(yùn)用程序和運(yùn)用程序和 OLE DB 提供程序可輕松采用提供程序可輕松采用 XML for Analysis。6、高效運(yùn)用規(guī)范數(shù)據(jù)源如關(guān)系型、高效運(yùn)用規(guī)范數(shù)據(jù)源如關(guān)系型 OLAP 和數(shù)據(jù)發(fā)掘。和數(shù)據(jù)發(fā)掘。數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -XMLA引擎引擎XMLA引擎功能：引擎功能：實(shí)現(xiàn)實(shí)現(xiàn)XML/A協(xié)議：向協(xié)議：向JPivot提供提供OLAP元元數(shù)據(jù)和數(shù)據(jù)和OLAP查詢結(jié)果；查詢結(jié)果；SOAP效力器和效力器和HTTP效力器：為了支持效力器：為了支持XML/A協(xié)議，實(shí)現(xiàn)協(xié)議，實(shí)現(xiàn)S

26、OAP協(xié)議的封裝和協(xié)議的封裝和提供提供HTTP懇求呼應(yīng)的效力器；懇求呼應(yīng)的效力器；XMLA模模塊塊構(gòu)構(gòu)造造圖圖數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -模塊劃分模塊劃分n元數(shù)據(jù)MetaDatan數(shù)據(jù)立方體估計(jì)算PreComputationn數(shù)據(jù)立方體查詢QueryComputationnMDX解析MDXParsernXMLA引擎EnginenETL數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù)數(shù)據(jù)倉(cāng)庫(kù)原理與實(shí)現(xiàn)技術(shù) -ETLnETLExtraction-Transformation-Loading，數(shù)據(jù)抽取、轉(zhuǎn)換和加載過(guò)程，擔(dān)任從異構(gòu)數(shù)據(jù)源抽取數(shù)據(jù)、進(jìn)展預(yù)設(shè)的轉(zhuǎn)換清洗并加載到目的數(shù)據(jù)倉(cāng)庫(kù)。nExtraction

27、數(shù)據(jù)抽取，指從RDB等原始系統(tǒng)中抽取數(shù)據(jù)的過(guò)程；nTransformation and Transportation數(shù)據(jù)轉(zhuǎn)換與數(shù)據(jù)傳送，這里暗指了ETL所包含的控制流與數(shù)據(jù)流兩種概念以及兩種過(guò)程；nLoading數(shù)據(jù)裝載，指把轉(zhuǎn)換及處置后的數(shù)據(jù)裝載到目的數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程；ETL業(yè)務(wù)流程ETL整整體體架架構(gòu)構(gòu)ETL闡明闡明nETL操作主要有以下操作主要有以下12種：抽取操作、加載種：抽取操作、加載操作、過(guò)濾操作、投影操作、清洗操作、聚操作、過(guò)濾操作、投影操作、清洗操作、聚集操作、銜接操作、排序操作、集合操作、集操作、銜接操作、排序操作、集合操作、字段拆分操作、字段合并操作、序列生成操字段拆分操作、字段合并操作、序列生成操作。作。n以任務(wù)流方式組織執(zhí)行以任務(wù)流方式組織執(zhí)行 n元數(shù)據(jù)：元數(shù)據(jù)：