高級(jí)數(shù)據(jù)庫(kù)技術(shù)1

第二十講

數(shù)據(jù)倉(cāng)庫(kù)、聯(lián)機(jī)分析處理和數(shù)據(jù)挖掘1 學(xué)完本講后，你應(yīng)該能夠了解：數(shù)據(jù)倉(cāng)庫(kù)的定義；數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)是：面向主題的、集成的、非易失的和隨時(shí)間變化的；OLAP的特點(diǎn)和基本操作:上鉆（drillup）、下鉆(drilldown)、切片(slice)、切塊（dice）和旋轉(zhuǎn)（Pivot，rotate)OLAP的三種實(shí)現(xiàn)方式：ROLAP，MOLAP，HOLAP數(shù)據(jù)挖掘的定義及與傳統(tǒng)知識(shí)處理技術(shù)的不同本講主要目標(biāo)武漢大學(xué)國(guó)際軟件學(xué)院2

一．?dāng)?shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn) 二．?dāng)?shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu) 三．OLAP概述 四．OLAP的基本操作 五．OLAP的實(shí)現(xiàn)方法 六.數(shù)據(jù)挖掘概述內(nèi)容提綱武漢大學(xué)國(guó)際軟件學(xué)院3數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)武漢大學(xué)國(guó)際軟件學(xué)院4數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn) 世界公認(rèn)的數(shù)據(jù)倉(cāng)庫(kù)概念創(chuàng)始人W.H.Inmon在《數(shù)據(jù)倉(cāng)庫(kù)》（BuildingtheDataWarehouse）一書中對(duì)數(shù)據(jù)倉(cāng)庫(kù)的定義是：數(shù)據(jù)倉(cāng)庫(kù)就是面向主題的、集成的、非易失的（穩(wěn)定性）、隨時(shí)間變化（不同時(shí)間）的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。武漢大學(xué)國(guó)際軟件學(xué)院5數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)面向主題的集成的隨時(shí)間變化的非易失的數(shù)據(jù)倉(cāng)庫(kù)武漢大學(xué)國(guó)際軟件學(xué)院6數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)面向主題的OLTP應(yīng)用客戶財(cái)務(wù)信息數(shù)據(jù)倉(cāng)庫(kù)主題資產(chǎn)股票保險(xiǎn)貸款儲(chǔ)蓄武漢大學(xué)國(guó)際軟件學(xué)院7數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)集成的

數(shù)據(jù)倉(cāng)庫(kù)OLTP應(yīng)用SavingsCurrentaccountsLoansCustomer武漢大學(xué)國(guó)際軟件學(xué)院8數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)集成的武漢大學(xué)國(guó)際軟件學(xué)院9數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)非易失的數(shù)據(jù)倉(cāng)庫(kù)ReadInsert ReadUpdateDeleteLoadOLTP武漢大學(xué)國(guó)際軟件學(xué)院10數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)非易失的OperationalDatabasesWarehouseDatabaseFirsttimeloadRefreshRefreshRefreshPurgeorArchive武漢大學(xué)國(guó)際軟件學(xué)院11數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)隨時(shí)間變化的01/9702/9703/97JanuaryFebruaryMarch數(shù)據(jù)倉(cāng)庫(kù)TimeData199719971997武漢大學(xué)國(guó)際軟件學(xué)院12數(shù)據(jù)倉(cāng)庫(kù)的定義和特點(diǎn)隨時(shí)間變化的武漢大學(xué)國(guó)際軟件學(xué)院13數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)武漢大學(xué)國(guó)際軟件學(xué)院14數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)結(jié)構(gòu)高度綜合級(jí)輕度綜合級(jí)當(dāng)前細(xì)節(jié)級(jí)早期細(xì)節(jié)級(jí)集成轉(zhuǎn)換DSS映射元數(shù)據(jù)DB分析工具數(shù)據(jù)倉(cāng)庫(kù)的多粒度數(shù)據(jù)組織武漢大學(xué)國(guó)際軟件學(xué)院15數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)多維數(shù)據(jù)OLAP工具相關(guān)數(shù)據(jù)集DM工具DBDBMSOLTPDWDWMS查詢武漢大學(xué)國(guó)際軟件學(xué)院16OLAP概述武漢大學(xué)國(guó)際軟件學(xué)院17OLAP概述什么是OLAP？OLAP是針對(duì)特定問題的聯(lián)機(jī)數(shù)據(jù)訪問和分析。通過(guò)對(duì)信息（這些信息已經(jīng)從原始的數(shù)據(jù)進(jìn)行了轉(zhuǎn)換，以反映用戶所能理解的企業(yè)的真實(shí)的“維”）的很多可能的觀察形式進(jìn)行快速、穩(wěn)定一致和交互性的存取，允許管理決策人員對(duì)數(shù)據(jù)進(jìn)行深入觀察武漢大學(xué)國(guó)際軟件學(xué)院18OLAP概述維（Dimension）維是人們觀察數(shù)據(jù)的特定角度。例如，企業(yè)常常關(guān)心產(chǎn)品銷售隨著時(shí)間推移而產(chǎn)生的變化的情況，這時(shí)他是從時(shí)間的角度來(lái)觀察產(chǎn)品的銷售，所以時(shí)間就是一個(gè)維（時(shí)間維）。企業(yè)也常常關(guān)心自己的產(chǎn)品在不同地區(qū)的銷售分布情況，這時(shí)他是從地理分布的角度來(lái)觀察產(chǎn)品的銷售，所以地理分布也是一個(gè)維（地理維）。武漢大學(xué)國(guó)際軟件學(xué)院19OLAP概述維的層次人們觀察數(shù)據(jù)的某個(gè)特定角度（即某個(gè)維）還可以存在細(xì)節(jié)程度不同的多個(gè)描述方面，我們稱這個(gè)描述方面為維的層次。一個(gè)維往往具有多個(gè)層次，例如:描述時(shí)間維時(shí)，可以從日期、月份、季度、年等不同層次來(lái)描述，那么日期、月份、季度、年等就是時(shí)間維的層次；同樣，城市、地區(qū)、國(guó)家就構(gòu)成了一個(gè)地理維的多個(gè)層次。武漢大學(xué)國(guó)際軟件學(xué)院20OLAP概述維成員維的一個(gè)取值就稱為該維的一個(gè)維成員。如果一個(gè)維是多層次的，那么該維的維成員就是不同維層次的取值的組合。例如，考慮時(shí)間維具有日期、月份、年這三個(gè)層次，分別在日期、月份、年上各取一個(gè)值組合起來(lái)，就得到時(shí)間維的一個(gè)維成員，即“某年某月某日”。武漢大學(xué)國(guó)際軟件學(xué)院21OLAP概述OLTP與OLAP的差異武漢大學(xué)國(guó)際軟件學(xué)院22OLAP的基本操作武漢大學(xué)國(guó)際軟件學(xué)院23OLAP的基本操作鉆?。涸谝粋€(gè)維內(nèi)部沿著層次從上到下或從下到上的方向考察數(shù)據(jù)上鉆（Drillup）下鉆(Drilldown)切片/切塊（Sliceanddice）固定某些維成員，對(duì)其它維進(jìn)行考察旋轉(zhuǎn)（Pivot，rotate) 按不同順序組織各個(gè)維，對(duì)結(jié)果進(jìn)行考察武漢大學(xué)國(guó)際軟件學(xué)院24OLAP的基本操作一個(gè)OLAP操作實(shí)例：武漢大學(xué)國(guó)際軟件學(xué)院25OLAP的基本操作鉆?。―illup/Drilldown）：武漢大學(xué)國(guó)際軟件學(xué)院26OLAP的基本操作切片武漢大學(xué)國(guó)際軟件學(xué)院27OLAP的基本操作旋轉(zhuǎn)按不同順序組織各個(gè)維，對(duì)結(jié)果進(jìn)行考察時(shí)間產(chǎn)品財(cái)務(wù)指標(biāo)財(cái)務(wù)指標(biāo)產(chǎn)品時(shí)間武漢大學(xué)國(guó)際軟件學(xué)院28OLAP的實(shí)現(xiàn)方法武漢大學(xué)國(guó)際軟件學(xué)院29OLAP的實(shí)現(xiàn)方法OLAP服務(wù)器的實(shí)現(xiàn)方法關(guān)系OLAP(ROLAP)多維OLAP(MOLAP)混合OLAP(HOLAP)OLAPServeruserWarehouse??武漢大學(xué)國(guó)際軟件學(xué)院30OLAP的實(shí)現(xiàn)方法OLAP服務(wù)器的特征查詢性能空間占用分析查詢能力武漢大學(xué)國(guó)際軟件學(xué)院31OLAP的實(shí)現(xiàn)方法ROLAP服務(wù)器的原理OLAPServeruserWarehouseDatacacheLivefetchCacheQueryData武漢大學(xué)國(guó)際軟件學(xué)院32OLAP的實(shí)現(xiàn)方法MOLAP服務(wù)器的原理OLAPServeruserWarehouseQueryDataMDDBPeriodicload武漢大學(xué)國(guó)際軟件學(xué)院33OLAP的實(shí)現(xiàn)方法HOLAP服務(wù)器的原理OLAPServeruserWarehouseFetch,cacheMDDBandcachePeriodicloadQueryData武漢大學(xué)國(guó)際軟件學(xué)院34數(shù)據(jù)挖掘概述武漢大學(xué)國(guó)際軟件學(xué)院35數(shù)據(jù)挖掘概述為什么需要數(shù)據(jù)挖掘？數(shù)據(jù)挖掘VLDB太多數(shù)據(jù)有價(jià)值的知識(shí)武漢大學(xué)國(guó)際軟件學(xué)院36數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘的定義 就是從大量的、不完全的、有噪聲的、模糊的、隨機(jī)的數(shù)據(jù)中,識(shí)別出有效的、新穎的、潛在有用的，以及最終可理解的模式（或知識(shí)）的非平凡過(guò)程。 需要指出的是,這里所說(shuō)的知識(shí),不是放之四海而皆準(zhǔn)的真理，而是相對(duì)的。武漢大學(xué)國(guó)際軟件學(xué)院37數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘是多學(xué)科的交叉數(shù)據(jù)挖掘數(shù)據(jù)庫(kù)技術(shù)統(tǒng)計(jì)學(xué)其他學(xué)科信息科學(xué)機(jī)器學(xué)習(xí)可視化武漢大學(xué)國(guó)際軟件學(xué)院38數(shù)據(jù)挖掘概述數(shù)據(jù)挖掘與數(shù)據(jù)倉(cāng)庫(kù)的關(guān)系數(shù)據(jù)挖掘是數(shù)據(jù)倉(cāng)庫(kù)發(fā)展的必然結(jié)果數(shù)據(jù)倉(cāng)庫(kù)為數(shù)據(jù)挖掘提供應(yīng)用基礎(chǔ)武漢大學(xué)國(guó)際軟件學(xué)院39Questions?武漢大學(xué)國(guó)際軟件學(xué)院40 學(xué)完本講后，你應(yīng)該能夠了解：數(shù)據(jù)倉(cāng)庫(kù)的定義；數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)是：面向主題的、集成的、非易失的和隨時(shí)間變化的；OLAP的特點(diǎn)和基本操作:上鉆（drillup）、下