第十七章數(shù)據(jù)倉庫與聯(lián)機(jī)處理技術(shù)

1、An Introduction to Database System數(shù)據(jù)庫系統(tǒng)概論數(shù)據(jù)庫系統(tǒng)概論An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)An Introduction to Database System數(shù)據(jù)倉庫的產(chǎn)生數(shù)據(jù)倉庫的產(chǎn)生v 操作型處理（也叫事務(wù)處理）：對數(shù)據(jù)庫聯(lián)機(jī)的日常操作，通常是對一個或一組記錄的查詢和修改n特點(diǎn)：快速響應(yīng)用戶請求，對數(shù)據(jù)的安全性、完整性以及事務(wù)吞吐量要求很高。v 分析型處理：對數(shù)據(jù)的查詢和分析操作，通常是對海量的歷史數(shù)據(jù)查詢和分析n特點(diǎn)：要訪問的數(shù)據(jù)量非常大，查詢和

2、分析的操作十分復(fù)雜。v 數(shù)據(jù)倉庫技術(shù)n為了構(gòu)建新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)An Introduction to Database System17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)表17.1 操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取瞬間是準(zhǔn)確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可

3、知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對性能要求高對性能要求寬松一個時刻操作一元組一個時刻操作一集合事務(wù)驅(qū)動分析驅(qū)動面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支持管理決策需求An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v數(shù)據(jù)倉庫定義：n是一個用以更好地支持企業(yè)（或組織）決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。n本質(zhì)上和數(shù)據(jù)庫一樣，是長期儲存在計算機(jī)內(nèi)的、有組織、可共享的數(shù)據(jù)集合。An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫

4、技術(shù)(續(xù)續(xù))v一、 數(shù)據(jù)倉庫的基本特征n數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的；n數(shù)據(jù)倉庫的數(shù)據(jù)是集成的；n數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的；n數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間不斷變化的 An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v二、 數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu) An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v三、 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu) An Introduction to Database System數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v 數(shù)據(jù)倉庫的后臺工具 包括數(shù)據(jù)抽取、清

5、洗、轉(zhuǎn)換、裝載和維護(hù)(Maintain)工具。v 數(shù)據(jù)倉庫服務(wù)器 相當(dāng)于數(shù)據(jù)庫系統(tǒng)中的DBMS，負(fù)責(zé)管理數(shù)據(jù)倉庫中數(shù)據(jù)的存儲管理和數(shù)據(jù)存取，并給OLAP服務(wù)器和前臺工具提供存取接口(如SQL查詢接口)v OLAP服務(wù)器 透明地為前臺工具和用戶提供多維數(shù)據(jù)視圖 OLAP服務(wù)器則必須考慮物理上這些分析數(shù)據(jù)的存儲問題v 前臺工具 包括查詢報表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結(jié)果可視化工具等 An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析

6、處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)An Introduction to Database System17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)v OLAP(On-Line Analytical Processing)即聯(lián)機(jī)分析處理，是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù) v 一、多維數(shù)據(jù)模型n數(shù)據(jù)分析時用戶的數(shù)據(jù)視圖，是面向分析的數(shù)據(jù)模型，用于給分析人員提供多種觀察的視角和面向分析的操作 n可用這樣來一個多維數(shù)組來表示：(維1，維2，維n，度量值) An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v 一、多維數(shù)據(jù)

7、模型(續(xù)) 例如： (地區(qū)，時間，電器商品種類，銷售額) n三維數(shù)組可以用一個立方體來直觀地表示n一般地多維數(shù)組用多維立方體CUBE（超立方體）來表示An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v二、多維分析操作 常用的OLAP多維分析操作n切片(slice)n切塊(dice)n旋轉(zhuǎn)(pivot)n向上綜合(roll-up)n向下鉆取(drill-down)等 An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v三、OLAP的實(shí)現(xiàn)方式n按照多維數(shù)據(jù)模型的不同實(shí)現(xiàn)方式MOLA

8、P結(jié)構(gòu)ROLAP結(jié)構(gòu)HOLAP結(jié)構(gòu)An Introduction to Database SystemOLAP的實(shí)現(xiàn)方式的實(shí)現(xiàn)方式(續(xù)續(xù))vMOLAP結(jié)構(gòu)n以多維立方體CUBE來組織數(shù)據(jù)，以多維數(shù)組來存儲數(shù)據(jù)，支持直接對多維數(shù)據(jù)的各種操作。n多維數(shù)據(jù)庫( Multi-Dimension DataBase，簡記為MDDB)。n例如：Arbor公司的EssbaseAn Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))vROLAP結(jié)構(gòu)n用RDBMS或擴(kuò)展的RDBMS來管理多維數(shù)據(jù)，用關(guān)系的表來組織和存儲多維數(shù)據(jù)n兩類表：一類是事實(shí)(fact)表，

9、另一類是維表事實(shí)表用來描述和存儲多維立方體的度量值及各個維的碼值；維表用來描述維信息。nROLAP用“星形模式”和“雪片模式”來表示多維數(shù)據(jù)模型An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))n星形模式（Star Schema）通常由一個中心表(事實(shí)表)和一組維表組成 如下圖所示的星形模式 星形模式的中心是銷售事實(shí)表維表有時間維表、顧客維表、銷售員維表、制造商維表和產(chǎn)品維表 圖17.4 星形模式An Introduction to Database System聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))n雪片模式就是對維表按層次進(jìn)一步細(xì)

10、化后形成的圖17.5 雪片模式An Introduction to Database System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)An Introduction to Database System17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)v一、數(shù)據(jù)挖掘的概念n概念：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)并提取隱藏在內(nèi)的、人們事先不知道的但又可能有用的信息和知識的一種新技術(shù)n目的：幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)經(jīng)營者被忽略的要素n數(shù)據(jù)挖掘技術(shù)涉

11、及數(shù)據(jù)庫技術(shù)、人工智能技術(shù)、機(jī)器學(xué)習(xí)、統(tǒng)計分析等多種技術(shù)決策支持系統(tǒng)(DSS)跨入了一個新階段 An Introduction to Database System數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v二、數(shù)據(jù)挖掘和傳統(tǒng)分析方法的區(qū)別 n本質(zhì)區(qū)別：數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息，發(fā)現(xiàn)知識 n數(shù)據(jù)挖掘所得到的信息應(yīng)具有事先未知、有效和可實(shí)用3個特征 An Introduction to Database System數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v三、數(shù)據(jù)挖掘的數(shù)據(jù)源 n從數(shù)據(jù)倉庫中來優(yōu)點(diǎn)：許多數(shù)據(jù)不一致的問題都較好地解決了，在數(shù)據(jù)挖掘時大大減少了清理數(shù)據(jù)的工作量 缺點(diǎn)：建立數(shù)據(jù)倉庫是一項巨大的工程，耗時耗力n從數(shù)據(jù)庫中來如果只是為了數(shù)據(jù)挖掘，可以把一個或幾個OLTP數(shù)據(jù)庫導(dǎo)入一個只讀的數(shù)據(jù)庫中，然后在上面進(jìn)行數(shù)據(jù)挖掘An Introduction to Database System數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技