SQLServer教程第17章數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)ppt課件

1、數(shù)據(jù)庫系統(tǒng)概論數(shù)據(jù)庫系統(tǒng)概論An Introduction to An Introduction to Database SystemDatabase System第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)處理技術(shù)數(shù)據(jù)倉庫的產(chǎn)生數(shù)據(jù)倉庫的產(chǎn)生v 操作型處理也叫事務(wù)處理）：對數(shù)據(jù)庫聯(lián)機(jī)的日常操作，通常是對一個或一組記錄的查詢和修改v 特點：快速響應(yīng)用戶請求，對數(shù)據(jù)的安全性、完整性以及事務(wù)吞吐量要求很高。v 分析型處理：對數(shù)據(jù)的查詢和分析操作，通常是對海量的歷史數(shù)據(jù)查詢和分析v 特點：要訪問的數(shù)據(jù)量非常大，查詢和分析的操作十分復(fù)雜。v 數(shù)據(jù)倉庫技術(shù)v 為了構(gòu)建新的分析處理環(huán)境而

2、出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)表17.1 操作型數(shù)據(jù)和分析型數(shù)據(jù)的區(qū)別操作型數(shù)據(jù)分析型數(shù)據(jù)細(xì)節(jié)的綜合的，或提煉的在存取瞬間是準(zhǔn)確的代表過去的數(shù)據(jù)可更新不更新操作需求事先可知道操作需求事先不知道生命周期符合SDLC完全不同的生命周期對性能要求高對性能要求寬松一個時刻操作一元組一個時刻操作一集合事務(wù)驅(qū)動分析驅(qū)動面向應(yīng)用面向分析一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量大支持日常操作支

3、持管理決策需求數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v數(shù)據(jù)倉庫定義：v是一個用以更好地支持企業(yè)或組織決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的數(shù)據(jù)集合。v本質(zhì)上和數(shù)據(jù)庫一樣，是長期儲存在計算機(jī)內(nèi)的、有組織、可共享的數(shù)據(jù)集合。數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v一、 數(shù)據(jù)倉庫的基本特征v數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的；v數(shù)據(jù)倉庫的數(shù)據(jù)是集成的；v數(shù)據(jù)倉庫的數(shù)據(jù)是不可更新的；v數(shù)據(jù)倉庫的數(shù)據(jù)是隨時間不斷變化的 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v二、 數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫的數(shù)據(jù)組織結(jié)構(gòu) 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)(續(xù)續(xù))v三、 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉庫體系結(jié)構(gòu) 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)

4、倉庫技術(shù)(續(xù)續(xù))v 數(shù)據(jù)倉庫的后臺工具v 包括數(shù)據(jù)抽取、清洗、轉(zhuǎn)換、裝載和維護(hù)(Maintain)工具。v 數(shù)據(jù)倉庫服務(wù)器v 相當(dāng)于數(shù)據(jù)庫系統(tǒng)中的DBMS，負(fù)責(zé)管理數(shù)據(jù)倉庫中數(shù)據(jù)的存儲管理和數(shù)據(jù)存取，并給OLAP服務(wù)器和前臺工具提供存取接口(如SQL查詢接口)v OLAP服務(wù)器v 透明地為前臺工具和用戶提供多維數(shù)據(jù)視圖v OLAP服務(wù)器則必須考慮物理上這些分析數(shù)據(jù)的存儲問題v 前臺工具v 包括查詢報表工具、多維分析工具、數(shù)據(jù)挖掘工具和分析結(jié)果可視化工具等 第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處

5、理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)v OLAP(On-Line Analytical Processing)即聯(lián)機(jī)分析處理，是以海量數(shù)據(jù)為基礎(chǔ)的復(fù)雜分析技術(shù) v 一、多維數(shù)據(jù)模型v 數(shù)據(jù)分析時用戶的數(shù)據(jù)視圖，是面向分析的數(shù)據(jù)模型，用于給分析人員提供多種觀察的視角和面向分析的操作 v 可用這樣來一個多維數(shù)組來表示：(維1，維2，維n，度量值) 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v 一、多維數(shù)據(jù)模型(續(xù))v 例如： (地區(qū)，時間，電器商品種類，銷售額) n三維數(shù)組可以用一個立方體來直觀地表示n一般地多維數(shù)組用多維立方體CUBE

6、超立方體來表示聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v二、多維分析操作v 常用的OLAP多維分析操作v切片(slice)v切塊(dice)v旋轉(zhuǎn)(pivot)v向上綜合(roll-up)v向下鉆取(drill-down)等 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))v三、OLAP的實現(xiàn)方式v按照多維數(shù)據(jù)模型的不同實現(xiàn)方式vMOLAP結(jié)構(gòu)vROLAP結(jié)構(gòu)vHOLAP結(jié)構(gòu)OLAP的實現(xiàn)方式的實現(xiàn)方式(續(xù)續(xù))vMOLAP結(jié)構(gòu)v以多維立方體CUBE來組織數(shù)據(jù)，以多維數(shù)組來存儲數(shù)據(jù)，支持直接對多維數(shù)據(jù)的各種操作。v多維數(shù)據(jù)庫( Multi-Dimension DataBase，簡記為MDDB)。v例如：

7、Arbor公司的Essbase聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))vROLAP結(jié)構(gòu)v用RDBMS或擴(kuò)展的RDBMS來管理多維數(shù)據(jù)，用關(guān)系的表來組織和存儲多維數(shù)據(jù)v兩類表：一類是事實(fact)表，另一類是維表v事實表用來描述和存儲多維立方體的度量值及各個維的碼值；v維表用來描述維信息。vROLAP用“星形模式和“雪片模式來表示多維數(shù)據(jù)模型聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))n星形模式Star Schema通常由一個中心表(事實表)和一組維表組成 n 如下圖所示的星形模式 星形模式的中心是銷售事實表維表有時間維表、顧客維表、銷售員維表、制造商維表和產(chǎn)品維表 圖17.4 星形模式聯(lián)機(jī)分析處

8、理技術(shù)聯(lián)機(jī)分析處理技術(shù)(續(xù)續(xù))n雪片模式就是對維表按層次進(jìn)一步細(xì)化后形成的圖17.5 雪片模式第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)17.4 小結(jié)小結(jié)17.3 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)v一、數(shù)據(jù)挖掘的概念v概念：數(shù)據(jù)挖掘是從大量數(shù)據(jù)中發(fā)現(xiàn)并提取隱藏在內(nèi)的、人們事先不知道的但又可能有用的信息和知識的一種新技術(shù)v目的：幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)經(jīng)營者被忽略的要素v數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫技術(shù)、人工智能技術(shù)、機(jī)器學(xué)習(xí)、統(tǒng)計分析等多種技術(shù)v決策支持系統(tǒng)(

9、DSS)跨入了一個新階段 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v二、數(shù)據(jù)挖掘和傳統(tǒng)分析方法的區(qū)別 v本質(zhì)區(qū)別：數(shù)據(jù)挖掘是在沒有明確假設(shè)的前提下去挖掘信息，發(fā)現(xiàn)知識 v數(shù)據(jù)挖掘所得到的信息應(yīng)具有事先未知、有效和可實用3個特征 數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v三、數(shù)據(jù)挖掘的數(shù)據(jù)源 v從數(shù)據(jù)倉庫中來v優(yōu)點：許多數(shù)據(jù)不一致的問題都較好地解決了，在數(shù)據(jù)挖掘時大大減少了清理數(shù)據(jù)的工作量 v缺點：建立數(shù)據(jù)倉庫是一項巨大的工程，耗時耗力v從數(shù)據(jù)庫中來v如果只是為了數(shù)據(jù)挖掘，可以把一個或幾個OLTP數(shù)據(jù)庫導(dǎo)入一個只讀的數(shù)據(jù)庫中，然后在上面進(jìn)行數(shù)據(jù)挖掘數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))v四、 數(shù)據(jù)挖掘的功能v概念描述v關(guān)聯(lián)分析v分類和預(yù)測v聚類v孤立點檢測v趨勢和演變分析數(shù)據(jù)挖掘技術(shù)數(shù)據(jù)挖掘技術(shù)(續(xù)續(xù))典型的數(shù)據(jù)挖掘系統(tǒng)的體系結(jié)構(gòu)v 數(shù)據(jù)挖掘步驟v 明確挖掘任務(wù)v 對所選擇數(shù)據(jù)進(jìn)行預(yù)處理v 選擇具體的算法進(jìn)行挖掘v 對挖掘出的模式進(jìn)行評價v 消減重復(fù)部分v 展現(xiàn)最終的結(jié)果第十七章第十七章 數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)數(shù)據(jù)倉庫與聯(lián)機(jī)分析處理技術(shù)17.1 數(shù)據(jù)倉庫技術(shù)數(shù)據(jù)倉庫技術(shù)17.2 聯(lián)機(jī)分析處理技術(shù)聯(lián)機(jī)分析處理技術(shù)17.3 數(shù)據(jù)挖掘技術(shù)