第3章數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā)-課件

1、第3章 數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā) 通過對數(shù)據(jù)倉庫的概念、體系結(jié)構(gòu)與存儲結(jié)構(gòu)、ETL過程等內(nèi)容了解以后，如何建立數(shù)據(jù)倉庫系統(tǒng)呢？10/14/20221數(shù)據(jù)倉庫與數(shù)據(jù)挖掘第3章 數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā) 通過對數(shù)據(jù)倉庫的概念、3.1 數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā)概述 建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟 數(shù)據(jù)倉庫系統(tǒng)的生命周期 創(chuàng)建數(shù)據(jù)倉庫系統(tǒng)的兩種思維模式 數(shù)據(jù)倉庫數(shù)據(jù)庫的設(shè)計步驟 10/14/20222數(shù)據(jù)倉庫與數(shù)據(jù)挖掘3.1 數(shù)據(jù)倉庫系統(tǒng)的設(shè)計與開發(fā)概述 建立一個數(shù)據(jù)倉庫系統(tǒng)的建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟 數(shù)據(jù)倉庫系統(tǒng)的建立是一個復雜而漫長的過程。涉及到：源數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)倉庫對應的數(shù)據(jù)庫系統(tǒng)數(shù)據(jù)分析

2、與報表工具10/14/20223數(shù)據(jù)倉庫與數(shù)據(jù)挖掘建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟 數(shù)據(jù)倉庫系統(tǒng)的建立是一建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟收集和分析業(yè)務需求步驟 建立數(shù)據(jù)模型和數(shù)據(jù)倉庫的物理設(shè)計 定義數(shù)據(jù)源 選擇數(shù)據(jù)倉庫技術(shù)和平臺 從操作型數(shù)據(jù)庫中抽取、清洗及轉(zhuǎn)換數(shù)據(jù)到數(shù)據(jù)倉庫 選擇訪問和報表工具，選擇數(shù)據(jù)庫連接軟件，選擇數(shù)據(jù)分析和數(shù)據(jù)展示軟件 更新數(shù)據(jù)倉庫 10/14/20224數(shù)據(jù)倉庫與數(shù)據(jù)挖掘建立一個數(shù)據(jù)倉庫系統(tǒng)的參考步驟收集和分析業(yè)務需求步驟 10/數(shù)據(jù)倉庫系統(tǒng)的生命開發(fā)周期 數(shù)據(jù)倉庫系統(tǒng)的開發(fā)與設(shè)計是一個動態(tài)的反饋和循環(huán)過程。一個數(shù)據(jù)倉庫系統(tǒng)包括：數(shù)據(jù)倉庫數(shù)據(jù)庫數(shù)據(jù)分析應用系統(tǒng)10/14

3、/20225數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)倉庫系統(tǒng)的生命開發(fā)周期 數(shù)據(jù)倉庫系統(tǒng)的開發(fā)與設(shè)計是一個動數(shù)據(jù)倉庫系統(tǒng)的生命開發(fā)周期 10/14/20226數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)倉庫系統(tǒng)的生命開發(fā)周期 10/11/20226數(shù)據(jù)倉庫與建立數(shù)據(jù)倉庫系統(tǒng)的兩種思維模式 自頂向下（Top-down） 將數(shù)據(jù)通過ETL匯集到數(shù)據(jù)倉庫中，然后再把數(shù)據(jù)通過復制的方式存入各個數(shù)據(jù)集市中。自底向上（Bottom-Up） 通過ETL將數(shù)據(jù)匯集到數(shù)據(jù)集市中，再將數(shù)據(jù)匯集到數(shù)據(jù)倉庫中。10/14/20227數(shù)據(jù)倉庫與數(shù)據(jù)挖掘建立數(shù)據(jù)倉庫系統(tǒng)的兩種思維模式 自頂向下（Top-down）數(shù)據(jù)倉庫數(shù)據(jù)庫的設(shè)計步驟 10/14/20228

4、數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)倉庫數(shù)據(jù)庫的設(shè)計步驟 10/11/20228數(shù)據(jù)倉庫與數(shù)3.2 基于SQL Server的數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計過程詳解 SQL Server 2005介紹集成了三個服務。SQL Server 2005的數(shù)據(jù)倉庫架構(gòu)10/14/20229數(shù)據(jù)倉庫與數(shù)據(jù)挖掘3.2 基于SQL Server的數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計過程詳解MS SQL Server 2005的數(shù)據(jù)倉庫架構(gòu) 10/14/202210數(shù)據(jù)倉庫與數(shù)據(jù)挖掘MS SQL Server 2005的數(shù)據(jù)倉庫架構(gòu) 10/13.2 基于SQL Server的數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計過程詳解 包括以下步驟：分析組織的業(yè)務狀況及數(shù)據(jù)源結(jié)構(gòu) 組織

5、需求調(diào)研，收集業(yè)務需求 采用信息包圖法進行數(shù)據(jù)倉庫的概念模型設(shè)計 利用星形圖進行數(shù)據(jù)倉庫的邏輯模型設(shè)計 數(shù)據(jù)倉庫的物理模型設(shè)計 10/14/202211數(shù)據(jù)倉庫與數(shù)據(jù)挖掘3.2 基于SQL Server的數(shù)據(jù)倉庫數(shù)據(jù)庫設(shè)計過程詳解分析組織的業(yè)務狀況及數(shù)據(jù)源結(jié)構(gòu)以SQL Server 2005實例數(shù)據(jù)庫Adventure Works DW中所描述Adventure Works Cycles公司的用戶需求為例。公司概況業(yè)務系統(tǒng)流程介紹 對數(shù)據(jù)源結(jié)構(gòu)的分析與理解10/14/202212數(shù)據(jù)倉庫與數(shù)據(jù)挖掘分析組織的業(yè)務狀況及數(shù)據(jù)源結(jié)構(gòu)以SQL Server 200組織需求調(diào)研，收集業(yè)務需求堅持數(shù)據(jù)驅(qū)動

6、+用戶（需求）驅(qū)動的設(shè)計理體念，因此需要充分了解用戶的需求，進而對需求進行分析。關(guān)于用戶需求的調(diào)研（確定主題域）對用戶需求調(diào)研結(jié)果的分析（確定度量指標和維度）10/14/202213數(shù)據(jù)倉庫與數(shù)據(jù)挖掘組織需求調(diào)研，收集業(yè)務需求堅持數(shù)據(jù)驅(qū)動+用戶（需求）驅(qū)動的設(shè)物理模型 星型、雪花模型 物理數(shù)據(jù)模型概念模型邏輯模型面向用戶的需求細 化層次更詳細的技術(shù)細節(jié)信息包圖采用信息包圖法進行概念模型設(shè)計 10/14/202214數(shù)據(jù)倉庫與數(shù)據(jù)挖掘物理模型 概念模型邏輯模型面向用戶的需求細 化層信息包圖：是數(shù)據(jù)倉庫的數(shù)據(jù)模型的第一層或最高層。由于大多數(shù)商務數(shù)據(jù)是多維的，但傳統(tǒng)的數(shù)據(jù)模型表示三維以上的數(shù)據(jù)有一定

7、困難。而信息包圖簡化了這一過程并且允許用戶設(shè)計多維信息包并與開發(fā)者和其他用戶建立聯(lián)系。這種模型集中在用戶對信息包的需要，信息包提供了分析人員思維模式的可視化表示。信息包圖法簡介 10/14/202215數(shù)據(jù)倉庫與數(shù)據(jù)挖掘信息包圖：是數(shù)據(jù)倉庫的數(shù)據(jù)模型的第一層或最高層。由于大多數(shù)商工作：確定系統(tǒng)邊界：決策類型、需要的信息、原始信息確定主題域及其內(nèi)容：主題域的公共鍵碼、聯(lián)系、屬性組確定維度：如時間維、銷售位置維、產(chǎn)品維、組別維等確定類別：相應維的詳細類別確定指標和事實：用于進行分析的數(shù)值化信息10/14/202216數(shù)據(jù)倉庫與數(shù)據(jù)挖掘工作：10/11/202216數(shù)據(jù)倉庫與數(shù)據(jù)挖掘信息包圖的建立

8、信息包： 維度類別空白信息包圖樣式指標和事實10/14/202217數(shù)據(jù)倉庫與數(shù)據(jù)挖掘信息包圖的建立 信息包： 指例試畫出銷售分析的信息包圖。解：首先根據(jù)銷售分析的實際需求，確定信息包的維度、類別和指標與事實：（1）維度：包括日期維、區(qū)域維、產(chǎn)品維、客戶維、廣告維（待用）等。（2）類別：確定各維的詳細類別，如：日期維包括年（5）、季度（20）、月（60）、日（1800），括號中的數(shù)字分別指出各類別的數(shù)量；區(qū)域維包括國家（10）、省州（100）、城市（500）、銷售點（8000），括號中的數(shù)字同樣分別指出各類別的數(shù)量；類似地，可以確定產(chǎn)品維、客戶維、廣告維等的詳細類別。（3）指標和事實：確定用于

9、進行分析的數(shù)值化信息，包括實際銷售額、計劃銷售額和計劃完成率。 10/14/202218數(shù)據(jù)倉庫與數(shù)據(jù)挖掘例試畫出銷售分析的信息包圖。10/11/202218數(shù)據(jù)銷售分析的信息包圖日期維區(qū)域維產(chǎn)品維客戶維廣告維（待用）年度(5)國家(10)產(chǎn)品類別(500)年齡分組(7)廣告費分組(2)季度(20)省州(100)產(chǎn)品名稱(9000)收入分組（8）月(60)城市(500)信用組（2）日（1800）銷售點(8000)指標和事實:實際銷售額、計劃銷售額、計劃完成率信息包： 銷售分析維度類別10/14/202219數(shù)據(jù)倉庫與數(shù)據(jù)挖掘銷售分析的信息包圖日期維區(qū)域維產(chǎn)品維客戶維廣告維（待用）年度設(shè)計基于主

10、題域的概念模型 供應商ID相關(guān)信息有關(guān)信息商品信息供應商供應商主題顧客顧客ID顧客主題商品商品ID商品主題10/14/202220數(shù)據(jù)倉庫與數(shù)據(jù)挖掘設(shè)計基于主題域的概念模型 供應商相關(guān)有關(guān)信息商品信息供應商供利用星形圖進行數(shù)據(jù)倉庫的邏輯模型設(shè)計 根據(jù)分析需求與信息包圖制作星形圖 銷售分析客戶廣告區(qū)域時間產(chǎn)品10/14/202221數(shù)據(jù)倉庫與數(shù)據(jù)挖掘利用星形圖進行數(shù)據(jù)倉庫的邏輯模型設(shè)計 根據(jù)分析需求與信息包圖根據(jù)分析需求與信息包圖制作雪花圖 銷售分析客戶廣告區(qū)域時間產(chǎn)品產(chǎn)品類別雪花模型對星型模型的維度表進一步標準化，對星型模型中的維度表進行了規(guī)范化處理。 10/14/202222數(shù)據(jù)倉庫與數(shù)據(jù)挖

11、掘根據(jù)分析需求與信息包圖制作雪花圖 銷售分析客戶廣告區(qū)域確定主題的屬性組 主題名公共鍵碼屬性組商品商品號基本信息：商品號、商品名、類型和顏色等采購信息：商品號、供應商號、供應價、供應日期和供應量等庫存信息：商品號、庫房號、庫存量和日期等銷售銷售單號基本信息：銷售單號、銷售地址等銷售信息：客戶號、商品號、銷售價、銷售量和銷售時間等客戶客戶號10/14/202223數(shù)據(jù)倉庫與數(shù)據(jù)挖掘確定主題的屬性組 主題名公共鍵碼屬性組商品商品號基本信息：商事實表及其特征度量是客戶發(fā)生事件或動作的事實記錄，如客戶打電話，可能選擇的度量有通話時長、通話次數(shù)和通話費用等。客戶購買商品，可能選擇的度量有購買的次數(shù)、購買

12、商品的金額和購買商品的數(shù)量等。事實表則是在星型模型或雪花模型中用來記錄業(yè)務事實，并作相應指標統(tǒng)計的表。事實表的特征有：記錄數(shù)量情況維度表情況10/14/202224數(shù)據(jù)倉庫與數(shù)據(jù)挖掘事實表及其特征10/11/202224數(shù)據(jù)倉庫與數(shù)據(jù)挖掘事實表的類型與設(shè)計 事實是一種度量，所以事實表中的這種指標往往需要具有數(shù)值化和可加性的特征。即：要考慮決策分析的需要（必要的數(shù)據(jù)）要考慮系統(tǒng)運行的需要（派生的數(shù)據(jù)）10/14/202225數(shù)據(jù)倉庫與數(shù)據(jù)挖掘事實表的類型與設(shè)計 10/11/202225數(shù)據(jù)倉庫與數(shù)據(jù)挖粒度的選擇與設(shè)計步驟 根據(jù)需求和系統(tǒng)運行情況確定粒度：粒度的不同選擇導致邏輯模型的差異粒度的不同

13、選擇導致數(shù)據(jù)存儲容量的差異粒度的設(shè)計步驟：粗略估計數(shù)據(jù)量確定粒度的級別粒度設(shè)計實例：10/14/202226數(shù)據(jù)倉庫與數(shù)據(jù)挖掘粒度的選擇與設(shè)計步驟 10/11/202226數(shù)據(jù)倉庫與數(shù)據(jù)關(guān)于數(shù)據(jù)倉庫的聚合模型數(shù)據(jù)的分割處理 星形圖中的維度表簡介 常用維度的設(shè)計模式 10/14/202227數(shù)據(jù)倉庫與數(shù)據(jù)挖掘關(guān)于數(shù)據(jù)倉庫的聚合模型10/11/202227數(shù)據(jù)倉庫與數(shù)據(jù)事實表及其特征事實表的類型與設(shè)計 粒度的選擇與設(shè)計步驟 關(guān)于數(shù)據(jù)倉庫的聚合模型與數(shù)據(jù)的分割處理 星形圖中的維度表簡介 常用維度的設(shè)計模式 10/14/202228數(shù)據(jù)倉庫與數(shù)據(jù)挖掘事實表及其特征10/11/202228數(shù)據(jù)倉庫與數(shù)據(jù)

14、挖掘數(shù)據(jù)倉庫的物理模型設(shè)計 物理模型設(shè)計的主要工作物理存儲結(jié)構(gòu)設(shè)計的原則 數(shù)據(jù)倉庫索引設(shè)計的特殊性 存儲優(yōu)化與存儲策略 10/14/202229數(shù)據(jù)倉庫與數(shù)據(jù)挖掘數(shù)據(jù)倉庫的物理模型設(shè)計 物理模型設(shè)計的主要工作10/11/23.3 使用SQL Server 2005建立多維數(shù)據(jù)模型 SQL Server 2005示例數(shù)據(jù)倉庫環(huán)境的配置與使用 基于SQL Server 2005示例數(shù)據(jù)庫的多維數(shù)據(jù)模型的建立與應用 。10/14/202230數(shù)據(jù)倉庫與數(shù)據(jù)挖掘3.3 使用SQL Server 2005建立多維數(shù)據(jù)模型 3.3 使用SQL Server 2005建立多維數(shù)據(jù)模型在SQL Server 2005數(shù)據(jù)庫環(huán)境中安裝數(shù)據(jù)倉庫組件、示例和工具 利用示例數(shù)據(jù)倉庫（AdventureWorks