數(shù)據(jù)倉庫的設計與開發(fā)ppt課件

1、24.1 數(shù)據(jù)倉庫分析與設計數(shù)據(jù)倉庫分析與設計4.2 數(shù)據(jù)倉庫開發(fā)數(shù)據(jù)倉庫開發(fā)4.3 數(shù)據(jù)倉庫技術與開發(fā)的困難數(shù)據(jù)倉庫技術與開發(fā)的困難34.1數(shù)據(jù)倉庫分析與設計數(shù)據(jù)倉庫分析與設計4.1.1 需求分析需求分析4.1.2概念模型設計概念模型設計4.1.3邏輯模型設計邏輯模型設計4.1.4物理模型設計物理模型設計4.1.5 數(shù)據(jù)倉庫的索引技術數(shù)據(jù)倉庫的索引技術44.1.1 需求分析需求分析1.確定主題域確定主題域2.支持決策的數(shù)據(jù)來源支持決策的數(shù)據(jù)來源3.數(shù)據(jù)倉庫的成功標準和關鍵性能指標數(shù)據(jù)倉庫的成功標準和關鍵性能指標4.數(shù)據(jù)量與更新頻率數(shù)據(jù)量與更新頻率51.確定主題域確定主題域（1明確對于決策分析

2、最有價值的主題領域有明確對于決策分析最有價值的主題領域有哪些？哪些？（2每個主題域的商業(yè)維度是哪些？每個維度每個主題域的商業(yè)維度是哪些？每個維度的粒度層次有哪些？的粒度層次有哪些？（3制定決策的商業(yè)分區(qū)是什么？制定決策的商業(yè)分區(qū)是什么？（4不同地區(qū)需要哪些信息來制定決策？不同地區(qū)需要哪些信息來制定決策？（5對哪個區(qū)域提供特定的商品和服務？對哪個區(qū)域提供特定的商品和服務？62.支持決策的數(shù)據(jù)來源支持決策的數(shù)據(jù)來源（1哪些源數(shù)據(jù)操作型與商品主題有哪些源數(shù)據(jù)操作型與商品主題有關？關？（2在已有報表和在線查詢中得到什么樣在已有報表和在線查詢中得到什么樣的信息？的信息？（3提供決策支持的細節(jié)程度是怎樣的

3、？提供決策支持的細節(jié)程度是怎樣的？73.數(shù)據(jù)倉庫的成功標準和關鍵性能指標數(shù)據(jù)倉庫的成功標準和關鍵性能指標n（1衡量數(shù)據(jù)倉庫成功的標準是什么？衡量數(shù)據(jù)倉庫成功的標準是什么？n（2哪些關鍵的性能指標？如何監(jiān)控？哪些關鍵的性能指標？如何監(jiān)控？n（3對數(shù)據(jù)倉庫的期望是什么？對數(shù)據(jù)倉庫的期望是什么？n（4對數(shù)據(jù)倉庫的預期用途有哪些？對數(shù)據(jù)倉庫的預期用途有哪些？n（5對計劃中的數(shù)據(jù)倉庫的考慮要點對計劃中的數(shù)據(jù)倉庫的考慮要點是什么？是什么？84.數(shù)據(jù)量與更新頻率數(shù)據(jù)量與更新頻率（1數(shù)據(jù)倉庫的總數(shù)據(jù)量有多少？數(shù)據(jù)倉庫的總數(shù)據(jù)量有多少？（2決策支持所需的數(shù)據(jù)更新頻率是多決策支持所需的數(shù)據(jù)更新頻率是多少？時間間隔

4、是多長少？時間間隔是多長?（3每種決策分析與不同時間的標準對每種決策分析與不同時間的標準對比如何？比如何？（4數(shù)據(jù)倉庫中的信息需求的時間界限數(shù)據(jù)倉庫中的信息需求的時間界限是什么？是什么？9通過需求分析，需要的數(shù)據(jù)包括：通過需求分析，需要的數(shù)據(jù)包括：1.數(shù)據(jù)源數(shù)據(jù)源（1可用的數(shù)據(jù)源可用的數(shù)據(jù)源（2數(shù)據(jù)源的數(shù)據(jù)結構數(shù)據(jù)源的數(shù)據(jù)結構（3數(shù)據(jù)源的位置數(shù)據(jù)源的位置（4數(shù)據(jù)源的計算機環(huán)境數(shù)據(jù)源的計算機環(huán)境（5數(shù)據(jù)抽取過程數(shù)據(jù)抽取過程（6可用的歷史數(shù)據(jù)可用的歷史數(shù)據(jù)102.數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)倉庫中的數(shù)據(jù)是為決策分析服務，而數(shù)據(jù)倉庫中的數(shù)據(jù)是為決策分析服務，而源系統(tǒng)的數(shù)據(jù)為業(yè)務處理服務。源系統(tǒng)的數(shù)據(jù)為業(yè)務處

5、理服務。需要決定如何正確地將這些源數(shù)據(jù)轉(zhuǎn)換成需要決定如何正確地將這些源數(shù)據(jù)轉(zhuǎn)換成適合數(shù)據(jù)倉庫存儲的數(shù)據(jù)。適合數(shù)據(jù)倉庫存儲的數(shù)據(jù)。 113.數(shù)據(jù)存儲數(shù)據(jù)存儲數(shù)據(jù)倉庫所需要的數(shù)據(jù)的詳細程度，包括數(shù)據(jù)倉庫所需要的數(shù)據(jù)的詳細程度，包括足夠的關于存儲需求的信息，估計數(shù)據(jù)足夠的關于存儲需求的信息，估計數(shù)據(jù)倉庫需要多少歷史和存檔數(shù)據(jù)。倉庫需要多少歷史和存檔數(shù)據(jù)。124.決策分析決策分析（1向下層鉆取分析向下層鉆取分析（2向上層鉆取分析向上層鉆取分析（3橫向鉆取分析橫向鉆取分析（4切片分析切片分析（5特別查詢報表特別查詢報表134.1.2 概念模型設計概念模型設計概念模型的特點是：概念模型的特點是：（1能真實

6、反映現(xiàn)實世界，能滿足用戶對數(shù)據(jù)的分析，達到能真實反映現(xiàn)實世界，能滿足用戶對數(shù)據(jù)的分析，達到?jīng)Q策支持的要求，它是現(xiàn)實世界的一個真實模型。決策支持的要求，它是現(xiàn)實世界的一個真實模型。（2易于理解，便利和用戶交換意見，在用戶的參與下，能易于理解，便利和用戶交換意見，在用戶的參與下，能有效地完成對數(shù)據(jù)倉庫的成功設計。有效地完成對數(shù)據(jù)倉庫的成功設計。（3易于更改，當用戶需求發(fā)生變化時，容易對概念模型修易于更改，當用戶需求發(fā)生變化時，容易對概念模型修改和擴充。改和擴充。（4易于向數(shù)據(jù)倉庫的數(shù)據(jù)模型星型模型轉(zhuǎn)換。易于向數(shù)據(jù)倉庫的數(shù)據(jù)模型星型模型轉(zhuǎn)換。14 概念模型最常用的表示方法是實體關系法概念模型最常用的

7、表示方法是實體關系法E-R法）。法）。 E-R圖描述的是實體以及實體之間的聯(lián)系圖描述的是實體以及實體之間的聯(lián)系:用長方形表示實體，在數(shù)據(jù)倉庫中就表示主題，橢圓形表示主題用長方形表示實體，在數(shù)據(jù)倉庫中就表示主題，橢圓形表示主題的屬性，并用無向邊把主題與其屬性連接起來；的屬性，并用無向邊把主題與其屬性連接起來；用菱形表示主題之間的聯(lián)系，用無向邊把菱形分別與有關的主題用菱形表示主題之間的聯(lián)系，用無向邊把菱形分別與有關的主題連接。連接。若主題之間的聯(lián)系也具有屬性，則把屬性和菱形也用無向邊連接若主題之間的聯(lián)系也具有屬性，則把屬性和菱形也用無向邊連接上。上。15例子例子有兩個主題：商品和客戶，主題也是實體

8、。有兩個主題：商品和客戶，主題也是實體。商品有如下屬性組：商品有如下屬性組：商品的固有信息商品號、商品名、類別、價格等）；商品的固有信息商品號、商品名、類別、價格等）；商品庫存信息商品號、庫房號、庫存量、日期等）；商品庫存信息商品號、庫房號、庫存量、日期等）；商品銷售信息商品號、客戶號、銷售量等）；商品銷售信息商品號、客戶號、銷售量等）；客戶有如下屬性組：客戶有如下屬性組：客戶固有信息客戶號、客戶名、住址、電話等）；客戶固有信息客戶號、客戶名、住址、電話等）；客戶購物信息客戶號、商品號、售價、購買量等）?？蛻糍徫镄畔⒖蛻籼枴⑸唐诽?、售價、購買量等）。商品的銷售信息與用戶的購物信息是一致的，它們

9、是兩個主題商品的銷售信息與用戶的購物信息是一致的，它們是兩個主題之間的聯(lián)系。之間的聯(lián)系。16商品商品固有信息商品號商品庫存信息銷 售 信息購物信息 客戶客戶固有信息客戶號=174.1.3邏輯模型設計邏輯模型設計主要工作為：主要工作為：（1主題域進行概念模型主題域進行概念模型ER圖到邏圖到邏輯模型星型模型的轉(zhuǎn)換輯模型星型模型的轉(zhuǎn)換（2粒度層次劃分粒度層次劃分（3關系模式定義關系模式定義（4定義記錄系統(tǒng)定義記錄系統(tǒng)181、主題域進行概念模型到邏輯模型的轉(zhuǎn)換、主題域進行概念模型到邏輯模型的轉(zhuǎn)換星型模型的設計步驟如下：星型模型的設計步驟如下：（1確定決策分析需求確定決策分析需求決策需求是建立多維數(shù)據(jù)模

10、型的依據(jù)。決策需求是建立多維數(shù)據(jù)模型的依據(jù)。（2從需求中識別出事實從需求中識別出事實選擇或設計反映決策主題業(yè)務的表，如在選擇或設計反映決策主題業(yè)務的表，如在“商品商品主題中，以主題中，以“銷售業(yè)務作為事實表。銷售業(yè)務作為事實表。（3確定維確定維確定影響事實的各種因素，對銷售業(yè)務的維包括商確定影響事實的各種因素，對銷售業(yè)務的維包括商店，地域，部門，城市，時間，商品等，如圖店，地域，部門，城市，時間，商品等，如圖4.2所示。所示。19銷售數(shù)據(jù)和維銷售數(shù)據(jù)商品促銷時間部門城市地域商店圖圖4.2 銷售業(yè)務的多維數(shù)據(jù)銷售業(yè)務的多維數(shù)據(jù)（4 4確定數(shù)據(jù)匯總水平確定數(shù)據(jù)匯總水平 數(shù)據(jù)倉庫中對數(shù)據(jù)不同粒度的集

11、成和綜合，數(shù)據(jù)倉庫中對數(shù)據(jù)不同粒度的集成和綜合，形成了多層次、多種知識的數(shù)據(jù)結構。形成了多層次、多種知識的數(shù)據(jù)結構。 例如，對于時間維，可以以例如，對于時間維，可以以“年年”、“月或月或者者“日等不同水平進行匯總。日等不同水平進行匯總。（5 5設計事實表和維表設計事實表和維表 設計事實表和維表的具體屬性。在事實表中應設計事實表和維表的具體屬性。在事實表中應該記錄哪些屬性是由維表的數(shù)量決定的。該記錄哪些屬性是由維表的數(shù)量決定的。 一般來說，與事實表相關的維表的數(shù)量應該適一般來說，與事實表相關的維表的數(shù)量應該適中，太少的維表會影響查詢的質(zhì)量，用戶得不到中，太少的維表會影響查詢的質(zhì)量，用戶得不到需要

12、的數(shù)據(jù)，太多的維表又會影響查詢的速度。需要的數(shù)據(jù)，太多的維表又會影響查詢的速度。 （6 6按使用的按使用的DBMSDBMS和分析用戶工具，證實設計方和分析用戶工具，證實設計方案的有效性案的有效性 根據(jù)系統(tǒng)使用的根據(jù)系統(tǒng)使用的DBMSDBMS，確定事實表和維表的具，確定事實表和維表的具體實現(xiàn)。由于不同的體實現(xiàn)。由于不同的DBMSDBMS對數(shù)據(jù)存儲有不同的要對數(shù)據(jù)存儲有不同的要求，因此設計方案是否有效還要放在求，因此設計方案是否有效還要放在DBMSDBMS中進行中進行檢驗檢驗 （7 7隨著需求變化修改設計方案隨著需求變化修改設計方案 隨著應用需求的變化，整個數(shù)據(jù)倉庫的數(shù)據(jù)模隨著應用需求的變化，整個

13、數(shù)據(jù)倉庫的數(shù)據(jù)模式也可能會發(fā)生變化。因此在設計之初，充分考式也可能會發(fā)生變化。因此在設計之初，充分考慮數(shù)據(jù)模型的可修改性可以節(jié)省系統(tǒng)維護的代價。慮數(shù)據(jù)模型的可修改性可以節(jié)省系統(tǒng)維護的代價。22從的從的ER圖轉(zhuǎn)換成星型模型實例說明圖轉(zhuǎn)換成星型模型實例說明 n（1業(yè)務數(shù)據(jù)的業(yè)務數(shù)據(jù)的E-R圖圖銷售銷售日期商店號商品號銷售數(shù)量銷售單位商品商品號商品名商品類號存貨星期商店號商品號數(shù)量1m1m商店商店號商店名地址城市省地區(qū)號1mm11商品類商品類號商品類名部門號m1m地域地區(qū)號地區(qū)名23（2E-R圖向多維表的轉(zhuǎn)換圖向多維表的轉(zhuǎn)換該問題的多維表模型中，商品維包括部門、商品和商該問題的多維表模型中，商品維包

14、括部門、商品和商品大類，地點維包括地區(qū)和商店，忽略存貨，而只品大類，地點維包括地區(qū)和商店，忽略存貨，而只注意銷售事實。在注意銷售事實。在E-R圖中不出現(xiàn)的時間，在多維圖中不出現(xiàn)的時間，在多維模型中增加時間維。模型中增加時間維。在多維模型中，實體與維之間建立映射關系，聯(lián)系多在多維模型中，實體與維之間建立映射關系，聯(lián)系多個實體的實體就成為事實，此處銷售實體作為事實，個實體的實體就成為事實，此處銷售實體作為事實，其他實體作為維。然后用維關鍵字將它轉(zhuǎn)換為星型其他實體作為維。然后用維關鍵字將它轉(zhuǎn)換為星型模型，如圖模型，如圖4.5所示。所示。24商品維地區(qū)維時間維部門地域年商品大類商店月商品周日銷售事實

15、圖圖4.4 E-R圖向多維模型的轉(zhuǎn)換圖向多維模型的轉(zhuǎn)換 時間 時間鍵 時間說明 日期 星期 月 年 級別號 銷售事實 時間鍵 地理位置鍵 商品鍵 銷售數(shù)量 銷售單位 地區(qū) 地理位置鍵 地理位置名 地區(qū)號 商店號 級別號 商品 商品鍵 商品名 部門號 商品類號 級別號 圖圖4.5 利用維關鍵字制定的星型模型利用維關鍵字制定的星型模型26在各維中，只有部門，商品類，地域，商在各維中，只有部門，商品類，地域，商店的編號沒有具體的說明。店的編號沒有具體的說明。為了打印報表將增加這些編號的名稱說明，為了打印報表將增加這些編號的名稱說明，即部門名、商店名等，在維表中增加這即部門名、商店名等，在維表中增加這

16、些說明，即修改該星型模型些說明，即修改該星型模型 如圖如圖4.6 所示。所示。 時間 時間鍵 時間說明 日期 星期 月 年 級別號 銷售事實 時間鍵 地理位置鍵 商品鍵 銷售數(shù)量 銷售單位 地區(qū) 地理位置鍵 地理位置名 地區(qū)號 地區(qū)名 商店號 商店名 級別號 商品 商品鍵 商品名 部門號 部門名 商品類號 商品類名 級別號 圖圖4.6 修改后的星型模型修改后的星型模型282、粒度層次劃分、粒度層次劃分n所謂粒度是指數(shù)據(jù)倉庫中數(shù)據(jù)單元的詳所謂粒度是指數(shù)據(jù)倉庫中數(shù)據(jù)單元的詳細程度和級別。細程度和級別。n數(shù)據(jù)越詳細，粒度越小，層次級別就越數(shù)據(jù)越詳細，粒度越小，層次級別就越低；數(shù)據(jù)綜合度越高，粒度越大

17、，層次低；數(shù)據(jù)綜合度越高，粒度越大，層次級別就越高。級別就越高。 n進行粒度劃分，首先要確定所有在數(shù)據(jù)進行粒度劃分，首先要確定所有在數(shù)據(jù)倉庫中建立的表，然后估計每個表的大倉庫中建立的表，然后估計每個表的大約行數(shù)。約行數(shù)。 293、關系模式定義、關系模式定義n在概念模型設計時，我們就確定了數(shù)據(jù)在概念模型設計時，我們就確定了數(shù)據(jù)倉庫的基本主題，并對每個主題的公共倉庫的基本主題，并對每個主題的公共碼鍵、基本內(nèi)容等做了描述。碼鍵、基本內(nèi)容等做了描述。n在這一步里，我們將要對選定的當前實在這一步里，我們將要對選定的當前實施的主題進行模式劃分，形成多個表，施的主題進行模式劃分，形成多個表，并確定各個表的關

18、系模式。并確定各個表的關系模式。 30“商品主題商品主題公共碼鍵：商品號。公共碼鍵：商品號。商品固有信息：商品固有信息：商品表商品號、商品名、類型、顏色）商品表商品號、商品名、類型、顏色）細節(jié)級細節(jié)級商品銷售信息：商品銷售信息：銷售表銷售表1商品號、客戶號、銷售量、商品號、客戶號、銷售量、）細節(jié)級細節(jié)級銷售表銷售表2商品號、時間段商品號、時間段1、銷售量、銷售量、）綜合級綜合級 銷售表銷售表n商品號、時間段商品號、時間段n、銷售量、銷售量、）綜合級綜合級314、定義記錄系統(tǒng)、定義記錄系統(tǒng)n定義記錄系統(tǒng)是建立數(shù)據(jù)倉庫中的數(shù)據(jù)以源定義記錄系統(tǒng)是建立數(shù)據(jù)倉庫中的數(shù)據(jù)以源系統(tǒng)中的數(shù)據(jù)的對照記錄。系統(tǒng)中

19、的數(shù)據(jù)的對照記錄。n記錄系統(tǒng)的定義要記入數(shù)據(jù)倉庫的元數(shù)據(jù)。記錄系統(tǒng)的定義要記入數(shù)據(jù)倉庫的元數(shù)據(jù)。n商品主題的記錄系統(tǒng)在元數(shù)據(jù)中可描述如商品主題的記錄系統(tǒng)在元數(shù)據(jù)中可描述如n 表表4.2所示。所示。32主題名屬性名數(shù)據(jù)源系統(tǒng)源表名源屬性名商品商品商品商品商品商品商品商品商品商品號商品名類別客戶號銷售日期售價銷售量庫存量庫存號庫存子系統(tǒng)庫存子系統(tǒng)庫存子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)銷售子系統(tǒng)庫存子系統(tǒng)庫存子系統(tǒng)商品商品商品客戶銷售銷售銷售庫存?zhèn)}庫商品號商品名類別客戶號日期單價數(shù)量庫存量倉庫號表表4.2 記錄系統(tǒng)的定義記錄系統(tǒng)的定義334.1.4 物理模型設計物理模型設計確定一個最適合應用要求的

20、物理結構包確定一個最適合應用要求的物理結構包括存儲結構和存取方法）。括存儲結構和存取方法）。（1估計存儲容量估計存儲容量（2確定數(shù)據(jù)的存儲計劃確定數(shù)據(jù)的存儲計劃（3確定索引策略確定索引策略（4確定數(shù)據(jù)存放位置確定數(shù)據(jù)存放位置（5確定存儲分配確定存儲分配341.估計存儲容量估計存儲容量（1對每一個數(shù)據(jù)庫表確定數(shù)據(jù)量對每一個數(shù)據(jù)庫表確定數(shù)據(jù)量 （2對所有的表確定索引對所有的表確定索引 （3估計臨時存儲估計臨時存儲352.確定數(shù)據(jù)的存儲計劃確定數(shù)據(jù)的存儲計劃（1建立聚集匯總方案建立聚集匯總方案（2確定數(shù)據(jù)分區(qū)方案確定數(shù)據(jù)分區(qū)方案（3建立聚類選項建立聚類選項363.確定索引策略確定索引策略n在數(shù)據(jù)倉庫

21、中由于數(shù)據(jù)量很大，需要對數(shù)據(jù)的在數(shù)據(jù)倉庫中由于數(shù)據(jù)量很大，需要對數(shù)據(jù)的存取路徑進行仔細設計和選擇，建立專用的復存取路徑進行仔細設計和選擇，建立專用的復雜的索引，以獲得最高的存取效率。雜的索引，以獲得最高的存取效率。n采用采用BTree索引，它是一個高效的索引，見索引，它是一個高效的索引，見圖圖4.7所示。所示。B樹是一個平衡樹是一個平衡balance樹，樹，即每個葉結點到根節(jié)點的路徑長度相同。即每個葉結點到根節(jié)點的路徑長度相同。B樹樹索引是一個多級索引。索引是一個多級索引。374.確定數(shù)據(jù)存放位置確定數(shù)據(jù)存放位置n在物理設計時，我們常常要按數(shù)據(jù)的重要程度、在物理設計時，我們常常要按數(shù)據(jù)的重要程

22、度、使用頻率以及對響應時間的要求進行分類，并使用頻率以及對響應時間的要求進行分類，并將不同類的數(shù)據(jù)分別存儲在不同的存儲設備中。將不同類的數(shù)據(jù)分別存儲在不同的存儲設備中。n重要程度高、經(jīng)常存取并對響應時間要求高的重要程度高、經(jīng)常存取并對響應時間要求高的數(shù)據(jù)就存放在高速存儲設備上，如硬盤；數(shù)據(jù)就存放在高速存儲設備上，如硬盤；n存取頻率低或?qū)Υ嫒№憫獣r間要求低的數(shù)據(jù)則存取頻率低或?qū)Υ嫒№憫獣r間要求低的數(shù)據(jù)則可以放在低速存儲設備上，如磁盤或磁帶?？梢苑旁诘退俅鎯υO備上，如磁盤或磁帶。 385.確定存儲分配確定存儲分配n物理存儲中以文件、塊和記錄來實現(xiàn)。一個文物理存儲中以文件、塊和記錄來實現(xiàn)。一個文件包

23、括很多塊，每個塊包括若干條記錄。件包括很多塊，每個塊包括若干條記錄。n文件中的塊是數(shù)據(jù)庫的數(shù)據(jù)和內(nèi)存之間文件中的塊是數(shù)據(jù)庫的數(shù)據(jù)和內(nèi)存之間I/O傳傳輸?shù)幕締挝?，在那里對?shù)據(jù)進行操作。輸?shù)幕締挝?，在那里對?shù)據(jù)進行操作。n用一個簡例來說明邏輯模型和物理模型的內(nèi)容，用一個簡例來說明邏輯模型和物理模型的內(nèi)容，見下圖所示。見下圖所示。 名稱類型長度注釋產(chǎn)品維表包括公司所有產(chǎn)品的信息Product-Keyinteger10主鍵Product-Namechar25產(chǎn)品名稱Product-SKuchar20庫存單位銷售員維表包括不同地區(qū)的所有銷售員信息Salpers-Keyinteger15主鍵Salpe

24、rs-Namechar30銷售員姓名Territorychar20銷售員所在區(qū)域Regionchar20所在地區(qū)訂單事實表包括公司收到的所有訂單Order-Keyinteger10訂單鍵Order-Namechar20訂單名稱Product-refinteger10參考產(chǎn)品主鍵Salpers-refinteger15參考銷售員主鍵Order-AmountNum8，2銷售額Order-CostNum8，2訂單成本邏輯模型產(chǎn)品維表產(chǎn)品鍵產(chǎn)品名庫存單位品牌訂單事實表訂單鍵訂單名產(chǎn)品鍵銷售員鍵銷售額訂單成本銷售員維表銷售員鍵姓名地域地域404.1.5 數(shù)據(jù)倉庫的索引技術數(shù)據(jù)倉庫的索引技術1.位索引技術

25、位索引技術2.標識技術標識技術3.廣義索引廣義索引411.位索引技術位索引技術n（1Bit-Wise索引技術索引技術n（2B-Tree技術與技術與Bit-Wise索引技術索引技術對比對比42n對于每一個記錄的字段滿足查詢條件的真假對于每一個記錄的字段滿足查詢條件的真假值用值用“1或或“0的方式表示，或者用該字的方式表示，或者用該字段中不同取值即多位二進制來表示。段中不同取值即多位二進制來表示。 n例如，檢索例如，檢索“美國加州有多少男性未申請保美國加州有多少男性未申請保險？險？”n利用利用BitWise技術得到有兩個記錄技術得到有兩個記錄 滿足條滿足條件。件。 性別保險州1MYMA2MNCA3

26、FYIL4MNCA=2男未保險加州10011100011144（2B-Tree技術與技術與Bit-Wise索引技術對比索引技術對比nBit-Wise索引技術比索引技術比B-Tree技術能提高相應技術能提高相應速度速度10100倍。倍。n對于檢索對于檢索“美國加州有多少男性未申請保險？美國加州有多少男性未申請保險？”為例，假設數(shù)據(jù)庫有為例，假設數(shù)據(jù)庫有10M記錄，每個記錄長記錄，每個記錄長800個字節(jié)，每一頁個字節(jié)，每一頁16K字節(jié)。字節(jié)。n按傳統(tǒng)的關系數(shù)據(jù)庫的檢索：需要經(jīng)過按傳統(tǒng)的關系數(shù)據(jù)庫的檢索：需要經(jīng)過50萬次萬次I/O操作。操作。n按按BitWise檢索：對于檢索：對于10M個記錄建立三

27、列個記錄建立三列的的BitWise索引。存取這些索引只要進行索引。存取這些索引只要進行235次次I/O操作。操作。452.標識技術標識技術 姓名 籍貫 職稱 年齡陳文東 江西 教授 56何玉輝 河北 講師 32李寶 湖南 副教授 37施東 江蘇 講師 28曹文 湖南 副教授 36趙玉 吉林 講師 32黃小斌 江蘇 講師 28賽英花 山東 副教授 32彭宏 江西 講師 25廖宇宙 湖南 教授 42樣本記錄： 46n數(shù)據(jù)庫中的每個實體創(chuàng)建一個標識。數(shù)據(jù)庫中的每個實體創(chuàng)建一個標識?！敖髟诩炛惺墙髟诩炛惺?1標識。標識?！?8在在年齡中是年齡中是02標識。標識。“講師在職稱名中講師在職稱名中有

28、一個有一個03標識。上面的數(shù)據(jù)庫可以被減標識。上面的數(shù)據(jù)庫可以被減化為一系列標識，如下面所示：化為一系列標識，如下面所示： 47n姓名姓名 籍貫籍貫 職稱職稱 年齡年齡n陳文東陳文東 01 江西江西 01 教授教授 01 25 01n何玉輝何玉輝 02 河北河北 02 副教授副教授 02 28 02n李寶李寶 03 湖南湖南 03 講師講師 03 32 03n施東施東 04 江蘇江蘇 04 36 04n曹文曹文 05 吉林吉林 05 37 05n趙玉趙玉 06 山東山東 06 42 06n黃小斌黃小斌 07 56 07n賽英花賽英花 08 n彭宏彭宏 09 n廖宇宙廖宇宙 10 48數(shù)據(jù)庫被精

29、簡如下：數(shù)據(jù)庫被精簡如下：n記錄記錄1 01,01,01,07n記錄記錄2 02,02,03,03n記錄記錄3 03,03,02,05n記錄記錄4 04,04,03,02n記錄記錄5 05,03,02,05n記錄記錄6 06,05,03,03n記錄記錄7 07,04,03,02n記錄記錄8 08,06,02,03n記錄記錄9 09,01,03,01493.廣義索引廣義索引對數(shù)據(jù)倉庫的一個很廣泛的應用問題是對數(shù)據(jù)倉庫的一個很廣泛的應用問題是“這個這個月銷售最好和最差的月銷售最好和最差的10種商品是哪些？種商品是哪些？”，我們可以設計這么一塊我們可以設計這么一塊“黑板黑板”，在上面標明，在上面標明

30、了當月銷售最好和最差的了當月銷售最好和最差的10種商品的名稱或種商品的名稱或者它們相關記錄的存放地址。這塊者它們相關記錄的存放地址。這塊“黑板黑板就是我們所說的就是我們所說的“廣義索引廣義索引”。504.2 數(shù)據(jù)倉庫開發(fā)數(shù)據(jù)倉庫開發(fā)4.3 數(shù)據(jù)倉庫技術與開發(fā)的困難數(shù)據(jù)倉庫技術與開發(fā)的困難514.2 數(shù)據(jù)倉庫開發(fā)數(shù)據(jù)倉庫開發(fā)4.2.1數(shù)據(jù)倉庫開發(fā)過程數(shù)據(jù)倉庫開發(fā)過程4.2.2 數(shù)據(jù)質(zhì)量與數(shù)據(jù)清洗數(shù)據(jù)質(zhì)量與數(shù)據(jù)清洗4.2.3 數(shù)據(jù)粒度與維度建模數(shù)據(jù)粒度與維度建模524.2.1數(shù)據(jù)倉庫開發(fā)過程數(shù)據(jù)倉庫開發(fā)過程4.2.2.1 分析與設計階段分析與設計階段 4.2.1.2 數(shù)據(jù)獲取階段數(shù)據(jù)獲取階段4.2

31、.1.3 決策支持階段決策支持階段4.2.1.4 維護與評估階段維護與評估階段需求分析數(shù)據(jù)裝載信息查詢概念設計邏輯設計物理設計數(shù)據(jù)抽取數(shù)據(jù)轉(zhuǎn)換知識探求數(shù)據(jù)倉庫增長數(shù)據(jù)倉庫維護數(shù)據(jù)倉庫評估數(shù)據(jù)倉庫開發(fā)過程數(shù)據(jù)倉庫開發(fā)過程544.2.1.1分析與設計階段 1.需求分析需求分析2.概念設計概念設計3.邏輯設計邏輯設計4.物理設計物理設計551.需求分析需求分析n確定決策主題域確定決策主題域n分析主題域的商業(yè)維度分析主題域的商業(yè)維度n分析支持決策的數(shù)據(jù)來源分析支持決策的數(shù)據(jù)來源n確定數(shù)據(jù)倉庫的數(shù)據(jù)量大小確定數(shù)據(jù)倉庫的數(shù)據(jù)量大小n分析數(shù)據(jù)更新的頻率分析數(shù)據(jù)更新的頻率n確定決策分析方法確定決策分析方法56

32、2.概念設計n建立概念模型：對每個決策主題與屬性以建立概念模型：對每個決策主題與屬性以及主題之間的關系用及主題之間的關系用E-R圖模型表示。圖模型表示。nE-R圖將現(xiàn)實世界表示成信息世界，便利圖將現(xiàn)實世界表示成信息世界，便利向計算機的表示形式進行轉(zhuǎn)化。向計算機的表示形式進行轉(zhuǎn)化。573.邏輯設計n將概念模型將概念模型E-R圖轉(zhuǎn)換成邏輯模型，圖轉(zhuǎn)換成邏輯模型，即計算機表示的數(shù)據(jù)模型。即計算機表示的數(shù)據(jù)模型。n數(shù)據(jù)倉庫數(shù)據(jù)模型一般采用星型模型。數(shù)據(jù)倉庫數(shù)據(jù)模型一般采用星型模型。n星型模型由事實表、維表組成。星型模型由事實表、維表組成。584.物理設計物理設計n對邏輯模型設計的數(shù)據(jù)模型確定物理存儲結

33、構對邏輯模型設計的數(shù)據(jù)模型確定物理存儲結構和存取方法。和存取方法。n數(shù)據(jù)倉庫的星型模型在計算機中仍用關系型數(shù)數(shù)據(jù)倉庫的星型模型在計算機中仍用關系型數(shù)據(jù)庫存儲。據(jù)庫存儲。n物理設計還需要進行存儲容量的估計；確定數(shù)物理設計還需要進行存儲容量的估計；確定數(shù)據(jù)存儲的計劃；確定索引策略；確定數(shù)據(jù)存放據(jù)存儲的計劃；確定索引策略；確定數(shù)據(jù)存放位置以及確定存儲分配。位置以及確定存儲分配。594.2.1.2 數(shù)據(jù)獲取階段數(shù)據(jù)獲取階段 1.數(shù)據(jù)抽取數(shù)據(jù)抽取2.數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換3.數(shù)據(jù)裝載數(shù)據(jù)裝載601.數(shù)據(jù)抽取數(shù)據(jù)抽取n對數(shù)據(jù)源的確認，確定數(shù)據(jù)抽取技術，對數(shù)據(jù)源的確認，確定數(shù)據(jù)抽取技術，確認數(shù)據(jù)抽取頻率，按照時間

34、要求抽取確認數(shù)據(jù)抽取頻率，按照時間要求抽取數(shù)據(jù)。數(shù)據(jù)。n由于源系統(tǒng)的差異性，如計算機平臺、由于源系統(tǒng)的差異性，如計算機平臺、操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、網(wǎng)絡協(xié)議操作系統(tǒng)、數(shù)據(jù)庫管理系統(tǒng)、網(wǎng)絡協(xié)議等的不同造成了抽取數(shù)據(jù)的困難。等的不同造成了抽取數(shù)據(jù)的困難。612.數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)轉(zhuǎn)換n數(shù)據(jù)格式的修正數(shù)據(jù)格式的修正n字段的解碼字段的解碼n單個字段的分離單個字段的分離n信息的合并信息的合并n變量單位的轉(zhuǎn)化變量單位的轉(zhuǎn)化n時間的轉(zhuǎn)化時間的轉(zhuǎn)化n數(shù)據(jù)匯總數(shù)據(jù)匯總623.數(shù)據(jù)裝載數(shù)據(jù)裝載初始裝載：第一次裝入數(shù)據(jù)倉庫。初始裝載：第一次裝入數(shù)據(jù)倉庫。增量裝載：根據(jù)定期應用需求裝入數(shù)據(jù)倉增量裝載：根據(jù)定期應用需求裝入

35、數(shù)據(jù)倉 庫。庫。完全刷新：完全刪除現(xiàn)有數(shù)據(jù)，重新裝入完全刷新：完全刪除現(xiàn)有數(shù)據(jù)，重新裝入 新的數(shù)據(jù)。新的數(shù)據(jù)。634.2.1.3 決策支持階段決策支持階段n1.信息查詢n2.知識探索641.信息查詢信息查詢信息查詢者使用數(shù)據(jù)倉庫能發(fā)現(xiàn)目前存在的問題。信息查詢者使用數(shù)據(jù)倉庫能發(fā)現(xiàn)目前存在的問題。創(chuàng)建數(shù)據(jù)陣列創(chuàng)建數(shù)據(jù)陣列 將相關的數(shù)據(jù)每月的數(shù)據(jù)放在同一個物理位將相關的數(shù)據(jù)每月的數(shù)據(jù)放在同一個物理位置上。置上。預連接表格預連接表格 對于兩個或多個表格共享一個公用鏈。對于兩個或多個表格共享一個公用鏈。65預聚集數(shù)據(jù)預聚集數(shù)據(jù)以每天為基礎存儲數(shù)據(jù)。在一周結束時，以每周為以每天為基礎存儲數(shù)據(jù)。在一周結束時

36、，以每周為基礎存儲數(shù)據(jù)即累加每天的數(shù)據(jù)）。月末時，基礎存儲數(shù)據(jù)即累加每天的數(shù)據(jù)）。月末時，則以每月為基礎存儲數(shù)據(jù)。則以每月為基礎存儲數(shù)據(jù)。聚類數(shù)據(jù)聚類數(shù)據(jù)聚類將數(shù)據(jù)放置在同一地點，這樣可以提高對聚類聚類將數(shù)據(jù)放置在同一地點，這樣可以提高對聚類數(shù)據(jù)的查詢。數(shù)據(jù)的查詢。662.知識探索知識探索發(fā)現(xiàn)的問題并找出原因。發(fā)現(xiàn)的問題并找出原因。 創(chuàng)建一個單獨的探索倉庫，不影響數(shù)據(jù)倉庫的常創(chuàng)建一個單獨的探索倉庫，不影響數(shù)據(jù)倉庫的常規(guī)用戶。同時采用規(guī)用戶。同時采用“標識技術進行數(shù)據(jù)壓縮，標識技術進行數(shù)據(jù)壓縮，提高數(shù)據(jù)分析速度。提高數(shù)據(jù)分析速度。使用一些模型幫助決策分析，例如客戶分段、欺使用一些模型幫助決策分析

37、，例如客戶分段、欺詐監(jiān)測、信用分險、客戶生存期、渠道響應、詐監(jiān)測、信用分險、客戶生存期、渠道響應、推銷響應等模型。推銷響應等模型。通過模型的計算來得出一些有價值的商業(yè)知識。通過模型的計算來得出一些有價值的商業(yè)知識。67采用數(shù)據(jù)挖掘工具來獲取商業(yè)知識。采用數(shù)據(jù)挖掘工具來獲取商業(yè)知識。例如，得到如下一些知識：例如，得到如下一些知識：哪些商品一起銷售好？哪些商品一起銷售好？哪些商業(yè)事務處理可能帶有欺詐性？哪些商業(yè)事務處理可能帶有欺詐性？高價值客戶的共同點是什么？高價值客戶的共同點是什么？獲取的知識為企業(yè)領導者提供決策支持，達到獲取的知識為企業(yè)領導者提供決策支持，達到保留客戶，減少欺詐，提高公司利潤具

38、有重保留客戶，減少欺詐，提高公司利潤具有重要作用。要作用。684.2.1.4 維護與評估階段維護與評估階段1.數(shù)據(jù)倉庫增長數(shù)據(jù)倉庫增長2.數(shù)據(jù)倉庫維護數(shù)據(jù)倉庫維護3.數(shù)據(jù)倉庫評估數(shù)據(jù)倉庫評估691.數(shù)據(jù)倉庫增長數(shù)據(jù)倉庫增長數(shù)據(jù)倉庫建立以后，隨著用戶的不斷增加，數(shù)據(jù)倉庫建立以后，隨著用戶的不斷增加，時間的增長，用戶查詢需求更多，數(shù)據(jù)時間的增長，用戶查詢需求更多，數(shù)據(jù)會迅速增長。會迅速增長。 在數(shù)據(jù)倉庫的開發(fā)過程中需要適應數(shù)據(jù)倉在數(shù)據(jù)倉庫的開發(fā)過程中需要適應數(shù)據(jù)倉庫不斷增長的現(xiàn)實。庫不斷增長的現(xiàn)實。702.數(shù)據(jù)倉庫維護數(shù)據(jù)倉庫維護n適應數(shù)據(jù)倉庫增長的維護適應數(shù)據(jù)倉庫增長的維護n數(shù)據(jù)增長的處理工作有

39、：去掉沒有用的數(shù)據(jù)增長的處理工作有：去掉沒有用的歷史數(shù)據(jù)；根據(jù)用戶使用的情況，取消歷史數(shù)據(jù)；根據(jù)用戶使用的情況，取消某些細節(jié)數(shù)據(jù)和無用的匯總數(shù)據(jù)，增加某些細節(jié)數(shù)據(jù)和無用的匯總數(shù)據(jù)，增加些實用的匯總數(shù)據(jù)。些實用的匯總數(shù)據(jù)。 71正常系統(tǒng)維護正常系統(tǒng)維護n數(shù)據(jù)倉庫的備份和恢復。n 備份數(shù)據(jù)為系統(tǒng)恢復提供基礎，一旦系統(tǒng)出現(xiàn)災難時，利用備份數(shù)據(jù)可以很快將數(shù)據(jù)倉庫恢復到正常狀態(tài)。723.數(shù)據(jù)倉庫評估數(shù)據(jù)倉庫評估（1系統(tǒng)性能評定系統(tǒng)性能評定（2投資回報分析投資回報分析（3數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量評估73（1系統(tǒng)性能評定系統(tǒng)性能評定n硬件平臺是否能夠支持大數(shù)據(jù)量的工作硬件平臺是否能夠支持大數(shù)據(jù)量的工作和多類用戶

40、、多種工具的大量需求？和多類用戶、多種工具的大量需求？n軟件平臺是否是用一個高效的且優(yōu)化的軟件平臺是否是用一個高效的且優(yōu)化的方式來組織和管理數(shù)據(jù)？方式來組織和管理數(shù)據(jù)？n是否適應系統(tǒng)數(shù)據(jù)和處理的擴展？是否適應系統(tǒng)數(shù)據(jù)和處理的擴展？74（2投資回報分析投資回報分析n定量分析定量分析:計算投資回報率計算投資回報率ROI），即），即收益與成本的比率。收益與成本的比率。 n定性分析定性分析:企業(yè)與客戶之間關系狀態(tài)？對企業(yè)與客戶之間關系狀態(tài)？對機會快速反應能力如何？改善管理能力機會快速反應能力如何？改善管理能力如何？如何？75（3數(shù)據(jù)質(zhì)量評估數(shù)據(jù)質(zhì)量評估數(shù)據(jù)是準確的。數(shù)據(jù)是準確的。數(shù)據(jù)符合它的類型要求和

41、取值要求。數(shù)據(jù)符合它的類型要求和取值要求。數(shù)據(jù)具有完整性和一致性。數(shù)據(jù)具有完整性和一致性。數(shù)據(jù)是清晰的且符合商業(yè)規(guī)則。數(shù)據(jù)是清晰的且符合商業(yè)規(guī)則。數(shù)據(jù)保持時效性并不能出現(xiàn)異常。數(shù)據(jù)保持時效性并不能出現(xiàn)異常。764.2.2 數(shù)據(jù)質(zhì)量與數(shù)據(jù)清洗數(shù)據(jù)質(zhì)量與數(shù)據(jù)清洗1. 數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量問題2.數(shù)據(jù)污染產(chǎn)生的原因數(shù)據(jù)污染產(chǎn)生的原因3.數(shù)據(jù)清洗數(shù)據(jù)清洗771. 數(shù)據(jù)質(zhì)量問題數(shù)據(jù)質(zhì)量問題（1字段中的虛假值。字段中的虛假值。（2數(shù)據(jù)值缺失。數(shù)據(jù)值缺失。（3不一致的值。不一致的值。（4違反常規(guī)的不正確值。違反常規(guī)的不正確值。（5一個字段有多種用途。一個字段有多種用途。（6標法不唯一。標法不唯一。782.數(shù)

42、據(jù)污染產(chǎn)生的原因數(shù)據(jù)污染產(chǎn)生的原因（1系統(tǒng)轉(zhuǎn)換系統(tǒng)轉(zhuǎn)換（2數(shù)據(jù)老化數(shù)據(jù)老化（3復雜的系統(tǒng)集成復雜的系統(tǒng)集成 （4數(shù)據(jù)輸入的不完整信息數(shù)據(jù)輸入的不完整信息 （5輸入錯誤輸入錯誤 （6欺詐欺詐 （7缺乏相關政策缺乏相關政策 793.數(shù)據(jù)清洗數(shù)據(jù)清洗n只清洗那些重要的數(shù)據(jù)，而忽略那些不重要的數(shù)只清洗那些重要的數(shù)據(jù)，而忽略那些不重要的數(shù)據(jù)。據(jù)。n數(shù)據(jù)在被存儲進數(shù)據(jù)倉庫之前就應該進行清洗。數(shù)據(jù)在被存儲進數(shù)據(jù)倉庫之前就應該進行清洗。n找到適合源系統(tǒng)的字段和格式的清洗工具。找到適合源系統(tǒng)的字段和格式的清洗工具。n建立數(shù)據(jù)質(zhì)量領導小組；建立數(shù)據(jù)質(zhì)量政策和標建立數(shù)據(jù)質(zhì)量領導小組；建立數(shù)據(jù)質(zhì)量政策和標準；定義質(zhì)量

43、指標參數(shù)和基準；識別受壞數(shù)據(jù)影準；定義質(zhì)量指標參數(shù)和基準；識別受壞數(shù)據(jù)影響最大的商業(yè)功能。響最大的商業(yè)功能。n對有較大影響力的數(shù)據(jù)元素定制清洗計劃，并執(zhí)對有較大影響力的數(shù)據(jù)元素定制清洗計劃，并執(zhí)行數(shù)據(jù)清洗。行數(shù)據(jù)清洗。804.2.3 數(shù)據(jù)粒度與維度建模數(shù)據(jù)粒度與維度建模n數(shù)據(jù)粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)中保存數(shù)數(shù)據(jù)粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)中保存數(shù)據(jù)的細化程度或綜合程度的級別。據(jù)的細化程度或綜合程度的級別。n 數(shù)據(jù)粒度深深影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)粒度深深影響存放在數(shù)據(jù)倉庫中的數(shù)據(jù)量的大小，同時影響數(shù)據(jù)倉庫所能數(shù)據(jù)量的大小，同時影響數(shù)據(jù)倉庫所能回答的查詢類型。回答的查詢類型。811. 大維度與雪花模型大

44、維度與雪花模型n在數(shù)據(jù)倉庫中，客戶維度和產(chǎn)品維度是典型的在數(shù)據(jù)倉庫中，客戶維度和產(chǎn)品維度是典型的大維度。大維度。n大維度表采用雪花模型的數(shù)據(jù)組織，是一種有大維度表采用雪花模型的數(shù)據(jù)組織，是一種有效的方法。效的方法。n對產(chǎn)品維度，產(chǎn)品是分屬于產(chǎn)品品牌，品牌又對產(chǎn)品維度，產(chǎn)品是分屬于產(chǎn)品品牌，品牌又分屬于產(chǎn)品分類。對客戶維度，客戶分屬于地分屬于產(chǎn)品分類。對客戶維度，客戶分屬于地區(qū)，地區(qū)分屬于國家。區(qū)，地區(qū)分屬于國家。n對于銷售的雪花模型如圖對于銷售的雪花模型如圖4.11所示。所示。地域地區(qū)鍵地區(qū)名國家鍵產(chǎn)品鍵產(chǎn)品名品牌鍵包裝鍵包裝包裝鍵包裝類別銷售事實產(chǎn)品鍵時間鍵客戶鍵銷售數(shù)目銷售總價利潤時間時間

45、鍵日期月季年客戶鍵客戶名地區(qū)鍵客戶分類品牌鍵品牌名分類鍵品牌分類鍵分類名產(chǎn)品國家鍵國家名國家圖圖4.11 銷售事實的雪花模型銷售事實的雪花模型832. 綜合事實表綜合事實表n大多數(shù)查詢不是基于基礎事實表上操作的，而大多數(shù)查詢不是基于基礎事實表上操作的，而是基于綜合數(shù)據(jù)的查詢。這樣建立綜合事實表是基于綜合數(shù)據(jù)的查詢。這樣建立綜合事實表是提高綜合數(shù)據(jù)查詢的非常有效的方法，且大是提高綜合數(shù)據(jù)查詢的非常有效的方法，且大大提高數(shù)據(jù)倉庫的性能。大提高數(shù)據(jù)倉庫的性能。n在多維表中，很多維都是具有層次結構，對不在多維表中，很多維都是具有層次結構，對不同維的層次的提升，將可建立多種綜合事實表。同維的層次的提升，將可建立多種綜合事實表。 n從圖從圖4.12可見，對基礎事實表查詢利用產(chǎn)品維可見，對基礎事實表查詢利用產(chǎn)品維表，對綜合事實表查詢，利用產(chǎn)品分類維表。表，對綜合事實表查詢，利用產(chǎn)品分類維表。 產(chǎn)品鍵產(chǎn)品名分類部門產(chǎn)品鍵時間鍵商店鍵銷售量銷售總價時間時間鍵日期月季年商店鍵商店名地域地域商店產(chǎn)品分類鍵分類名部門產(chǎn)品分類分類鍵時間鍵商店鍵銷售量銷售總價綜合事實表銷售事實表（基礎表）圖圖4.12 綜合事實表和衍生維度產(chǎn)品分類表綜合事實表和衍生維度產(chǎn)品分類表854.3 數(shù)據(jù)倉庫技術與開發(fā)的困難數(shù)據(jù)倉庫技術