數(shù)據(jù)倉(cāng)庫(kù)的基本概念(ppt-58頁(yè))課件

1、 課程安排數(shù)據(jù)倉(cāng)庫(kù)： 18學(xué)時(shí)數(shù)據(jù)挖掘： 18學(xué)時(shí)考 試： 撰寫(xiě)論文第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念案例討論：下圖展示了某電信公司的市場(chǎng)部和計(jì)劃部對(duì)業(yè)務(wù)A是否具有市場(chǎng)前景的分析過(guò)程和結(jié)果。 試討論為什么兩部門(mén)分析結(jié)果不同。企業(yè)級(jí)數(shù)據(jù)庫(kù)市場(chǎng)部分析程序1分析結(jié)果1： 前景很好計(jì)劃部分析程序2分析結(jié)果2： 前景不好第一章：數(shù)據(jù)倉(cāng)庫(kù)的基本概念1-1 數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生與發(fā)展 傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)作為數(shù)據(jù)管理手段，主要用于聯(lián)機(jī)事務(wù)處理(OLTP,On-Line Transaction Process)， 數(shù)據(jù)庫(kù)中保存的是大量的日常業(yè)務(wù)數(shù)據(jù)。 在數(shù)據(jù)共享、數(shù)據(jù)與應(yīng)用程序的獨(dú)立性、維護(hù)數(shù)據(jù)的一致性與完整性、數(shù)據(jù)的安全保密

2、性等方面提供了有效的手段。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 與分析型應(yīng)用結(jié)合時(shí)存在的問(wèn)題：決策支持系統(tǒng)為掌握充分的信息，需要訪問(wèn)大量的企業(yè)內(nèi)部數(shù)據(jù)和外部數(shù)據(jù)。傳統(tǒng)數(shù)據(jù)庫(kù)中的大量數(shù)據(jù)是事務(wù)型數(shù)據(jù)，即該數(shù)據(jù)是對(duì)每一項(xiàng)工作、管理對(duì)象的具體的、細(xì)節(jié)性的描述。事務(wù)處理型應(yīng)用與分析決策型應(yīng)用對(duì)數(shù)據(jù)庫(kù)系統(tǒng)的性能要求不同。傳統(tǒng)數(shù)據(jù)庫(kù)中保存和管理的一般是當(dāng)前數(shù)據(jù)，而決策支持系統(tǒng)不僅需要當(dāng)前的數(shù)據(jù)，而且還要求有大量的歷史數(shù)據(jù)。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 結(jié)論： 在事務(wù)處理型應(yīng)用環(huán)境中直接構(gòu)建分析決策型應(yīng)用是不可行的。 于是： 面向分析決策型應(yīng)用而組織和存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)倉(cāng)庫(kù)技術(shù)應(yīng)運(yùn)而生。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 時(shí)間：2

3、0世紀(jì)80年代初 人物：W.H.Inmon 定義: 數(shù)據(jù)倉(cāng)庫(kù)是面向主題的、集成的、具有時(shí)間特征的、穩(wěn)定的數(shù)據(jù)集合，用以支持經(jīng)營(yíng)管理中的決策制定過(guò)程。 A data warehouse is a subject-oriented,integrated, time-variant,and nonvolatile collection of data in support of managements decision making process.第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 數(shù)據(jù)倉(cāng)庫(kù)的四大特征： 數(shù)據(jù)是面向主題的 數(shù)據(jù)是集成的 數(shù)據(jù)是具有時(shí)間特征的 數(shù)據(jù)是相對(duì)穩(wěn)定的 數(shù)據(jù)倉(cāng)庫(kù)的其它特點(diǎn)： 數(shù)據(jù)量非

4、常大（10GB-1000GB） 是數(shù)據(jù)庫(kù)技術(shù)的一種新的應(yīng)用 使用人員較少第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念1-2 數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù) 操作型數(shù)據(jù)庫(kù) 分析型數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)目的 支持日常操作 支持管理需求，獲取信息使用人員 辦事員、DBA、數(shù)據(jù)庫(kù)專(zhuān)家 經(jīng)理、管理人員、分析專(zhuān)家數(shù)據(jù)內(nèi)容 當(dāng)前數(shù)據(jù) 歷史數(shù)據(jù)、派生數(shù)據(jù)數(shù)據(jù)特點(diǎn) 細(xì)節(jié)的 綜合的或提煉的數(shù)據(jù)組織 面向應(yīng)用 面向主題存取類(lèi)型 添加、修改、查詢(xún)、刪除 查詢(xún)、聚集數(shù)據(jù)穩(wěn)定性 動(dòng)態(tài)的 相對(duì)穩(wěn)定 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念續(xù)上表： 操作型數(shù)據(jù)庫(kù) 分析型數(shù)據(jù)倉(cāng)庫(kù)需求特點(diǎn) 需求事先可知道 需求事先不知道 操作特點(diǎn) 一個(gè)時(shí)刻操作一單元 一個(gè)時(shí)刻操作一集合 數(shù)據(jù)庫(kù)設(shè)計(jì)

5、基于E-R圖 基于星型模式、雪花模式一次操作數(shù)據(jù)量 一次操作數(shù)據(jù)量小 一次操作數(shù)據(jù)量大存取頻率 較高 較低響應(yīng)時(shí)間 小于3秒 幾秒幾十分鐘第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 1-3 數(shù)據(jù)倉(cāng)庫(kù)技術(shù)的術(shù)語(yǔ) 主題: (Subject) 主題是一個(gè)在較高層次上將數(shù)據(jù)歸類(lèi)的標(biāo)準(zhǔn)，每一個(gè)主題基本對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域。 例：面向主題：產(chǎn)品訂貨分析，貨物發(fā)運(yùn)分析， 新產(chǎn)品開(kāi)發(fā)分析； 面向應(yīng)用：財(cái)務(wù)，銷(xiāo)售，供應(yīng)，人力資源，生產(chǎn)調(diào)度. 主題域的特征：獨(dú)立性，完備性 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念粒度：（Granularity） 粒度是指數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)單元的詳細(xì)程度和級(jí)別。 數(shù)據(jù)越詳細(xì)，粒度越小，級(jí)別越低，回答查詢(xún)的種類(lèi)就越

6、多。（數(shù)據(jù)堆積，回答綜合問(wèn)題效率低） 數(shù)據(jù)越綜合，粒度越大，級(jí)別越高，回答查詢(xún)的種類(lèi)就越少。 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 維度：（Dimension） 維度是指人們觀察事物的角度。 例如：當(dāng)人們關(guān)注產(chǎn)品銷(xiāo)售情況時(shí)，有如下維度： 時(shí)間維：隨時(shí)間變化的銷(xiāo)售數(shù)據(jù)； 地區(qū)維：不同地區(qū)的銷(xiāo)售數(shù)據(jù)； 客戶(hù)維：不同客戶(hù)的銷(xiāo)售； 根據(jù)觀察事物角度的細(xì)節(jié)程度不同，維又具有維層次。數(shù)據(jù)； 渠道維：不同銷(xiāo)售渠道的銷(xiāo)售數(shù)據(jù)； 產(chǎn)品維：不同產(chǎn)品的銷(xiāo)售數(shù)據(jù) 例：時(shí)間維：日期、周、月份、季度、年等； 地區(qū)維：城市、地區(qū)、國(guó)家等。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 數(shù)據(jù)立方體： 數(shù)據(jù)立方體是指由兩個(gè)或更多個(gè)屬性即兩個(gè)或更多個(gè)維來(lái)描述

7、或者分類(lèi)的數(shù)據(jù)。 在三維的情況下可以用圖形來(lái)表示，一般稱(chēng)為數(shù)據(jù)立方體。 實(shí)際的數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用中，數(shù)據(jù)是多維的。 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 聯(lián)機(jī)分析處理： （OLAP） 聯(lián)機(jī)分析處理是快速、靈活的多維數(shù)據(jù)分析工具。 OLAP的目的是支持分析決策，滿(mǎn)足多維環(huán)境的查詢(xún)和報(bào)表需求。 數(shù)據(jù)倉(cāng)庫(kù)的多維數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)為OLAP的實(shí)施提供了理想的多維數(shù)據(jù)環(huán)境。 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 數(shù)據(jù)集市： （Data Mart） 數(shù)據(jù)集市是完整的數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)邏輯子集，而數(shù)據(jù)倉(cāng)庫(kù)正是由其所有的數(shù)據(jù)集市有機(jī)組合而成的。 一般在某個(gè)業(yè)務(wù)部門(mén)建立數(shù)據(jù)集市，或稱(chēng)為部門(mén)級(jí)數(shù)據(jù)倉(cāng)庫(kù)。 建立數(shù)據(jù)集市與數(shù)據(jù)倉(cāng)庫(kù)，一般是采用“自頂向

8、下”和“自下而上”相結(jié)合的設(shè)計(jì)思想。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念討論題： 1、結(jié)合陜西科技大學(xué)大學(xué)學(xué)生學(xué)籍管理系統(tǒng)進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)的主題劃分，列舉有哪些主題。 1-4 多維數(shù)據(jù)模型 多維數(shù)據(jù)模型是進(jìn)行決策支持?jǐn)?shù)據(jù)建模的最好方式，數(shù)據(jù)倉(cāng)庫(kù)采用多維數(shù)據(jù)模型不僅能使其使用方便，而且能提高系統(tǒng)的性能。 1-4-1 實(shí)體關(guān)系模型與多維模型 實(shí)體關(guān)系模型應(yīng)用于操作型數(shù)據(jù)庫(kù)系統(tǒng)，多維模型應(yīng)用于分析型數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)。 實(shí)體關(guān)系模型不適用于以查詢(xún)?yōu)橹鞯姆治鲂蛻?yīng)用，具體表現(xiàn)在：使用者、界面、檢索手段。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 多維數(shù)據(jù)模型以直觀的方式組織數(shù)據(jù)，每一個(gè)多維數(shù)據(jù)模型由多個(gè)多維數(shù)據(jù)模

9、式（Dimensional Data Schema）表示。 每一個(gè)多維數(shù)據(jù)模式都是由一個(gè)事實(shí)表（Fact Table）和一組維表（Dimension Table）組成。 事實(shí)表的主碼是組合碼，維表的主碼是簡(jiǎn)單碼，每一張維表中的簡(jiǎn)單碼與事實(shí)表組合碼中的一個(gè)組成部分相對(duì)應(yīng)。 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 企業(yè)銷(xiāo)售數(shù)據(jù)的多維數(shù)據(jù)模式圖第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念時(shí)間碼日期月份季度年度時(shí)間碼產(chǎn)品碼地區(qū)碼銷(xiāo) 售 量銷(xiāo) 售 額銷(xiāo)售成本產(chǎn)品碼產(chǎn)品大類(lèi)產(chǎn)品細(xì)類(lèi)產(chǎn)品名稱(chēng)地區(qū)碼國(guó) 家地 區(qū)城 市時(shí)間維表事 實(shí) 表產(chǎn)品維表地區(qū)維表 多維數(shù)據(jù)模型的優(yōu)勢(shì)： 多維數(shù)據(jù)模型是已知標(biāo)準(zhǔn)化的結(jié)構(gòu)，即包含多個(gè)多維數(shù)據(jù)模式，每一個(gè)多維

10、數(shù)據(jù)模式都對(duì)應(yīng)一張事實(shí)表和多張維表。 這種多維結(jié)構(gòu)能支持最終用戶(hù)不可預(yù)知的操作，原因在于多維數(shù)據(jù)模型的各個(gè)維是邏輯等價(jià)的。 多維數(shù)據(jù)模型對(duì)決策分析有好的擴(kuò)展性。 匯總數(shù)據(jù)的巨大價(jià)值。 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 1-4-2 星型模式 星型模式是事實(shí)表與維表通過(guò)星型方式連接而成，如下圖： 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念產(chǎn)品碼（PK）產(chǎn)品大類(lèi)產(chǎn)品細(xì)類(lèi)產(chǎn)品名稱(chēng)地區(qū)碼（PK）國(guó) 家地 區(qū)城 市產(chǎn)品維表地區(qū)維表時(shí)間碼（FK）產(chǎn)品碼（FK）（PK） 地區(qū)碼（FK）銷(xiāo) 售 量銷(xiāo) 售 額銷(xiāo)售成本事 實(shí) 表時(shí)間碼（PK）日期月份季度年度時(shí)間維表第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 星型模式的優(yōu)點(diǎn)： 星型模式結(jié)構(gòu)簡(jiǎn)單，表的數(shù)目

11、少，建模方便。 星型模式支持多維數(shù)據(jù)建模，支持使用人員從不同的維度對(duì)數(shù)據(jù)進(jìn)行分析。 星型模式能較好地為數(shù)據(jù)倉(cāng)庫(kù)提供查詢(xún)支持。 星型模式可以提高查詢(xún)速度。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 主碼、外碼和代理碼： 主碼（Primary Key）：主碼是表中的一個(gè)屬性或?qū)傩缘慕M合，它能唯一地標(biāo)識(shí)表中的每條記錄。 外碼（Foreign Key）：外碼是出現(xiàn)在一個(gè)表中，同時(shí)在另一個(gè)表中被定義成主碼的屬性。 代理碼（Surrogate Key）：所有的主碼和外碼一般都是采用沒(méi)有具體含義的代理碼，例如，從1開(kāi)始的自然數(shù)編碼。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 事實(shí)表： 事實(shí)表是星型模式的核心，它是按維進(jìn)行分析形查詢(xún)的對(duì)象，

12、其中存儲(chǔ)的是業(yè)務(wù)事實(shí)，例如：銷(xiāo)售量、銷(xiāo)售額、銷(xiāo)售成本等。 事實(shí)表中的數(shù)據(jù)一般是數(shù)值型，具有可加性。 事實(shí)表的主碼為外碼的組合，唯一的標(biāo)識(shí)各條事實(shí)記錄，事實(shí)表的外碼對(duì)應(yīng)各維表的主碼。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 維表： 維表用于指導(dǎo)從不同的角度在事實(shí)表中選擇數(shù)據(jù)行。 維表中有一個(gè)主碼，其余非主碼的列為屬性，維表中的屬性數(shù)據(jù)通常是字符型數(shù)據(jù)。 維表具有層次性，維表的層次性可用來(lái)分割其他的明細(xì)維表，維表層次的級(jí)別數(shù)量取決于查詢(xún)的粒度。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 1-4-3 數(shù)據(jù)倉(cāng)庫(kù)的總線型結(jié)構(gòu) 著名的數(shù)據(jù)倉(cāng)庫(kù)專(zhuān)家Ralph Kinball認(rèn)為，數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)應(yīng)該是一步步完成的，以部門(mén)級(jí)數(shù)據(jù)集市的建設(shè)為

13、出發(fā)點(diǎn)，但必須統(tǒng)觀全局，使數(shù)據(jù)集市成為完整的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)的一個(gè)邏輯子集。 這種建設(shè)思想的實(shí)現(xiàn)是以一種特定的結(jié)構(gòu)為指導(dǎo)的，稱(chēng)為數(shù)據(jù)倉(cāng)庫(kù)的總線型結(jié)構(gòu)（Data Warehouse Bus Architecture）。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 統(tǒng)一的維： 統(tǒng)一的維是指：一個(gè)維，無(wú)論其維表與哪一個(gè)事實(shí)表相連接，維的含義是完全相同的。 建立、公布、維護(hù)和完善統(tǒng)一的維是全局?jǐn)?shù)據(jù)倉(cāng)庫(kù)項(xiàng)目小組一項(xiàng)非常重要的工作。 公布了統(tǒng)一維之后，各數(shù)據(jù)集市必須嚴(yán)格執(zhí)行。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 統(tǒng)一的事實(shí)： 統(tǒng)一的事實(shí)的定義工作與統(tǒng)一的維的定義工作同時(shí)進(jìn)行，由數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目：小組負(fù)責(zé)，工作量相對(duì)較少，但要注意以下幾點(diǎn)；

14、 統(tǒng)一的計(jì)算口徑 統(tǒng)一的計(jì)量單位 統(tǒng)一的含義 事實(shí)表中要包含最詳細(xì)的事實(shí)數(shù)據(jù)，即粒度最小 的數(shù)據(jù)第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 討論題： 1、根據(jù)學(xué)籍管理系統(tǒng)數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)，確定事實(shí)表與維表，列舉各個(gè)維，并劃分維層次。1-5 數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)1-5-1 體系結(jié)構(gòu)的內(nèi)容總體框架Zachman框架:回答問(wèn)題數(shù)據(jù)體系結(jié)構(gòu)-數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容是什么?系統(tǒng)體系結(jié)構(gòu)-存放在什么平臺(tái)上?技術(shù)體系結(jié)構(gòu)-如何實(shí)現(xiàn)?第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念前端工具數(shù) 據(jù) 預(yù)處理工具 技術(shù)體系結(jié)構(gòu)圖如下: 第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念預(yù)處理數(shù)據(jù)數(shù)據(jù)源數(shù)據(jù)集市數(shù)據(jù)集市數(shù)據(jù)集市總 線查詢(xún)服務(wù)數(shù)據(jù)元數(shù)據(jù)OLAP數(shù)據(jù)挖掘其他工具報(bào)表生成器抽取、

15、轉(zhuǎn)換、裝載可視化分 析結(jié) 果后臺(tái)前臺(tái)第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 1-5-2 相關(guān)的數(shù)據(jù)存儲(chǔ) 數(shù)據(jù)源： 數(shù)據(jù)源是數(shù)據(jù)倉(cāng)庫(kù)的原始來(lái)源，是數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)開(kāi)發(fā)與應(yīng)用的數(shù)據(jù)基礎(chǔ)，分為兩部分； 企業(yè)內(nèi)部數(shù)據(jù)源 企業(yè)外部數(shù)據(jù)源第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 主題數(shù)據(jù)： 主題數(shù)據(jù)是數(shù)據(jù)倉(cāng)庫(kù)的核心數(shù)據(jù)，一般以多維數(shù)據(jù)模型的形式存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中，直接面向分析型用戶(hù)的訪問(wèn)。 主題數(shù)據(jù)的存儲(chǔ)稱(chēng)為實(shí)視圖，它與數(shù)據(jù)庫(kù)的視圖概念不同之處在于：它不是虛擬的，而是已經(jīng)過(guò)計(jì)算，含有大量數(shù)據(jù)，并存儲(chǔ)在數(shù)據(jù)倉(cāng)庫(kù)中的實(shí)實(shí)在在的表。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 實(shí)視圖的好處：通過(guò)建立實(shí)視圖可以提高系統(tǒng)的響應(yīng)速度；由于數(shù)據(jù)源到主題數(shù)據(jù)映射關(guān)系的復(fù)

16、雜性，采用普通視圖的方式不可行。實(shí)視圖的特點(diǎn)：時(shí)間是數(shù)據(jù)倉(cāng)庫(kù)中幾乎所有數(shù)據(jù)的屬性之一；數(shù)據(jù)在裝于數(shù)據(jù)倉(cāng)庫(kù)后，基本不發(fā)生變化；實(shí)視圖不是數(shù)據(jù)源中數(shù)據(jù)的簡(jiǎn)單拷貝，而是經(jīng)歷了數(shù)據(jù)預(yù)處理過(guò)程；主題數(shù)據(jù)分為最小粒度數(shù)據(jù)和聚集數(shù)據(jù)。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 預(yù)處理數(shù)據(jù)： 從數(shù)據(jù)源向主題數(shù)據(jù)的變換，就如同穿越冰山的過(guò)程，工作量大而繁雜，預(yù)處理數(shù)據(jù)正是這一過(guò)程的中間結(jié)果。對(duì)于數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)而言，預(yù)處理數(shù)據(jù)是一非常重要數(shù)據(jù)存儲(chǔ)環(huán)節(jié)。預(yù)處理數(shù)據(jù)的作用： 保存大量的細(xì)節(jié)型業(yè)務(wù)處理數(shù)據(jù) 保存凈化后的數(shù)據(jù) 存儲(chǔ)代理碼的分配 創(chuàng)建并存儲(chǔ)統(tǒng)一的事實(shí)和統(tǒng)一的維 作為數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)備份之一第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 查詢(xún)服務(wù)

17、數(shù)據(jù)： 在數(shù)據(jù)倉(cāng)庫(kù)的主題數(shù)據(jù)中直接得到所需的信息仍然存在一定的難度，因此，在很多情況下，需要查詢(xún)服務(wù)數(shù)據(jù)作為主題數(shù)據(jù)和最終查詢(xún)結(jié)果之間的過(guò)渡數(shù)據(jù)。 查詢(xún)服務(wù)分為：查詢(xún)服務(wù)數(shù)據(jù)同前臺(tái)分析工具緊密聯(lián)系，臨時(shí)地存儲(chǔ)在分析工具中，以便進(jìn)一步分析查詢(xún)；將查詢(xún)服務(wù)數(shù)據(jù)轉(zhuǎn)存起來(lái)，留待以后在進(jìn)行分析或同其他系統(tǒng)結(jié)合起來(lái)使用；將查詢(xún)服務(wù)數(shù)據(jù)存儲(chǔ)到數(shù)據(jù)倉(cāng)庫(kù)的主題數(shù)據(jù)中，典型例子是數(shù)據(jù)挖掘工具同數(shù)據(jù)倉(cāng)庫(kù)結(jié)合應(yīng)用。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 1-5-3 相關(guān)的數(shù)據(jù)服務(wù) 后臺(tái)數(shù)據(jù)預(yù)處理： 數(shù)據(jù)抽取（Data Extraction） 數(shù)據(jù)轉(zhuǎn)換 (Data Transformation) 數(shù)據(jù)裝載 (Data Loadin

18、g )前臺(tái)數(shù)據(jù)查詢(xún)服務(wù)： 多種展現(xiàn)形式的數(shù)據(jù)查詢(xún) 靈活的分析報(bào)表生成 訪問(wèn)安全保障第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 1-5-4 相關(guān)的數(shù)據(jù)管理元數(shù)據(jù) 元數(shù)據(jù)的含義：后臺(tái)元數(shù)據(jù)與過(guò)程相關(guān)，它指導(dǎo)著抽取、凈化和裝載的過(guò)程；前臺(tái)元數(shù)據(jù)更具有描述性質(zhì)，它幫助查詢(xún)工具和報(bào)表生成器更順利地工作。它是所有數(shù)據(jù)元素表述的一種業(yè)務(wù)內(nèi)容字典。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 元數(shù)據(jù)的內(nèi)容：數(shù)據(jù)源元數(shù)據(jù)預(yù)處理數(shù)據(jù)元數(shù)據(jù)主題數(shù)據(jù)元數(shù)據(jù)前臺(tái)查詢(xún)服務(wù)元數(shù)據(jù)元數(shù)據(jù)的工作流程：元數(shù)據(jù)的工作流程分為13個(gè)步驟。1-6 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)組織1-6-1 事實(shí)表和維表的設(shè)計(jì)事實(shí)數(shù)據(jù)和維數(shù)據(jù)的區(qū)分： 數(shù)據(jù)是否是數(shù)值型數(shù)據(jù) 該數(shù)據(jù)是作為查詢(xún)的條件還是

19、查詢(xún)的結(jié)果事實(shí)表的設(shè)計(jì)： 明確數(shù)據(jù)集市及相應(yīng)的數(shù)據(jù)源 確定事實(shí)表的粒度 確定響應(yīng)的維度 完成事實(shí)表的設(shè)計(jì)第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念 維表的設(shè)計(jì)： 維表中的屬性值一般是文本型的、離散的及不具有可加性的。它們將最終成為分析型查詢(xún)的約束條件，是分析型查詢(xún)的起點(diǎn)，在形成的分析型報(bào)表中，維屬性將成為列標(biāo)題。 維表設(shè)計(jì)應(yīng)注意以下兩點(diǎn)：維表中的維屬性應(yīng)該具體明確，體現(xiàn)出維層次的劃分，能夠成為分析型查詢(xún)的約束條件。由于維屬性將成為列標(biāo)題，所以進(jìn)行維表設(shè)計(jì)時(shí)一定要注意維屬性值的可讀性。1-6-2 數(shù)據(jù)聚集的設(shè)計(jì)數(shù)據(jù)聚集的含義：所有的數(shù)據(jù)倉(cāng)庫(kù)都包含數(shù)據(jù)的聚集（Aggregates），在數(shù)

20、據(jù)倉(cāng)庫(kù)中進(jìn)行數(shù)據(jù)的聚集是減少OLAP 分析需要掃描的數(shù)據(jù)量及提高查詢(xún)效率的最重要的方法。為提高查詢(xún)的效率，減少分析時(shí)需要訪問(wèn)的數(shù)據(jù)量，需要對(duì)數(shù)據(jù)按分析型查詢(xún)的要求預(yù)先進(jìn)行計(jì)算及匯總，并保存計(jì)算及匯總的結(jié)果，這就是聚集。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念數(shù)據(jù)聚集的創(chuàng)建方法：確定聚集的內(nèi)容可分兩個(gè)步驟完成：各個(gè)維的哪些屬性上需要進(jìn)行數(shù)據(jù)的聚集；確定不同維的屬性如何進(jìn)行組合。聚集數(shù)據(jù)也采用星型模式進(jìn)行多維數(shù)據(jù)建模，形成聚集事實(shí)表及相應(yīng)的維表。設(shè)計(jì)應(yīng)注意：聚集數(shù)據(jù)應(yīng)該存儲(chǔ)在自身的聚集事實(shí)表中，不能同基本事實(shí)表存儲(chǔ)在一起；粒度不同的聚集數(shù)據(jù)不能存儲(chǔ)在同一個(gè)聚集事實(shí)表中；對(duì)于聚集事實(shí)表對(duì)應(yīng)的相關(guān)各維，一般也要進(jìn)行

21、調(diào)整。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念數(shù)據(jù)聚集的創(chuàng)建方法：確定聚集的內(nèi)容可分兩個(gè)步驟完成：各個(gè)維的哪些屬性上需要進(jìn)行數(shù)據(jù)的聚集；確定不同維的屬性如何進(jìn)行組合。聚集數(shù)據(jù)也采用星型模式進(jìn)行多維數(shù)據(jù)建模，形成聚集事實(shí)表及相應(yīng)的維表。設(shè)計(jì)應(yīng)注意：聚集數(shù)據(jù)應(yīng)該存儲(chǔ)在自身的聚集事實(shí)表中，不能同基本事實(shí)表存儲(chǔ)在一起；粒度不同的聚集數(shù)據(jù)不能存儲(chǔ)在同一個(gè)聚集事實(shí)表中；對(duì)于聚集事實(shí)表對(duì)應(yīng)的相關(guān)各維，一般也要進(jìn)行調(diào)整。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念1-6-3 數(shù)據(jù)倉(cāng)庫(kù)中的索引在數(shù)據(jù)倉(cāng)庫(kù)中建立索引提高數(shù)據(jù)訪問(wèn)速度具有重要意義。傳統(tǒng)的數(shù)據(jù)庫(kù)索引技術(shù)傳統(tǒng)的數(shù)據(jù)庫(kù)索引技術(shù)目前仍然是主流。B-樹(shù)索引（B-Tree Index）:指針指

22、向記錄的實(shí)際地址，適合于高基數(shù)列值索引。位圖索引 (Bit-Map Index)：用“位”確定索引列的值，適合于低基數(shù)列值索引。哈希索引 (Hash Index)：行標(biāo)識(shí)與存儲(chǔ)位置之間用哈系函數(shù)f進(jìn)行轉(zhuǎn)換。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念事實(shí)表的索引事實(shí)表中的主碼（組合碼）索引一般采用B-樹(shù)索引的方式。非主碼索引可根據(jù)具體情況而定。維表的索引維表中的主碼（簡(jiǎn)單碼）索引一般采用B-樹(shù)索引的方式。非主碼索引一般采用位圖索引。數(shù)據(jù)倉(cāng)庫(kù)索引新技術(shù)投影索引 (Projection Index)位切片索引 (Bit-Sliced Index)連接索引 (Join Index)R-樹(shù)索引 (R-Tree Inde

23、x)第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念1-6-4 數(shù)據(jù)庫(kù)的物理設(shè)計(jì)物理設(shè)計(jì)的任務(wù)就是將邏輯模型（前述的多維數(shù)據(jù)模型）轉(zhuǎn)變?yōu)閷?shí)際的數(shù)據(jù)庫(kù)存儲(chǔ)。物理設(shè)計(jì)的內(nèi)容物理設(shè)計(jì)的內(nèi)容包括如下方面：制定數(shù)據(jù)庫(kù)對(duì)象的命名規(guī)范建立數(shù)據(jù)庫(kù)物理模型確定數(shù)據(jù)庫(kù)索引策略進(jìn)行數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)量的估計(jì)物理設(shè)計(jì)的具體實(shí)施第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念案例分析：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量估計(jì)第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念時(shí)間維表Time_idYearQuarterMonthWeek地區(qū)維表Geo_idCountryProvinceCity產(chǎn)品維表Product_idPro_classPro_subclass事實(shí)表Time_idGeo_idProduct_id

24、Sales案例分析：數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)量估計(jì)上圖假定每個(gè)維表具有50個(gè)條目，則它們的組合將在事實(shí)表中產(chǎn)生50*50*50個(gè)數(shù)據(jù)條目，并假定所有表中的所有屬性為8個(gè)字節(jié)長(zhǎng)度。則所需存儲(chǔ)空間計(jì)算如下：維表空間為：50*5*8+50*4*8+50*3*8=4800事實(shí)表空間為：50*50*50*4*8=4000000總空間為：4000000+4800=4004800=3.8（MB）可以看出，事實(shí)表空間比維表空間多得多。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念1-7 數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)預(yù)處理1-7-1 數(shù)據(jù)的凈化數(shù)據(jù)質(zhì)量與數(shù)據(jù)凈化： 高質(zhì)量的數(shù)據(jù)應(yīng)該是正確的 高質(zhì)量的數(shù)據(jù)應(yīng)該是清晰的 高質(zhì)量的數(shù)據(jù)應(yīng)該是及時(shí)的 高質(zhì)量的數(shù)據(jù)

25、應(yīng)該是完整的 高質(zhì)量的數(shù)據(jù)應(yīng)該是一致的 高質(zhì)量的數(shù)據(jù)應(yīng)該是唯一的第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念數(shù)據(jù)凈化的方法： 不正確數(shù)據(jù)的凈化 例:SQL判別,校驗(yàn) 不清晰數(shù)據(jù)的凈化 例:客戶(hù)維的拆分,“備注”類(lèi)數(shù)據(jù) 不完整數(shù)據(jù)的凈化 例:縮小范圍,補(bǔ)充數(shù)據(jù) 不一致數(shù)據(jù)的凈化 例:統(tǒng)一轉(zhuǎn)換 不唯一數(shù)據(jù)的凈化 例:SQL:DISTINCT第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念1-7-2 數(shù)據(jù)預(yù)處理計(jì)劃初步計(jì)劃 應(yīng)包括數(shù)據(jù)抽取,數(shù)據(jù)轉(zhuǎn)換,數(shù)據(jù)裝載三部分內(nèi)容。見(jiàn)下頁(yè)圖詳細(xì)計(jì)劃 制定詳細(xì)計(jì)劃與實(shí)施數(shù)據(jù)預(yù)處理先從主題數(shù)據(jù)中的維表開(kāi)始，然后再處理事實(shí)表。 就維表而言，先從簡(jiǎn)單的靜態(tài)的維表開(kāi)始，然后處理復(fù)雜的需要?jiǎng)討B(tài)更新的維表。第一章

26、數(shù)據(jù)倉(cāng)庫(kù)的基本概念第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念財(cái)務(wù)數(shù)據(jù)庫(kù)（RDBMS）行業(yè)產(chǎn)品代碼規(guī)范（MS Excel）銷(xiāo)售管理系統(tǒng)（RDBMS）歷史銷(xiāo)售數(shù)據(jù)存檔（文本文件）收款數(shù)據(jù)價(jià)格數(shù)據(jù)產(chǎn)品分類(lèi)客戶(hù)數(shù)據(jù)時(shí)間數(shù)據(jù)訂貨數(shù)據(jù)數(shù)據(jù)源：主題數(shù)據(jù)：每張發(fā)票對(duì)應(yīng)一條收款記錄據(jù)發(fā)票金額、數(shù)量計(jì)算價(jià)格客戶(hù)編碼表集成凈化客戶(hù)數(shù)據(jù)要緩慢更新集 成2000年以后數(shù) 據(jù)1999年以前數(shù) 據(jù)1-7-3 維表的數(shù)據(jù)預(yù)處理維表的基本數(shù)據(jù)預(yù)處理 可能的數(shù)據(jù)轉(zhuǎn)換：1、文件類(lèi)型的轉(zhuǎn)換2、數(shù)據(jù)類(lèi)型和長(zhǎng)度的變換3、錯(cuò)誤的更正4、消除數(shù)據(jù)的不一致性，不唯一性5、修改數(shù)據(jù)結(jié)構(gòu)與數(shù)據(jù)內(nèi)容6、補(bǔ)充數(shù)據(jù)達(dá)到完整性要求7、代理碼的分配8、維表的變更處理第一章

27、 數(shù)據(jù)倉(cāng)庫(kù)的基本概念1-7-4 事實(shí)表的數(shù)據(jù)預(yù)處理事實(shí)表的基本數(shù)據(jù)預(yù)處理 可能的數(shù)據(jù)轉(zhuǎn)換：1、文件類(lèi)型的轉(zhuǎn)換2、數(shù)據(jù)類(lèi)型和長(zhǎng)度的變換3、度量單位的統(tǒng)一4、數(shù)據(jù)的凈化5、生成最小粒度的數(shù)據(jù)6、建立數(shù)據(jù)聚集7、非代理碼的替換8、事實(shí)表的變更處理9、數(shù)據(jù)聚集的更新維護(hù)第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念非代理碼的替換事實(shí)表中的代理碼必須與維表中的代理碼絕對(duì)保持一致，即：事實(shí)表中的外碼在相應(yīng)的維表中一定要存在。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念時(shí)間產(chǎn)品代碼客戶(hù)代碼渠道代碼銷(xiāo)售量銷(xiāo)售額銷(xiāo)售成本時(shí)間碼產(chǎn)品碼客戶(hù)碼渠道碼銷(xiāo)售量銷(xiāo)售額銷(xiāo)售成本將時(shí)間替換為時(shí)間碼將產(chǎn)品代碼替換為產(chǎn)品碼將客戶(hù)代碼替換為客戶(hù)碼 將渠道代碼替換為渠道碼

28、數(shù)據(jù)聚集的更新維護(hù) 數(shù)據(jù)聚集在建立之后并不是一成不變的，需要不斷的加入或刪除。由于要時(shí)時(shí)刻刻保持同最小粒度數(shù)據(jù)的一致性，因此，聚集事實(shí)表的更新維護(hù)有以下方法：1、在最小粒度數(shù)據(jù)裝載入數(shù)據(jù)倉(cāng)庫(kù)之前，完成數(shù)據(jù)聚集的計(jì)算。2、在最小粒度數(shù)據(jù)裝載入數(shù)據(jù)倉(cāng)庫(kù)時(shí)，同時(shí)完成數(shù)據(jù)聚集的計(jì)算及裝載。3、在最小粒度數(shù)據(jù)裝載入數(shù)據(jù)倉(cāng)庫(kù)之后，再用SQL語(yǔ)句完成數(shù)據(jù)聚集的計(jì)算。 增量維護(hù)的形式，即：只對(duì)新載入的最小粒度數(shù)據(jù)進(jìn)行聚集的計(jì)算與更新，而不是完全重新計(jì)算所有的聚集。第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念第一章 結(jié)束軟件推薦：公司名稱(chēng) 數(shù)據(jù)倉(cāng)庫(kù)管理工具IBM Visual WarehouseSAS Warehouse Adm

29、inistratorOracle Enterprise ManagerSybase Warehouse StudioSagent Sagent AdminCA PLATINUM ERWin PLATINUM InfoPumpNCR Database Manager第一章 數(shù)據(jù)倉(cāng)庫(kù)的基本概念（第14講）考場(chǎng)作文開(kāi)拓文路能力分解層次(網(wǎng)友來(lái)稿)江蘇省鎮(zhèn)江中學(xué) 陳乃香說(shuō)明：本系列稿共24講，20XX年1月6日開(kāi)始在資源上連載【要義解說(shuō)】文章主旨確立以后，就應(yīng)該恰當(dāng)?shù)胤纸鈱哟?，使幾個(gè)層次構(gòu)成一個(gè)有機(jī)的整體，形成一篇完整的文章。如何分解層次主要取決于表現(xiàn)主旨的需要。【策略解讀】一般說(shuō)來(lái)，記人敘事的文章常

30、按時(shí)間順序分解層次，寫(xiě)景狀物的文章常按時(shí)間順序、空間順序分解層次；說(shuō)明文根據(jù)說(shuō)明對(duì)象的特點(diǎn)，可按時(shí)間順序、空間順序或邏輯順序分解層次；議論文主要根據(jù)“提出問(wèn)題分析問(wèn)題解決問(wèn)題”順序來(lái)分解層次。當(dāng)然，分解層次不是一層不變的固定模式，而應(yīng)該富于變化。文章的層次，也常常有些外在的形式：1小標(biāo)題式。即圍繞話題把一篇文章劃分為幾個(gè)相對(duì)獨(dú)立的部分，再給它們加上一個(gè)簡(jiǎn)潔、恰當(dāng)?shù)男?biāo)題。如世界改變了模樣四個(gè)小標(biāo)題：壽命變“長(zhǎng)”了、世界變“小”了、勞動(dòng)變“輕”了、文明變“綠”了。 2序號(hào)式。序號(hào)式作文與小標(biāo)題作文有相同的特點(diǎn)。序號(hào)可以是“一、二、三”，可以是“A、B、C”，也可以是“甲、乙、丙”從全文看，序號(hào)式

31、干凈、明快；但從題目上看，卻看不出文章內(nèi)容，只是標(biāo)明了層次與部分。有時(shí)序號(hào)式作文，也適用于敘述性文章，為故事情節(jié)的展開(kāi)，提供了明晰的層次。 3總分式。如高考佳作人生也是一張答卷。開(kāi)頭：“人生就是一張答卷。它上面有選擇題、填空題、判斷題和問(wèn)答題，但它又不同于一般的答卷。一般的答卷用手來(lái)書(shū)寫(xiě)，人生的答卷卻要用行動(dòng)來(lái)書(shū)寫(xiě)?！敝黧w部分每段首句分別為：選擇題是對(duì)人生進(jìn)行正確的取舍，填空題是充實(shí)自己的人生，判斷題是表明自己的人生態(tài)度，問(wèn)答題是考驗(yàn)自己解決問(wèn)題的能力。這份“試卷”設(shè)計(jì)得合理而且實(shí)在，每個(gè)人的人生都是不同的，這就意味著這份人生試卷的“答案是豐富多彩的”。分解層次，應(yīng)追求作文美學(xué)的三個(gè)價(jià)值取向：

32、一要?jiǎng)蚍Q(chēng)美。什么材料在前，什么材料在后，要合理安排；什么材料詳寫(xiě)，什么材料略寫(xiě)，要通盤(pán)考慮。自然段是構(gòu)成文章的基本單位，恰當(dāng)劃分自然段，自然就成為分解層次的基本要求。該分段處就分段，不要老是開(kāi)頭、正文、結(jié)尾“三段式”，這種老套的層次顯得呆板。二要波瀾美。文章內(nèi)容應(yīng)該有張有弛，有起有伏，如波如瀾。只有這樣才能使文章起伏錯(cuò)落，一波三折，吸引讀者。三要圓合美。文章的開(kāi)頭與結(jié)尾要遙相照應(yīng)，把開(kāi)頭描寫(xiě)的事物或提出的問(wèn)題，在結(jié)尾處用各種方式加以深化或回答，給人首尾圓合的感覺(jué)?！纠慕馄省?話題：忙忙，不亦樂(lè)乎 忙，是人生中一個(gè)個(gè)步驟，每個(gè)人所忙的事務(wù)不同，但是不能是碌碌無(wú)為地白忙，要忙就忙得精彩，忙得不亦

33、樂(lè)乎。 忙是問(wèn)號(hào)。忙看似簡(jiǎn)單，但其中卻大有學(xué)問(wèn)。忙是人生中不可缺少的一部分，但是怎么才能忙出精彩，忙得不亦樂(lè)乎，卻并不簡(jiǎn)單。人生如同一張地圖，我們一直在自己的地圖上行走，時(shí)不時(shí)我們眼前就出現(xiàn)一個(gè)十字路口，我們?cè)撓蚰膬海鎸?duì)那縱軸橫軸相交的十字路口，我們?cè)撛鯓舆x擇?不急，靜下心來(lái)分析一下，選擇適合自己的坐標(biāo)軸才是最重要的。忙就是如此，選擇自己該忙的才能忙得有意義。忙是問(wèn)號(hào)，這個(gè)問(wèn)號(hào)一直提醒我們要忙得有意義，忙得不亦樂(lè)乎。 忙是省略號(hào)。四季在有規(guī)律地進(jìn)行著冷暖交替，大自然就一直按照這樣的規(guī)律不停地忙，人們亦如此。為自己找一個(gè)目標(biāo)，為目標(biāo)而不停地忙，讓這種忙一直忙下去。當(dāng)目標(biāo)已達(dá)成，那么再找一個(gè)目標(biāo)，繼續(xù)這樣忙，就像省略號(hào)一樣，毫無(wú)休止地忙下去，翻開(kāi)歷史的長(zhǎng)卷，我們看到牛頓在忙著他的實(shí)驗(yàn)；愛(ài)迪生在忙著思考；徐霞客在忙著記載游玩；李時(shí)珍在忙著編寫(xiě)本草綱目。再看那位以筆為刀槍的充滿(mǎn)著朝氣與力量的文學(xué)泰斗魯迅，他正忙著用他獨(dú)有的刀和槍在不停地奮斗。忙是省略號(hào)，確定了一個(gè)目標(biāo)那么就一直忙下去吧!這樣的忙一定會(huì)忙出生命靈動(dòng)的色彩。 忙是驚嘆號(hào)。世界