數(shù)據(jù)倉庫中的數(shù)據(jù)及組織概述(共44頁).ppt

1、1第第3 3講講 數(shù)據(jù)倉庫中的數(shù)據(jù)及組織數(shù)據(jù)倉庫中的數(shù)據(jù)及組織2數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)倉庫產(chǎn)生的原因數(shù)據(jù)處理的類型操作型處理OLTP)：數(shù)據(jù)的收集、整理、存儲(chǔ)、查詢和增、刪、改操作。分析型處理(OLAP)：數(shù)據(jù)的再加工，往往要訪問大量的歷史數(shù)據(jù)，進(jìn)行復(fù)雜的統(tǒng)計(jì)分析。3數(shù)據(jù)倉庫的四個(gè)根本特征：數(shù)據(jù)倉庫的數(shù)據(jù)是面向主題的Subject Oriented；數(shù)據(jù)倉庫的數(shù)據(jù)時(shí)集成的Integrate；數(shù)據(jù)倉庫的數(shù)據(jù)不可更新Non-Volatile；數(shù)據(jù)倉庫的數(shù)據(jù)時(shí)隨時(shí)間不斷變化Time Variant的。 數(shù)據(jù)倉庫的根本概念4數(shù)據(jù)倉庫的體系結(jié)構(gòu)5v 數(shù)據(jù)庫和數(shù)據(jù)倉庫兩層體系結(jié)構(gòu)DB-DW并不能涵蓋企業(yè)所

2、有的數(shù)據(jù)處理要求。v 某些應(yīng)用既不是純粹的聯(lián)機(jī)事務(wù)處理，又不是高層決策分析。什么是什么是ODSODS6ODSODS的定義及特點(diǎn)的定義及特點(diǎn)v 定義：是用于支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合。v ODS中的數(shù)據(jù)具有4各根本特征：面向主題的、集成的、可更新的、數(shù)據(jù)是當(dāng)前或接近當(dāng)前的。v ODS中只存放當(dāng)前或接近當(dāng)前的數(shù)據(jù)，并且可以進(jìn)行聯(lián)機(jī)修改，包括增、刪、改等操作。7vDWDW與與ODSODS面向不同的用戶、不同的需求面向不同的用戶、不同的需求，都有，都有其其不可替代的作用不可替代的作用，彼此間不是相互包含的，彼此間不是相互包含的，同時(shí)兩者又可以相互結(jié)合、相互補(bǔ)充。同時(shí)兩者又可以相互結(jié)合、相互補(bǔ)充。

3、DBDBDBDBDBDBODSODSDWDW應(yīng)用應(yīng)用操作型環(huán)境操作型環(huán)境分析型環(huán)境分析型環(huán)境三層體系結(jié)構(gòu)三層體系結(jié)構(gòu)83.1 3.1 數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)組織3.2 3.2 數(shù)據(jù)倉庫中數(shù)據(jù)的追加數(shù)據(jù)倉庫中數(shù)據(jù)的追加3.3 3.3 數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中的元數(shù)據(jù)9v 數(shù)據(jù)倉庫中存儲(chǔ)兩類數(shù)據(jù)： 業(yè)務(wù)數(shù)據(jù)和元數(shù)據(jù)3.13.1數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)組織10數(shù)據(jù)倉庫的體系結(jié)構(gòu)11v 數(shù)據(jù)倉庫中存儲(chǔ)的數(shù)據(jù) 3.13.1數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)組織后備數(shù)據(jù)后備數(shù)據(jù)后備數(shù)據(jù)高度綜合級(jí)輕度綜合級(jí)當(dāng)前細(xì)節(jié)級(jí)早期細(xì)節(jié)級(jí)元元數(shù)數(shù)據(jù)據(jù)12v 源數(shù)據(jù)經(jīng)過抽取、轉(zhuǎn)換后，首先進(jìn)

4、入當(dāng)前細(xì)節(jié)級(jí)，再根據(jù)具體需要進(jìn)行進(jìn)一步的綜合，從而進(jìn)入輕度綜合級(jí)乃至高度綜合級(jí)。v 老化的數(shù)據(jù)進(jìn)入早期細(xì)節(jié)級(jí)。 3.13.1數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)組織13v 數(shù)據(jù)組織的實(shí)例 3.13.1數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)數(shù)據(jù)據(jù)倉倉庫庫層層后備數(shù)據(jù)后備數(shù)據(jù)后備數(shù)據(jù)高度綜合級(jí)高度綜合級(jí)輕度綜合級(jí)輕度綜合級(jí)當(dāng)前細(xì)節(jié)級(jí)當(dāng)前細(xì)節(jié)級(jí)早期細(xì)節(jié)級(jí)早期細(xì)節(jié)級(jí)2015每“月”電話呼叫情況信息2015每“天”電話呼叫情況信息2015每個(gè)電話呼叫情況信息20102014電話呼叫明細(xì)情況信息141 1數(shù)據(jù)粒度數(shù)據(jù)粒度v 數(shù)據(jù)粒度是數(shù)據(jù)倉庫的重要概念。存在兩種形式，v 形式一：v 粒度是對(duì)數(shù)據(jù)倉庫中

5、數(shù)據(jù)的綜合程度上下的一個(gè)度量。v 粒度越小，細(xì)節(jié)程度越高，綜合程度越低。15v 不同的情況組織數(shù)據(jù)的粒度會(huì)不同。如：v 電信通話 細(xì)節(jié)數(shù)據(jù)：記錄每一次通話情況。 輕度綜合數(shù)據(jù)：記錄顧客每天的通話情況。 高度綜合數(shù)據(jù)：記錄顧客每月的通話情況。 1 1數(shù)據(jù)粒度數(shù)據(jù)粒度16v 超市購物 細(xì)節(jié)數(shù)據(jù)：記錄顧客每一次購物細(xì)節(jié)。 輕度綜合數(shù)據(jù)：記錄每個(gè)顧客每次的購物金額，或每種商品每一天的銷售數(shù)據(jù)。 高度綜合數(shù)據(jù)：記錄每個(gè)顧客每月或每年的購物金額，或每種商品每月或每年的銷售數(shù)據(jù)。 1 1數(shù)據(jù)粒度數(shù)據(jù)粒度171 1數(shù)據(jù)粒度數(shù)據(jù)粒度 數(shù)據(jù)粒度確實(shí)定是業(yè)務(wù)分析、硬件、軟件的一個(gè)折中。 在數(shù)據(jù)倉庫中多重粒度是必不可

6、少的181 1數(shù)據(jù)粒度數(shù)據(jù)粒度v 數(shù)據(jù)粒度是數(shù)據(jù)倉庫的重要概念。存在兩種形式，v 形式二：v 樣本數(shù)據(jù)庫，其粒度是根據(jù)采樣率的上下來劃分的。v 蓋洛普民意測(cè)驗(yàn)是一種觀點(diǎn)的民意測(cè)驗(yàn)，其特點(diǎn)是用簡(jiǎn)單的隨機(jī)取樣法并且試圖把偏差度保持在最低。192)2)數(shù)據(jù)分割數(shù)據(jù)分割v 數(shù)據(jù)分割是數(shù)據(jù)倉庫中的另一個(gè)重要概念。v 它是指將數(shù)據(jù)分布到各自的物理單元中，以便能分別獨(dú)立處理，提高數(shù)據(jù)分析效率。v 數(shù)據(jù)分割后的數(shù)據(jù)單元稱為分片。20MySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQLMySQL212)2)數(shù)據(jù)分割數(shù)據(jù)分割v 數(shù)據(jù)分割的標(biāo)準(zhǔn)可以

7、根據(jù)實(shí)際情況來確定，通常選擇：按日期、地域、業(yè)務(wù)領(lǐng)域等來進(jìn)行。222)2)數(shù)據(jù)分割數(shù)據(jù)分割v 數(shù)據(jù)分割的方法v 垂直分割：垂直分割就是把一個(gè)表垂直分成兩局部。v 水平分割：水平分割就是把表按行分成兩局部。23AppIDIDMEMBE_IDMEMBE_IDINFOINFO1pavarotti1711pavarotti17MySQLIDIDMEMBE_IDMEMBE_IDINFOINFO4test12345test1234IDIDMEMBE_IDMEMBE_IDINFOINFO3abcd9abcd20abcdMySQLMySQLCobarProxyAppAppAppAppAppAppApp2)2)

8、數(shù)據(jù)分割數(shù)據(jù)分割242)2)數(shù)據(jù)分割數(shù)據(jù)分割v 一個(gè)簡(jiǎn)單的分割例子。253.1 3.1 數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)組織3.2 3.2 數(shù)據(jù)倉庫中數(shù)據(jù)的追加數(shù)據(jù)倉庫中數(shù)據(jù)的追加3.3 3.3 數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中的元數(shù)據(jù)263.2數(shù)據(jù)倉庫中數(shù)據(jù)的追加v當(dāng)數(shù)據(jù)倉庫的數(shù)據(jù)初裝完成以后，再向數(shù)據(jù)倉庫輸入導(dǎo)入數(shù)據(jù)的過程稱為數(shù)據(jù)追加。v如何能夠確切地感知究竟哪些數(shù)據(jù)是在上一次追加過程以后新生成的，這項(xiàng)工作稱為變化數(shù)據(jù)的捕捉。27v需要對(duì)源數(shù)據(jù)庫的數(shù)據(jù)模式加以修改，加上時(shí)標(biāo)字段。v對(duì)新插入或更新的數(shù)據(jù)記錄，在記錄中加更新時(shí)的時(shí)標(biāo)。1 1時(shí)標(biāo)法時(shí)標(biāo)法28v由應(yīng)用生成的文件，用來記錄應(yīng)用所改變

9、的數(shù)據(jù)內(nèi)容。v在要被抽取的源表上建立插入、修改、刪除3個(gè)觸發(fā)器，每當(dāng)源表中的數(shù)據(jù)發(fā)生變化，相應(yīng)的觸發(fā)器將變化的數(shù)據(jù)寫入一個(gè)增量日志表。2 2DELTADELTA文件文件29v在上次抽取數(shù)據(jù)庫數(shù)據(jù)到數(shù)據(jù)倉庫之后及本次將抽取數(shù)據(jù)庫數(shù)據(jù)之前，對(duì)數(shù)據(jù)庫分別做一次快照，然后比較兩幅快照的不同。v缺點(diǎn)：需要占用大量資源，影響系統(tǒng)性能。3 3前后快照文件的方法前后快照文件的方法30v通過分析數(shù)據(jù)庫自身的日志來判斷變化的數(shù)據(jù)。v優(yōu)點(diǎn)：提取的變化數(shù)據(jù)只局限于日志文件，不需掃描整個(gè)數(shù)據(jù)庫。4 4日志文件日志文件313.1 3.1 數(shù)據(jù)倉庫中的數(shù)據(jù)組織數(shù)據(jù)倉庫中的數(shù)據(jù)組織3.2 3.2 數(shù)據(jù)倉庫中數(shù)據(jù)的追加數(shù)據(jù)倉庫

10、中數(shù)據(jù)的追加3.3 3.3 數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中的元數(shù)據(jù)323.33.3數(shù)據(jù)倉庫中的元數(shù)據(jù)數(shù)據(jù)倉庫中的元數(shù)據(jù)v 傳統(tǒng)數(shù)據(jù)庫中為了說明數(shù)據(jù)引入了數(shù)據(jù)字典的概念。v 數(shù)據(jù)字典是描述數(shù)據(jù)的數(shù)據(jù)。333.3.13.3.1元數(shù)據(jù)的定義元數(shù)據(jù)的定義v 元數(shù)據(jù)：是用來描述數(shù)據(jù)的數(shù)據(jù)。它描述和定位數(shù)據(jù)組件、它們的來源及它們?cè)跀?shù)據(jù)倉庫進(jìn)程中的活動(dòng)；關(guān)于數(shù)據(jù)和操作的相關(guān)描述(輸入、計(jì)算和輸出)。343.3.13.3.1元數(shù)據(jù)的定義元數(shù)據(jù)的定義v 其主要目標(biāo)是提供數(shù)據(jù)資源的全面指南，使得數(shù)據(jù)倉庫管理員和開發(fā)人員可以方便地了解數(shù)據(jù)倉庫中有什么數(shù)據(jù)？數(shù)據(jù)在什么地方？它們來源于哪里，以及數(shù)據(jù)倉庫系統(tǒng)中是如何利用這

11、些數(shù)據(jù)？如何管理這些數(shù)據(jù)？35v 與元數(shù)據(jù)產(chǎn)生、存儲(chǔ)有關(guān)的工具：數(shù)據(jù)抽取工具：完成ETL操作。前端展現(xiàn)工具：實(shí)現(xiàn)把關(guān)系表映射成與業(yè)務(wù)相關(guān)的事實(shí)表和維表來支持多維業(yè)務(wù)視圖，進(jìn)行多維分析。建模工具：提供更高層次的、與特定業(yè)務(wù)相關(guān)的語義。元數(shù)據(jù)存儲(chǔ)工具：用于將元數(shù)據(jù)存儲(chǔ)在專門的數(shù)據(jù)庫中。3.3.13.3.1元數(shù)據(jù)的定義元數(shù)據(jù)的定義363.3.2元數(shù)據(jù)的分類v 元數(shù)據(jù)可以按多種方式分類：按用戶分類按功能分類371 1按使用元數(shù)據(jù)的用戶分類按使用元數(shù)據(jù)的用戶分類v 按使用元數(shù)據(jù)的用戶分類：技術(shù)元數(shù)據(jù)：是關(guān)于數(shù)據(jù)倉庫系統(tǒng)技術(shù)細(xì)節(jié)的描述數(shù)據(jù)，是數(shù)據(jù)倉庫開發(fā)人員和管理人員需要使用的重要信息。主要包括數(shù)據(jù)倉庫結(jié)

12、構(gòu)的描述等。業(yè)務(wù)元數(shù)據(jù)：從業(yè)務(wù)角度描述數(shù)據(jù)倉庫中的數(shù)據(jù)，它提供了介于使用者和實(shí)際系統(tǒng)之間的語義層定義，使得不懂計(jì)算機(jī)技術(shù)的業(yè)務(wù)人員也能夠理解數(shù)據(jù)倉庫中的數(shù)據(jù)。383.按功能分類v 按功能分類：v 數(shù)據(jù)源元數(shù)據(jù)v ETL規(guī)那么元數(shù)據(jù)v ODS元數(shù)據(jù)和DW元數(shù)據(jù)v 報(bào)表元數(shù)據(jù)v 接口數(shù)據(jù)文件格式元數(shù)據(jù)v 商業(yè)元數(shù)據(jù)1 1按使用元數(shù)據(jù)的用戶分類按使用元數(shù)據(jù)的用戶分類393.3.3元數(shù)據(jù)管理的標(biāo)準(zhǔn)化v 元數(shù)據(jù)在數(shù)據(jù)倉庫系統(tǒng)中占有十分重要的地位，但是目前工業(yè)界的各種數(shù)據(jù)倉庫管理和分析工具卻常常使用不同的元數(shù)據(jù)標(biāo)準(zhǔn)，使得元數(shù)據(jù)管理、不同系統(tǒng)之間的遷移、數(shù)據(jù)交換變得困難。v 迫切需要建立一種統(tǒng)一的標(biāo)準(zhǔn)，使得

13、不同數(shù)據(jù)倉庫和商務(wù)智能系統(tǒng)之間可以相互交換元數(shù)據(jù)。v 從而產(chǎn)生了基于元數(shù)據(jù)聯(lián)盟Meta Data Coalition，MDC和OMG組織的相關(guān)元數(shù)據(jù)標(biāo)準(zhǔn)。401MDC的OIM標(biāo)準(zhǔn)v 背景v MDC成立于1995年。v 致力于建立于廠商無關(guān)、不依賴于具體技術(shù)的企業(yè)元數(shù)據(jù)管理標(biāo)準(zhǔn)的非營(yíng)利技術(shù)聯(lián)盟。有150多個(gè)會(huì)員。v 提出了開放信息模型Open Information Model，OIM。v 1999年7月接受微軟的建議，將OIM作為元數(shù)據(jù)標(biāo)準(zhǔn)。411 1MDCMDC的的OIMOIM標(biāo)準(zhǔn)標(biāo)準(zhǔn)vOIM標(biāo)準(zhǔn)的目的通過公共的元數(shù)據(jù)信息來支持不同工具和系統(tǒng)之間數(shù)據(jù)的共享和重用。它涉及信息系統(tǒng)的各個(gè)階段。采用UML描述。422OMG組織的CWM標(biāo)準(zhǔn)v 背景v 對(duì)象管理組織英文Object Management Group，縮寫為OMG，是一個(gè)國際協(xié)會(huì)，開始的目的是為分布式面向?qū)ο笙到y(tǒng)建立標(biāo)準(zhǔn)，現(xiàn)在致力于建立對(duì)程序、系統(tǒng) 和 業(yè)務(wù)流程的建模標(biāo)準(zhǔn)，以及基于模型的標(biāo)準(zhǔn)。v 有500多個(gè)會(huì)員。v 提出了公共倉庫元模型Common Wareho