數(shù)據(jù)倉(cāng)的開發(fā)應(yīng)用及規(guī)劃

1

第五講數(shù)據(jù)倉(cāng)庫(kù)開發(fā)應(yīng)用過程

5.1數(shù)據(jù)倉(cāng)庫(kù)開發(fā)應(yīng)用過程5.2數(shù)據(jù)倉(cāng)庫(kù)的規(guī)劃5.3數(shù)據(jù)倉(cāng)庫(kù)的概念模型設(shè)計(jì)5.4數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型設(shè)計(jì)5.5數(shù)據(jù)倉(cāng)庫(kù)的物理模型設(shè)計(jì)5.6數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施5.7數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用、支持和增強(qiáng)練習(xí)2數(shù)據(jù)倉(cāng)庫(kù)開發(fā)過程規(guī)劃分析階段5.1數(shù)據(jù)倉(cāng)庫(kù)的螺旋式開發(fā)方法設(shè)計(jì)實(shí)施階段使用維護(hù)階段35.2數(shù)據(jù)倉(cāng)庫(kù)的規(guī)劃5.2.1選擇數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)策略開發(fā)策略主要有：自頂向下：實(shí)際應(yīng)用比較困難。自底向上：用于一個(gè)數(shù)據(jù)集市或一個(gè)部門的數(shù)據(jù)倉(cāng)庫(kù)開發(fā)，容易獲得成功。兩種策略的聯(lián)合使用：能夠快速地完成數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)與應(yīng)用，而且還可以建立具有長(zhǎng)遠(yuǎn)價(jià)值的數(shù)據(jù)倉(cāng)庫(kù)方案。在實(shí)際使用中難以操作。5.2.2確定數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)目標(biāo)和實(shí)現(xiàn)范圍

首要目標(biāo)是確定所需要信息的范圍，確定數(shù)據(jù)倉(cāng)庫(kù)在為用戶提供決策幫助時(shí)，在主題和指標(biāo)領(lǐng)域需要哪些數(shù)據(jù)源。

另一個(gè)重要目標(biāo)是確定利用哪些方法和工具訪問和導(dǎo)航數(shù)據(jù)？其它目標(biāo)是確定數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部數(shù)據(jù)的規(guī)模。從用戶的角度分析從技術(shù)的角度分析45.2.3數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)1.數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用結(jié)構(gòu)基于業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)

單純數(shù)據(jù)倉(cāng)庫(kù)

單純數(shù)據(jù)集市

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市

2.數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)平臺(tái)結(jié)構(gòu)單層結(jié)構(gòu)

客戶/服務(wù)器兩層結(jié)構(gòu)

(C/S)三層客戶/服務(wù)器

(B/W/S)多層式結(jié)構(gòu)

55.2.4數(shù)據(jù)倉(cāng)庫(kù)使用方案和項(xiàng)目規(guī)劃預(yù)算1.實(shí)際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求聯(lián)系起來2.開發(fā)方案的預(yù)算進(jìn)行估計(jì)3.編制數(shù)據(jù)倉(cāng)庫(kù)開發(fā)說明書：說明系統(tǒng)與企業(yè)戰(zhàn)略目標(biāo)的關(guān)系，系統(tǒng)與企業(yè)急需處理的、范圍相對(duì)有限的開發(fā)機(jī)會(huì)。業(yè)務(wù)機(jī)會(huì)的說明以及任務(wù)概況說明、重點(diǎn)支持的職能部門和今后工作的建議。計(jì)劃中需要闡明期望取得的有形和無形利益業(yè)務(wù)價(jià)值計(jì)劃最好由目標(biāo)業(yè)務(wù)主管來完成規(guī)劃書中要確定數(shù)據(jù)倉(cāng)庫(kù)的開發(fā)目標(biāo)實(shí)現(xiàn)范圍、體系結(jié)構(gòu)和使用方案及開發(fā)預(yù)算。65.3數(shù)據(jù)倉(cāng)庫(kù)的概念模型設(shè)計(jì)

概念模型的設(shè)計(jì)可以分為以下幾個(gè)階段：用戶需求調(diào)查、模型定義、模型分析和模型設(shè)計(jì)。

5.3.1概念模型的需求調(diào)查數(shù)據(jù)倉(cāng)庫(kù)開發(fā)的任務(wù)書首先要明確用戶的信息需求了解管理人員在信息需求方面的內(nèi)容了解關(guān)于信息的來源組織所使用的系統(tǒng)環(huán)境75.3.2概念模型的定義1.數(shù)據(jù)倉(cāng)庫(kù)用戶的決策分析2.支持決策的數(shù)據(jù)需求分析3.數(shù)據(jù)需求分析工具決策分析問題客戶購(gòu)買商品趨勢(shì)分析需求信息類日期地點(diǎn)商品客戶年齡組客戶經(jīng)濟(jì)狀況客戶信用需求信息1層需求信息2層需求信息3層需求信息4層需求信息5層……年(4)季(16)月(48)……國(guó)家(15)省(60)市(200)街道(2100)商店(20000)……商品種類(7)商品小類(40)商品(220)……年齡組（8）……經(jīng)濟(jì)類（10）……信用（10）……84.CRUD矩陣

實(shí)體功能客戶銷售單商品銷售代表供貨商銷售單輸入CRUDCRUDRRURU銷售單處理CRUDCRUD商品管理RRRUR預(yù)算系統(tǒng)RRRRUR財(cái)務(wù)計(jì)算RURRURR庫(kù)存控制RRUCRUDR后勤RRURRUC：Create產(chǎn)生、R：Read引用、U：Update更新D：Delete刪除。95.企業(yè)業(yè)務(wù)處理系統(tǒng)數(shù)據(jù)存儲(chǔ)表OracleSysbaseSQLServerVFP其它模式銷售單輸入√√銷售單處理√√商品管理√預(yù)算系統(tǒng)√(Excel)財(cái)務(wù)計(jì)算√庫(kù)存控制√后勤√外部數(shù)據(jù)源商品供應(yīng)商√市場(chǎng)調(diào)查公司√105.3.3概念模型的分析

客戶變動(dòng)信息商品變動(dòng)信息客戶號(hào)商品固有信息

客戶固有信息

客戶號(hào)供應(yīng)商號(hào)開戶日期

日期銷售數(shù)量

日期

商品號(hào)

商品

客戶

銷售11概念模型的的設(shè)計(jì)經(jīng)濟(jì)(年收入)100萬以上10萬以上1萬以上1萬以下地點(diǎn)國(guó)家省市銷售銷售數(shù)量銷售價(jià)格銷售金額時(shí)間ID地點(diǎn)ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品種類ID小類ID商品ID信用10萬元以上1萬元以上1千元以上1千元以下

0元12經(jīng)濟(jì)(年收入)100萬以上10萬以上1萬以上地點(diǎn)國(guó)家省市銷售銷售ID銷售數(shù)量銷售價(jià)格銷售金額時(shí)間ID地點(diǎn)ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品ID種類小類商品信用10萬元以上1萬元以上1千元以上1千元以下

0元商品ID生產(chǎn)廠家進(jìn)貨價(jià)格進(jìn)貨日期客戶客戶ID姓名地址電話郵政編碼詳細(xì)類別表表13概念模型文文檔與評(píng)審審1.概念模型設(shè)設(shè)計(jì)文檔數(shù)據(jù)倉(cāng)庫(kù)開開發(fā)需求分分析報(bào)告概念模型分分析報(bào)告概念模型概念模型的的評(píng)審報(bào)告告。2.概念模型的的評(píng)審3.概念模型的的評(píng)審人員員4.概念模型的的評(píng)審內(nèi)容容數(shù)據(jù)倉(cāng)庫(kù)開開發(fā)任務(wù)書書；用戶決決策分析信信息需求調(diào)調(diào)查表；數(shù)數(shù)據(jù)倉(cāng)庫(kù)主主題；E-R圖、星型模模型和雪花花模型。145.4數(shù)據(jù)倉(cāng)庫(kù)的的邏輯模型型設(shè)計(jì)1.數(shù)據(jù)倉(cāng)庫(kù)的的邏輯模型型設(shè)計(jì)任務(wù)務(wù)：分析主題域域，確定要要裝載到數(shù)數(shù)據(jù)倉(cāng)庫(kù)的的主題；確定粒度層層次劃分；；確定數(shù)據(jù)分分割策略；；關(guān)系模式的的定義和記記錄系統(tǒng)定定義、確定定數(shù)據(jù)抽取取模型等。。2.邏輯模型最最終設(shè)計(jì)成成果：每個(gè)主題的的邏輯定義義，并將相相關(guān)內(nèi)容記記錄在數(shù)據(jù)據(jù)倉(cāng)庫(kù)的元元數(shù)據(jù)中粒度劃分?jǐn)?shù)據(jù)分割策策略表劃分和數(shù)數(shù)據(jù)來源等等。15分析主題域域主題名公共碼鍵屬性組商品商品號(hào)商品固有信息：商品號(hào)，商品名，類型，顏色等商品采購(gòu)信息：商品號(hào)，供應(yīng)商號(hào)，供應(yīng)價(jià)，供應(yīng)日期，供應(yīng)量等商品庫(kù)存信息：商品號(hào)，庫(kù)房號(hào)，庫(kù)存量，日期等銷售銷售單號(hào)銷售單固有信息：銷售單號(hào)，銷售地址等銷售信息：客戶號(hào)，商品號(hào)，銷售價(jià)，銷售量、銷售時(shí)間等客戶客戶號(hào)客戶固有信息：客戶號(hào)，客戶名，性別，年齡，文化程度，住址，電話等客戶經(jīng)濟(jì)息：客戶號(hào)，年收入，家庭總收入等16粒度層次和和聚集的確確定確定數(shù)據(jù)分分割策略數(shù)據(jù)分割標(biāo)標(biāo)準(zhǔn)1.數(shù)據(jù)量2.數(shù)據(jù)分析處處理的對(duì)象象3.粒度分割的的策略關(guān)系模型定定義17數(shù)據(jù)倉(cāng)庫(kù)的的實(shí)體定義義實(shí)體的邏輯輯分析實(shí)體所有列列的具體特特征列名列的鍵屬性值來源/值域完整性約束類型與大小Customer_Number主鍵列、外部鍵列來自客戶實(shí)體的合法客戶鍵列沒有客戶鍵列，數(shù)據(jù)就不存在Char(10)Order_Number主鍵列、外部鍵列來自銷售單實(shí)體的合法鍵列沒有銷售單鍵列，數(shù)據(jù)就不存在Char(10)Product_Number主鍵列、外部鍵列來自商品實(shí)體的合法鍵列沒有商品鍵列，數(shù)據(jù)就不存在Char(10)Product_Price正的金額數(shù)Money(float)…………………………18數(shù)據(jù)倉(cāng)庫(kù)的的實(shí)體定義義實(shí)體容量更新頻率Customer中等容量，有100個(gè)重點(diǎn)客戶，2000個(gè)跟蹤客戶每月對(duì)客戶情況進(jìn)行一次分析，更新頻率也為每月一次Product小容量，500種商品大約有500種商品，商品的更新是每月一次，數(shù)據(jù)更新也照此。Order_Detail大容量，其上限是354，000，000，000，考慮到各種客戶類型與各種商品的組合情況，一般很少達(dá)到。數(shù)據(jù)每月匯總一次，但是業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)每日需要更新一次，因此更新頻率為每日一次。………………19數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型F1數(shù)據(jù)抽取規(guī)規(guī)則P2清理數(shù)據(jù)記記錄F8數(shù)據(jù)清理規(guī)則 F2 KHCG F5CQLS_KHCGF6CQLS_KHCG F7SJCK_KHCG P4 加載到數(shù)據(jù)倉(cāng)庫(kù) F3 SPQK F4 ZGYJ P3 數(shù)據(jù)排序聚集 P1 抽取數(shù)據(jù)源記錄 20數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型2.數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取、轉(zhuǎn)換與與加載計(jì)劃劃（1）影響數(shù)據(jù)據(jù)抽取、轉(zhuǎn)轉(zhuǎn)換與加載載的因素?cái)?shù)據(jù)格式壞數(shù)據(jù)系統(tǒng)的兼容容性數(shù)據(jù)源的變變化數(shù)據(jù)抽取的的時(shí)間（2）數(shù)據(jù)抽取取、轉(zhuǎn)換與與加載對(duì)策策全庫(kù)比較利用程序日日志利用數(shù)據(jù)庫(kù)庫(kù)日志利用時(shí)間戳戳或利用位位圖索引21數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型3.數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)清理理轉(zhuǎn)換方法法(1)類型轉(zhuǎn)換(2)串操作(3)數(shù)學(xué)函數(shù)(4)參照完整性性(5)關(guān)鍵字翻譯譯(6)聚集運(yùn)算4.數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取、清理與與轉(zhuǎn)換模型型22數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型數(shù)據(jù)平臺(tái)數(shù)據(jù)庫(kù)表名備注Windows/SQLServerXSSJKHCG客戶采購(gòu)商品表Windows/SQLServerXSSJSPQK商品情況表Windows/AccessRSGLZGYJ職工業(yè)績(jī)表……………………數(shù)據(jù)源抽取取對(duì)象表23數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型數(shù)據(jù)源抽取取規(guī)則表表.列名過濾與連接條件比較值復(fù)合條件備注KHCG.CGSL<50000AND采購(gòu)商品數(shù)量小于50000KHCG.CGSL>500AND采購(gòu)商品數(shù)量大于500SPQK.SPID≠‘AB’OR商品前兩位非’AB’…………………………24數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型數(shù)據(jù)抽取的的目標(biāo)列與與源列對(duì)應(yīng)應(yīng)關(guān)系表目標(biāo)表.列源表.列轉(zhuǎn)換公式備注SJCK_KHCG.KHZYKHCG.KHZY直接轉(zhuǎn)換客戶職業(yè)SJCK_KHCG.CGRQKHCG.CGRQ將月/年/日的日期格式轉(zhuǎn)換成年/月/日格式客戶采購(gòu)日期……………………25數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型數(shù)據(jù)抽取過過程的排序序、概括和和導(dǎo)出情況況表表.列名排序概括/導(dǎo)出備注CQLS_KHCG.CGSL降序分組按照采購(gòu)數(shù)量從大到小排序、按照日期進(jìn)行分組SJCK_KHCG.CGHZ概括對(duì)每一客戶采購(gòu)量按照星期分別進(jìn)行概括處理，計(jì)算客戶的采購(gòu)總量SJCK_KHCG.PJL導(dǎo)出對(duì)每一客戶采購(gòu)情況按照星期分別進(jìn)行平均采購(gòu)量計(jì)算……………………26數(shù)據(jù)倉(cāng)庫(kù)的的數(shù)據(jù)抽取取模型數(shù)據(jù)概括表表與事實(shí)表表對(duì)應(yīng)關(guān)系系概括表表.列名是否導(dǎo)出事實(shí)表.列名備注SPGKB.SP_ID否SPGYB.SP_ID商品編號(hào)SPGKB.GYS_ID否SPGYB.GYS_ID供應(yīng)商編號(hào)SPGKB.SPGYZSL是SPGYB.SPGYL商品供應(yīng)總量，按照供應(yīng)商編號(hào)對(duì)供應(yīng)數(shù)量求和SPGKB.SPGYZJE是SPGYB.SPGYJE商品供應(yīng)總金額，按照供應(yīng)商編號(hào)對(duì)供應(yīng)商品的金額進(jìn)行匯總……………………27數(shù)據(jù)倉(cāng)庫(kù)的的元數(shù)據(jù)模模型建立與與應(yīng)用數(shù)據(jù)源⑼⑶物理模型查詢統(tǒng)計(jì)邏輯模型業(yè)務(wù)分組來源定義加載統(tǒng)計(jì)來源-目標(biāo)映射元數(shù)據(jù)目錄數(shù)據(jù)倉(cāng)庫(kù)前端展示工具⑴⑵⑷⑸a⑹⑺⑻⑽⑿⑸b28邏輯模型的的評(píng)審邏輯模型的的文檔內(nèi)容容：主題域域分析報(bào)告告，數(shù)據(jù)粒粒度劃分模模型，數(shù)據(jù)據(jù)分割策略略，指標(biāo)實(shí)實(shí)體、維實(shí)實(shí)體與詳細(xì)細(xì)類別實(shí)體體的關(guān)系模模式和數(shù)據(jù)據(jù)抽取模型型。對(duì)邏輯模型型的評(píng)審主主要集中在在主題域是是否可以正正確地反映映用戶的決決策分析需需求。從用戶對(duì)概概括數(shù)據(jù)使使用的要求求，評(píng)審數(shù)數(shù)據(jù)粒度的的劃分和數(shù)數(shù)據(jù)分割策策略是否可可以滿足用用戶決策分分析的需要要。為提高數(shù)據(jù)據(jù)倉(cāng)庫(kù)的運(yùn)運(yùn)行效率是是否需要對(duì)