CHINACN數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)應(yīng)用過(guò)程實(shí)用

會(huì)計(jì)學(xué)1CHINACN數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)應(yīng)用過(guò)程實(shí)用25.2數(shù)據(jù)倉(cāng)庫(kù)的規(guī)劃5.2.1選擇數(shù)據(jù)倉(cāng)庫(kù)實(shí)現(xiàn)策略開(kāi)發(fā)策略主要有：自頂向下：實(shí)際應(yīng)用比較困難。自底向上：用于一個(gè)數(shù)據(jù)集市或一個(gè)部門(mén)的數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)，容易獲得成功。兩種策略的聯(lián)合使用：能夠快速地完成數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)與應(yīng)用，而且還可以建立具有長(zhǎng)遠(yuǎn)價(jià)值的數(shù)據(jù)倉(cāng)庫(kù)方案。在實(shí)際使用中難以操作。5.2.2確定數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)目標(biāo)和實(shí)現(xiàn)范圍

首要目標(biāo)是確定所需要信息的范圍，確定數(shù)據(jù)倉(cāng)庫(kù)在為用戶提供決策幫助時(shí)，在主題和指標(biāo)領(lǐng)域需要哪些數(shù)據(jù)源。

另一個(gè)重要目標(biāo)是確定利用哪些方法和工具訪問(wèn)和導(dǎo)航數(shù)據(jù)？其它目標(biāo)是確定數(shù)據(jù)倉(cāng)庫(kù)內(nèi)部數(shù)據(jù)的規(guī)模。從用戶的角度分析從技術(shù)的角度分析第1頁(yè)/共29頁(yè)35.2.3數(shù)據(jù)倉(cāng)庫(kù)的結(jié)構(gòu)1.數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用結(jié)構(gòu)基于業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)倉(cāng)庫(kù)

單純數(shù)據(jù)倉(cāng)庫(kù)

單純數(shù)據(jù)集市

數(shù)據(jù)倉(cāng)庫(kù)和數(shù)據(jù)集市

2.數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)平臺(tái)結(jié)構(gòu)單層結(jié)構(gòu)

客戶/服務(wù)器兩層結(jié)構(gòu)

(C/S)三層客戶/服務(wù)器

(B/W/S)多層式結(jié)構(gòu)

第2頁(yè)/共29頁(yè)45.2.4數(shù)據(jù)倉(cāng)庫(kù)使用方案和項(xiàng)目規(guī)劃預(yù)算1.實(shí)際使用方案還可以將最終用戶的決策支持要求與數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)要求聯(lián)系起來(lái)2.開(kāi)發(fā)方案的預(yù)算進(jìn)行估計(jì)3.編制數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)說(shuō)明書(shū)：說(shuō)明系統(tǒng)與企業(yè)戰(zhàn)略目標(biāo)的關(guān)系，系統(tǒng)與企業(yè)急需處理的、范圍相對(duì)有限的開(kāi)發(fā)機(jī)會(huì)。業(yè)務(wù)機(jī)會(huì)的說(shuō)明以及任務(wù)概況說(shuō)明、重點(diǎn)支持的職能部門(mén)和今后工作的建議。計(jì)劃中需要闡明期望取得的有形和無(wú)形利益業(yè)務(wù)價(jià)值計(jì)劃最好由目標(biāo)業(yè)務(wù)主管來(lái)完成規(guī)劃書(shū)中要確定數(shù)據(jù)倉(cāng)庫(kù)的開(kāi)發(fā)目標(biāo)實(shí)現(xiàn)范圍、體系結(jié)構(gòu)和使用方案及開(kāi)發(fā)預(yù)算。第3頁(yè)/共29頁(yè)55.3數(shù)據(jù)倉(cāng)庫(kù)的概念模型設(shè)計(jì)

概念模型的設(shè)計(jì)可以分為以下幾個(gè)階段：用戶需求調(diào)查、模型定義、模型分析和模型設(shè)計(jì)。

5.3.1概念模型的需求調(diào)查數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)的任務(wù)書(shū)首先要明確用戶的信息需求了解管理人員在信息需求方面的內(nèi)容了解關(guān)于信息的來(lái)源組織所使用的系統(tǒng)環(huán)境第4頁(yè)/共29頁(yè)65.3.2概念模型的定義1.數(shù)據(jù)倉(cāng)庫(kù)用戶的決策分析2.支持決策的數(shù)據(jù)需求分析3.數(shù)據(jù)需求分析工具決策分析問(wèn)題客戶購(gòu)買(mǎi)商品趨勢(shì)分析需求信息類日期地點(diǎn)商品客戶年齡組客戶經(jīng)濟(jì)狀況客戶信用需求信息1層需求信息2層需求信息3層需求信息4層需求信息5層……年(4)季(16)月(48)……國(guó)家(15)省(60)市(200)街道(2100)商店(20000)……商品種類(7)商品小類(40)商品(220)……年齡組（8）……經(jīng)濟(jì)類（10）……信用（10）……第5頁(yè)/共29頁(yè)74.CRUD矩陣

實(shí)體功能客戶銷售單商品銷售代表供貨商銷售單輸入CRUDCRUDRRURU銷售單處理CRUDCRUD商品管理RRRUR預(yù)算系統(tǒng)RRRRUR財(cái)務(wù)計(jì)算RURRURR庫(kù)存控制RRUCRUDR后勤RRURRUC：Create產(chǎn)生、R：Read引用、U：Update更新D：Delete刪除。第6頁(yè)/共29頁(yè)85.企業(yè)業(yè)務(wù)處理系統(tǒng)數(shù)據(jù)存儲(chǔ)表OracleSysbaseSQLServerVFP其它模式銷售單輸入√√銷售單處理√√商品管理√預(yù)算系統(tǒng)√(Excel)財(cái)務(wù)計(jì)算√庫(kù)存控制√后勤√外部數(shù)據(jù)源商品供應(yīng)商√市場(chǎng)調(diào)查公司√第7頁(yè)/共29頁(yè)95.3.3概念模型的分析

客戶變動(dòng)信息商品變動(dòng)信息客戶號(hào)商品固有信息

客戶固有信息

客戶號(hào)供應(yīng)商號(hào)開(kāi)戶日期

日期銷售數(shù)量

日期

商品號(hào)

商品

客戶

銷售第8頁(yè)/共29頁(yè)105.3.4概念模型的設(shè)計(jì)經(jīng)濟(jì)(年收入)100萬(wàn)以上10萬(wàn)以上1萬(wàn)以上1萬(wàn)以下地點(diǎn)國(guó)家省市銷售銷售數(shù)量銷售價(jià)格銷售金額時(shí)間ID地點(diǎn)ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品種類ID小類ID商品ID信用10萬(wàn)元以上1萬(wàn)元以上1千元以上1千元以下

0元第9頁(yè)/共29頁(yè)11經(jīng)濟(jì)(年收入)100萬(wàn)以上10萬(wàn)以上1萬(wàn)以上地點(diǎn)國(guó)家省市銷售銷售ID銷售數(shù)量銷售價(jià)格銷售金額時(shí)間ID地點(diǎn)ID商品ID年齡60歲以上40歲以上30歲以上20歲以上20歲以下日期年月日商品ID種類小類商品信用10萬(wàn)元以上1萬(wàn)元以上1千元以上1千元以下

0元商品ID生產(chǎn)廠家進(jìn)貨價(jià)格進(jìn)貨日期客戶客戶ID姓名地址電話郵政編碼詳細(xì)類別表第10頁(yè)/共29頁(yè)125.3.5概念模型文檔與評(píng)審1.概念模型設(shè)計(jì)文檔數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)需求分析報(bào)告概念模型分析報(bào)告概念模型概念模型的評(píng)審報(bào)告。

2.概念模型的評(píng)審3.概念模型的評(píng)審人員4.概念模型的評(píng)審內(nèi)容數(shù)據(jù)倉(cāng)庫(kù)開(kāi)發(fā)任務(wù)書(shū)；用戶決策分析信息需求調(diào)查表；數(shù)據(jù)倉(cāng)庫(kù)主題；E-R圖、星型模型和雪花模型。

第11頁(yè)/共29頁(yè)135.4數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型設(shè)計(jì)1.數(shù)據(jù)倉(cāng)庫(kù)的邏輯模型設(shè)計(jì)任務(wù)：分析主題域，確定要裝載到數(shù)據(jù)倉(cāng)庫(kù)的主題；確定粒度層次劃分；確定數(shù)據(jù)分割策略；關(guān)系模式的定義和記錄系統(tǒng)定義、確定數(shù)據(jù)抽取模型等。2.邏輯模型最終設(shè)計(jì)成果：每個(gè)主題的邏輯定義，并將相關(guān)內(nèi)容記錄在數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)中粒度劃分?jǐn)?shù)據(jù)分割策略表劃分和數(shù)據(jù)來(lái)源等。

第12頁(yè)/共29頁(yè)145.4.1分析主題域主題名公共碼鍵屬性組商品商品號(hào)商品固有信息：商品號(hào)，商品名，類型，顏色等商品采購(gòu)信息：商品號(hào)，供應(yīng)商號(hào)，供應(yīng)價(jià)，供應(yīng)日期，供應(yīng)量等商品庫(kù)存信息：商品號(hào)，庫(kù)房號(hào)，庫(kù)存量，日期等銷售銷售單號(hào)銷售單固有信息：銷售單號(hào)，銷售地址等銷售信息：客戶號(hào)，商品號(hào)，銷售價(jià)，銷售量、銷售時(shí)間等客戶客戶號(hào)客戶固有信息：客戶號(hào)，客戶名，性別，年齡，文化程度，住址，電話等客戶經(jīng)濟(jì)息：客戶號(hào)，年收入，家庭總收入等第13頁(yè)/共29頁(yè)155.4.2粒度層次和聚集的確定5.4.3確定數(shù)據(jù)分割策略數(shù)據(jù)分割標(biāo)準(zhǔn)1.數(shù)據(jù)量2.數(shù)據(jù)分析處理的對(duì)象3.粒度分割的策略

5.4.4關(guān)系模型定義第14頁(yè)/共29頁(yè)165.4.5數(shù)據(jù)倉(cāng)庫(kù)的實(shí)體定義實(shí)體的邏輯分析實(shí)體所有列的具體特征

列名列的鍵屬性值來(lái)源/值域完整性約束類型與大小Customer_Number主鍵列、外部鍵列來(lái)自客戶實(shí)體的合法客戶鍵列沒(méi)有客戶鍵列，數(shù)據(jù)就不存在Char(10)Order_Number主鍵列、外部鍵列來(lái)自銷售單實(shí)體的合法鍵列沒(méi)有銷售單鍵列，數(shù)據(jù)就不存在Char(10)Product_Number主鍵列、外部鍵列來(lái)自商品實(shí)體的合法鍵列沒(méi)有商品鍵列，數(shù)據(jù)就不存在Char(10)Product_Price正的金額數(shù)Money(float)…………………………第15頁(yè)/共29頁(yè)175.4.5數(shù)據(jù)倉(cāng)庫(kù)的實(shí)體定義實(shí)體容量更新頻率Customer中等容量，有100個(gè)重點(diǎn)客戶，2000個(gè)跟蹤客戶每月對(duì)客戶情況進(jìn)行一次分析，更新頻率也為每月一次Product小容量，500種商品大約有500種商品，商品的更新是每月一次，數(shù)據(jù)更新也照此。Order_Detail大容量，其上限是354，000，000，000，考慮到各種客戶類型與各種商品的組合情況，一般很少達(dá)到。數(shù)據(jù)每月匯總一次，但是業(yè)務(wù)處理系統(tǒng)的數(shù)據(jù)每日需要更新一次，因此更新頻率為每日一次?！?6頁(yè)/共29頁(yè)185.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型F1數(shù)據(jù)抽取規(guī)則 P2 清理數(shù)據(jù)記錄 F8數(shù)據(jù)清理規(guī)則 F2 KHCG F5CQLS_KHCGF6CQLS_KHCG F7SJCK_KHCG P4 加載到數(shù)據(jù)倉(cāng)庫(kù) F3 SPQK F4 ZGYJ P3 數(shù)據(jù)排序聚集 P1 抽取數(shù)據(jù)源記錄 第17頁(yè)/共29頁(yè)195.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型2.數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取、轉(zhuǎn)換與加載計(jì)劃（1）影響數(shù)據(jù)抽取、轉(zhuǎn)換與加載的因素?cái)?shù)據(jù)格式壞數(shù)據(jù)系統(tǒng)的兼容性數(shù)據(jù)源的變化數(shù)據(jù)抽取的時(shí)間

（2）數(shù)據(jù)抽取、轉(zhuǎn)換與加載對(duì)策

全庫(kù)比較利用程序日志利用數(shù)據(jù)庫(kù)日志利用時(shí)間戳或利用位圖索引第18頁(yè)/共29頁(yè)205.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型3.數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)清理轉(zhuǎn)換方法(1)類型轉(zhuǎn)換(2)串操作(3)數(shù)學(xué)函數(shù)(4)參照完整性(5)關(guān)鍵字翻譯(6)聚集運(yùn)算4.數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取、清理與轉(zhuǎn)換模型第19頁(yè)/共29頁(yè)215.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型數(shù)據(jù)平臺(tái)數(shù)據(jù)庫(kù)表名備注Windows/SQLServerXSSJKHCG客戶采購(gòu)商品表Windows/SQLServerXSSJSPQK商品情況表Windows/AccessRSGLZGYJ職工業(yè)績(jī)表……………………數(shù)據(jù)源抽取對(duì)象表

第20頁(yè)/共29頁(yè)225.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型數(shù)據(jù)源抽取規(guī)則表表.列名過(guò)濾與連接條件比較值復(fù)合條件備注KHCG.CGSL<50000AND采購(gòu)商品數(shù)量小于50000KHCG.CGSL>500AND采購(gòu)商品數(shù)量大于500SPQK.SPID≠‘AB’OR商品前兩位非’AB’…………………………第21頁(yè)/共29頁(yè)235.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型數(shù)據(jù)抽取的目標(biāo)列與源列對(duì)應(yīng)關(guān)系表目標(biāo)表.列源表.列轉(zhuǎn)換公式備注SJCK_KHCG.KHZYKHCG.KHZY直接轉(zhuǎn)換客戶職業(yè)SJCK_KHCG.CGRQKHCG.CGRQ將月/年/日的日期格式轉(zhuǎn)換成年/月/日格式客戶采購(gòu)日期……………………第22頁(yè)/共29頁(yè)245.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型數(shù)據(jù)抽取過(guò)程的排序、概括和導(dǎo)出情況表表.列名排序概括/導(dǎo)出備注CQLS_KHCG.CGSL降序分組按照采購(gòu)數(shù)量從大到小排序、按照日期進(jìn)行分組SJCK_KHCG.CGHZ概括對(duì)每一客戶采購(gòu)量按照星期分別進(jìn)行概括處理，計(jì)算客戶的采購(gòu)總量SJCK_KHCG.PJL導(dǎo)出對(duì)每一客戶采購(gòu)情況按照星期分別進(jìn)行平均采購(gòu)量計(jì)算……………………第23頁(yè)/共29頁(yè)255.4.6數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)抽取模型數(shù)據(jù)概括表與事實(shí)表對(duì)應(yīng)關(guān)系概括表表.列名是否導(dǎo)出事實(shí)表.列名備注SPGKB.SP_ID否SPGYB.SP_ID商品編號(hào)SPGKB.GYS_ID否SPGYB.GYS_ID供應(yīng)商編號(hào)SPGKB.SPGYZSL是SPGYB.SPGYL商品供應(yīng)總量，按照供應(yīng)商編號(hào)對(duì)供應(yīng)數(shù)量求和SPGKB.SPGYZJE是SPGYB.SPGYJE商品供應(yīng)總金額，按照供應(yīng)商編號(hào)對(duì)供應(yīng)商品的金額進(jìn)行匯總……………………第24頁(yè)/共29頁(yè)265.4.7數(shù)據(jù)倉(cāng)庫(kù)的元數(shù)據(jù)模型建立與應(yīng)用數(shù)據(jù)源⑼⑶物理模型查詢統(tǒng)計(jì)邏輯模型業(yè)務(wù)分組來(lái)源定義加載統(tǒng)計(jì)來(lái)源-目標(biāo)映射建模工具元數(shù)據(jù)目錄數(shù)據(jù)加載工具數(shù)據(jù)倉(cāng)庫(kù)前端展示工具⑴⑵⑷⑸a⑹⑺⑻⑽⑿⑸b第25頁(yè)/共29頁(yè)275.4.8邏輯模型的評(píng)審邏輯模型的文檔內(nèi)容：主題域分析報(bào)告，數(shù)據(jù)粒度劃分模型，數(shù)據(jù)分割策略，指標(biāo)實(shí)體、維實(shí)體與詳細(xì)類別實(shí)體的關(guān)系模式和數(shù)據(jù)抽取模型。對(duì)邏輯模型的評(píng)審主要集中在主題域是否可以正確地反映用戶的決策分析需求。從用戶對(duì)概括數(shù)據(jù)使用的要求，評(píng)審數(shù)據(jù)粒度的劃分和數(shù)據(jù)分割策略是否可以滿足用戶決策分析的需要。為提高數(shù)據(jù)倉(cāng)庫(kù)的運(yùn)行效率是否需要對(duì)關(guān)系模式進(jìn)行反規(guī)范化處理。數(shù)據(jù)的抽取模型是否正確地建立了數(shù)據(jù)源與數(shù)據(jù)倉(cāng)庫(kù)的對(duì)應(yīng)關(guān)系。數(shù)據(jù)的約束條件和業(yè)務(wù)規(guī)則是否在這些模型中得到了正確的反映。第26頁(yè)/共29頁(yè)