CRM客戶管理與數(shù)據(jù)倉庫_第1頁
CRM客戶管理與數(shù)據(jù)倉庫_第2頁
CRM客戶管理與數(shù)據(jù)倉庫_第3頁
CRM客戶管理與數(shù)據(jù)倉庫_第4頁
CRM客戶管理與數(shù)據(jù)倉庫_第5頁
已閱讀5頁,還剩196頁未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡介

1、第5章CRM與數(shù)據(jù)倉庫邵兵家 于同奎第5章 CRM與數(shù)據(jù)倉庫5.1 數(shù)據(jù)倉庫概述5.1.1 數(shù)據(jù)倉庫的產(chǎn)生5.1.2 數(shù)據(jù)倉庫概念及特征5.1.3 數(shù)據(jù)倉庫的內(nèi)容5.1.3 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)5.2 客戶關(guān)系管理中的數(shù)據(jù)倉庫5.2.1 客戶關(guān)系管理需要數(shù)據(jù)倉庫5.2.2 客戶關(guān)系管理中數(shù)據(jù)倉庫的作用5.2.3客戶關(guān)系管理數(shù)據(jù)倉庫的系統(tǒng)結(jié)構(gòu)5.3 客戶關(guān)系管理數(shù)據(jù)倉庫的實(shí)施5.4 客戶關(guān)系管理數(shù)據(jù)倉庫試驗(yàn)5.4.1 客戶關(guān)系管理數(shù)據(jù)倉庫設(shè)計(jì)試驗(yàn)5.4.2 客戶關(guān)系管理數(shù)據(jù)倉庫使用試驗(yàn)5.1 數(shù)據(jù)倉庫概述 數(shù)據(jù)倉庫與CRM有著難以割舍的密切關(guān)系,客戶關(guān)系管理的很多工作都是以數(shù)據(jù)倉庫為基礎(chǔ)展開的

2、。從某種意義上說,數(shù)據(jù)倉庫是客戶關(guān)系管理的靈魂。利用數(shù)據(jù)倉庫,企業(yè)可以對客戶行為的分析與預(yù)測,從而制定準(zhǔn)確的市場策略、發(fā)現(xiàn)企業(yè)的重點(diǎn)客戶和評價(jià)市場性能,并通過銷售和服務(wù)等部門與客戶交流,實(shí)現(xiàn)企業(yè)利潤的提高。對于客戶量大、市場策略對企業(yè)影響較大的企業(yè)來說,必須在客戶關(guān)系管理系統(tǒng)中包含數(shù)據(jù)倉庫。5.1.1 數(shù)據(jù)倉庫的產(chǎn)生早期的數(shù)據(jù)庫主要支持聯(lián)機(jī)事務(wù)處理決策支持對數(shù)據(jù)分析的需求傳統(tǒng)數(shù)據(jù)庫系統(tǒng)不適宜DSS 事務(wù)處理和分析處理的性能特性不同 數(shù)據(jù)集成問題 數(shù)據(jù)動態(tài)集成問題 歷史數(shù)據(jù)問題 數(shù)據(jù)的綜合問題 操作繁簡問題(1)事務(wù)處理和分析處理的性能特性不同。所有聯(lián)機(jī)事務(wù)處理強(qiáng)調(diào)的是數(shù)據(jù)更新處理性能和系統(tǒng)的可

3、靠性,并不關(guān)心數(shù)據(jù)查詢的方便與快捷。在事務(wù)處理環(huán)境中,用戶的行為特點(diǎn)是數(shù)據(jù)的存取操作頻率高而每次操作處理的時(shí)間短。在分析處理環(huán)境中,用戶的行為模式與此完全不同,強(qiáng)調(diào)的是數(shù)據(jù)處理和分析的能力。在傳統(tǒng)數(shù)據(jù)庫系統(tǒng)基礎(chǔ)上的DSS應(yīng)用程序可能需要連續(xù)幾個(gè)小時(shí),從而消耗大量的系統(tǒng)資源。聯(lián)機(jī)分析和事務(wù)處理對系統(tǒng)的要求不同,同一個(gè)數(shù)據(jù)庫在理論上難以做到兩全,將具有如此不同處理性能的兩種應(yīng)用放在同一個(gè)環(huán)境中運(yùn)行顯然是不適當(dāng)?shù)摹#?)數(shù)據(jù)集成問題。DSS需要集成的數(shù)據(jù)。全面而正確的數(shù)據(jù)是有效的分析和決策的首要前提,相關(guān)數(shù)據(jù)收集得越完整,得到的結(jié)果就越可靠。當(dāng)前絕大多數(shù)企業(yè)內(nèi)數(shù)據(jù)的真正狀況是分散而非集成的。造成這種

4、分散的原因有多種,主要有事務(wù)處理應(yīng)用分散、“蜘蛛網(wǎng)”問題、數(shù)據(jù)不一致問題、外部數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)。(3)數(shù)據(jù)動態(tài)集成問題。 靜態(tài)集成的最大缺點(diǎn)在于,如果在數(shù)據(jù)集成后數(shù)據(jù)源中數(shù)據(jù)發(fā)生了變化,這些 變化將不能反映給決策者,導(dǎo)致決策者使用的是過時(shí)的數(shù)據(jù)。集成數(shù)據(jù)必須以一定的周期(例如24小時(shí))進(jìn)行刷新,我們稱其為動態(tài)集成。顯然,事務(wù)處理系統(tǒng)不具備動態(tài)集成的能力。(4)歷史數(shù)據(jù)問題。 事務(wù)處理一般只需要當(dāng)前數(shù)據(jù),在數(shù)據(jù)庫中一般也是存儲短期數(shù)據(jù),切不同數(shù)據(jù)的保存期限也不一樣,即使有一些歷史數(shù)據(jù)保存下來了,也被束之高閣,未得到充分利用。但對于決策分析而言,歷史數(shù)據(jù)是相當(dāng)重要的,許多分析方法必須一大量的歷史

5、數(shù)據(jù)為依托。沒有歷史數(shù)據(jù)的詳細(xì)分析,是難以把握企業(yè)的發(fā)展趨勢的。DSS對數(shù)據(jù)在空間和時(shí)間的廣度上都有了更高的要求,而事務(wù)處理環(huán)境難以滿足這些要求。(5)數(shù)據(jù)的綜合問題。 在事務(wù)處理系統(tǒng)中積累了大量的細(xì)節(jié)數(shù)據(jù),一般而言,DSS并不對這些細(xì)節(jié)數(shù)據(jù)進(jìn)行分析。在分析前,往往需要對細(xì)節(jié)數(shù)據(jù)進(jìn)行不同程度的綜合。而事務(wù)處理系統(tǒng)不具備這種綜合能力,根據(jù)規(guī)范化理論,這種綜合還往往因?yàn)槭且环N數(shù)據(jù)冗余而加以限制。(6)操作繁簡問題。 業(yè)務(wù)數(shù)據(jù)的模式是針對事務(wù)處理系統(tǒng)而設(shè)計(jì)的,數(shù)據(jù)的格式和描述方式并不適合非計(jì)算機(jī)專業(yè)人員進(jìn)行業(yè)務(wù)上的分析和統(tǒng)計(jì)。 有人感嘆:20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太少了,而今天查詢不到數(shù)據(jù)是因?yàn)?/p>

6、數(shù)據(jù)太多了。 要提高分析和決策的效率和有效性,分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)相分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來,按照DSS處理的需要進(jìn)行重新組織,建立單獨(dú)的分析處理環(huán)境,數(shù)據(jù)倉庫正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲和組織技術(shù)。 數(shù)據(jù)倉庫的數(shù)據(jù)從聯(lián)機(jī)的事務(wù)處理系統(tǒng)、異構(gòu)的外部數(shù)據(jù)源、脫機(jī)的歷史業(yè)務(wù)數(shù)據(jù)中得到。它是一個(gè)聯(lián)機(jī)的系統(tǒng),專門為分析統(tǒng)計(jì)和決策支持應(yīng)用服務(wù),通過它可滿足決策支持和聯(lián)機(jī)分析應(yīng)用所要求的一切。5.1.2 數(shù)據(jù)倉庫的概念和特征 目前,數(shù)據(jù)倉庫一詞尚沒有一個(gè)統(tǒng)一的定義。 著名的數(shù)據(jù)倉庫專家W.H.Inmon在其著作Building the D

7、ata Warehouse一書中給予如下描述: 數(shù)據(jù)倉庫(Data Warehouse)是一個(gè)面向主題的(Subject Oriented)、集成的(Integrate)、相對穩(wěn)定的(Non-Volatile)、反映歷史變化(Time Variant)的數(shù)據(jù)集合,用于支持管理決策。數(shù)據(jù)倉庫概念的兩個(gè)層次 功能上:數(shù)據(jù)倉庫用于支持決策,面向分析型數(shù)據(jù)處理,它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫; 內(nèi)容和特征上:數(shù)據(jù)倉庫是對多個(gè)異構(gòu)的數(shù)據(jù)源有效集成,集成后按照主題進(jìn)行了重組,并包含歷史數(shù)據(jù),而且存放在數(shù)據(jù)倉庫中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉庫四個(gè)特點(diǎn)-面向主題傳統(tǒng)的數(shù)據(jù)庫是面向應(yīng)用而進(jìn)行數(shù)據(jù)組織的,其抽象程度

8、不夠高,沒有完全實(shí)現(xiàn)數(shù)據(jù)與應(yīng)用的分離。但這種方式能較好地將企業(yè)業(yè)務(wù)活動與數(shù)據(jù)庫模式相對應(yīng),利于從手工處理向計(jì)算機(jī)處理過渡,因而具有較好的可操作性;數(shù)據(jù)倉庫是面向主題而進(jìn)行數(shù)據(jù)組織的。主題是一個(gè)在較高層次上對數(shù)據(jù)的抽象,在邏輯意義上,它是對企業(yè)中某一宏觀領(lǐng)域所涉及的分析對象,即將數(shù)據(jù)組織成主題域。例如,在銀行經(jīng)營運(yùn)作中,業(yè)務(wù)(存款、貸款、匯兌)、貨幣、客戶、機(jī)構(gòu)、會計(jì)科目是其主要構(gòu)架或方向,因此在銀行業(yè)務(wù)數(shù)據(jù)倉庫中,選擇業(yè)務(wù)、貨幣、客戶、機(jī)構(gòu)、會計(jì)科目五個(gè)主題,并將會計(jì)科目作為連接其他四個(gè)主題的交易主題進(jìn)行處理。面向主題可以獨(dú)立于數(shù)據(jù)處理邏輯,適用于分析型數(shù)據(jù)環(huán)境,適用于建設(shè)企業(yè)全局?jǐn)?shù)據(jù)庫;數(shù)據(jù)

9、倉庫中目前仍采用關(guān)系數(shù)據(jù)庫技術(shù)來實(shí)現(xiàn),其面向主題所作較高程度上的抽象,應(yīng)強(qiáng)調(diào)其邏輯意義。數(shù)據(jù)倉庫四個(gè)特點(diǎn)-集成的面向事務(wù)處理的操作型數(shù)據(jù)庫通常與某些特定的應(yīng)用相關(guān),數(shù)據(jù)庫之間相互獨(dú)立,并且往往是異構(gòu)的。在數(shù)據(jù)倉庫的所有特性之中,這是最重要的。應(yīng)用問題的設(shè)計(jì)人員歷經(jīng)多年制定出來的不同的設(shè)計(jì)決策有很多很多種不同的表示方法,沒有什么應(yīng)用在編碼、命名習(xí)慣、實(shí)際屬性、屬性度量等方面是一致的,各個(gè)應(yīng)用問題設(shè)計(jì)員自由地做出他或她自己的設(shè)計(jì)決策。數(shù)據(jù)倉庫中的數(shù)據(jù)是集成的。而數(shù)據(jù)倉庫中的數(shù)據(jù)是在對原有分散的數(shù)據(jù)庫數(shù)據(jù)抽取、清理的基礎(chǔ)上經(jīng)過系統(tǒng)加工、匯總和整理得到的,必須消除源數(shù)據(jù)中的不一致性,以保證數(shù)據(jù)倉庫內(nèi)的

10、信息是關(guān)于整個(gè)企業(yè)的一致的全局信息。在數(shù)據(jù)倉庫建設(shè)中,這是最關(guān)鍵最復(fù)雜的一個(gè)步驟,主要工作有:一是,進(jìn)行數(shù)據(jù)的綜合和計(jì)算;二是,統(tǒng)一源數(shù)據(jù)中所有不一致和矛盾的地方(如同名異義、異名同義、字長不一致、單位不一致等)。數(shù)據(jù)倉庫四個(gè)特點(diǎn)-相對穩(wěn)定的 操作型數(shù)據(jù)庫中的數(shù)據(jù)通常實(shí)時(shí)更新,數(shù)據(jù)根據(jù)需要及時(shí)發(fā)生變化。數(shù)據(jù)倉庫的數(shù)據(jù)主要供企業(yè)決策分析之用,所涉及的數(shù)據(jù)操作主要是數(shù)據(jù)查詢,一旦某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉庫以后,一般情況下將被長期保留,也就是數(shù)據(jù)倉庫中一般有大量的查詢操作,但修改和刪除操作很少,通常只需要定期的加載、刷新。數(shù)據(jù)倉庫四個(gè)特點(diǎn)-相對穩(wěn)定的數(shù)據(jù)倉庫四個(gè)特點(diǎn)-反映歷史變化操作型數(shù)據(jù)庫主要關(guān)心當(dāng)前某

11、一個(gè)時(shí)間段內(nèi)的數(shù)據(jù),而數(shù)據(jù)倉庫中的數(shù)據(jù)通常包含歷史信息,系統(tǒng)記錄了企業(yè)從過去某一時(shí)點(diǎn)(如開始應(yīng)用數(shù)據(jù)倉庫的時(shí)點(diǎn))到目前的各個(gè)階段的信息,通過這些信息,可以對企業(yè)的發(fā)展歷程和未來趨勢做出定量分析和預(yù)測。數(shù)據(jù)倉庫中的數(shù)據(jù)時(shí)間期限要遠(yuǎn)遠(yuǎn)長于操作型系統(tǒng)中的數(shù)據(jù)時(shí)間期限。操作型系統(tǒng)的時(shí)間期限一般是6 09 0天,而數(shù)據(jù)倉庫中數(shù)據(jù)的時(shí)間期限通常是51 0年。操作型數(shù)據(jù)庫含有“當(dāng)前值”的數(shù)據(jù),這些數(shù)據(jù)的準(zhǔn)確性在訪問時(shí)是有效的,同樣當(dāng)前值的數(shù)據(jù)能被更新。而數(shù)據(jù)倉庫中的數(shù)據(jù)僅僅是一系列某一時(shí)刻生成的復(fù)雜的快照。操作型數(shù)據(jù)的鍵碼結(jié)構(gòu)可能包含也可能不包含時(shí)間元素,如年、月、日等。而數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時(shí)間元

12、素。數(shù)據(jù)倉庫的數(shù)據(jù)碼鍵都包含時(shí)間項(xiàng),用作標(biāo)明數(shù)據(jù)的歷史時(shí)期。數(shù)據(jù)倉庫中的數(shù)據(jù)包含有大量綜合數(shù)據(jù),很多與時(shí)間有關(guān),如按時(shí)間段進(jìn)行綜合或隔時(shí)間片進(jìn)行抽樣。隨著時(shí)間變化,數(shù)據(jù)倉庫需要不斷增加新數(shù)據(jù)、刪去舊數(shù)據(jù)。數(shù)據(jù)倉庫四個(gè)特點(diǎn)-反映歷史變化數(shù)據(jù)倉庫本質(zhì) 數(shù)據(jù)倉庫實(shí)際上是一個(gè)“以大型數(shù)據(jù)管理信息系統(tǒng)為基礎(chǔ)的、附加在這個(gè)數(shù)據(jù)庫系統(tǒng)之上的、存儲了從企業(yè)所有業(yè)務(wù)數(shù)據(jù)庫中獲取的綜合數(shù)據(jù)的、并能利用這些綜合數(shù)據(jù)為用戶提供經(jīng)過處理后的有用信息的應(yīng)用系統(tǒng)”。 如果說傳統(tǒng)數(shù)據(jù)庫系統(tǒng)的重點(diǎn)與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進(jìn)數(shù)據(jù)庫中的話,那么數(shù)據(jù)倉庫的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)庫中取出數(shù)據(jù),經(jīng)過加

13、工轉(zhuǎn)換成有規(guī)律信息之后,再供管理人員進(jìn)行分析使用。 數(shù)據(jù)倉庫所要研究和解決的問題就是從數(shù)據(jù)庫中獲取信息。 5.1.3 數(shù)據(jù)倉庫的內(nèi)容 數(shù)據(jù)倉庫并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ),也沒有成熟的基本模式,且更偏向于工程,具有強(qiáng)烈的工程性。因此,在技術(shù)上人們習(xí)慣于從工作過程等方面來分析,并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲與管理以及數(shù)據(jù)的表現(xiàn)等三個(gè)基本方面。 數(shù)據(jù)的抽取 數(shù)據(jù)的抽取是數(shù)據(jù)進(jìn)入倉庫的入口。由于數(shù)據(jù)倉庫是一個(gè)獨(dú)立的數(shù)據(jù)環(huán)境,它需要通過抽取過程將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理系統(tǒng)、外部數(shù)據(jù)源、脫機(jī)的數(shù)據(jù)存儲介質(zhì)中導(dǎo)入到數(shù)據(jù)倉庫。數(shù)據(jù)抽取在技術(shù)上主要涉及互連、復(fù)制、增量、轉(zhuǎn)換、調(diào)度和監(jiān)控等方面。數(shù)據(jù)倉庫中的數(shù)據(jù)

14、并不要求與聯(lián)機(jī)事務(wù)處理系統(tǒng)保持實(shí)時(shí)同步,因此數(shù)據(jù)抽取可以定時(shí)進(jìn)行,但多個(gè)抽取操作執(zhí)行的時(shí)間、相互的順序、成敗對數(shù)據(jù)倉庫中信息的有效性則至關(guān)重要。存儲和管理 數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫,同時(shí)也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心,則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。 數(shù)據(jù)的表現(xiàn) 數(shù)據(jù)表現(xiàn)實(shí)際上相當(dāng)于數(shù)據(jù)倉庫的門面,其性能主要集中在多維分析、數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘方面。而多維分析又是數(shù)據(jù)倉庫的重要表現(xiàn)形式,近幾年來由于互聯(lián)網(wǎng)的發(fā)展,使得多維分析領(lǐng)域的工具和產(chǎn)品更加注重提供基于Web前端聯(lián)機(jī)分析界面,而不僅僅

15、是在網(wǎng)上發(fā)布數(shù)據(jù)。 5.1.4 數(shù)據(jù)倉庫系統(tǒng)體系結(jié)構(gòu) 數(shù)據(jù)源 數(shù)據(jù)源是數(shù)據(jù)倉庫系統(tǒng)的基礎(chǔ),是整個(gè)系統(tǒng)的數(shù)據(jù)源泉。通常包括企業(yè)內(nèi)部信息和外部信息。內(nèi)部信息包括各種業(yè)務(wù)處理數(shù)據(jù)和各類文檔數(shù)據(jù)。外部信息包括各類法律法規(guī)、市場信息和競爭對手的信息等等。 數(shù)據(jù)的存儲與管理 數(shù)據(jù)的存儲與管理是整個(gè)數(shù)據(jù)倉庫系統(tǒng)的核心。數(shù)據(jù)倉庫的真正關(guān)鍵是數(shù)據(jù)的存儲和管理。數(shù)據(jù)倉庫的組織管理方式?jīng)Q定了它有別于傳統(tǒng)數(shù)據(jù)庫,同時(shí)也決定了其對外部數(shù)據(jù)的表現(xiàn)形式。要決定采用什么產(chǎn)品和技術(shù)來建立數(shù)據(jù)倉庫的核心,則需要從數(shù)據(jù)倉庫的技術(shù)特點(diǎn)著手分析。針對現(xiàn)有各業(yè)務(wù)系統(tǒng)的數(shù)據(jù),進(jìn)行抽取、清理,并有效集成,按照主題進(jìn)行組織。數(shù)據(jù)倉庫按照數(shù)據(jù)的

16、覆蓋范圍可以分為企業(yè)級數(shù)據(jù)倉庫和部門級數(shù)據(jù)倉庫(通常稱為數(shù)據(jù)集市)。 OLAP服務(wù)器 OLAP服務(wù)器對分析需要的數(shù)據(jù)進(jìn)行有效集成,按多維模型予以組織,以便進(jìn)行多角度、多層次的分析,并發(fā)現(xiàn)趨勢。其具體實(shí)現(xiàn)可以分為:ROLAP、MOLAP和HOLAP。ROLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放在RDBMS之中;MOLAP基本數(shù)據(jù)和聚合數(shù)據(jù)均存放于多維數(shù)據(jù)庫中;HOLAP基本數(shù)據(jù)存放于RDBMS之中,聚合數(shù)據(jù)存放于多維數(shù)據(jù)庫中。前端工具 前端工具主要包括各種報(bào)表工具、查詢工具、數(shù)據(jù)分析工具、數(shù)據(jù)挖掘工具以及各種基于數(shù)據(jù)倉庫或數(shù)據(jù)集市的應(yīng)用開發(fā)工具。其中數(shù)據(jù)分析工具主要針對OLAP服務(wù)器,報(bào)表工具、數(shù)據(jù)挖掘工

17、具主要針對數(shù)據(jù)倉庫。 數(shù)據(jù)倉庫概述小結(jié)5.1.1 數(shù)據(jù)倉庫的產(chǎn)生5.1.2 數(shù)據(jù)倉庫概念及特征5.1.3 數(shù)據(jù)倉庫的內(nèi)容5.1.4 數(shù)據(jù)倉庫系統(tǒng)的體系結(jié)構(gòu)數(shù)據(jù)倉庫的項(xiàng)目實(shí)施數(shù)據(jù)倉庫系統(tǒng)是一種解決問題的過程,而不是一個(gè)可以買到的現(xiàn)成產(chǎn)品。不同企業(yè)會有不同的數(shù)據(jù)倉庫。企業(yè)人員往往不懂如何建立和利用數(shù)據(jù)倉庫,發(fā)揮其決策支持的作用,而數(shù)據(jù)倉庫公司人員又不懂業(yè)務(wù),不知道建立哪些決策主題,從數(shù)據(jù)源中抽取哪些數(shù)據(jù)。這需要雙方互相溝通,共同協(xié)商開發(fā)數(shù)據(jù)倉庫,因此是一個(gè)不斷往復(fù)前進(jìn)的過程。數(shù)據(jù)倉庫的建設(shè)是一個(gè)系統(tǒng)工程,是一個(gè)不斷建立、發(fā)展、完善的過程,通常需要較長的時(shí)間。這就要求各企業(yè)對整個(gè)系統(tǒng)的建設(shè)提出一個(gè)全

18、面、清晰的遠(yuǎn)景規(guī)劃及技術(shù)實(shí)施藍(lán)圖,將整個(gè)項(xiàng)目的實(shí)施分成若干個(gè)階段,以“總體規(guī)劃、分步實(shí)施、步步見效”為原則,不僅可迅速從當(dāng)前投資中獲得收益,而且可以在已有的基礎(chǔ)上,結(jié)合其他已有的業(yè)務(wù)系統(tǒng),逐步構(gòu)建起完整、健壯的數(shù)據(jù)倉庫系統(tǒng)。 數(shù)據(jù)倉庫的項(xiàng)目實(shí)施 數(shù)據(jù)倉庫提供了有效地存取和管理大量數(shù)據(jù)的理想環(huán)境,而數(shù)據(jù)倉庫系統(tǒng)的建立是一個(gè)由數(shù)據(jù)驅(qū)動、以技術(shù)支撐并滿足應(yīng)用需求的不斷增長和完善的開發(fā)過程。因此數(shù)據(jù)倉庫的建立可以從數(shù)據(jù)、技術(shù)和應(yīng)用三方面展開。數(shù)據(jù)倉庫的項(xiàng)目實(shí)施項(xiàng)目計(jì)劃 項(xiàng)目計(jì)劃是指定義創(chuàng)建數(shù)據(jù)倉庫的項(xiàng)目目標(biāo)和確定項(xiàng)目范圍,包括對項(xiàng)目計(jì)劃的評估和流程的調(diào)整。數(shù)據(jù)倉庫在構(gòu)建之初應(yīng)明確其主題,主題是一個(gè)在較

19、高層次將數(shù)據(jù)歸類的標(biāo)準(zhǔn),每一個(gè)主題對應(yīng)一個(gè)宏觀的分析領(lǐng)域,針對具體決策需求可細(xì)化為多個(gè)主題表,具體來說就是確定決策涉及的范圍和所要解決的問題。但是主題的確定必須建立在現(xiàn)有聯(lián)機(jī)事務(wù)處理(OLTP)系統(tǒng)基礎(chǔ)上,否則按此主題設(shè)計(jì)的數(shù)據(jù)倉庫存儲結(jié)構(gòu)將成為一個(gè)空殼,缺少可存儲的數(shù)據(jù)。但一味注重OLTP數(shù)據(jù)信息,也將導(dǎo)致迷失數(shù)據(jù)提取方向,偏離主題。需要在OLTP數(shù)據(jù)和主題之間找到一個(gè)“平衡點(diǎn)”,根據(jù)主題的需要完整地收集數(shù)據(jù),這樣構(gòu)建的數(shù)據(jù)倉庫才能滿足決策和分析的需要。確定范圍的主要任務(wù)包括了解方向性分析處理需求,確定信息需求,確定數(shù)據(jù)覆蓋范圍。方向性需求包括:決策類型、決策者感興趣的問題(或?qū)ο螅┑?。在確

20、定范圍時(shí)應(yīng)該重視的因素是必須用戶驅(qū)動和數(shù)據(jù)驅(qū)動相結(jié)合,同時(shí)可以借鑒國內(nèi)外已有的成功經(jīng)驗(yàn)。 業(yè)務(wù)需求分析 業(yè)務(wù)需求分析是數(shù)據(jù)倉庫中一個(gè)很重要的階段,好的業(yè)務(wù)需求分析會使項(xiàng)目成功的機(jī)率大大增加。分析階段主要包括兩個(gè)方面的任務(wù)是深入了解數(shù)據(jù)源和分析數(shù)據(jù)倉庫系統(tǒng)所包含的主題域及其相互之間的關(guān)系。分析階段必須堅(jiān)持用戶參與,并且與原有系統(tǒng)開發(fā)或維護(hù)人員進(jìn)行深入的溝通。 數(shù)據(jù)線 數(shù)據(jù)線的實(shí)施可以分為模型設(shè)計(jì)、物理設(shè)計(jì)、數(shù)據(jù)預(yù)處理三個(gè)步驟,用以滿足對數(shù)據(jù)的有效組織和管理。 數(shù)據(jù)線-模型設(shè)計(jì) 需求分析已經(jīng)確定了用戶業(yè)務(wù)分析所需要的數(shù)據(jù)。模型設(shè)計(jì)階段將確定數(shù)據(jù)倉庫系統(tǒng)將來的藍(lán)圖。 數(shù)據(jù)倉庫的邏輯設(shè)計(jì)一般采用星型模

21、型和雪花模型設(shè)計(jì)其數(shù)據(jù)模型。包括選擇合適的主題,確定事實(shí)表、相關(guān)的維、屬性和粒度劃分,設(shè)計(jì)正確的表結(jié)構(gòu)和主鍵、外鍵關(guān)系等。 模型設(shè)計(jì)主要包括四個(gè)基本步驟:確定合適的主題、劃分粒度層次、設(shè)計(jì)維表和設(shè)計(jì)事實(shí)表。 數(shù)據(jù)線-模型設(shè)計(jì)ER圖數(shù)據(jù)線-模型設(shè)計(jì)三維透視圖數(shù)據(jù)線-模型設(shè)計(jì)ER圖中所示的數(shù)據(jù)模型中有四個(gè)相互關(guān)聯(lián)的簡單實(shí)體。如果數(shù)據(jù)庫設(shè)計(jì)只需要考慮數(shù)據(jù)模型的話,可以推斷所有的實(shí)體都是平等關(guān)系。換言之,從數(shù)據(jù)模型的設(shè)計(jì)角度來看,所有的實(shí)體之間的關(guān)系是對等的。僅僅從數(shù)據(jù)模型的角度來著手設(shè)計(jì)數(shù)據(jù)倉庫會產(chǎn)生一種“平面”效應(yīng)。實(shí)際上,由于種種原因,數(shù)據(jù)倉庫的實(shí)體絕不會是相互對等的。一些實(shí)體,要求有它們自己的

22、特別處理。為了明確為什么從數(shù)據(jù)模型的角度看一個(gè)組織中的數(shù)據(jù)和關(guān)系會發(fā)生失真,根據(jù)在數(shù)據(jù)倉庫中建立實(shí)體時(shí)將載入數(shù)據(jù)實(shí)體的數(shù)據(jù)量,我們來考慮數(shù)據(jù)倉庫中數(shù)據(jù)的一種三維透視。三維透視圖表明了這種三維透視。代表供應(yīng)商、客戶、產(chǎn)品、發(fā)貨的實(shí)體被稀疏地載入,而代表訂單的實(shí)體則大量地載入。將會有大量的數(shù)據(jù)載入代表訂單實(shí)體的表中,而在代表別的實(shí)體的表中載入的數(shù)據(jù)量則相對較少。由于大量的數(shù)據(jù)要載入訂單實(shí)體,因此需要一種不同的設(shè)計(jì)處理方式。數(shù)據(jù)線-模型設(shè)計(jì) 用來管理數(shù)據(jù)倉庫中載入某個(gè)實(shí)體的大量數(shù)據(jù)的設(shè)計(jì)結(jié)構(gòu)通常用“星型連接”。 首先確立主題,訂單是有大量數(shù)據(jù)的重要主題,那么“訂單”位于星型連接的中央。 在其周圍分別

23、是“產(chǎn)品”、“客戶”、“供應(yīng)商”和“發(fā)貨”實(shí)體。這些實(shí)體僅僅會產(chǎn)生不大的數(shù)據(jù)量。 星型連接中央的“訂單”被稱作是“事實(shí)表”,而其周圍的其他實(shí)體“產(chǎn)品”、“客戶”、“供應(yīng)商”和“發(fā)貨”則被稱為“維表”。 事實(shí)表包含了“訂單”獨(dú)有的標(biāo)識數(shù)據(jù),也包含了訂單本身的獨(dú)有數(shù)據(jù)。事實(shí)表還包含了指向其周圍的表維表的外鍵。數(shù)據(jù)線-模型設(shè)計(jì)數(shù)據(jù)線-模型設(shè)計(jì) 創(chuàng)建和使用星型連接的一個(gè)有趣的方面是,在很多情況下,文本數(shù)據(jù)與數(shù)值數(shù)據(jù)是分離開的。 文本數(shù)據(jù)常出現(xiàn)在維表中,數(shù)值數(shù)據(jù)常出現(xiàn)在事實(shí)表中,這種劃分似乎在所有情況都會發(fā)生。數(shù)據(jù)線-模型設(shè)計(jì)數(shù)據(jù)線-模型設(shè)計(jì) 創(chuàng)建和使用星型連接的好處是可以為決策支持系統(tǒng)的處理優(yōu)化數(shù)據(jù)。

24、通過數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余,設(shè)計(jì)者為訪問和分析過程大大簡化了數(shù)據(jù),這正是數(shù)據(jù)倉庫所需要的。 如果不是在決策支持系統(tǒng)數(shù)據(jù)倉庫環(huán)境中使用星型連接,則會有很多的缺點(diǎn)。在決策支持系統(tǒng)數(shù)據(jù)倉庫環(huán)境以外,常有數(shù)據(jù)更新,而且數(shù)據(jù)關(guān)系的管理要在秒的一級上進(jìn)行。在這種情況下星型連接在創(chuàng)建和維護(hù)上就是很麻煩的數(shù)據(jù)結(jié)構(gòu)。但是由于數(shù)據(jù)倉庫是一個(gè)裝載訪問環(huán)境,它包括很多歷史數(shù)據(jù),且有大量的數(shù)據(jù)要管理,因此,星型連接的數(shù)據(jù)結(jié)構(gòu)是十分理想的。數(shù)據(jù)線-模型設(shè)計(jì) 雪花模型 。雪花模型是對星型模型的擴(kuò)展,每個(gè)維表都可以向外連接到多個(gè)詳細(xì)類別表 。 雪花模型對星型模型的維表進(jìn)一步層次化,原有的各維表可能被擴(kuò)展為小的事實(shí)表

25、,形成一些局部的“層次”區(qū)域。在維表上連接對事實(shí)表進(jìn)行詳細(xì)描述的詳細(xì)類別表,達(dá)到了縮小事實(shí)表,提高查詢效率的目的。數(shù)據(jù)線-模型設(shè)計(jì)數(shù)據(jù)線-模型設(shè)計(jì) 雪花模型的優(yōu)點(diǎn)是:通過最大限度的減少數(shù)據(jù)存儲量以及聯(lián)合較小的維表來改善查詢性能。 雪花模型增加了用戶必須處理的表數(shù)量,增加了某些查詢的復(fù)雜性,但這種方式可以使系統(tǒng)進(jìn)一步專業(yè)化和實(shí)用化,同時(shí)降低了系統(tǒng)的通用程度。 數(shù)據(jù)線-物理設(shè)計(jì) 物理設(shè)計(jì)的主要任務(wù)是定義支持模型設(shè)計(jì)必需的物理結(jié)構(gòu)。其過程包括以下三個(gè)方面:1)確定物理存儲結(jié)構(gòu);2)確定索引策略;3)確定存儲分配。 數(shù)據(jù)線-數(shù)據(jù)處理(1)數(shù)據(jù)預(yù)處理。它是數(shù)據(jù)倉庫設(shè)計(jì)工程中非常重要的過程,它由三個(gè)主要步

26、驟組成:抽?。‥xtraction)、轉(zhuǎn)換(Transformation)、加載(Load),簡稱ETL。抽取過程將會暴露源系統(tǒng)中數(shù)據(jù)的質(zhì)量問題。由于數(shù)據(jù)的質(zhì)量嚴(yán)重影響著數(shù)據(jù)倉庫的可信程度,因此在數(shù)據(jù)預(yù)處理過程中,需要提高數(shù)據(jù)質(zhì)量,讓數(shù)據(jù)倉庫使用真正有效的數(shù)據(jù)。目前有很多工具可以幫助用戶完成數(shù)據(jù)抽取、轉(zhuǎn)換和裝載工作,但是還有相當(dāng)一部分工作是要手工編程來完成的。根據(jù)元數(shù)據(jù)庫中的主題表定義、數(shù)據(jù)源定義、數(shù)據(jù)抽取規(guī)則定義對異地異構(gòu)數(shù)據(jù)源(包括各平臺的數(shù)據(jù)庫、文本文件、HTML文件、知識庫等)進(jìn)行清理、轉(zhuǎn)換,對數(shù)據(jù)進(jìn)行重新組織和加工,裝載到數(shù)據(jù)倉庫的目標(biāo)庫中。在組織不同來源的數(shù)據(jù)過程中,先將數(shù)據(jù)轉(zhuǎn)換成

27、一種中間模式,再把它移至臨時(shí)工作區(qū)。加工數(shù)據(jù)是保證目標(biāo)數(shù)據(jù)庫中數(shù)據(jù)的完整性、一致性。例如,有兩個(gè)數(shù)據(jù)源存儲與人員有關(guān)的信息,在定義數(shù)據(jù)組成的人員編碼類型時(shí),可能一個(gè)是字符型,一個(gè)是整型;在定義人員性別這一屬性的類型時(shí),一個(gè)可能是char(2),存儲的數(shù)據(jù)值為“男”和“女”,而另一個(gè)屬性類型為char(1),數(shù)據(jù)值為“F”和“M”。這兩個(gè)數(shù)據(jù)源的值都是正確的,但對于目標(biāo)數(shù)據(jù)來說,必須加工為一種統(tǒng)一的方法來表示該屬性值,然后交由最終用戶進(jìn)行驗(yàn)證,這樣才能保證數(shù)據(jù)的質(zhì)量。在數(shù)據(jù)抽取過程中,必須在最終用戶的密切配合下,才能實(shí)現(xiàn)數(shù)據(jù)的真正統(tǒng)一。(2)數(shù)據(jù)使用。(3)數(shù)據(jù)維護(hù)。數(shù)據(jù)倉庫規(guī)模一般都很大,從建

28、立之初就要保證它的可管理性,一個(gè)企業(yè)可能建立幾個(gè)數(shù)據(jù)倉庫或數(shù)據(jù)集市,但他們可共用一個(gè)元數(shù)據(jù)庫對其進(jìn)行管理。首先從元數(shù)據(jù)庫查詢所需元數(shù)據(jù),然后進(jìn)行數(shù)據(jù)倉庫更新作業(yè),更新結(jié)束后,將更新情況記錄于元數(shù)據(jù)庫中。當(dāng)數(shù)據(jù)源的運(yùn)行環(huán)境、結(jié)構(gòu)及目標(biāo)數(shù)據(jù)的維護(hù)計(jì)劃發(fā)生變化時(shí),需要修改元數(shù)據(jù)。元數(shù)據(jù)是數(shù)據(jù)倉庫的重要組成部分,元數(shù)據(jù)的質(zhì)量決定整個(gè)數(shù)據(jù)倉庫的質(zhì)量。 技術(shù)線 技術(shù)線的實(shí)施分為技術(shù)選擇和產(chǎn)品選擇兩個(gè)步驟。如何采用合理有效的技術(shù)是實(shí)現(xiàn)一個(gè)好的數(shù)據(jù)倉庫系統(tǒng)的基本條件。在數(shù)據(jù)倉庫建立的過程中會遇到一些新的特定的問題,如管理大量數(shù)據(jù)的需求,如何對數(shù)據(jù)進(jìn)行快速和方便的訪問等。為解決這些問題人們采用了新的技術(shù)。技術(shù)體

29、系選擇必須從為這些技術(shù)建立全局的結(jié)構(gòu)框架和視角出發(fā),選擇中需要同時(shí)考慮三個(gè)因素:商業(yè)需求、當(dāng)前的技術(shù)環(huán)境、計(jì)劃的策略技術(shù)方向。技術(shù)體系確定以后需要選擇實(shí)現(xiàn)數(shù)據(jù)倉庫應(yīng)用的各種產(chǎn)品,包括硬件平臺、ETL工具、OLAP服務(wù)器、數(shù)據(jù)展現(xiàn)工具等,并進(jìn)行產(chǎn)品的安裝和測試?,F(xiàn)在市場上的數(shù)據(jù)倉庫產(chǎn)品有很多,數(shù)據(jù)倉庫廠商通常都提出了自己的一系列解決方案,限于篇幅,在這里不再展開,而主要著眼于數(shù)據(jù)倉庫實(shí)現(xiàn)的一些關(guān)鍵技術(shù),以便對數(shù)據(jù)倉庫的建立有更深層的理解。 應(yīng)用線 應(yīng)用線的實(shí)施分為應(yīng)用設(shè)計(jì)和應(yīng)用開發(fā)兩個(gè)步驟。數(shù)據(jù)倉庫的建立最終是為應(yīng)用服務(wù)的,所以需要對應(yīng)用進(jìn)行設(shè)計(jì)和開發(fā),以更好地滿足用戶的需要。數(shù)據(jù)倉庫的建立是為

30、滿足用戶的不同查詢需求服務(wù)的,用戶的需求可能是只訪問一些預(yù)定義的查詢、生成報(bào)表等簡單操作,也可能是自己定義復(fù)雜的查詢,直接分析數(shù)據(jù)倉庫中存放的各種數(shù)據(jù)。因此,需要設(shè)計(jì)合適的應(yīng)用工具,為不同的用戶提供友好的用戶界面。應(yīng)用設(shè)計(jì)和開發(fā)的一個(gè)有效辦法是針對不同的用戶需求,設(shè)計(jì)和實(shí)現(xiàn)標(biāo)準(zhǔn)的用戶應(yīng)用模板,提供給用戶高效的接入方式。應(yīng)用設(shè)計(jì)的任務(wù)是設(shè)計(jì)標(biāo)準(zhǔn)的用戶應(yīng)用模板。應(yīng)用設(shè)計(jì)的過程一般包括:確定初始的模板集、設(shè)計(jì)模板的標(biāo)準(zhǔn)、設(shè)計(jì)詳細(xì)模板、最后通過用戶反饋進(jìn)行改進(jìn)。應(yīng)用開發(fā)是通過應(yīng)用設(shè)計(jì)說明書,按照標(biāo)準(zhǔn)的軟件開發(fā)流程,實(shí)現(xiàn)模板的設(shè)計(jì)。應(yīng)用開發(fā)的一般過程是選擇實(shí)現(xiàn)的方法,然后進(jìn)行模板的實(shí)現(xiàn)、測試和數(shù)據(jù)驗(yàn)證,

31、最后是應(yīng)用模板的維護(hù)。應(yīng)用是數(shù)據(jù)倉庫建立的最終目的,對于應(yīng)用提出的要求,數(shù)據(jù)倉庫建立過程中是必須加以充分考慮的。 系統(tǒng)運(yùn)行維護(hù) 數(shù)據(jù)倉庫建成后就進(jìn)入運(yùn)行維護(hù),在運(yùn)行中要不斷驗(yàn)證評價(jià)分析設(shè)計(jì)是否符合用戶需求,產(chǎn)生出新的分析要求及時(shí)反饋回需求分析,進(jìn)行系統(tǒng)設(shè)計(jì)的改進(jìn)。運(yùn)行維護(hù)分為目標(biāo)數(shù)據(jù)維護(hù)和元數(shù)據(jù)維護(hù)兩方面。目標(biāo)數(shù)據(jù)維護(hù)是根據(jù)元數(shù)據(jù)庫所定義的更新頻率、更新數(shù)據(jù)項(xiàng)等更新計(jì)劃任務(wù)來刷新數(shù)據(jù)倉庫,以反映數(shù)據(jù)源的變化,且對時(shí)間相關(guān)性進(jìn)行處理。更新操作有兩種情況,即在倉庫的原有數(shù)據(jù)表中進(jìn)行某些數(shù)據(jù)的更新和產(chǎn)生一個(gè)新的時(shí)間區(qū)間的數(shù)據(jù),因?yàn)閰R總數(shù)據(jù)與數(shù)據(jù)倉庫中的許多信息元素有關(guān)系,必需完整地匯總,這樣才能保證

32、全體信息的一致性。 數(shù)據(jù)倉庫實(shí)施總的來說,數(shù)據(jù)倉庫的實(shí)施是為了建立一個(gè)良好的數(shù)據(jù)組織和管理環(huán)境,以滿足決策支持的需要。數(shù)據(jù)倉庫包含了數(shù)據(jù)、技術(shù)、應(yīng)用三方面的要求,所以只有把良好的數(shù)據(jù)模型、合理的技術(shù)和準(zhǔn)確的應(yīng)用設(shè)計(jì)結(jié)合起來,形成一套有效的方法,才能建立起一個(gè)成功的數(shù)據(jù)倉庫。數(shù)據(jù)倉庫系統(tǒng)的設(shè)計(jì)是一個(gè)動態(tài)反饋和循環(huán)的過程,以上只完成了數(shù)據(jù)倉庫建立的一個(gè)生命周期。在實(shí)際建立的過程中,一方面數(shù)據(jù)倉庫的數(shù)據(jù)內(nèi)容、結(jié)構(gòu)、粒度和其他物理設(shè)計(jì)需要根據(jù)用戶的反饋信息不斷地調(diào)整完善;另一方面,應(yīng)用環(huán)境發(fā)生重大變化或者新技術(shù)出現(xiàn),都有可能導(dǎo)致用戶的應(yīng)用需求發(fā)生重大變化,使現(xiàn)有系統(tǒng)不能滿足用戶要求,需要重新設(shè)計(jì)系統(tǒng),

33、開始一個(gè)新的生命周期。因此,數(shù)據(jù)倉庫的建立是運(yùn)用一套有效的數(shù)據(jù)倉庫建立方法不斷反復(fù)循環(huán)的過程。粒度問題 粒度問題是設(shè)計(jì)數(shù)據(jù)倉庫的一個(gè)最重要方面。 粒度是指數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級別。細(xì)化程度越高,粒度級就越??;相反,細(xì)化程度越低,粒度級就越大。 在數(shù)據(jù)倉庫環(huán)境中粒度之所以是主要的設(shè)計(jì)問題,是因?yàn)樗钌畹赜绊懘娣旁跀?shù)據(jù)倉庫中的數(shù)據(jù)量的大小,同時(shí)影響數(shù)據(jù)倉庫所能回答的查詢類型。在數(shù)據(jù)倉庫中的數(shù)據(jù)量大小與查詢的詳細(xì)程度之間要作出權(quán)衡。粒度級別低粒度級,每個(gè)活動(如一次電話)被詳細(xì)記錄下來。高粒度級。數(shù)據(jù)代表一位顧客一個(gè)月的綜合信息,每位顧客一個(gè)月只有一個(gè)記錄。粒度級別比較低粒

34、度級,每個(gè)活動(如一次電話)被詳細(xì)記錄下來,數(shù)據(jù)的格式如圖所示。到月底每個(gè)顧客平均有2 0 0條記錄(全月中每個(gè)電話都記錄一次),因而總共需要40 000個(gè)字節(jié)。高粒度級。數(shù)據(jù)代表一位顧客一個(gè)月的綜合信息,每位顧客一個(gè)月只有一個(gè)記錄,這樣的記錄大約只需2 0 0個(gè)字節(jié)。顯然,如果數(shù)據(jù)倉庫的空間很有限的話(數(shù)據(jù)量總是數(shù)據(jù)倉庫中的首要問題),用高粒度級表示數(shù)據(jù)將比用低粒度級表示數(shù)據(jù)的效率要高得多。高粒度級不僅只需要少得多的字節(jié)存放數(shù)據(jù),而且只需要較少的索引項(xiàng)。然而數(shù)據(jù)量大小和原始空間問題不是僅有的應(yīng)考慮的問題。為了訪問大量數(shù)據(jù),其處理能力的大小同樣也是應(yīng)考慮的一個(gè)因素。粒度的權(quán)衡粒度的雙重級別企業(yè)

35、既需要提高存儲與訪問數(shù)據(jù)的效率,又需要非常詳細(xì)地分析數(shù)據(jù)的能力。當(dāng)一個(gè)企業(yè)或組織的數(shù)據(jù)倉庫中擁有大量數(shù)據(jù)時(shí),在數(shù)據(jù)倉庫的細(xì)節(jié)部分考慮雙重(或多重)粒度級是很有意義的。企業(yè)需要多個(gè)粒度級而不是一個(gè)粒度級的需求,是因?yàn)榱6燃壴O(shè)計(jì)采用雙重級別應(yīng)該是幾乎每個(gè)機(jī)構(gòu)默認(rèn)的選擇。數(shù)據(jù)倉庫包括兩種類型的數(shù)據(jù):輕度綜合數(shù)據(jù)和“真實(shí)檔案”細(xì)節(jié)數(shù)據(jù)?!罢鎸?shí)檔案”細(xì)節(jié)數(shù)據(jù)。在操作層是大量的細(xì)節(jié)數(shù)據(jù),其中大部分細(xì)節(jié)是為了滿足結(jié)帳系統(tǒng)的需求。多達(dá)3 0多天的細(xì)節(jié)存放在這種操作層中。輕度綜合數(shù)據(jù)庫中的數(shù)據(jù)量比細(xì)節(jié)數(shù)據(jù)庫中的數(shù)據(jù)量少得多。大部分D S S處理是針對被壓縮的、存取效率高的輕度綜合級數(shù)據(jù)進(jìn)行的。如果什么時(shí)候需要分

36、析更低的細(xì)節(jié)級( 5 %時(shí)間或更少的可能),可以到數(shù)據(jù)的真實(shí)檔案層。鑒于費(fèi)用、效率、訪問便利和能夠回答任何可以回答的查詢的能力,數(shù)據(jù)雙重粒度級是大多數(shù)機(jī)構(gòu)建造數(shù)據(jù)倉庫細(xì)節(jié)級的最好選擇。數(shù)據(jù)倉庫中的數(shù)據(jù)組織 簡單堆積。 輪轉(zhuǎn)綜合。 簡單直接。 連續(xù)。簡單堆積結(jié)構(gòu)數(shù)據(jù)倉庫中最簡單最常用的數(shù)據(jù)組織形式也許是簡單堆積結(jié)構(gòu)。從操作型環(huán)境中取出每天的事務(wù)處理,然后綜合成數(shù)據(jù)倉庫記錄,這個(gè)綜合可根據(jù)顧客、帳目或者任何組織到數(shù)據(jù)倉庫的主題領(lǐng)域來進(jìn)行。這里的事務(wù)處理是以天來進(jìn)行綜合。換句話說,對一個(gè)顧客的一個(gè)帳號的每天的所有活動進(jìn)行合計(jì),并在一天一天的基礎(chǔ)上輸入數(shù)據(jù)倉庫。輪轉(zhuǎn)綜合數(shù)據(jù)存儲 輪轉(zhuǎn)綜合數(shù)據(jù)存儲。 數(shù)

37、據(jù)先用與前面相同的處理方法從操作型環(huán)境輸入到數(shù)據(jù)倉庫環(huán)境中。 然后定期進(jìn)行輪轉(zhuǎn)綜合。第一周的七天中的活動被逐一綜合到七個(gè)每日相應(yīng)的位置,到第八天,將七個(gè)每日位置的數(shù)據(jù)加到一起,并放入第一周的數(shù)據(jù)位置中。然后,第八天的每日總計(jì)加到第一個(gè)每日數(shù)據(jù)位置。月底將每周位置的數(shù)據(jù)加到一起,并放入第一個(gè)每月相應(yīng)的數(shù)據(jù)位置處,然后每周數(shù)據(jù)位置清零。到了年底,將每月位置數(shù)據(jù)加到一起,放入第一個(gè)年度相應(yīng)的數(shù)據(jù)位置處,然后每月數(shù)據(jù)位置清零。輪轉(zhuǎn)綜合數(shù)據(jù)存儲簡單堆積vs輪轉(zhuǎn)綜合簡單直接文件數(shù)據(jù)僅僅是從操作型環(huán)境拖入數(shù)據(jù)倉庫環(huán)境中,并沒有任何累積。簡單直接文件不是在每天的基礎(chǔ)上組織的,而是以較長時(shí)間為單位的,比如一個(gè)星

38、期或一個(gè)月。簡單直接文件是間隔一定時(shí)間的操作型數(shù)據(jù)的一個(gè)快照。連續(xù)文件 依據(jù)兩個(gè)或更多的簡單直接文件能生成一種連續(xù)文件。把1月份和2月份的兩個(gè)數(shù)據(jù)快照合并,創(chuàng)建數(shù)據(jù)的一個(gè)連續(xù)文件。連續(xù)文件中的數(shù)據(jù)代表從第一個(gè)月到最后一個(gè)月的連續(xù)數(shù)據(jù)。 當(dāng)然,連續(xù)文件也可以通過把一個(gè)快照追加到一個(gè)以前生成的連續(xù)文件上來創(chuàng)建。從直接文件創(chuàng)建一個(gè)連續(xù)文件簡單直接文件追加到連續(xù)文件數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) 元數(shù)據(jù)作為數(shù)據(jù)的數(shù)據(jù),可對數(shù)據(jù)倉庫中的各種數(shù)據(jù)進(jìn)行詳細(xì)的描述與說明,說明每個(gè)數(shù)據(jù)的上下文關(guān)系,使每個(gè)數(shù)據(jù)具有符合現(xiàn)實(shí)的真實(shí)含義,使最終用戶了解這些數(shù)據(jù)之間的關(guān)系。 在數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)所扮演的角色和在操作型環(huán)境中

39、數(shù)據(jù)所扮演的角色是不同的。 在操作型環(huán)境中,元數(shù)據(jù)幾乎被當(dāng)成文檔來處理并且降低到同樣的重要性級別。然而,在數(shù)據(jù)倉庫環(huán)境中,元數(shù)據(jù)的重要性提高了。數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)操作型數(shù)據(jù)和數(shù)據(jù)倉庫中的數(shù)據(jù)服務(wù)于兩類不同的群體,操作型數(shù)據(jù)由I T專業(yè)人員使用,許多年來I T人員都是偶然地使用元數(shù)據(jù)。I T專業(yè)人員不僅懂計(jì)算機(jī),而且由于學(xué)歷背景和所受的培訓(xùn),他們會在系統(tǒng)中找到他們自己的方法。然而,數(shù)據(jù)倉庫數(shù)據(jù)是給D S S分析者用的。D S S分析人員通常首先是專業(yè)人員,他們通常沒有很高的計(jì)算機(jī)水平。為了能夠有效地使用數(shù)據(jù)倉庫環(huán)境,D S S分析人員需要盡量多的幫助,而元數(shù)據(jù)恰能很好地幫助他們。另外,在D

40、S S分析者計(jì)劃該怎樣去做信息型/分析型處理時(shí),他們要首先去看元數(shù)據(jù)。由于所服務(wù)的人員的種類不同,以及元數(shù)據(jù)在每天的工作中所起的作用不同,元數(shù)據(jù)在數(shù)據(jù)倉庫環(huán)境中比在操作型環(huán)境中重要得多。元數(shù)據(jù)的類型-按類型分類 (1)關(guān)于基本數(shù)據(jù)的元數(shù)據(jù)?;緮?shù)據(jù):數(shù)據(jù)源、DW、數(shù)據(jù)集市、和應(yīng)用成序管理的所有數(shù)據(jù)。基本數(shù)據(jù)元數(shù)據(jù):包括定義、結(jié)構(gòu)的所有描述。 (2)用于數(shù)據(jù)處理的元數(shù)據(jù) 對數(shù)據(jù)裝載、更新處理、分析處理、管理方面的信息,如數(shù)據(jù)抽取、轉(zhuǎn)換、聚合規(guī)則等的描述。 (3)關(guān)于企業(yè)的組織結(jié)構(gòu)的元數(shù)據(jù) 包括與企業(yè)相關(guān)的管理方面的數(shù)據(jù)和信息,如用戶訪問DW、數(shù)據(jù)源、數(shù)據(jù)集市的權(quán)限信息等等。 元數(shù)據(jù)的類型-按抽象

41、級別分類 (1)概念級:包括業(yè)務(wù)的全部描述,如定義主要的業(yè)務(wù)實(shí)體、特征及其相互關(guān)系。系統(tǒng)的使用方法,已定義的查詢,視圖和現(xiàn)有的應(yīng)用等相關(guān)的信息。 (2)邏輯級:包括數(shù)據(jù)庫的關(guān)系方案,邏輯多維模型等一般用偽碼或數(shù)學(xué)語言描述數(shù)據(jù)抽取/轉(zhuǎn)換規(guī)則等。 (3)物理級:包括業(yè)務(wù)規(guī)則相應(yīng)的SQL代碼、關(guān)系的索引文件、分析應(yīng)用的代碼。元數(shù)據(jù)的類型-按承擔(dān)任務(wù)分類 靜態(tài)元數(shù)據(jù)。靜態(tài)元數(shù)據(jù)主要與數(shù)據(jù)結(jié)構(gòu)有關(guān)。1.名稱類用于為系統(tǒng)提供標(biāo)識時(shí),區(qū)分?jǐn)?shù)據(jù)的符號。2.描述類對DW中的多種數(shù)據(jù)元素進(jìn)行說明。3.格式類提供DW中數(shù)據(jù)的表達(dá)規(guī)則。4.數(shù)據(jù)類型DW中數(shù)據(jù)所持有的類型。5.關(guān)系類說明DW中多種數(shù)據(jù)對像之間的關(guān)系,例

42、如客戶與商品之間有購買關(guān)系。6.域類用于說明DW中數(shù)據(jù)的有效值范圍。7.業(yè)務(wù)規(guī)則類用于說明DW中數(shù)據(jù)在業(yè)務(wù)處理中所要遵守的規(guī)則。例如Customer_ID表示客戶的編號,開頭字母為A表示集體客戶,B為個(gè)人客戶。動態(tài)元數(shù)據(jù)。 動態(tài)元數(shù)據(jù)主要與數(shù)據(jù)的狀態(tài)與使用方法有關(guān)。1.數(shù)據(jù)質(zhì)量表用于描述數(shù)據(jù)倉庫中數(shù)據(jù)的精確度、完整性、一致性和有效性。2.統(tǒng)計(jì)信息類統(tǒng)計(jì)數(shù)據(jù)訪問的用戶,訪問時(shí)間和訪問次數(shù)。這些統(tǒng)計(jì)信息對于數(shù)據(jù)倉庫性能的提高具有較高的參考價(jià)值。3.狀態(tài)類用于跟蹤DW的運(yùn)行情況,例如,數(shù)據(jù)最近一次的備份時(shí)間,備份所需要的時(shí)間,出現(xiàn)的錯(cuò)誤情況等狀況。這些系統(tǒng)運(yùn)行中的狀況有助于DW管理人員對DW性能的了

43、解。4.處理類描述DW系統(tǒng)的使用方法和管理的特性,例如數(shù)據(jù)的使用方法概括數(shù)據(jù)的概括公式等。 元數(shù)據(jù)的內(nèi)容 數(shù)據(jù)源的元數(shù)據(jù) 數(shù)據(jù)模型的元數(shù)據(jù) 數(shù)據(jù)準(zhǔn)備區(qū)元數(shù)據(jù) DBMS元數(shù)據(jù) 前臺元數(shù)據(jù) 元數(shù)據(jù)的內(nèi)容-數(shù)據(jù)源的元數(shù)據(jù) 每個(gè)來源的所有者描述信息 每個(gè)來源的業(yè)務(wù)描述信息 原始來源的更新頻率 每個(gè)來源使用的法律約束 存取方法、存取權(quán)利、特權(quán),以及來源的存取口令 用來實(shí)現(xiàn)抽取過程的程序代碼 自動抽取工具 設(shè)置 特定抽取作業(yè)的結(jié)果信息,包括抽取時(shí)間、抽取內(nèi)容以及完成情況元數(shù)據(jù)內(nèi)容-數(shù)據(jù)模型的元數(shù)據(jù) 企業(yè)概念模型 DW數(shù)據(jù)模型 數(shù)據(jù)源到目標(biāo)的映射 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) 從操作型環(huán)境到數(shù)據(jù)倉庫環(huán)境的映射需要

44、數(shù)據(jù)轉(zhuǎn)換元數(shù)據(jù),沒有這種映射,對接口進(jìn)行控制是非常困難的。元數(shù)據(jù)的內(nèi)容-數(shù)據(jù)準(zhǔn)備區(qū)元數(shù)據(jù) (1) 數(shù)據(jù)傳輸調(diào)度以及特定傳輸?shù)慕Y(jié)果(2) 數(shù)據(jù)準(zhǔn)備區(qū)文件使用情況(3) 用于連接來源、刪除字段、查找屬性的作業(yè)規(guī)范(4) 數(shù)據(jù)清洗規(guī)范(5) 數(shù)據(jù)增強(qiáng)和映射轉(zhuǎn)換(6) DM所要求的轉(zhuǎn)換(比如解釋空值的度量值)(7) 目標(biāo)模式設(shè)計(jì)、來源到目標(biāo)系統(tǒng)的數(shù)據(jù)流,目標(biāo)數(shù)據(jù)的所有者(8) 聚集定義、聚集使用統(tǒng)計(jì)、基本表使用統(tǒng)計(jì)(9) 數(shù)據(jù)來源情況和審核檢查記錄(該記錄真正來自何地、何時(shí))(10)數(shù)據(jù)轉(zhuǎn)換運(yùn)行時(shí)間(11)數(shù)據(jù)轉(zhuǎn)換軟件的版本號(12)數(shù)據(jù)抽取處理的業(yè)務(wù)描述(13)有關(guān)抽取文件、軟件以及元數(shù)據(jù)的安全性設(shè)

45、置(14)數(shù)據(jù)傳輸?shù)陌踩栽O(shè)置(15)數(shù)據(jù)準(zhǔn)備區(qū)的存檔日志和恢復(fù)程序(16)數(shù)據(jù)準(zhǔn)備區(qū)存檔的安全性設(shè)置元數(shù)據(jù)的內(nèi)容-DBMS元數(shù)據(jù) (1) 分區(qū)設(shè)置 (2) 索引 (3) DBMS層次的安全性特權(quán)與授權(quán) (4) 視圖定義 (5) 存儲過程與SQL 管理腳本 (6) DBMS 備份狀態(tài)、備份程序以及備份安全性 數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù) 對于數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)需要細(xì)致管理有另外一個(gè)重要原因,倉庫中數(shù)據(jù)會存在一段很長的時(shí)間從5年到1 0年。而在5年到1 0年這么長的時(shí)間段內(nèi),數(shù)據(jù)倉庫改變它的結(jié)構(gòu)是很正常的。換句話說,一個(gè)數(shù)據(jù)結(jié)構(gòu)能在5到1 0年內(nèi)保持不變是很不平常的。那么,隨著時(shí)間的流逝來跟蹤數(shù)據(jù)

46、結(jié)構(gòu)的變化,則是數(shù)據(jù)倉庫中元數(shù)據(jù)很自然的一項(xiàng)任務(wù)。數(shù)據(jù)倉庫環(huán)境中的元數(shù)據(jù)元數(shù)據(jù)的內(nèi)容-前臺元數(shù)據(jù)(1) 業(yè)務(wù)名稱和有關(guān)列、表以及分組的描述(2) 現(xiàn)有的查詢和和報(bào)告定義(3) 連接規(guī)范工具設(shè)置(4) 打印工具規(guī)范(5) 最終用戶文檔(6) 網(wǎng)絡(luò)安全性用戶特權(quán)概況(7) 網(wǎng)絡(luò)安全性身份驗(yàn)證證書(8) 網(wǎng)絡(luò)安全性使用統(tǒng)計(jì),包括登錄嘗試、存取嘗試以及按位置報(bào)告的用戶標(biāo)識符(9) 個(gè)人用戶概況(10) 有關(guān)數(shù)據(jù)源、表、視圖以及報(bào)告的使用及存取映射 元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 元數(shù)據(jù)實(shí)際上是要解決人在何時(shí)、何地、何因、如何使用DW的問題。 為數(shù)據(jù)倉庫服務(wù)與DSS分析員機(jī)高層決策人員服務(wù)提供便利。 DW元數(shù)

47、據(jù)的廣義索引中存有每次數(shù)據(jù)裝載時(shí)產(chǎn)生的有關(guān)決策的數(shù)據(jù),在做決策時(shí),可以先查詢該部分?jǐn)?shù)據(jù),再決定是否進(jìn)行進(jìn)一步的搜索。 解決操作型環(huán)境和DW的復(fù)雜關(guān)系。從OLTP到DW的轉(zhuǎn)換是復(fù)雜的多方面的。元數(shù)據(jù)應(yīng)包括對這種轉(zhuǎn)換的描述。并清晰的表示出來,管理起來。既保證這種轉(zhuǎn)換是正確的、合理的,又要使其是可變的。靈活的。元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 元數(shù)據(jù)在數(shù)據(jù)倉庫開發(fā)期間的使用。 數(shù)據(jù)倉庫的開發(fā)過程是一個(gè)構(gòu)造工程的過程,必須提供清晰的文檔。 這個(gè)過程產(chǎn)生的元數(shù)據(jù)主要用于DW的應(yīng)用管理目的。描述DW目錄表的每個(gè)運(yùn)作的模式,還須捕獲用于數(shù)據(jù)的轉(zhuǎn)化、凈化、轉(zhuǎn)移、概括和聚集的商業(yè)規(guī)則與處理規(guī)則。元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用

48、 元數(shù)據(jù)在數(shù)據(jù)源抽取中的作用。元數(shù)據(jù)對多個(gè)來源的數(shù)據(jù)集成發(fā)揮著關(guān)鍵作用。 資源領(lǐng)域的確定。利用元數(shù)據(jù)可以確定將數(shù)據(jù)元的哪些資源加載到DW中。 跟蹤歷史數(shù)據(jù)結(jié)構(gòu)變化過程。 屬性到屬性的映射。 屬性轉(zhuǎn)換。元數(shù)據(jù)在數(shù)據(jù)倉庫中的作用 元數(shù)據(jù)在數(shù)據(jù)求精與重構(gòu)工程上的應(yīng)用。 數(shù)據(jù)求精與重構(gòu)工程負(fù)責(zé)凈化資源中的數(shù)據(jù)、增加資源戳和時(shí)間戳,將數(shù)據(jù)轉(zhuǎn)換為符合數(shù)據(jù)倉庫的數(shù)據(jù)格式,預(yù)算概括和衍生數(shù)據(jù)的值。 數(shù)據(jù)倉庫主要應(yīng)用 數(shù)據(jù)倉庫直接訪問 使用瀏覽分析工具在DW中尋找有用的信息。 數(shù)據(jù)倉庫系統(tǒng)支持在DW上的應(yīng)用,形成決策支持系統(tǒng)(DSS)。數(shù)據(jù)倉庫主要應(yīng)用在證券業(yè)的應(yīng)用 :可處理客戶分析、帳戶分析、證券交易數(shù)據(jù)分析

49、、非資金交易分析等多個(gè)業(yè)界關(guān)心的主題,為客戶提供針對其個(gè)人習(xí)慣、投資組合的投資建議,從而真正作到對客戶的貼心服務(wù)。在銀行領(lǐng)域的應(yīng)用:防范銀行的經(jīng)營風(fēng)險(xiǎn)、實(shí)現(xiàn)科學(xué)管理以及進(jìn)行決策 .在稅務(wù)領(lǐng)域的應(yīng)用:可以解決三個(gè)方面的問題:一是查出應(yīng)稅未報(bào)者和瞞稅漏稅者,并對其進(jìn)行跟蹤;二是對不同行業(yè)、產(chǎn)品和市場中納稅人的行為特性進(jìn)行描述,找出普遍規(guī)律,謀求因勢利導(dǎo)的稅務(wù)征稽策略;三是對不同行業(yè)、產(chǎn)品和市場應(yīng)收稅款進(jìn)行預(yù)測,制定最有效的征收計(jì)劃。 在保險(xiǎn)業(yè)的應(yīng)用 :滿足保險(xiǎn)行業(yè)日益增長的各種查詢、統(tǒng)計(jì)、報(bào)表以及分析的需求,提高防范和化解經(jīng)營風(fēng)險(xiǎn)的能力,有效利用這些數(shù)據(jù)來實(shí)現(xiàn)經(jīng)營目標(biāo),預(yù)測保險(xiǎn)業(yè)的發(fā)展趨勢,甚至利

50、用這些數(shù)據(jù)來設(shè)計(jì)保險(xiǎn)企業(yè)的發(fā)展宏圖,在激烈的競爭中贏得先機(jī) .在客戶服務(wù)及營銷方面的應(yīng)用 :CRM在保健領(lǐng)域的應(yīng)用:揭示出如何以較低費(fèi)用獲取較高質(zhì)量的治療策略趨勢和模式 .聯(lián)機(jī)分析處理(OLAP) 聯(lián)機(jī)分析處理(OLAP)的概念最早是由關(guān)系數(shù)據(jù)庫之父E.F.Codd于1993年提出的。當(dāng)時(shí),Codd認(rèn)為聯(lián)機(jī)事務(wù)處理(OLTP)已不能滿足終端用戶對數(shù)據(jù)庫查詢分析的需要,SQL對大量數(shù)據(jù)庫進(jìn)行的簡單查詢也不能滿足用戶分析的需求。用戶的決策分析需要對關(guān)系數(shù)據(jù)庫進(jìn)行大量計(jì)算才能得到結(jié)果,而查詢的結(jié)果并不能滿足決策者提出的需求。因此Codd提出了多維數(shù)據(jù)分析的概念即OLAP。 聯(lián)機(jī)分析處理(OLAP)

51、OLAP是一種軟件技術(shù),他使分析人員能夠迅速、一致、交互地從各個(gè)方面觀察信息,以達(dá)到深入理解數(shù)據(jù)的目的,這些信息是從原始數(shù)據(jù)直接轉(zhuǎn)換過來的,他們以用戶容易理解的方式反映企業(yè)的真實(shí)情況。 OLAP大部分策略都是將關(guān)系型的或普通的數(shù)據(jù)進(jìn)行多維數(shù)據(jù)存貯,以便于進(jìn)行分析,從而達(dá)到聯(lián)機(jī)分析處理的目的。這種多維DB也被看作一個(gè)超立方體,沿著各個(gè)維方向存貯數(shù)據(jù),它允許用戶沿事物的軸線方便地分析數(shù)據(jù),與主流業(yè)務(wù)型用戶相關(guān)的分析形式一般有切片和切塊以及下鉆、挖掘等操作。共享多維信息的快速分析。OLAP特性 (1)(1)快速性快速性: :用戶對OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對用戶的大部分分析

52、要求做出反應(yīng)。 (2)(2)可分析性可分析性: :OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。 (3)(3)多維性多維性: :多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對數(shù)據(jù)的多維視圖和分析,包括對層次維和多重層次維的完全支持。 (4)(4)信息性信息性: :不論數(shù)據(jù)量有多大,也不管數(shù)據(jù)存儲在何處,OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息,并且管理大容量信息。OLTP vs OLAP OLTPOLTP 細(xì)節(jié)的細(xì)節(jié)的 綜合的或派生的綜合的或派生的 當(dāng)前的當(dāng)前的 歷史的歷史的 可更新可更新 不可更新不可更新 需求事先可知道需求事先可知道 需求事先不知道需求事先不知道 符合系統(tǒng)生命周期符合系統(tǒng)生命周期

53、 完全不同的生命周期完全不同的生命周期 對性能要求高對性能要求高 對性能要求相對寬松對性能要求相對寬松 事務(wù)驅(qū)動事務(wù)驅(qū)動 數(shù)據(jù)驅(qū)動數(shù)據(jù)驅(qū)動 面向應(yīng)用面向應(yīng)用 面向分析面向分析 一次操作數(shù)據(jù)量小一次操作數(shù)據(jù)量小 一次操作數(shù)據(jù)量大一次操作數(shù)據(jù)量大 支持日常事務(wù)支持日常事務(wù) 支持管理需求支持管理需求 OLAPOLAPOLAP的多維數(shù)據(jù)概念 多維結(jié)構(gòu)是決策支持的支柱,也是OLAP的核心。OLAP展現(xiàn)在用戶面前的是一幅幅多維視圖。 維是人們觀察問題的特定角度,例如:時(shí)間維、地理維、產(chǎn)品維。 假定某某是個(gè)百貨零售商,有一些因素會影響他的銷售業(yè)務(wù),如商品、時(shí)間、商店或流通渠道,更具體一點(diǎn),如品牌、月份、地區(qū)

54、等。對某一給定的商品,也許他想知道該商品在哪個(gè)商店和哪段時(shí)間的銷售情況。對某一商店,也許他想知道哪個(gè)商品在哪段時(shí)間的銷售情況。在某一時(shí)間,也許他想知道哪個(gè)商店哪種產(chǎn)品的銷售情況。因此,他需要決策支持來幫助制定銷售政策。 這里,商店、時(shí)間和產(chǎn)品都是維。各個(gè)商店的集合是一維,時(shí)間的集合是一維,商品的集合是一維。維就是相同類數(shù)據(jù)的集合,也可以理解為變量。而每個(gè)商店、每段時(shí)間、每種商品都是某一維的一個(gè)成員。每個(gè)銷售事實(shí)由一個(gè)特定的商店、特定的時(shí)間和特定的商品組成。OLAP的多維數(shù)據(jù)概念 維有自己固有的屬性,如層次結(jié)構(gòu)(對數(shù)據(jù)進(jìn)行聚合分析時(shí)要用到)、排序(定義變量時(shí)要用到)、計(jì)算邏輯(是基于矩陣的算法,

55、可有效地指定規(guī)則)。這些屬性對進(jìn)行決策支持是非常有用的。維層次人們在觀察數(shù)據(jù)的某個(gè)特定角度(即某個(gè)維)還可以存在細(xì)節(jié)程度不同的多個(gè)描述方面,我們稱這多個(gè)描述方面為維的層次。例時(shí)間維:日期,月份,季度,年不同層次。維成員維的一個(gè)取值成為該維的一個(gè)維成員。如果維已經(jīng)分成了多層次的,則維成員就是不同維層次取值的組合。例如:某公司銷售數(shù)據(jù)在省、市、縣,地理維有三個(gè)層次,則“山東省日照市五蓮縣”就構(gòu)成地理維的一個(gè)維成員。維成員并不一定要在維的每一個(gè)層次上都取值,例如:山東省,山東省日照市,日照市五蓮縣都是地理維的維成員。OLAP的多維數(shù)據(jù)概念多維數(shù)據(jù)集數(shù)據(jù)立方體或超立方。多維數(shù)據(jù)集是決策支持的支柱,也是

56、OLAP的核心。數(shù)據(jù)倉庫的數(shù)據(jù)隊(duì)以多位數(shù)據(jù)的形式存儲。多維數(shù)據(jù)集可以用一個(gè)多維數(shù)組表示。多維數(shù)據(jù)集的形式化表示:(維1,維2,維n,觀察變量)。人們很容易理解一個(gè)二維表(如通常的電子表格),對于三維立方體同樣也容易理解。OLAP通常將三維立方體的數(shù)據(jù)進(jìn)行切片,顯示三維的某一平面。如一個(gè)立方體有時(shí)間維、商品維、收入維,其圖形很容易在屏幕上顯示出來并進(jìn)行切片。但是要加一維(如加入商店維),則圖形很難想象,也不容易在屏幕上畫出來。要突破三維的障礙,就必須理解邏輯維和物理維的差異。OLAP的多維分析視圖就是沖破了物理的三維概念,采用了旋轉(zhuǎn)、嵌套、切片、鉆取和高維可視化技術(shù),在屏幕上展示多維視圖的結(jié)構(gòu),

57、使用戶直觀地理解、分析數(shù)據(jù),進(jìn)行決策支持。OLAP的多維數(shù)據(jù)概念OLAP的多維數(shù)據(jù)概念 數(shù)據(jù)單元。多維數(shù)據(jù)集的取值稱為數(shù)據(jù)單元。 當(dāng)在多維數(shù)據(jù)集的每個(gè)維都選中一個(gè)維成員以后,這些維成員的組合就惟一確定了觀察變量的值。 數(shù)據(jù)單元也就可以表示為:(維1維成員,維2維成員,維3維成員,觀察變量)。OLAP的多維數(shù)據(jù)概念 多維數(shù)據(jù)集的度量值(測量值)。 多維數(shù)據(jù)集的度量值是基于多維數(shù)據(jù)集中事實(shí)表的一列或多列,數(shù)值型數(shù)字。 多維數(shù)據(jù)集的度量值是OLAP分析的核心值,是用戶在DW中需要查看的數(shù)據(jù),一般是銷售量、成本、費(fèi)用等。OLAP多維數(shù)據(jù)分析 1.1.切片和切塊切片和切塊( (Slice and Dic

58、eSlice and Dice) )在多維數(shù)據(jù)結(jié)構(gòu)中,按二維進(jìn)行切片,按三維進(jìn)行切塊,可得到所需要的數(shù)據(jù)。如在“城市、產(chǎn)品、時(shí)間”三維立方體中進(jìn)行切塊和切片,可得到各城市、各產(chǎn)品的銷售情況。 2.2.鉆取鉆取(Drill)(Drill) 鉆取包含向下鉆取(Drill-down)和向上鉆取(Drill-up)/上卷(Roll-up)操作, 鉆取的深度與維所劃分的層次相對應(yīng)。 3.3.旋轉(zhuǎn)旋轉(zhuǎn)(Rotate)/(Rotate)/轉(zhuǎn)軸轉(zhuǎn)軸(Pivot)(Pivot)通過旋轉(zhuǎn)可以得到不同視角的數(shù)據(jù)。OLAP的分析方法(一)切片、切塊OLAP的分析方法(二)鉆取按時(shí)間維向下鉆取按時(shí)間維向上鉆取60OLA

59、P的分析方法(三)旋轉(zhuǎn)OLAP分類按照存儲方式OLAPMOLAPHOLAPROLAP按照處理地點(diǎn)Client OLAPServer OLAPServer vs Client OLAP Server OLAP多維數(shù)據(jù)存儲于OLAP服務(wù)器,客戶提出請求,服務(wù)器做出響應(yīng)。 部分分析工具廠家建議把部分?jǐn)?shù)據(jù)下載到本地,為用戶提供本地的多維分析。代表產(chǎn)品有Brio Designer,Business Object。OLAP存儲方式OLAP有多種實(shí)現(xiàn)方法,根據(jù)存儲數(shù)據(jù)的方式不同可以分為ROLAP、MOLAP、HOLAP。 ROLAP表示基于關(guān)系數(shù)據(jù)庫的OLAP實(shí)現(xiàn)(Relational OLAP)。以關(guān)系數(shù)

60、據(jù)庫為核心,以關(guān)系型結(jié)構(gòu)進(jìn)行多維數(shù)據(jù)的表示和存儲。ROLAP將多維數(shù)據(jù)庫的多維結(jié)構(gòu)劃分為兩類表:一類是事實(shí)表,用來存儲數(shù)據(jù)和維關(guān)鍵字;另一類是維表,即對每個(gè)維至少使用一個(gè)表來存放維的層次、成員類別等維的描述信息。維表和事實(shí)表通過主關(guān)鍵字和外關(guān)鍵字聯(lián)系在一起,形成了“星型模式”。對于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過大的存儲空間,可以使用多個(gè)表來描述,這種星模式的擴(kuò)展稱為“雪花模式”。 MOLAP表示基于多維數(shù)據(jù)組織的OLAP實(shí)現(xiàn)(Multidimensional OLAP)。以多維數(shù)據(jù)組織方式為核心,也就是說,MOLAP使用多維數(shù)組存儲數(shù)據(jù)。多維數(shù)據(jù)在存儲中將形成“立方塊(Cube)”的結(jié)構(gòu),

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論