CRM與數(shù)據(jù)倉(cāng)庫(kù)計(jì)算機(jī)科學(xué)系張秀萍課件

1/43CRM與數(shù)據(jù)倉(cāng)庫(kù)計(jì)算機(jī)科學(xué)系張秀萍2/43本章內(nèi)容4.1

數(shù)據(jù)倉(cāng)庫(kù)概述 4.2

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別 4.3數(shù)據(jù)倉(cāng)庫(kù)的建模模型4.4

OLAP與數(shù)據(jù)集成4.5數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施3/434.1

數(shù)據(jù)倉(cāng)庫(kù)概述 4.1.1數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生

4.1.2數(shù)據(jù)倉(cāng)庫(kù)的概念及特征

4.1.3數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容4/43

數(shù)據(jù)倉(cāng)庫(kù)與CRM有著難以割舍的密切關(guān)系，從某種意義上說(shuō)，數(shù)據(jù)倉(cāng)庫(kù)是客戶關(guān)系管理的靈魂。利用數(shù)據(jù)倉(cāng)庫(kù)，企業(yè)可以對(duì)客戶行為的分析與預(yù)測(cè)，從而制定準(zhǔn)確的市場(chǎng)策略、發(fā)現(xiàn)企業(yè)的重點(diǎn)客戶和評(píng)價(jià)市場(chǎng)性能，并通過(guò)銷售和服務(wù)等部門與客戶交流，實(shí)現(xiàn)企業(yè)利潤(rùn)的提高。對(duì)于客戶量大、市場(chǎng)策略對(duì)企業(yè)影響較大的企業(yè)來(lái)說(shuō)，必須在客戶關(guān)系管理系統(tǒng)中包含數(shù)據(jù)倉(cāng)庫(kù)。4.1數(shù)據(jù)倉(cāng)庫(kù)概述5/43數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生早期的數(shù)據(jù)庫(kù)主要支持聯(lián)機(jī)事務(wù)處理決策支持對(duì)數(shù)據(jù)分析的需求傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)不適宜DSS事務(wù)處理和分析處理的性能特性不同數(shù)據(jù)集成問(wèn)題數(shù)據(jù)動(dòng)態(tài)集成問(wèn)題歷史數(shù)據(jù)問(wèn)題數(shù)據(jù)的綜合問(wèn)題操作繁簡(jiǎn)問(wèn)題4.1數(shù)據(jù)倉(cāng)庫(kù)概述6/43

有人感嘆：20年前查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太少了，而今天查詢不到數(shù)據(jù)是因?yàn)閿?shù)據(jù)太多了。要提高分析和決策的效率和有效性，分析型處理及其數(shù)據(jù)必須與操作型處理及其數(shù)據(jù)相分離。必須把分析型數(shù)據(jù)從事務(wù)處理環(huán)境中提取出來(lái)，按照DSS處理的需要進(jìn)行重新組織，建立單獨(dú)的分析處理環(huán)境，數(shù)據(jù)倉(cāng)庫(kù)正是為了構(gòu)建這種新的分析處理環(huán)境而出現(xiàn)的一種數(shù)據(jù)存儲(chǔ)和組織技術(shù)。4.1數(shù)據(jù)倉(cāng)庫(kù)概述數(shù)據(jù)倉(cāng)庫(kù)的產(chǎn)生7/43

目前，數(shù)據(jù)倉(cāng)庫(kù)一詞尚沒有一個(gè)統(tǒng)一的定義。著名的數(shù)據(jù)倉(cāng)庫(kù)專家W.H.Inmon在其著作《BuildingtheDataWarehouse》一書中給予如下描述：數(shù)據(jù)倉(cāng)庫(kù)（DataWarehouse）是一個(gè)面向主題的（SubjectOriented）、集成的（Integrate）、相對(duì)穩(wěn)定的（Non-Volatile）、反映歷史變化（TimeVariant）的數(shù)據(jù)集合，用于支持管理決策。數(shù)據(jù)倉(cāng)庫(kù)的概念4.1數(shù)據(jù)倉(cāng)庫(kù)概述8/43

數(shù)據(jù)倉(cāng)庫(kù)概念的兩個(gè)層次功能上：數(shù)據(jù)倉(cāng)庫(kù)用于支持決策，面向分析型數(shù)據(jù)處理，它不同于企業(yè)現(xiàn)有的操作型數(shù)據(jù)庫(kù)；內(nèi)容和特征上：數(shù)據(jù)倉(cāng)庫(kù)是對(duì)多個(gè)異構(gòu)的數(shù)據(jù)源有效集成，集成后按照主題進(jìn)行了重組，并包含歷史數(shù)據(jù)，而且存放在數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)一般不再修改。數(shù)據(jù)倉(cāng)庫(kù)的概念4.1數(shù)據(jù)倉(cāng)庫(kù)概述9/43面向主題(subject-oriented)

數(shù)據(jù)倉(cāng)庫(kù)圍繞一些主題，如客戶、供應(yīng)商、產(chǎn)品和銷售組織。數(shù)據(jù)倉(cāng)庫(kù)關(guān)心決策者的數(shù)據(jù)建模與分析，而不是集中于組織機(jī)構(gòu)的日常操作和事務(wù)處理。因此數(shù)據(jù)倉(cāng)庫(kù)排除對(duì)決策無(wú)用的數(shù)據(jù)，提供特定主題的簡(jiǎn)明視圖。集成性(integrated)

構(gòu)造數(shù)據(jù)倉(cāng)庫(kù)是將多個(gè)異種數(shù)據(jù)源，如關(guān)系數(shù)據(jù)庫(kù)、一般文件和聯(lián)機(jī)事務(wù)處理記錄，集成在一起。使用數(shù)據(jù)清理和數(shù)據(jù)集成技術(shù)，確保命名約定、編碼結(jié)構(gòu)、屬性度量等的一致性。數(shù)據(jù)倉(cāng)庫(kù)的特征4.1數(shù)據(jù)倉(cāng)庫(kù)概述10/43非易失性(nonvolatile)

數(shù)據(jù)一旦進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)就不再改變，因此不需要傳統(tǒng)數(shù)據(jù)庫(kù)中類似插入、更新、刪除等操作，在數(shù)據(jù)倉(cāng)庫(kù)中只有裝載操作。時(shí)變性(time-variant)

數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)都是和時(shí)間相關(guān)，并且每隔一段時(shí)間后，運(yùn)作數(shù)據(jù)庫(kù)系統(tǒng)中的數(shù)據(jù)將被抽取、轉(zhuǎn)換后集成到數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)倉(cāng)庫(kù)的特征4.1數(shù)據(jù)倉(cāng)庫(kù)概述11/43數(shù)據(jù)倉(cāng)庫(kù)的特征4.1數(shù)據(jù)倉(cāng)庫(kù)概述12/43數(shù)據(jù)倉(cāng)庫(kù)的特征4.1數(shù)據(jù)倉(cāng)庫(kù)概述13/43

數(shù)據(jù)倉(cāng)庫(kù)并沒有嚴(yán)格的數(shù)學(xué)理論基礎(chǔ)，也沒有成熟的基本模式，且更偏向于工程，具有強(qiáng)烈的工程性。因此，在技術(shù)上人們習(xí)慣于從工作過(guò)程等方面來(lái)分析，并按其關(guān)鍵技術(shù)部份分為數(shù)據(jù)的抽取、存儲(chǔ)與管理以及數(shù)據(jù)的表現(xiàn)等三個(gè)基本方面。

數(shù)據(jù)倉(cāng)庫(kù)的內(nèi)容4.1數(shù)據(jù)倉(cāng)庫(kù)概述14/43數(shù)據(jù)倉(cāng)庫(kù)本質(zhì)

數(shù)據(jù)倉(cāng)庫(kù)實(shí)際上是一個(gè)“以大型數(shù)據(jù)管理信息系統(tǒng)為基礎(chǔ)的、附加在這個(gè)數(shù)據(jù)庫(kù)系統(tǒng)之上的、存儲(chǔ)了從企業(yè)所有業(yè)務(wù)數(shù)據(jù)庫(kù)中獲取的綜合數(shù)據(jù)的、并能利用這些綜合數(shù)據(jù)為用戶提供經(jīng)過(guò)處理后的有用信息的應(yīng)用系統(tǒng)”。如果說(shuō)傳統(tǒng)數(shù)據(jù)庫(kù)系統(tǒng)的重點(diǎn)與要求是快速、準(zhǔn)確、安全、可靠地將數(shù)據(jù)存進(jìn)數(shù)據(jù)庫(kù)中的話，那么數(shù)據(jù)倉(cāng)庫(kù)的重點(diǎn)與要求就是能夠準(zhǔn)確、安全、可靠地從數(shù)據(jù)庫(kù)中取出數(shù)據(jù)，經(jīng)過(guò)加工轉(zhuǎn)換成有規(guī)律信息之后，再供管理人員進(jìn)行分析使用。數(shù)據(jù)倉(cāng)庫(kù)所要研究和解決的問(wèn)題就是從數(shù)據(jù)庫(kù)中獲取信息。4.1數(shù)據(jù)倉(cāng)庫(kù)概述15/434.2

數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別 16/43

目前，人們要利用現(xiàn)有的數(shù)據(jù)，進(jìn)行分析和推理，從而為決策提供依據(jù)。這種需求既要求聯(lián)機(jī)服務(wù)，又涉及大量用于決策的數(shù)據(jù)。而傳統(tǒng)的數(shù)據(jù)庫(kù)系統(tǒng)已無(wú)法滿足這種需求：1.所需歷史數(shù)據(jù)量很大，而傳統(tǒng)數(shù)據(jù)庫(kù)一般只存儲(chǔ)短期數(shù)據(jù)。2.涉及許多部門的數(shù)據(jù)，而不同系統(tǒng)的數(shù)據(jù)難以集成。3.對(duì)大量數(shù)據(jù)的訪問(wèn)性能明顯下降4.2數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別17/43目的不同數(shù)據(jù)庫(kù)用于事務(wù)處理；數(shù)據(jù)倉(cāng)庫(kù)用于決策支持存儲(chǔ)方式不同數(shù)據(jù)庫(kù)中的數(shù)據(jù)以表格方式存儲(chǔ)；數(shù)據(jù)倉(cāng)庫(kù)中以數(shù)組方式存儲(chǔ)查詢方式不同數(shù)據(jù)庫(kù)中應(yīng)用OLTP(在線事務(wù)處理)；數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用OLAP(在線分析處理)或數(shù)據(jù)挖掘4.2數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別18/43數(shù)據(jù)類型不同數(shù)據(jù)庫(kù)針對(duì)交易型數(shù)據(jù)設(shè)計(jì)的，關(guān)心的是短期內(nèi)每一筆交易的細(xì)節(jié)信息，并對(duì)這些交易記錄進(jìn)行增刪改的操作；數(shù)據(jù)倉(cāng)庫(kù)一般只涉及從數(shù)據(jù)集中觀察數(shù)據(jù)，并不進(jìn)行增刪改等操作。完成任務(wù)的性質(zhì)不同前者要求實(shí)時(shí)性、交互性，而后者需要涉及大范圍的數(shù)據(jù)計(jì)算，復(fù)雜的基于多個(gè)層次的查詢語(yǔ)言。響應(yīng)時(shí)間不同數(shù)據(jù)庫(kù)要求響應(yīng)時(shí)間短，數(shù)據(jù)倉(cāng)庫(kù)要求響應(yīng)時(shí)間合理4.2數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別19/43

可以看出，數(shù)據(jù)倉(cāng)庫(kù)最根本的特點(diǎn)是物理的存放數(shù)據(jù)，而且這些數(shù)據(jù)并非是最新的、專有的，而是來(lái)源于其它的數(shù)據(jù)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的建立并不是要取代原有的數(shù)據(jù)庫(kù)，而是建立在一個(gè)較全面、完善的信息應(yīng)用的基礎(chǔ)上，用于支持高層決策分析。4.2數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)庫(kù)的區(qū)別20/434.3

數(shù)據(jù)倉(cāng)庫(kù)的建模模型 4.3.1數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)

4.3.2數(shù)據(jù)倉(cāng)庫(kù)的建模模型21/43數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)體系結(jié)構(gòu)

4.4數(shù)據(jù)倉(cāng)庫(kù)的建模模型22/43

數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)模型采用多維數(shù)據(jù)模型?？梢砸孕切湍Ｐ?、雪花模型等形式存在。幾個(gè)相關(guān)概念：事實(shí)表（Fact）：存儲(chǔ)用戶需要查詢分析的數(shù)據(jù)，事實(shí)表中一般包含多個(gè)維（Dimension）和度量（Measurement）。維：數(shù)據(jù)立方中的空間坐標(biāo)軸，例如時(shí)間維、地區(qū)維、產(chǎn)品維。粒度：每個(gè)維可以分成若干等級(jí)，例如時(shí)間維可以分成年、月、日，描述了不同的查詢層次。度量：是數(shù)據(jù)的實(shí)際意義，描述數(shù)據(jù)“是什么”，即一個(gè)數(shù)值的測(cè)量指標(biāo)，如：人數(shù)、單價(jià)、銷售量等。4.3數(shù)據(jù)倉(cāng)庫(kù)的建模模型23/431.星型模型：

度量的實(shí)際數(shù)據(jù)存放在事實(shí)表中。維的詳細(xì)信息，如不同的層次劃分和相應(yīng)數(shù)據(jù)等在維表中存儲(chǔ)，事實(shí)表中存放各個(gè)維的標(biāo)識(shí)碼鍵。事實(shí)表和維表將通過(guò)這些鍵關(guān)聯(lián)起來(lái)，構(gòu)成一種星型模型。這種模式圖像星星爆發(fā)，維表圍繞中心事實(shí)表顯示在射線上。在星型模式中，每維只用一個(gè)表表示，每個(gè)表包含一組屬性。4.3數(shù)據(jù)倉(cāng)庫(kù)的建模模型24/434.3數(shù)據(jù)倉(cāng)庫(kù)的建模模型25/432.雪花模型：對(duì)于層次復(fù)雜的維,為避免冗余數(shù)據(jù)占用過(guò)大的存儲(chǔ)空間,可以使用多個(gè)表來(lái)描述,這種星型模式的擴(kuò)展稱為雪花模型。

雪花模型是星型模型的變種，其中某些維表是規(guī)范的，把數(shù)據(jù)進(jìn)一步分解到附加的表中。這種模型圖形成類似于雪花的形狀。4.3數(shù)據(jù)倉(cāng)庫(kù)的建模模型26/4327/434.4OLAP與數(shù)據(jù)集成 4.4.1聯(lián)機(jī)分析處理

4.4.2數(shù)據(jù)集成28/43聯(lián)機(jī)分析處理聯(lián)機(jī)分析處理,On-LineAnalysisProcessing,支持通過(guò)多維的方式對(duì)數(shù)據(jù)進(jìn)行分析、查詢和生成報(bào)表，其基本功能是對(duì)用戶當(dāng)前及歷史數(shù)據(jù)進(jìn)行分析以輔助領(lǐng)導(dǎo)決策。相關(guān)概念：維：數(shù)據(jù)立方中的空間坐標(biāo)軸，例如時(shí)間維、地區(qū)維、產(chǎn)品維。粒度：每個(gè)維可以分成若干等級(jí)，例如時(shí)間維可以分成年、月、日，描述了不同的查詢層次。4.4OLAP與數(shù)據(jù)集成29/43OLAP特性（1）多維性:多維性是OLAP的關(guān)鍵屬性。系統(tǒng)必須提供對(duì)數(shù)據(jù)的多維視圖和分析,包括對(duì)層次維和多重層次維的完全支持。（2）快速性:用戶對(duì)OLAP的快速反應(yīng)能力有很高的要求。系統(tǒng)應(yīng)能在5秒內(nèi)對(duì)用戶的大部分分析要求做出反應(yīng)。

（3）可分析性:OLAP系統(tǒng)應(yīng)能處理與應(yīng)用有關(guān)的任何邏輯分析和統(tǒng)計(jì)分析。（4）共享性：滿足大量用戶間數(shù)據(jù)的共享（5）信息性:不論數(shù)據(jù)量有多大，也不管數(shù)據(jù)存儲(chǔ)在何處，OLAP系統(tǒng)應(yīng)能及時(shí)獲得信息，并且管理大容量信息。4.4OLAP與數(shù)據(jù)集成30/43OLTPvsOLAP

OLTP

細(xì)節(jié)的

綜合的或派生的

當(dāng)前的

歷史的

可更新

不可更新

需求事先可知道

需求事先不知道

符合系統(tǒng)生命周期

完全不同的生命周期

對(duì)性能要求高

對(duì)性能要求相對(duì)寬松

事務(wù)驅(qū)動(dòng)

數(shù)據(jù)驅(qū)動(dòng)

面向應(yīng)用

面向分析

一次操作數(shù)據(jù)量小

一次操作數(shù)據(jù)量大

支持日常事務(wù)

支持管理需求

OLAP4.4OLAP與數(shù)據(jù)集成31/43OLAP的分析思路

OLAP是決策支持領(lǐng)域的一部分。傳統(tǒng)的查詢和報(bào)表工具是告訴你數(shù)據(jù)庫(kù)中都有什么（whathappened），OLAP則更進(jìn)一步告訴你下一步會(huì)怎么樣（Whatnext）、和如果我采取這樣的措施又會(huì)怎么樣（Whatif）。用戶首先建立一個(gè)假設(shè)，然后用OLAP檢索數(shù)據(jù)庫(kù)來(lái)驗(yàn)證這個(gè)假設(shè)是否正確。比如，一個(gè)分析師想找到什么原因?qū)е铝速J款拖欠，他可能先做一個(gè)初始的假定，認(rèn)為低收入的人信用度也低，然后用OLAP來(lái)驗(yàn)證他這個(gè)假設(shè)。如果這個(gè)假設(shè)沒有被證實(shí)，他可能去察看那些高負(fù)債的賬戶，如果還不行，他也許要把收入和負(fù)債一起考慮，一直進(jìn)行下去，直到找到他想要的結(jié)果或放棄。4.4OLAP與數(shù)據(jù)集成32/43OLAP中的操作應(yīng)用OLAP工具進(jìn)行的分析操作主要有：鉆取、旋轉(zhuǎn)、切片鉆?。貉刂S上粒度的粗細(xì)方向進(jìn)行的分析操作，改變維的層次，變換分析的粒度。它包括向上鉆取和向下鉆取。rollup是在某一維上將低層次的細(xì)節(jié)數(shù)據(jù)概括到高層次的匯總數(shù)據(jù)；而drilldown則相反，它從匯總數(shù)據(jù)深入到細(xì)節(jié)數(shù)據(jù)進(jìn)行觀察旋轉(zhuǎn)：參與分析的維的變化，即在表格中重新安排維的放置（例如行列互換）切片：將某維固定觀察其他維的變化，即一部分維上選定值后，關(guān)心度量數(shù)據(jù)在剩余維上的分布。4.4OLAP與數(shù)據(jù)集成33/43OLAP的分析方法(一)鉆取按時(shí)間維向下鉆取按時(shí)間維向上鉆取604.4OLAP與數(shù)據(jù)集成34/43OLAP的分析方法(二)旋轉(zhuǎn)4.4OLAP與數(shù)據(jù)集成35/43OLAP的分析方法(三)切片、切塊4.4OLAP與數(shù)據(jù)集成36/43數(shù)據(jù)集成數(shù)據(jù)集成的目的：1.訪問(wèn)多種數(shù)據(jù)源的數(shù)據(jù)2.轉(zhuǎn)換成統(tǒng)一格式3.校驗(yàn)數(shù)據(jù)的完整性4.存儲(chǔ)數(shù)據(jù)到數(shù)據(jù)倉(cāng)庫(kù)中4.4OLAP與數(shù)據(jù)集成37/43數(shù)據(jù)集成的四個(gè)階段1.數(shù)據(jù)抽取(DataExtraction)使用規(guī)定的標(biāo)準(zhǔn)選擇數(shù)據(jù)，并把數(shù)據(jù)傳送到數(shù)據(jù)倉(cāng)庫(kù)中2.數(shù)據(jù)轉(zhuǎn)換(DataTransformation)建立不同數(shù)據(jù)源的源字段到數(shù)據(jù)倉(cāng)庫(kù)字段的映射3.數(shù)據(jù)清理(DataCleaning)把事實(shí)表中的屬性字段對(duì)應(yīng)的值逐個(gè)在維表中查詢，審查字段值是否合理，并加以記錄4.數(shù)據(jù)裝載(DataLoading)將經(jīng)過(guò)數(shù)據(jù)抽取、轉(zhuǎn)換、清理的數(shù)據(jù)，以及經(jīng)過(guò)校正的臟數(shù)據(jù)導(dǎo)入到數(shù)據(jù)倉(cāng)庫(kù)4.4OLAP與數(shù)據(jù)集成數(shù)據(jù)集成38/434.5

數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施 39/434.5數(shù)據(jù)倉(cāng)庫(kù)的實(shí)施