第3章 數(shù)據(jù)倉(cāng)庫(kù)

1、第3章 數(shù)據(jù)倉(cāng)庫(kù)溫浩宇 西安電子科技大學(xué)出版社商業(yè)智能：方法與應(yīng)用3.1 數(shù)據(jù)倉(cāng)庫(kù)相關(guān)概念3.2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)3.3 ETL的過程設(shè)計(jì)目 錄O N T E N T S數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)數(shù)據(jù)集市、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)邏輯模型設(shè)計(jì)概念模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)抽取設(shè)計(jì)數(shù)據(jù)清洗設(shè)計(jì)數(shù)據(jù)加載設(shè)計(jì)3.1 數(shù)據(jù)倉(cāng)庫(kù)相關(guān)概念數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)數(shù)據(jù)集市、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)3.1.1 數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)兩大類 數(shù)據(jù)處理系統(tǒng)即聯(lián)機(jī)事務(wù)處理，它是針對(duì)具體業(yè)務(wù)在數(shù)據(jù)庫(kù)聯(lián)機(jī)的日常操作，通常對(duì)少數(shù)記錄進(jìn)行查詢、修改，是數(shù)據(jù)庫(kù)中最基礎(chǔ)的操作。缺點(diǎn)：只是針對(duì)企業(yè)日常的事務(wù)進(jìn)行

2、處理，而并不具備對(duì)存儲(chǔ)數(shù)據(jù)進(jìn)行分析的功能，更無(wú)法向用戶提供決策支持。因此，另一類數(shù)據(jù)處理系統(tǒng)分析型處理則針對(duì)操作型處理系統(tǒng)的短板應(yīng)運(yùn)而生。分析型a.操作型處理：應(yīng) 運(yùn) 而 生操作型3.1.1 數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)兩大類 數(shù)據(jù)處理系統(tǒng)主要功能是綜合某些主題的歷史數(shù)據(jù)進(jìn)行多維度、全面的分析，用以支持管理決策。優(yōu)點(diǎn)：包含操作型處理的基礎(chǔ)功能，并能夠針對(duì)主題性的數(shù)據(jù)進(jìn)行分析，通過將歷史數(shù)據(jù)進(jìn)行整合體現(xiàn)數(shù)據(jù)的完整性；同時(shí)在數(shù)據(jù)的抽取過程中能夠保證數(shù)據(jù)的準(zhǔn)確性，十分契合企業(yè)以及用戶對(duì)數(shù)據(jù)分析的需要。操作型分析型b.分析型處理：應(yīng) 運(yùn) 而 生3.1.1 數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)操作型處理分析型處理性 能需對(duì)用戶

3、的查詢、修改等指令進(jìn)行及時(shí)反應(yīng)，在企業(yè)日常事務(wù)較多時(shí)，需進(jìn)行頻繁的數(shù)據(jù)處理，并在短時(shí)間內(nèi)展示處理結(jié)果，要求其系統(tǒng)性能較高。不涉及日常頻繁的事務(wù)處理，因此在系統(tǒng)性能上并不需要即時(shí)反饋的高性能處理。集 成 性僅限于日常事務(wù)的數(shù)據(jù)操作，其數(shù)據(jù)源也只限于企業(yè)日常的數(shù)據(jù)，通常不需要跨部門、跨系統(tǒng)的數(shù)據(jù)集成。將各類數(shù)據(jù)進(jìn)行整合以達(dá)到數(shù)據(jù)的全面分析，相應(yīng)的數(shù)據(jù)抽取、清洗、加載過程技術(shù)保證了分析型處理系統(tǒng)具備較好的數(shù)據(jù)集成性，能夠?qū)㈤L(zhǎng)期的、不同的數(shù)據(jù)進(jìn)行集成分析。數(shù) 據(jù) 冗 余需頻繁響應(yīng)用戶的操作，所以在數(shù)據(jù)存儲(chǔ)中數(shù)據(jù)保持著很高的實(shí)時(shí)性，即用戶頻繁的查詢、修改使得數(shù)據(jù)更新頻繁，因此要求數(shù)據(jù)符合關(guān)系型數(shù)據(jù)庫(kù)范式

4、要求，并且數(shù)據(jù)冗余要少。需將長(zhǎng)期的歷史數(shù)據(jù)進(jìn)行存儲(chǔ)以供查詢、分析、決策，但歷史數(shù)據(jù)幾乎不會(huì)修改，因此可以具有一定的數(shù)據(jù)冗余以提高查詢效率。3.1.1 數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)分析型系統(tǒng)操作型系統(tǒng)適合使用數(shù)據(jù)倉(cāng)庫(kù)技術(shù)來(lái)實(shí)現(xiàn)在從數(shù)據(jù)的集成到用戶決策的制定過程中涉及的功能較多，因此數(shù)據(jù)綜合性較高，傳統(tǒng)的數(shù)據(jù)庫(kù)技術(shù)并不完全滿足這種技術(shù)要求。適合使用數(shù)據(jù)庫(kù)技術(shù)來(lái)實(shí)現(xiàn)針對(duì)企業(yè)日常事務(wù)進(jìn)行一些重復(fù)、頻繁的操作，通常設(shè)計(jì)目標(biāo)是大量的數(shù)據(jù)維護(hù)和較為簡(jiǎn)單的查詢統(tǒng)計(jì)功能。數(shù)據(jù)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)作為數(shù)據(jù)庫(kù)的一個(gè)分支，數(shù)據(jù)倉(cāng)庫(kù)在一定程度上相比于數(shù)據(jù)庫(kù)針對(duì)數(shù)據(jù)信息的分析處理以及決策有更好的適用性，從數(shù)據(jù)庫(kù)到數(shù)據(jù)倉(cāng)庫(kù)的細(xì)化，也是對(duì)數(shù)據(jù)

5、獲取并正確合理分析的必然要求。主要區(qū)別3.1.1 數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)定義數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，并應(yīng)用于支持管理決策。本質(zhì)特點(diǎn)作用通過對(duì)數(shù)據(jù)分析面向主題：指數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息是按主題進(jìn)行組織的，而不是像業(yè)務(wù)支撐系統(tǒng)那樣是按照業(yè)務(wù)功能進(jìn)行組織的。“集成”：指數(shù)據(jù)倉(cāng)庫(kù)中的數(shù)據(jù)是來(lái)源于不同結(jié)構(gòu)的數(shù)據(jù)源，從不同的數(shù)據(jù)源中進(jìn)行數(shù)據(jù)的抽取，經(jīng)過一系列加工后最終加載到數(shù)據(jù)倉(cāng)庫(kù)中。數(shù)據(jù)“歷史”：指某個(gè)數(shù)據(jù)進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)以后，一般情況下將被長(zhǎng)期存儲(chǔ)，在較長(zhǎng)的時(shí)間段內(nèi)不進(jìn)行改動(dòng)數(shù)據(jù)的操作，即數(shù)據(jù)倉(cāng)庫(kù)內(nèi)的信息并不僅僅反映企業(yè)當(dāng)前的狀態(tài)，而且記錄了從過去某一時(shí)點(diǎn)到當(dāng)前各個(gè)階

6、段的信息，能夠隨時(shí)反映歷史數(shù)據(jù)信息。3.1.1 數(shù)據(jù)倉(cāng)庫(kù)的定義及特點(diǎn)效率高數(shù)據(jù)倉(cāng)庫(kù)對(duì)數(shù)據(jù)分析的粒度非常細(xì)化，因此對(duì)分析效率的要求也隨之增加。由于企業(yè)的數(shù)據(jù)量往往是龐大的，用戶希望得到及時(shí)的分析結(jié)果，如果數(shù)據(jù)倉(cāng)庫(kù)效率不達(dá)標(biāo)，分析結(jié)果出現(xiàn)延遲，這對(duì)于企業(yè)來(lái)說(shuō)影響是非常大的，所以數(shù)據(jù)倉(cāng)庫(kù)要求效率一定要足夠高。數(shù)據(jù)準(zhǔn)確可靠數(shù)據(jù)倉(cāng)庫(kù)在抽取數(shù)據(jù)時(shí)，由于數(shù)據(jù)源存在異構(gòu)、數(shù)據(jù)正確性、完整性等問題，數(shù)據(jù)的準(zhǔn)確與否會(huì)直接影響到?jīng)Q策的質(zhì)量。因此，在進(jìn)入數(shù)據(jù)倉(cāng)庫(kù)前需要經(jīng)過一系列的數(shù)據(jù)加工，即數(shù)據(jù)抽取、清洗、載入。擴(kuò)展性高數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)一般設(shè)計(jì)得較為復(fù)雜，這是因?yàn)槠髽I(yè)數(shù)據(jù)的存儲(chǔ)、獲取以及分析是一個(gè)長(zhǎng)期持續(xù)存在的需求，

7、數(shù)據(jù)倉(cāng)庫(kù)應(yīng)該保持相應(yīng)的穩(wěn)定運(yùn)行以及在該時(shí)間段內(nèi)能夠?qū)崿F(xiàn)功能拓展的目標(biāo)，避免因重建數(shù)據(jù)倉(cāng)庫(kù)而帶來(lái)的影響。數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)010203數(shù)據(jù)集市數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)指數(shù)據(jù)源經(jīng)過相應(yīng)的處理后進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)，按照特定的要求形成的具有主題性的數(shù)據(jù)集合。也叫做解釋數(shù)據(jù)、數(shù)據(jù)字典，即是用來(lái)描述數(shù)據(jù)的數(shù)據(jù)。從數(shù)據(jù)的獲取、存儲(chǔ)、維護(hù)、應(yīng)用等階段對(duì)可能產(chǎn)生的數(shù)據(jù)質(zhì)量問題進(jìn)行識(shí)別、度量、監(jiān)控以及預(yù)警等一系列管理措施，并通過改善和提高企業(yè)的管理水平使數(shù)據(jù)質(zhì)量更加科學(xué)有效。3.1.2 數(shù)據(jù)集市、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理3.1.2 數(shù)據(jù)集市、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理特點(diǎn)數(shù)據(jù)集市規(guī)模小、主題性高、響應(yīng)速度快，在數(shù)據(jù)質(zhì)量、數(shù)據(jù)分析

8、等內(nèi)容中更具有專業(yè)性。作用能夠存儲(chǔ)用戶需要的數(shù)據(jù)，并且能夠針對(duì)用戶的操作快速響應(yīng)。可以解決由于不同的數(shù)據(jù)需要而訪問數(shù)據(jù)倉(cāng)庫(kù)所造成的效率低、訪問量大等問題。3.1.2 數(shù)據(jù)集市、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理種類元數(shù)據(jù)a. 技術(shù)元數(shù)據(jù)：存儲(chǔ)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)技術(shù)的數(shù)據(jù)。b. 業(yè)務(wù)元數(shù)據(jù)：對(duì)業(yè)務(wù)數(shù)據(jù)進(jìn)行解釋的數(shù)據(jù)。作用能展現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)中數(shù)據(jù)之間內(nèi)在信息和相互關(guān)系，并進(jìn)行詳細(xì)的解釋說(shuō)明，使用戶能清楚的了解數(shù)據(jù)間的關(guān)系?？梢员苊庠跀?shù)據(jù)倉(cāng)庫(kù)構(gòu)建初期由于過多的數(shù)據(jù)集市而帶來(lái)的問題。3.1.2 數(shù)據(jù)集市、元數(shù)據(jù)管理和數(shù)據(jù)質(zhì)量管理步驟數(shù)據(jù)質(zhì)量管理數(shù)據(jù)分析、數(shù)據(jù)評(píng)估、數(shù)據(jù)清洗、數(shù)據(jù)監(jiān)控以及錯(cuò)誤預(yù)警等。評(píng)估的衡量維度通常數(shù)據(jù)質(zhì)

9、量評(píng)估和管理評(píng)估通過以下幾個(gè)維度來(lái)衡量：完整性、規(guī)范性、一致性、準(zhǔn)確性、唯一性、關(guān)聯(lián)性。3.1.3 數(shù)據(jù)倉(cāng)庫(kù)的體系結(jié)構(gòu)數(shù)據(jù)源作為數(shù)據(jù)倉(cāng)庫(kù)開展一系列數(shù)據(jù)處理活動(dòng)的必要條件，數(shù)據(jù)源是整個(gè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)最基本、最重要的部分。對(duì)于數(shù)據(jù)分析、決策支持功能來(lái)說(shuō)，數(shù)據(jù)源可以分為內(nèi)部數(shù)據(jù)和外部信息。數(shù)據(jù)的存儲(chǔ)與管理源數(shù)據(jù)進(jìn)入到數(shù)據(jù)倉(cāng)庫(kù)后，按照面向主題的特性在數(shù)據(jù)倉(cāng)庫(kù)中進(jìn)行多維存儲(chǔ)，形成面向決策分析需求的數(shù)據(jù)立方體。數(shù)據(jù)管理則是指對(duì)數(shù)據(jù)安全、備份以及恢復(fù)的維護(hù)工作。聯(lián)機(jī)分析處理服務(wù)器能夠針對(duì)特定的主題對(duì)數(shù)據(jù)進(jìn)行訪問、處理以及多層次、多維度的分析，并將結(jié)果展現(xiàn)在應(yīng)用前端。當(dāng)前聯(lián)機(jī)分析處理方式具體分為：關(guān)系型聯(lián)機(jī)分析

10、處理、多維聯(lián)機(jī)分析處理以及混合型聯(lián)機(jī)分析處理。前端工具前端工具主要是將分析結(jié)果展現(xiàn)給用戶以及用戶指令的輸入，其中包括報(bào)表展示工具、用戶查詢工具以及分析工具等。體系結(jié)構(gòu)12343.2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)概念模型設(shè)計(jì)邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)3.2 數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)數(shù)據(jù)裝載接口設(shè)計(jì)數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)概念模型設(shè)計(jì)邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)數(shù)據(jù)模型：即數(shù)據(jù)倉(cāng)庫(kù)結(jié)構(gòu)中數(shù)據(jù)存儲(chǔ)、組織方式，所以數(shù)據(jù)模型的設(shè)計(jì)是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)中最為重要的部分。3.2.1 概念模型設(shè)計(jì)定義概念模型是用于為一定的目標(biāo)設(shè)計(jì)系統(tǒng)、收集信息而服務(wù)的概念性工具。即在進(jìn)行系統(tǒng)設(shè)計(jì)時(shí)，先將現(xiàn)實(shí)數(shù)據(jù)抽象為概念模型，再使用相關(guān)的計(jì)算機(jī)語(yǔ)言對(duì)其進(jìn)行具體

11、描述。設(shè)計(jì)過程 ：（1）確定數(shù)據(jù)倉(cāng)庫(kù)模型（2）選擇粒度（3）確定主題3.2.1 概念模型設(shè)計(jì)（1）數(shù)據(jù)倉(cāng)庫(kù)模型 數(shù)據(jù)分析系統(tǒng)不適合使用傳統(tǒng)的實(shí)體-關(guān)系模型，而應(yīng)該采用多維模型。星型模型和雪花模型是數(shù)據(jù)倉(cāng)庫(kù)常用的多維模型。星型模型雪花模型是一種使用關(guān)系數(shù)據(jù)庫(kù)實(shí)現(xiàn)多維分析空間的模型，但星型模型是非正規(guī)的結(jié)構(gòu)，多維數(shù)據(jù)集的每個(gè)維度都直接與事實(shí)表連接，不存在漸變維度，所以數(shù)據(jù)有一定的冗余。是星型模型的規(guī)范化，也是對(duì)星型模型的擴(kuò)展。它將星型模型的維度進(jìn)一步層次化，將已有的維度擴(kuò)展為多層維度。一大優(yōu)點(diǎn)在于能很好地支持對(duì)維度的處理。3.2.1 概念模型設(shè)計(jì)（2）選擇粒度 數(shù)據(jù)倉(cāng)庫(kù)粒度的級(jí)別和數(shù)據(jù)細(xì)化程度成反

12、比，例如，以“日”為粒度的數(shù)據(jù)細(xì)化程度比以“月”為粒度的數(shù)據(jù)高。 在粒度選擇時(shí)應(yīng)優(yōu)先考慮為業(yè)務(wù)處理獲取最具原子性的信息，緊密的聯(lián)系企業(yè)業(yè)務(wù)實(shí)際和需求。以公交業(yè)務(wù)數(shù)據(jù)為例，不同的用戶對(duì)數(shù)據(jù)有著不同的需求，而數(shù)據(jù)分析系統(tǒng)一共可以分為三類用戶（結(jié)構(gòu)如圖3.1）：基層業(yè)務(wù)員：負(fù)責(zé)根據(jù)需求編制日?qǐng)?bào)表、月報(bào)表、年報(bào)表。分公司管理者：負(fù)責(zé)以日為單位查看運(yùn)營(yíng)報(bào)表，以月、年為單位查看分公司匯總報(bào)表?？偣竟芾碚撸贺?fù)責(zé)以月、年為單位查看總公司、各分公司的匯總報(bào)表。3.2.1 概念模型設(shè)計(jì) 綜合考慮，數(shù)據(jù)分析系統(tǒng)采用雙重粒度存儲(chǔ)數(shù)據(jù)，即以“日”為粒度的原子信息和以“月”為粒度的匯總信息。詳細(xì)結(jié)構(gòu)如圖3.1所示：車輛

13、日收入車輛日收入車輛日收入車輛日收入日匯總數(shù)據(jù)月匯總數(shù)據(jù)輕度級(jí)別中度級(jí)別圖3.1 數(shù)據(jù)倉(cāng)庫(kù)粒度級(jí)別設(shè)計(jì)圖3.2.1 概念模型設(shè)計(jì)（3）確定主題 主題是一個(gè)抽象的概念，是數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)概念模型的依據(jù)。具體來(lái)說(shuō)，主題從業(yè)務(wù)角度出發(fā)，定義用戶需要分析的方向，它和數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)實(shí)現(xiàn)無(wú)關(guān)。同樣以公交公司為例。在某公交公司存在6個(gè)運(yùn)營(yíng)級(jí)別，分別是公交公司分公司、車隊(duì)、線路、車輛、司機(jī)以及乘務(wù)員。每個(gè)運(yùn)營(yíng)級(jí)別之間也存在一定的隸屬關(guān)系，車隊(duì)隸屬于分公司、線路屬于車隊(duì)、車輛、司機(jī)以及乘務(wù)員屬于線路。運(yùn)營(yíng)級(jí)別關(guān)系如圖3.2。3.2.1 概念模型設(shè)計(jì)司機(jī)維度線路維度車隊(duì)維度日期維度分公司維度車輛運(yùn)營(yíng)圖3.2 車輛運(yùn)營(yíng)

14、主題的邏輯結(jié)構(gòu)圖數(shù)據(jù)倉(cāng)庫(kù)確定6個(gè)主題，即：分公司運(yùn)營(yíng)主題、車隊(duì)運(yùn)營(yíng)主題、線路運(yùn)營(yíng)主題、車輛運(yùn)營(yíng)主題、司機(jī)運(yùn)營(yíng)主題、乘務(wù)員運(yùn)營(yíng)主題。數(shù)據(jù)倉(cāng)庫(kù)以面向主題的方式組織數(shù)據(jù)，可以在較高層次上對(duì)分析數(shù)據(jù)進(jìn)行一致性描述。同時(shí)，這樣組織數(shù)據(jù)能夠全面展示各個(gè)分析對(duì)象所涉及的企業(yè)各項(xiàng)數(shù)據(jù)間的關(guān)系。3.2.2 邏輯模型設(shè)計(jì)定義邏輯模型主要是在概念模型的基礎(chǔ)上進(jìn)行主題細(xì)化，定義實(shí)體間的關(guān)系和屬性。數(shù)據(jù)倉(cāng)庫(kù)邏輯模型的基礎(chǔ)是主題，應(yīng)根據(jù)主題對(duì)業(yè)務(wù)的劃分以及業(yè)務(wù)間的關(guān)聯(lián)關(guān)系進(jìn)行描述。設(shè)計(jì)過程 ：（1）確定當(dāng)前需要載入的主題（2）維度設(shè)計(jì)3.2.2 邏輯模型設(shè)計(jì)（1）確定當(dāng)前需要載入的主題在概念模型階段，以公交公司為例確定了

15、6個(gè)主題?，F(xiàn)在要詳細(xì)的設(shè)計(jì)主題域所有的屬性，特別是確定能代表主題的屬性組。下表3.1展示分公司日運(yùn)營(yíng)主題、車輛日運(yùn)營(yíng)主題、司機(jī)日運(yùn)營(yíng)主題以及乘務(wù)員日運(yùn)營(yíng)主題（車隊(duì)、線路運(yùn)營(yíng)主題和分公司基本一致）的詳細(xì)描述。主題名主題名公共碼鍵公共碼鍵屬性組屬性組分公司運(yùn)營(yíng)主題分公司編號(hào)分公司固有信息：分公司名稱、分公司編號(hào)等運(yùn)營(yíng)信息：實(shí)際運(yùn)營(yíng)圈次、營(yíng)運(yùn)車日等計(jì)劃信息：計(jì)劃線路數(shù)、計(jì)劃普票收入等收銀信息：收銀收入、收銀人次等油耗信息：標(biāo)準(zhǔn)能源應(yīng)耗、標(biāo)準(zhǔn)能源實(shí)耗等安全信息：事故次數(shù)、事故收入等服務(wù)信息：服務(wù)檢查數(shù)、整潔檢查數(shù)等日期信息：年、月、日、節(jié)日等。表3.1 主題的詳細(xì)描述3.2.2 邏輯模型設(shè)計(jì)主題名主題

16、名公共碼鍵公共碼鍵屬性組屬性組車輛運(yùn)營(yíng)主題車輛編號(hào)車輛固有信息：車輛編號(hào)等運(yùn)營(yíng)信息：實(shí)際運(yùn)營(yíng)圈次、營(yíng)運(yùn)車日等計(jì)劃信息：計(jì)劃線路數(shù)、計(jì)劃普票收入等收銀信息：收銀收入、收銀人次等油耗信息：標(biāo)準(zhǔn)能源應(yīng)耗、標(biāo)準(zhǔn)能源實(shí)耗等日期信息：年、月、日、節(jié)日、天氣等。司機(jī)運(yùn)營(yíng)主題司機(jī)編號(hào)運(yùn)營(yíng)信息：實(shí)際運(yùn)營(yíng)圈次、總行駛時(shí)間等計(jì)劃信息：計(jì)劃行駛千米、計(jì)劃運(yùn)營(yíng)圈次等收銀信息：收銀收入、收銀人次等日期信息：年、月、日、節(jié)日、天氣等。乘務(wù)員運(yùn)營(yíng)主題編號(hào)乘務(wù)員固有信息：乘務(wù)員姓名、乘務(wù)員編號(hào)等；運(yùn)營(yíng)信息：實(shí)際運(yùn)營(yíng)圈次、總行駛時(shí)間等；計(jì)劃信息：計(jì)劃行駛千米、計(jì)劃運(yùn)營(yíng)圈次等；收銀信息：收銀收入、收銀人次等日期信息：年、月、日、節(jié)

17、日、天氣等。接表3.1 主題的詳細(xì)描述3.2.2 邏輯模型設(shè)計(jì)（2）維度設(shè)計(jì) 維度是用戶觀察、分析數(shù)據(jù)的角度，也是連接用戶和數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)的接口。維度常常是一組指標(biāo)，用戶可以從不同的維度指標(biāo)來(lái)進(jìn)行數(shù)據(jù)的組織分析。為了避免維度孤島的問題發(fā)生，在維度設(shè)計(jì)時(shí)應(yīng)采用一致性維度的方法。一致性維度主要有兩種存在方式：（1）一致性維度是同一的 一致的維度具有一致的關(guān)鍵字、一致的屬性列名稱、一致的屬性定義以及一致的屬性值，只要其中一項(xiàng)不同維度表就不一致。（2）具有最佳粒度性與細(xì)節(jié)性的維度在嚴(yán)格數(shù)據(jù)意義上的子集 比如，當(dāng)車輛事實(shí)表為與聚集維度相聯(lián)系的聚集事實(shí)時(shí)，維度就處在一個(gè)通過堆積形成的粒度層次上，這時(shí)，如果一

18、個(gè)維度是另一個(gè)維度數(shù)學(xué)上嚴(yán)格的子集，這種關(guān)系也滿足維度的一致性。3.2.2 邏輯模型設(shè)計(jì)例如，分公司月運(yùn)營(yíng)和分公司日運(yùn)營(yíng)由于粒度不同，無(wú)法在日期維度保持一致，所以分公司月運(yùn)營(yíng)維度應(yīng)當(dāng)在分公司日運(yùn)營(yíng)維度上建立。這樣月維度就可以是日期維度的子集，在后續(xù)鉆取等操作時(shí)仍可以保持一致。根據(jù)公交公司選定的主題，進(jìn)而設(shè)計(jì)的維度如上表3.1屬性組中所示。3.2.3 物理模型設(shè)計(jì)定義物理模型是將概念模型和邏輯模型以具體的實(shí)體形式展現(xiàn)的最終目標(biāo)，是建立在邏輯模型的基礎(chǔ)上對(duì)包括物理列名、數(shù)據(jù)類型、關(guān)鍵字定義以及是否允許為空等關(guān)系進(jìn)行相應(yīng)的設(shè)計(jì)。設(shè)計(jì)過程 ：（1）事實(shí)表設(shè)計(jì)（2）維度表設(shè)計(jì)3.2.3 物理模型設(shè)計(jì)（1

19、）事實(shí)表設(shè)計(jì) 事實(shí)表是維度模型的基本表，其度量值必須使用相同的粒度。Fact_日司機(jī)匯總表包含三類度量值：（1）可加性事實(shí) 指可做加法的事實(shí)，它是事實(shí)表最有用的事實(shí)。（2）半加性事實(shí) 指只能在某些維度相加的事實(shí)。半加性事實(shí)的表現(xiàn)形式也是數(shù)值，但是不能直接相加，因?yàn)橹苯酉嗉硬环线壿嫛＃?）非加性事實(shí) 指在任何情況下都不能進(jìn)行加法運(yùn)算的事實(shí)，或是加完后沒有任何意義的事實(shí)。文本度量值屬于非加性事實(shí)。同時(shí)，不代表數(shù)量意義的數(shù)值事實(shí)也屬于非加性事實(shí)。3.2.3 物理模型設(shè)計(jì)（2）維度表設(shè)計(jì) 維度表和事實(shí)表相輔相成，它提供對(duì)業(yè)務(wù)的文字描述。維度表的屬性決定著用戶與數(shù)據(jù)倉(cāng)庫(kù)交互的難易程度，豐富的維度屬性提

20、供豐富的約束條件和報(bào)表標(biāo)簽。維度表的屬性多是文字性的，并不具有數(shù)學(xué)上的運(yùn)算能力，這也是維度表屬性和事實(shí)表屬性的主要區(qū)別。在設(shè)計(jì)維度表時(shí)，可以更多地提供有意義的屬性，即維度表的列數(shù)可以適量的增加以對(duì)數(shù)據(jù)的屬性詳細(xì)說(shuō)明，這樣的設(shè)計(jì)可以提供更多維度的查詢。右圖展示的是Dim_日期維度表。列名數(shù)據(jù)類型允許null值日期keyint否完全日期date否星期幾tinyint否當(dāng)月的第幾天tinyint否當(dāng)年的第幾天smallint否當(dāng)年的第幾周tinyint否當(dāng)年的第幾月tinyint否當(dāng)年的第幾季度tinyint否日歷年smallint否節(jié)日var（10）是天氣var（10）是表3.2 Dim_日期維度

21、表3.2.3 物理模型設(shè)計(jì)下面以日期維度表為例，詳細(xì)介紹維度表的設(shè)計(jì)過程。Dim_日期維度表有11個(gè)屬性，每個(gè)屬性都是對(duì)維度表的描述?！叭諝v年”表示按照公歷紀(jì)元表示的年份。目前公交業(yè)務(wù)系統(tǒng)中最早的數(shù)據(jù)是從2002年開始的，因此，“日歷年”也是從2002年開始至今，以后隨著年份增加，每年都會(huì)增加新一年的數(shù)據(jù)?！爱?dāng)年的第幾月”表示月份數(shù)，取值范圍是112，“當(dāng)月的第幾天”表示的是每月的天數(shù)，自然月有28天、29天、30天以及31天，因而取值范圍為131。在Dim_日期維度表中除了表現(xiàn)時(shí)間的屬性外，還有兩個(gè)比較特殊的屬性：節(jié)日天氣不僅僅是給出“節(jié)日”和“非節(jié)日”這樣的內(nèi)容，而是給出9種屬性值，分別是

22、8個(gè)法定節(jié)假日以及“平時(shí)”。在生成數(shù)據(jù)時(shí)，默認(rèn)為“平時(shí)”。有20個(gè)屬性值，分別是晴天、陰天以及霧天等常見天氣狀況。在生成數(shù)據(jù)時(shí)，默認(rèn)為“晴”。3.3 ETL的過程設(shè)計(jì)數(shù)據(jù)抽取設(shè)計(jì)數(shù)據(jù)清洗設(shè)計(jì)數(shù)據(jù)加載設(shè)計(jì)3.3 ETL的過程設(shè)計(jì)ETL（即抽取、轉(zhuǎn)換、加載）系統(tǒng)是數(shù)據(jù)倉(cāng)庫(kù)的基礎(chǔ)之一。ETL系統(tǒng)通過從分散的源系統(tǒng)中抽取數(shù)據(jù)，按照規(guī)則和一致性標(biāo)準(zhǔn)清洗數(shù)據(jù)，最后以適當(dāng)?shù)男问秸宫F(xiàn)數(shù)據(jù)，供用戶做決策分析。一個(gè)標(biāo)準(zhǔn)的ETL流程圖如圖3.3所示。圖3.3 標(biāo)準(zhǔn)的ETL流程3.3.1 數(shù)據(jù)抽取設(shè)計(jì)常見的源系統(tǒng)類型有： 平面文件（包括固定長(zhǎng)度平面文件和有分隔符的平面文件）、數(shù)據(jù)庫(kù)、XML（擴(kuò)展標(biāo)志語(yǔ)音）數(shù)據(jù)源、We

23、b日志數(shù)據(jù)源以及ERP系統(tǒng)數(shù)據(jù)源等。對(duì)于各種類型的數(shù)據(jù)源，數(shù)據(jù)抽取方式如下：數(shù)據(jù)抽取方式全量抽?。涸隽砍槿。涸獠粍?dòng)的將數(shù)據(jù)從源系統(tǒng)抽取出來(lái)，并轉(zhuǎn)化成ETL工具可識(shí)別的格式。指只抽取新增或修改的數(shù)據(jù)。該方法應(yīng)用最多，其常用的模式有：觸發(fā)器方式、時(shí)間戳方式、全表刪除插入方式、全表對(duì)比方式以及日志表方式。3.3.1 數(shù)據(jù)抽取設(shè)計(jì) 指在源系統(tǒng)的表里設(shè)置增、刪、改三個(gè)觸發(fā)器，當(dāng)源系統(tǒng)數(shù)據(jù)發(fā)生變化時(shí)，觸發(fā)器就會(huì)自動(dòng)運(yùn)行，目標(biāo)數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)也會(huì)發(fā)生相應(yīng)變化。觸發(fā)器方式 是一種基于快照比較的變化數(shù)據(jù)捕獲方式，必須首先在源表上加上時(shí)間戳字段，當(dāng)源表數(shù)據(jù)變化時(shí)，時(shí)間戳也自動(dòng)更新，從而抽取數(shù)據(jù)時(shí)可以通過對(duì)比時(shí)間戳

24、來(lái)選擇需要更新的數(shù)據(jù)。時(shí)間戳方式 是一種較為常見的抽取方式，具體操作為每次ETL操作之前都必須先刪除相關(guān)數(shù)據(jù)，再由ETL重新加載數(shù)據(jù)。全表刪除插入方式 需要在業(yè)務(wù)系統(tǒng)中添加日志表，每當(dāng)數(shù)據(jù)源表數(shù)據(jù)發(fā)生變化，日志表就會(huì)更新，因此可以通過查看日志表確定哪些數(shù)據(jù)需要抽取。日志表方式 通過為數(shù)據(jù)源表創(chuàng)建一個(gè)主鍵以及所有字段的臨時(shí)表，當(dāng)ETL工具要抽取數(shù)據(jù)時(shí)，都必須先對(duì)臨時(shí)表和數(shù)據(jù)源表作比較，若不同于臨時(shí)表和數(shù)據(jù)源表，則執(zhí)行更新操作。全表對(duì)比方式3.3.2 數(shù)據(jù)清洗設(shè)計(jì)定義數(shù)據(jù)清洗是ETL系統(tǒng)三個(gè)步驟中最重要也是最核心的部分。通過清洗數(shù)據(jù)，可以將質(zhì)量存在問題的數(shù)據(jù)加以修正，達(dá)到準(zhǔn)確分析的要求。設(shè)計(jì)過程

25、：（1）定義數(shù)據(jù)質(zhì)量（2）對(duì)數(shù)據(jù)進(jìn)行清洗3.3.2 數(shù)據(jù)清洗設(shè)計(jì)（1）定義數(shù)據(jù)質(zhì)量正確性明確性一致性完整性數(shù)據(jù)必須能正確的反映它所代表的對(duì)象。數(shù)據(jù)的描述應(yīng)具有唯一的意義。數(shù)據(jù)清洗的第一步是定義數(shù)據(jù)質(zhì)量。高質(zhì)量的數(shù)據(jù)必須有以下4個(gè)特點(diǎn)：數(shù)據(jù)的值和描述必須保持不變。確定一致性后，數(shù)據(jù)倉(cāng)庫(kù)的每個(gè)表都必須使用不變的標(biāo)識(shí)約定。完整性約束通常有兩個(gè)方面，一是保證記錄數(shù)是完整的沒有任何丟失記錄；二是對(duì)每個(gè)屬性進(jìn)行定義，包括屬性值和約束。（2）對(duì)數(shù)據(jù)進(jìn)行清洗3.3.2 數(shù)據(jù)清洗設(shè)計(jì)明確定義數(shù)據(jù)質(zhì)量之后就要將源數(shù)據(jù)和數(shù)據(jù)質(zhì)量要求作對(duì)比，對(duì)數(shù)據(jù)進(jìn)行清洗。在實(shí)際操作中，往往會(huì)出現(xiàn)多種數(shù)據(jù)問題，我們將常見的數(shù)據(jù)質(zhì)量問

26、題歸為四類，針對(duì)每類問題都有相應(yīng)的解決方法，如下：A類B類這類問題是最常見的，表現(xiàn)形式為數(shù)據(jù)出現(xiàn)錯(cuò)誤。比如，在DFact_日司機(jī)匯總表中，總行駛千米表示當(dāng)天該司機(jī)開車行駛的總里程。從邏輯上來(lái)說(shuō)，總行駛千米不可能為負(fù)值。因此，當(dāng)出現(xiàn)負(fù)值時(shí)，可以確定是數(shù)據(jù)源存在問題，最大的可能就是數(shù)據(jù)錄入時(shí)出現(xiàn)了錯(cuò)誤。類似于該類問題，解決方法只能回到源系統(tǒng)進(jìn)行處理。ETL清洗這類數(shù)據(jù)時(shí)，應(yīng)當(dāng)明確標(biāo)明這些數(shù)據(jù)屬于偽造或缺失。該類問題與A類問題的內(nèi)容大致相同，但主要區(qū)別在于技術(shù)實(shí)現(xiàn)。以公交五公司的一條線路為例，在數(shù)據(jù)清洗過程中，發(fā)現(xiàn)K400公交線路存在兩種寫法：K400和k400。正確的寫法是大寫的K400。使用ET

27、L的數(shù)據(jù)流轉(zhuǎn)換工具可以批量的將錯(cuò)誤的寫法修改為正確的寫法，即將小寫改為大寫，但最理想的解決方案應(yīng)該是在源系統(tǒng)將錯(cuò)誤改正，這樣在調(diào)用該數(shù)據(jù)源時(shí)不需要再次修改數(shù)據(jù)。3.3.2 數(shù)據(jù)清洗設(shè)計(jì)C類D類該類問題一般不是因?yàn)閿?shù)據(jù)本身出現(xiàn)錯(cuò)誤，而是對(duì)數(shù)據(jù)的格式有不同的需求。在數(shù)據(jù)倉(cāng)庫(kù)物理模型設(shè)計(jì)時(shí)，將維度屬性“司機(jī)編號(hào)”數(shù)據(jù)類型定義為varchar（10），這樣既可以節(jié)省空間，又可以在后期數(shù)據(jù)顯示時(shí)獲得更好的效果，然而在源系統(tǒng)里“司機(jī)編號(hào)”的類型是char（10）。源系統(tǒng)對(duì)數(shù)據(jù)的定義并沒有出錯(cuò)，但不滿足新系統(tǒng)的需求。該問題最好的解決方案是保持源數(shù)據(jù)系統(tǒng)不變，在ETL過程中對(duì)數(shù)據(jù)類型進(jìn)行修改。這類問題通常是固

28、定的源系統(tǒng)錯(cuò)誤數(shù)據(jù)或者是第三方系統(tǒng)的數(shù)據(jù)缺失，并且只能在ETL系統(tǒng)解決。D類問題在4種數(shù)據(jù)質(zhì)量問題中最少見，但往往是數(shù)據(jù)清洗的難點(diǎn)和重點(diǎn)。下面以DFact_日司機(jī)匯總表的ETL過程為例，詳細(xì)闡述D類問題的產(chǎn)生原因和解決方案：DFact_日司機(jī)匯總表中有一類數(shù)據(jù)表示的是收銀信息，包括收入和人次兩個(gè)方面。3.3.2 數(shù)據(jù)清洗設(shè)計(jì)收入營(yíng)運(yùn)收入收銀收入票務(wù)收入IC卡收入人次營(yíng)運(yùn)人次收銀人次票務(wù)人次IC卡人次收入信息人次信息包括營(yíng)運(yùn)收入、收銀收入、票務(wù)收入、IC卡收入。其中，IC卡收入又可以細(xì)分為成人卡收入、學(xué)生卡收入以及老年卡收入。包括營(yíng)運(yùn)人次、收銀人次、票務(wù)人次、IC卡人次，IC卡人次可分為成人卡人

29、次、學(xué)生卡人次以及老年卡人次，具體關(guān)系如下表：表3.3 收入、人次關(guān)系3.3.2 數(shù)據(jù)清洗設(shè)計(jì)以收入信息為例分析數(shù)據(jù)來(lái)源。運(yùn) 營(yíng)收 入收 銀收 入票 務(wù)收 入IC卡收 入是一個(gè)計(jì)算字段，相當(dāng)于收銀收入、票務(wù)收入以及IC卡收入總和。來(lái)源于收銀數(shù)據(jù)庫(kù)，是無(wú)人售票線路的現(xiàn)款收入。收銀數(shù)據(jù)是第二天從收銀數(shù)據(jù)庫(kù)導(dǎo)入計(jì)統(tǒng)數(shù)據(jù)庫(kù)。來(lái)源于票務(wù)數(shù)據(jù)庫(kù)，是有售票員線路的售票收入，票務(wù)收入每天晚上導(dǎo)入計(jì)統(tǒng)數(shù)據(jù)庫(kù)。來(lái)源于一卡通數(shù)據(jù)庫(kù)，是無(wú)人售票線路的IC卡刷卡收入，IC卡收入也是次日從一卡通數(shù)據(jù)庫(kù)導(dǎo)入計(jì)統(tǒng)數(shù)據(jù)庫(kù)。在源系統(tǒng)中，對(duì)任意的某一天，只有票務(wù)收入是當(dāng)天的數(shù)據(jù)，收銀收入和IC卡收入都是前一天的數(shù)據(jù)，所以當(dāng)天的營(yíng)運(yùn)

30、收入是錯(cuò)誤的值。3.3.2 數(shù)據(jù)清洗設(shè)計(jì)ETL系統(tǒng)設(shè)計(jì)了存儲(chǔ)過程“DFact日司機(jī)日期提前一天”，它按月將一個(gè)月的部分收入數(shù)據(jù)和人次數(shù)據(jù)提前一天。例如源系統(tǒng)的20號(hào)數(shù)據(jù)在數(shù)據(jù)倉(cāng)庫(kù)中為19號(hào)的數(shù)據(jù)，而源系統(tǒng)每月的第一天則提前為上月的最后一天的數(shù)據(jù)?！癉Fact日司機(jī)日期提前一天”是寫在數(shù)據(jù)倉(cāng)庫(kù)中的存儲(chǔ)過程，可以使ETL工具箱里的控制流工具“傳輸主存儲(chǔ)過程任務(wù)”調(diào)用該存儲(chǔ)過程，在適當(dāng)?shù)臅r(shí)候執(zhí)行操作。通過存儲(chǔ)過程的修正，查詢DFact_日司機(jī)匯總表中任意一天的收入數(shù)據(jù)即為當(dāng)天的收入數(shù)據(jù)。為了保持?jǐn)?shù)據(jù)的一致性，ETL過程必須將這部分?jǐn)?shù)據(jù)重新組合。解決方案：3.3.3 數(shù)據(jù)加載設(shè)計(jì)定義加載數(shù)據(jù)到目標(biāo)多維

31、結(jié)構(gòu)是ETL的最后一步。在這個(gè)步驟中，主要操作是提取并轉(zhuǎn)換數(shù)據(jù)寫入目標(biāo)數(shù)據(jù)庫(kù)，最終由用戶和應(yīng)用程序訪問。設(shè)計(jì)過程 ：（1）對(duì)維度表的加載（2）對(duì)事實(shí)表的加載3.3.3 數(shù)據(jù)加載設(shè)計(jì)（1）維度表的加載 維度表的加載常采用漸變維度法（Slowly Changing Dimensions，簡(jiǎn)稱SCD）。 漸變維度是指在數(shù)據(jù)倉(cāng)庫(kù)中隨著時(shí)間的變化存儲(chǔ)和管理當(dāng)前數(shù)據(jù)以及歷史數(shù)據(jù)的維。根據(jù)處理屬性變化的策略不同，漸變維度分為3種類型。類型一：特點(diǎn)是變化覆蓋現(xiàn)有屬性。 一個(gè)類型變化只更新屬性，不插入新紀(jì)錄，不影響主碼。新傳入的記錄（改變或修改了數(shù)據(jù)集）取代了現(xiàn)有的舊記錄，這樣屬性反映的總是最新的記錄。 現(xiàn)在以

32、乘務(wù)員的維度作為考察對(duì)象。Dim乘務(wù)員表是乘務(wù)員運(yùn)營(yíng)主題的維度表，現(xiàn)在有乘務(wù)員編號(hào)為05001627的乘務(wù)員。于是，存在于Dim乘務(wù)員表的05001627號(hào)乘務(wù)員具有如下表3.4形式：3.3.3 數(shù)據(jù)加載設(shè)計(jì)年月乘務(wù)員編號(hào)乘務(wù)員名稱性別車隊(duì)編號(hào)是否在冊(cè)線路編號(hào)20141005001627馬濤男506是260表3.4 乘務(wù)員維度值1乘務(wù)員編號(hào)是Dim乘務(wù)員表的主碼，在3種類型的討論中，主碼都保持不變，即乘務(wù)員編號(hào)是不會(huì)發(fā)生變化的。假設(shè)在2014年11月1日，該乘務(wù)員從260線路調(diào)到環(huán)山2號(hào)線路上班，如果應(yīng)用類型1，則用新的線路編號(hào)更新維度表的數(shù)據(jù)即可，更新后的數(shù)據(jù)如下表3.5所示：年月乘務(wù)員編號(hào)

33、乘務(wù)員名稱性別車隊(duì)編號(hào)是否在冊(cè)線路編號(hào)20141105001627馬濤男506是環(huán)山2號(hào)表3.5 乘務(wù)員維度值23.3.3 數(shù)據(jù)加載設(shè)計(jì)類型二：特點(diǎn)是增加改變的記錄。 當(dāng)2014年11月后05001627乘務(wù)員從260線路調(diào)到環(huán)山2號(hào)線路上班，應(yīng)用類型2的方法，則是添加一條新的記錄，該乘務(wù)員相關(guān)數(shù)據(jù)記錄如表3.6所示：年月乘務(wù)員編號(hào)乘務(wù)員名稱性別車隊(duì)編號(hào)是否在冊(cè)線路編號(hào)20141005001627馬濤男506是26020141105001627馬濤男506是環(huán)山2號(hào)表3.6 乘務(wù)員維度值3 類型2的方法可以很好地跟蹤維度的變化，并且能夠記錄所有的歷史屬性。但是每次變化添加新紀(jì)錄的方式會(huì)加速維度

34、表的膨脹，實(shí)踐證明，當(dāng)維度表已經(jīng)超過100萬(wàn)行時(shí)，類型2是不適用的。3.3.3 數(shù)據(jù)加載設(shè)計(jì)類型三：特點(diǎn)是添加維度列。 當(dāng)屬性值變化時(shí)，并不是如類型2一般添加新的記錄，而是通過添加新的列來(lái)捕獲屬性的變化。 針對(duì)乘務(wù)員的例子，應(yīng)用類型3得到記錄表3.7：年月乘務(wù)員編號(hào)乘務(wù)員名稱性別車隊(duì)編號(hào)是否在冊(cè)前線路編號(hào)20141105001627馬濤男506是260表3.7 乘務(wù)員維度值4 類型3的優(yōu)點(diǎn)是可以在同一條記錄里展示新舊屬性值，方便做分析比較。但類型3顯然不適用于屬性值頻繁變化的情況，屬性值頻繁變化帶來(lái)的影響非常嚴(yán)重，因此如果需要跟蹤不可預(yù)見的變化，類型2更適用于類型3。3.3.3 數(shù)據(jù)加載設(shè)計(jì)（2）事實(shí)表的加載 事實(shí)表有3種基本類型，分別是事務(wù)事實(shí)表、周期快照事實(shí)表以及累積快照事實(shí)表。累積快照事實(shí)表周期快照事實(shí)表事務(wù)事表粒度每個(gè)生命期一行每段一行每個(gè)事務(wù)一行日期維度標(biāo)準(zhǔn)關(guān)鍵環(huán)節(jié)的多個(gè)日期時(shí)間段終止日期事務(wù)日期代表的時(shí)間段不確定時(shí)間跨度規(guī)律性可預(yù)見時(shí)間點(diǎn)事實(shí)表更新需要更新數(shù)據(jù)更新數(shù)據(jù)不更新數(shù)據(jù)事實(shí)表加載插入與更新插入插入