數(shù)據(jù)倉的概念、設(shè)計(jì)及應(yīng)用

DataWarehouse

數(shù)據(jù)倉庫概念、設(shè)計(jì)及應(yīng)用報(bào)告人：曹順良2001年11月12日第一頁，共三十頁。提綱1.為什么要建立數(shù)據(jù)倉庫2.數(shù)據(jù)倉庫的概念及特性3.數(shù)據(jù)倉庫的結(jié)構(gòu)4.數(shù)據(jù)倉庫的設(shè)計(jì)5.數(shù)據(jù)倉庫的開發(fā)過程6.數(shù)據(jù)倉庫的典型應(yīng)用第二頁，共三十頁。事務(wù)處理環(huán)境不適宜DSS應(yīng)用的原因

事務(wù)處理和分析處理的性能特性不同操作型處理對數(shù)據(jù)的存取操作頻率高而每次操作處理的時(shí)間短；

在分析處理環(huán)境中，某個(gè)DSS應(yīng)用程序可能需要連續(xù)幾個(gè)小時(shí)，從而消耗大量的系統(tǒng)資源。數(shù)據(jù)集成問題數(shù)據(jù)動態(tài)集成問題歷史數(shù)據(jù)問題數(shù)據(jù)的綜合問題

第三頁，共三十頁。抽取程序用抽取程序能將數(shù)據(jù)從高性能聯(lián)機(jī)事務(wù)處理方式中轉(zhuǎn)移出來，在需要總體分析數(shù)據(jù)時(shí)就與聯(lián)機(jī)事務(wù)處理性能不發(fā)生沖突。用抽取程序能將數(shù)據(jù)從聯(lián)機(jī)事務(wù)處理范圍內(nèi)移出時(shí)，數(shù)據(jù)的控制方式就發(fā)生了轉(zhuǎn)變。第四頁，共三十頁。蜘蛛網(wǎng)問題數(shù)據(jù)缺乏可信性數(shù)據(jù)無時(shí)基數(shù)據(jù)算法上的差異抽取的多層次外部數(shù)據(jù)問題無起始的公共數(shù)據(jù)源生產(chǎn)率低根據(jù)全部數(shù)據(jù)生成企業(yè)報(bào)表定位數(shù)據(jù)需要瀏覽大量文件抽取程序很多，并且每個(gè)都是定制的，不得不克服很多技術(shù)上的障礙。數(shù)據(jù)轉(zhuǎn)化為信息的不可行性數(shù)據(jù)沒有集成化缺乏將數(shù)據(jù)轉(zhuǎn)化為信息所需的歷史數(shù)據(jù)第五頁，共三十頁。體系結(jié)構(gòu)設(shè)計(jì)環(huán)境的層次數(shù)據(jù)操作層只保存原始數(shù)據(jù)并且服務(wù)于高性能事務(wù)處理領(lǐng)域；數(shù)據(jù)倉庫層存儲不更新的原始數(shù)據(jù)，此外一些導(dǎo)出數(shù)據(jù)也在此存在；數(shù)據(jù)的部門層幾乎只存放導(dǎo)出數(shù)據(jù)；在數(shù)據(jù)個(gè)體層中完成大多數(shù)啟發(fā)式分析操作層原子/數(shù)據(jù)倉庫層部門層個(gè)體層第六頁，共三十頁。數(shù)據(jù)倉庫的概念

數(shù)據(jù)倉庫是在企業(yè)管理和決策中面向主題的、集成的、與時(shí)間相關(guān)的、不可修改的數(shù)據(jù)集合。[WilliamH.Inmon]與其他數(shù)據(jù)庫應(yīng)用不同的是，數(shù)據(jù)倉庫更像一種過程，對分布在企業(yè)內(nèi)部各處的業(yè)務(wù)數(shù)據(jù)的整合、加工和分析的過程。第七頁，共三十頁。數(shù)據(jù)倉庫的特性

面向主題典型的主題領(lǐng)域：客戶；產(chǎn)品；交易；帳目集成的數(shù)據(jù)提取、凈化、轉(zhuǎn)換、裝載非易失的數(shù)據(jù)倉庫的數(shù)據(jù)通常是一起載入和訪問的，但并不進(jìn)行一般意義上的數(shù)據(jù)更新隨時(shí)間的變化性數(shù)據(jù)倉庫中的時(shí)間期限要遠(yuǎn)遠(yuǎn)長于操作型系統(tǒng)中的時(shí)間期限（5~10年）；數(shù)據(jù)倉庫中的數(shù)據(jù)是一系列某一時(shí)刻生成的復(fù)雜的快照；數(shù)據(jù)倉庫的鍵碼結(jié)構(gòu)總是包含某時(shí)間元素。第八頁，共三十頁。數(shù)據(jù)倉庫的結(jié)構(gòu)早期細(xì)節(jié)級當(dāng)前細(xì)節(jié)級輕度綜合級數(shù)據(jù)集市高度綜合級元數(shù)據(jù)操作型轉(zhuǎn)換第九頁，共三十頁。

數(shù)據(jù)倉庫設(shè)計(jì)中的幾個(gè)重要概念

ETLETL（Extract/Transformation/Load）—用戶從數(shù)據(jù)源抽取出所需的數(shù)據(jù)，經(jīng)過數(shù)據(jù)清洗、轉(zhuǎn)換,最終按照預(yù)先定義好的數(shù)據(jù)倉庫模型，將數(shù)據(jù)加載到數(shù)據(jù)倉庫中去。元數(shù)據(jù)關(guān)于數(shù)據(jù)的數(shù)據(jù)，指在數(shù)據(jù)倉庫建設(shè)過程中所產(chǎn)生的有關(guān)數(shù)據(jù)源定義，目標(biāo)定義，轉(zhuǎn)換規(guī)則等相關(guān)的關(guān)鍵數(shù)據(jù)。同時(shí)元數(shù)據(jù)還包含關(guān)于數(shù)據(jù)含義的商業(yè)信息。粒度數(shù)據(jù)倉庫的數(shù)據(jù)單位中保存數(shù)據(jù)的細(xì)化或綜合程度的級別。細(xì)化程度越高，粒度級就越小；相反，細(xì)化程度越低，粒度級就越大。分割結(jié)構(gòu)相同的數(shù)據(jù)被分成多個(gè)數(shù)據(jù)物理單元。任何給定的數(shù)據(jù)單元屬于且僅屬于一個(gè)分割。第十頁，共三十頁。典型的元數(shù)據(jù)包括：數(shù)據(jù)倉庫表的結(jié)構(gòu)數(shù)據(jù)倉庫表的屬性數(shù)據(jù)倉庫的源數(shù)據(jù)（記錄系統(tǒng)）從記錄系統(tǒng)到數(shù)據(jù)倉庫的映射數(shù)據(jù)模型的規(guī)格說明抽取日志訪問數(shù)據(jù)的公用例行程序第十一頁，共三十頁。

數(shù)據(jù)倉庫設(shè)計(jì)中的幾個(gè)重要概念(續(xù)）DataMart數(shù)據(jù)集市--小型的，面向部門或工作組級數(shù)據(jù)倉庫。OperationDataStore操作數(shù)據(jù)存儲—ODS是能支持企業(yè)日常的全局應(yīng)用的數(shù)據(jù)集合,是不同于DB的一種新的數(shù)據(jù)環(huán)境,是DW擴(kuò)展后得到的一個(gè)混合形式。四個(gè)基本特點(diǎn)：面向主題的(Subject-Oriented)、集成的、可變的、當(dāng)前或接近當(dāng)前的。datamodel數(shù)據(jù)模型--（1）邏輯數(shù)據(jù)結(jié)構(gòu)，包括由DBMS為有效進(jìn)行數(shù)據(jù)庫處理提供的操作和約束；（2）用于表示數(shù)據(jù)的系統(tǒng)（例如，ERD或關(guān)系型模型）。

artifact

人工關(guān)系--在DSS環(huán)境中用于表示參照完整性的一種設(shè)計(jì)技術(shù)。第十二頁，共三十頁。企業(yè)數(shù)據(jù)模型到數(shù)據(jù)倉庫數(shù)據(jù)模型的轉(zhuǎn)換除去純粹用于操作型環(huán)境的數(shù)據(jù)在企業(yè)鍵碼結(jié)構(gòu)中增加時(shí)間元素增加導(dǎo)出數(shù)據(jù)創(chuàng)建人工關(guān)系第十三頁，共三十頁。數(shù)據(jù)模型的規(guī)范化/反規(guī)范化為了減少程序在表中的跳轉(zhuǎn)、節(jié)省I/O，需將多個(gè)相關(guān)的表合并；引入冗余數(shù)據(jù)；當(dāng)訪問概率有很大懸殊時(shí)，要對數(shù)據(jù)做進(jìn)一步分離；在物理數(shù)據(jù)庫的設(shè)計(jì)中引入導(dǎo)出數(shù)據(jù)可以減少I/O；建立所謂的“創(chuàng)造的”索引或創(chuàng)造的簡要記錄（如卷中的前十名顧客是——）第十四頁，共三十頁。數(shù)據(jù)倉庫體系結(jié)構(gòu)OLTP數(shù)據(jù)源數(shù)據(jù)倉庫數(shù)據(jù)集市?數(shù)據(jù)采集及整合數(shù)據(jù)的映射規(guī)則、模型。。。

（元數(shù)據(jù)管理）數(shù)據(jù)倉庫項(xiàng)目流程管理及系統(tǒng)性能管理和監(jiān)控?數(shù)據(jù)展現(xiàn)及決策生產(chǎn)財(cái)務(wù)結(jié)算外部航線分析總量分析市場分析InfoPump數(shù)據(jù)分析、DM終端用戶終端用戶第十五頁，共三十頁。從操作型的現(xiàn)存系統(tǒng)到數(shù)據(jù)倉庫中數(shù)據(jù)轉(zhuǎn)換工作的難點(diǎn)現(xiàn)有系統(tǒng)缺乏數(shù)據(jù)集成，跨越不同應(yīng)用的數(shù)據(jù)集成性很差存取現(xiàn)存系統(tǒng)的效率，掃描已有文件成了數(shù)據(jù)倉庫體系結(jié)構(gòu)設(shè)計(jì)者主要面對的問題時(shí)基的變化數(shù)據(jù)要濃縮第十六頁，共三十頁。概念：數(shù)據(jù)周期、簡要記錄數(shù)據(jù)周期：是指從操作型數(shù)據(jù)發(fā)生改變起，到這個(gè)變化反映到數(shù)據(jù)倉庫中所用的時(shí)間。從操作型環(huán)境知道數(shù)據(jù)的改變到這個(gè)變化反映到數(shù)據(jù)倉庫中至少應(yīng)該經(jīng)歷24小時(shí)。簡要記錄：或聚集記錄，是把不同操作型數(shù)據(jù)的詳細(xì)信息聚集在一個(gè)記錄中而形成的記錄。好處：①減少數(shù)據(jù)量；②為用戶的訪問和分析提供了一種緊湊的方便的數(shù)據(jù)組織形式；缺點(diǎn)：信息的詳細(xì)程度將會降低。

第十七頁，共三十頁。數(shù)據(jù)倉庫的建模數(shù)據(jù)模型所有的實(shí)體都是平等關(guān)系。僅僅從數(shù)據(jù)模型的角度來著手設(shè)計(jì)數(shù)據(jù)倉庫會產(chǎn)生一種“平面”效應(yīng)。星型連接事實(shí)表：位于星型連接的中央，它是被大量載入數(shù)據(jù)的實(shí)體。維表：周圍的其它實(shí)體。在很多情況下：文本數(shù)據(jù)與數(shù)值數(shù)據(jù)是分離開的。通過數(shù)據(jù)預(yù)連接和建立有選擇的數(shù)據(jù)冗余，設(shè)計(jì)者為訪問和分析過程大大簡化了數(shù)據(jù)。星型連接應(yīng)用于設(shè)計(jì)數(shù)據(jù)倉庫中很大的實(shí)體，而數(shù)據(jù)模型則應(yīng)用于數(shù)據(jù)倉庫中較小的實(shí)體。第十八頁，共三十頁。VendordataVendordataVendordatavendor_id供應(yīng)商cust_id客戶order_id發(fā)貨OrderdataOrderdataorder_id訂單CustdataCustdataCustdataNonkeydataOrderdataOrderdataOrderdata產(chǎn)品ProductdataProductdataProductdataProductidVendoridNonkeydatacustidNonkeydataorderidNonkeydataproductid第十九頁，共三十頁。數(shù)據(jù)建模的十條戒律①必須回答緊迫的問題；②必須有正確的事實(shí)表；③將有正確的維表，描述必須按最終用戶的業(yè)務(wù)術(shù)語表達(dá)；④必須理解數(shù)據(jù)倉庫所影響的公司過程或影響數(shù)據(jù)倉庫的公司過程；⑤對于事實(shí)表，應(yīng)該有正確的“粒度”；⑥根據(jù)需要存儲正確長度的公司歷史數(shù)據(jù)；⑦以一種對于公司有意義的方式來集成所有必要的數(shù)據(jù)；⑧創(chuàng)建必要的總結(jié)表；⑨創(chuàng)建必要的索引；⑩能夠加載數(shù)據(jù)倉庫數(shù)據(jù)庫并使它以一種適宜的方式可用。第二十頁，共三十頁。數(shù)據(jù)集市外部數(shù)據(jù)用自頂向下的方法構(gòu)建數(shù)據(jù)倉庫數(shù)據(jù)集市建造企業(yè)數(shù)據(jù)倉庫建設(shè)中心數(shù)據(jù)模型一次性的完成數(shù)據(jù)的重構(gòu)工作最小化數(shù)據(jù)冗余度和不一致性存儲詳細(xì)的歷史數(shù)據(jù)從企業(yè)數(shù)據(jù)倉庫中建造數(shù)據(jù)集市得到大部分的集成數(shù)據(jù)直接依賴于數(shù)據(jù)倉庫的可用性操作數(shù)據(jù)問題投資效益的時(shí)間?建設(shè)中心數(shù)據(jù)模型的必要性和可能性?初始費(fèi)用?企業(yè)數(shù)據(jù)倉庫第二十一頁，共三十頁。用自底向上的方法構(gòu)建數(shù)據(jù)倉庫數(shù)據(jù)集市建立部門數(shù)據(jù)集市限制在一個(gè)主題區(qū)域快速投資收益區(qū)域自治–設(shè)計(jì)的可伸縮性強(qiáng)對相關(guān)部門的應(yīng)用容易復(fù)制對每個(gè)數(shù)據(jù)集市需要數(shù)據(jù)重構(gòu)存在一定的冗余及不一直性逐步擴(kuò)展到企業(yè)數(shù)據(jù)倉庫(EDW)把建造EDW作為一個(gè)長期的目標(biāo)存在的問題:數(shù)據(jù)集市的數(shù)據(jù)都是可用的嗎?能生成數(shù)據(jù)模型嗎?如何解決不一致性?外部數(shù)據(jù)操作數(shù)據(jù)(全局)&操作數(shù)據(jù)(局部)操作數(shù)據(jù)(局部)數(shù)據(jù)集市企業(yè)數(shù)據(jù)倉庫第二十二頁，共三十頁。數(shù)據(jù)倉庫的開發(fā)過程建立或獲得企業(yè)的數(shù)據(jù)模型；定義記錄系統(tǒng)；設(shè)計(jì)數(shù)據(jù)倉庫并按主題領(lǐng)域進(jìn)行組織；設(shè)計(jì)和建立操作型環(huán)境中的記錄系統(tǒng)和數(shù)據(jù)倉庫之間的接口，這些接口能保證數(shù)據(jù)倉庫的載入工作能有序的進(jìn)行；開始載入第一個(gè)主題領(lǐng)域，進(jìn)入載入和反饋過程，數(shù)據(jù)倉庫中的數(shù)據(jù)在此過程中也在不斷地改變。第二十三頁，共三十頁。數(shù)據(jù)模型的內(nèi)容標(biāo)識主要主題領(lǐng)域。各個(gè)主要主題之間的各種關(guān)系。清晰地定義模型的邊界。把原始數(shù)據(jù)和導(dǎo)出數(shù)據(jù)分離。每個(gè)主題領(lǐng)域需要標(biāo)識鍵碼屬性屬性分組之間的關(guān)系多重出現(xiàn)的數(shù)據(jù)數(shù)據(jù)的類型第二十四頁，共三十頁。表達(dá)數(shù)據(jù)模型的最好數(shù)據(jù)最實(shí)時(shí)最準(zhǔn)確最完備與外部數(shù)據(jù)源最近最具結(jié)構(gòu)兼容性定義記錄系統(tǒng)就是找出現(xiàn)存系統(tǒng)所具有的最好的數(shù)據(jù)第二十五頁，共三十頁。將數(shù)據(jù)模型變?yōu)閿?shù)據(jù)倉庫要做的主要工作如果原先沒有時(shí)間元素的話，時(shí)間元素必須加入到鍵碼結(jié)構(gòu)中必須清除所有的純操作型數(shù)據(jù)需要將參照完整性關(guān)系轉(zhuǎn)換成“人工關(guān)系”將經(jīng)常需要用到的到處數(shù)據(jù)假如到設(shè)計(jì)中對數(shù)據(jù)的結(jié)構(gòu)進(jìn)行調(diào)整增加數(shù)據(jù)陣列增加數(shù)據(jù)冗余在合適的情況下進(jìn)一步分離數(shù)據(jù)在合適的時(shí)候合并數(shù)據(jù)表需要做數(shù)據(jù)的穩(wěn)定性分析第二十六頁，共三十頁。在接口中需完成的工作數(shù)據(jù)抽取對來自操作型、面向應(yīng)用型環(huán)境的數(shù)據(jù)的集成數(shù)據(jù)時(shí)基的變更數(shù)據(jù)壓縮對現(xiàn)存系統(tǒng)環(huán)境的有效掃描第二十七頁，共三十頁。數(shù)據(jù)倉庫開發(fā)成功的關(guān)鍵關(guān)鍵：是數(shù)據(jù)體系結(jié)構(gòu)設(shè)計(jì)者和DSS分析者之間的反饋循環(huán)。有幾點(diǎn)觀察結(jié)果對數(shù)據(jù)倉庫環(huán)境的成功建立是至關(guān)重要的問題：DSS分析人員一定要嚴(yán)格遵循“給我我所要的東西，然后我能告訴你我真正需要的東西”的工作模式；反饋循環(huán)的周期越短，越有可能成功；需要調(diào)整的數(shù)據(jù)量越大，反饋循環(huán)所需要的周期就越長第二十八頁，共三十頁。數(shù)據(jù)倉庫的應(yīng)用在證券業(yè)的應(yīng)用:可處理客戶分析、帳戶分析、證券交易數(shù)據(jù)分析、非資金交易分析等多個(gè)業(yè)界關(guān)心的主題，為客戶提供針對其個(gè)人習(xí)慣、投資組合的投資建議，從而真正作到對客戶的貼心服務(wù)。在銀行領(lǐng)域的應(yīng)用:防范銀行的經(jīng)營風(fēng)險(xiǎn)、實(shí)現(xiàn)科學(xué)管理以及進(jìn)行決策.在稅務(wù)領(lǐng)域的應(yīng)用：可以解決三個(gè)方面的問題：一是查出應(yīng)稅未報(bào)者和瞞稅漏稅者，并對其進(jìn)行跟蹤；二是對不同行業(yè)、產(chǎn)品和市場中納稅人的行為特性進(jìn)行描述，找出普遍規(guī)律，謀求因勢利導(dǎo)的稅務(wù)征稽策略；三是對不同行業(yè)、產(chǎn)品和市場應(yīng)收稅款進(jìn)行預(yù)測，制定最有效的征收計(jì)劃。

在保險(xiǎn)業(yè)的應(yīng)用:滿足保險(xiǎn)行業(yè)日益增長的各種查詢、統(tǒng)計(jì)、報(bào)表以及分析的需求，提高防范和化解經(jīng)營風(fēng)險(xiǎn)的能力，有效利用這些數(shù)據(jù)來實(shí)現(xiàn)經(jīng)營目標(biāo)，預(yù)測保險(xiǎn)業(yè)的發(fā)展趨勢，甚至利用這些數(shù)據(jù)來設(shè)計(jì)保險(xiǎn)企業(yè)的發(fā)展宏圖，在激烈的競爭中贏得先機(jī).在客戶服務(wù)及營銷方面的應(yīng)用:CRM在保健領(lǐng)域的應(yīng)用:揭示出如何以較低費(fèi)用獲取較高質(zhì)量的治療策略趨勢和模式.第二十九頁，共三十頁。內(nèi)容總結(jié)DataWarehouse。為了減少程序在表中的跳轉(zhuǎn)、節(jié)省I/O，需將多個(gè)相關(guān)的表合