數(shù)據(jù)倉庫與商業(yè)智能概述

數(shù)據(jù)倉庫與商業(yè)智能2009-4-20主要內(nèi)容數(shù)據(jù)倉庫的起源和發(fā)展數(shù)據(jù)倉庫定義和特點數(shù)據(jù)倉庫體系結(jié)構(gòu)數(shù)據(jù)倉庫建設(shè)方法商業(yè)智能數(shù)據(jù)倉庫的起源和發(fā)展數(shù)據(jù)管理的歷史人工管理方式這一時期是在20世紀(jì)50年代中期以前，這一階段的計算機應(yīng)用主要用于科學(xué)計算，外存只有紙帶、磁帶、卡片等，數(shù)據(jù)處理的方式基本上是批處理。這一時期數(shù)據(jù)管理的特點是：數(shù)據(jù)不保存；沒有專用的數(shù)據(jù)管理軟件，每個應(yīng)用都必須自己完成存儲結(jié)構(gòu)、存取方法、輸入輸出等數(shù)據(jù)管理功能；一組數(shù)據(jù)對應(yīng)一個應(yīng)用，這使得程序之間可能有重復(fù)的數(shù)據(jù)。文件系統(tǒng)管理這一階段在20世紀(jì)50年代后期至60年代中后期，計算機應(yīng)用開始用于信息管理，由于數(shù)據(jù)存儲、檢索和維護等需求，使得相應(yīng)的研究開展起來了，在硬件和軟件方面都得到了發(fā)展，磁盤磁鼓出現(xiàn)，操作系統(tǒng)也產(chǎn)生。數(shù)據(jù)庫系統(tǒng)（60年代末開始）關(guān)系數(shù)據(jù)庫之父E.F.Codd提出了關(guān)系模型(ER)，促進了聯(lián)機事務(wù)處理(OLTP)的發(fā)展，數(shù)據(jù)以表格的形式而非文件方式存儲。數(shù)據(jù)庫到數(shù)據(jù)倉庫傳統(tǒng)的數(shù)據(jù)庫環(huán)境中以數(shù)據(jù)庫為中心，數(shù)據(jù)資源組織方式單一；側(cè)重對數(shù)據(jù)的管理，操作型處理（OLTP，聯(lián)機事務(wù)處理），關(guān)心的是響應(yīng)時間，數(shù)據(jù)的安全性和完整性；問題：“易進不易出”

數(shù)據(jù)庫到數(shù)據(jù)倉庫數(shù)據(jù)處理不斷有新需求（聯(lián)機事務(wù)、批處理、決策分析）分析型處理（OLAP，聯(lián)機分析處理）

用于管理人員的決策分析，經(jīng)常要訪問大量的歷史數(shù)據(jù)，而很少對數(shù)據(jù)庫進行寫操作，除非對數(shù)據(jù)庫進行更新或裝入時。人們希望從中獲得跟公司經(jīng)營效益緊密相關(guān)的信息。數(shù)據(jù)倉庫的產(chǎn)生（1）數(shù)據(jù)集成（2）歷史數(shù)據(jù)的應(yīng)用需求（3）查詢性能數(shù)據(jù)集成企業(yè)全面的經(jīng)營數(shù)據(jù)OLTP分散在不同系統(tǒng)中(核心、信貸、國結(jié))外部數(shù)據(jù)(市場數(shù)據(jù)、競爭對手)集成的數(shù)據(jù)建立關(guān)聯(lián)的各業(yè)務(wù)系統(tǒng)之間的業(yè)務(wù)事件聯(lián)系統(tǒng)一的（統(tǒng)一的事實、維度）歷史的數(shù)據(jù)一般的全國股份制商業(yè)銀行一天的交易流水在150W左右通常業(yè)務(wù)系統(tǒng)只保留當(dāng)前的歷史數(shù)據(jù)查詢困難數(shù)據(jù)集成數(shù)據(jù)一致化在很多情況下，大型企業(yè)會產(chǎn)生數(shù)據(jù)不一致情況數(shù)據(jù)倉庫的數(shù)據(jù)要保持一致化和準(zhǔn)確性數(shù)據(jù)綜合各種不同粒度的數(shù)據(jù)的集成問題詳細粒度中等聚集高層聚集外部數(shù)據(jù)集成查詢性能提高數(shù)據(jù)的查詢效率OLTP系統(tǒng)面向數(shù)據(jù)維護數(shù)據(jù)倉庫面向數(shù)據(jù)查詢提高查詢功能為最主要目標(biāo)發(fā)展的動力力業(yè)務(wù)需求驅(qū)驅(qū)動主要是詳細細的分析科學(xué)的經(jīng)營營市場活動的的細化和實實施等數(shù)據(jù)驅(qū)動數(shù)據(jù)量不斷斷擴大需要相關(guān)技技術(shù)全面了了解企業(yè)結(jié)論：以單一的數(shù)數(shù)據(jù)組織方方式進行組組織的數(shù)據(jù)據(jù)庫，不能能滿足新型型的數(shù)據(jù)處處理多樣化化的要求，，數(shù)據(jù)倉庫庫技術(shù)應(yīng)運運而生數(shù)據(jù)倉庫的的概念和特特征數(shù)據(jù)倉庫的的概念數(shù)據(jù)倉庫（（EDW，，EnterpriseDataWareHouse）數(shù)據(jù)倉庫無無非是所有有數(shù)據(jù)集市市的集合--RalphKimball數(shù)據(jù)據(jù)倉倉庫庫無無非非是是面面向向主主題題的的、、集集成成的的、、不不--BillInmon數(shù)據(jù)倉庫是一個過程不是一個項目數(shù)據(jù)據(jù)倉倉庫庫的的特特點點面向向主主題題數(shù)據(jù)據(jù)所所代代表表的的業(yè)業(yè)務(wù)務(wù)內(nèi)內(nèi)容容劃劃分分，，而而不不是是以以應(yīng)應(yīng)用用劃劃分分集成成的的數(shù)據(jù)據(jù)所所代代表表的的業(yè)業(yè)務(wù)務(wù)內(nèi)內(nèi)容容劃劃分分，，而而不不是是以以應(yīng)應(yīng)用用劃劃分分不同同時時間間的的數(shù)據(jù)據(jù)按按照照時時間間組組織織，，并并存存儲儲在在不不同同的的時時間間切切片片穩(wěn)定定的的不允允許許對對數(shù)數(shù)據(jù)據(jù)進進行行更更新新，，只只允允許許初初始始加加載載和和查查詢詢數(shù)據(jù)據(jù)倉倉庫庫系系統(tǒng)統(tǒng)結(jié)結(jié)構(gòu)構(gòu)數(shù)據(jù)據(jù)倉倉庫庫結(jié)結(jié)構(gòu)構(gòu)OperationalDataStoreETL數(shù)據(jù)據(jù)源源DataWarehouse數(shù)據(jù)據(jù)源源數(shù)據(jù)據(jù)源源DataMartDataMartDataMart分析析報表表可視視化化數(shù)據(jù)據(jù)挖挖掘掘ODS(OperationalDataStore):操操作型型數(shù)據(jù)據(jù)存儲儲區(qū)域域ETL(ExtractTransferLoad):數(shù)據(jù)據(jù)抽取取轉(zhuǎn)換換加載載DW(DataWareHouse):數(shù)據(jù)據(jù)倉庫庫DM(DataMart):數(shù)數(shù)據(jù)集集市元數(shù)據(jù)據(jù)（MetaData）數(shù)據(jù)源源各種業(yè)業(yè)務(wù)系系統(tǒng)RDBMS文件系系統(tǒng)如，銀銀行業(yè)業(yè)中，，核心心系統(tǒng)統(tǒng)、信信貸系系統(tǒng)、、國結(jié)結(jié)系統(tǒng)統(tǒng)ERP系統(tǒng)統(tǒng)ODS（操操作型型數(shù)據(jù)據(jù)存儲儲區(qū)域域）是一種種數(shù)據(jù)據(jù)倉庫庫的混混合形形式，，它包包含及及時的的、最最近的的、面面向主主題的的和集集成的的信息息。是數(shù)據(jù)據(jù)倉庫庫環(huán)境境的一一個組組成部部分是操作作型系系統(tǒng)的的一個個集成成環(huán)境境為決策策支持持系統(tǒng)統(tǒng)提供供當(dāng)前前詳細細數(shù)據(jù)據(jù)的查查詢功功能是面向向主題題的、、集成成的、、經(jīng)常常更新新的詳詳細數(shù)數(shù)據(jù)ETL（抽抽取轉(zhuǎn)轉(zhuǎn)換換加加載））數(shù)據(jù)倉倉庫數(shù)數(shù)據(jù)是是面向向主題題的，，而業(yè)業(yè)務(wù)數(shù)數(shù)據(jù)庫庫總是是圍繞繞一個個或幾幾個業(yè)業(yè)務(wù)處處理流流程，，因此此到數(shù)數(shù)據(jù)倉倉庫的的過程程需要要十分分復(fù)雜雜的數(shù)數(shù)據(jù)整整合過過程。。數(shù)據(jù)抽抽取數(shù)據(jù)轉(zhuǎn)轉(zhuǎn)換（（一致致化））數(shù)據(jù)加加載作業(yè)控控制數(shù)據(jù)倉倉庫數(shù)據(jù)模模型－－多維維數(shù)據(jù)據(jù)模型型粒度劃劃分（（分割割、匯匯總））FactTablefact1fact2fact3機構(gòu)粒度key機構(gòu)代代碼地址聯(lián)系人人attributeDimensionDimensionDimension粒度代代碼attributeattributeattribute粒度：：1－－日2－－月3－－年日期2008-12-31數(shù)據(jù)集集市數(shù)據(jù)集集市是是數(shù)據(jù)據(jù)倉庫庫的子子集。。如果果數(shù)據(jù)據(jù)倉庫庫是整整個企企業(yè)組組織的的所有有主題題數(shù)據(jù)據(jù)存儲儲區(qū)，，那么么數(shù)據(jù)據(jù)集市市就是是某一一個主主題數(shù)數(shù)據(jù)的的存儲儲領(lǐng)域域。數(shù)據(jù)集集市即即是數(shù)數(shù)據(jù)倉倉庫的的一種數(shù)據(jù)展展現(xiàn)查詢報表多維分分析（（鉆取取、切切換））圖形元數(shù)據(jù)據(jù)元數(shù)據(jù)據(jù)是關(guān)關(guān)于數(shù)數(shù)據(jù)的的數(shù)據(jù)據(jù)，它它描述述了數(shù)數(shù)據(jù)的的結(jié)構(gòu)構(gòu)、內(nèi)內(nèi)容、、碼、、索引引等項項內(nèi)容容。元數(shù)據(jù)據(jù)分類類技術(shù)元元數(shù)據(jù)據(jù)業(yè)務(wù)元元數(shù)據(jù)據(jù)三個關(guān)關(guān)鍵部部分數(shù)據(jù)倉倉庫建建設(shè)方方法數(shù)據(jù)倉倉庫建建設(shè)－頻繁繁變化化－面向向企業(yè)業(yè)中不不同業(yè)業(yè)務(wù)和和用戶戶數(shù)據(jù)倉倉庫建建設(shè)策策略自底向向上的數(shù)據(jù)倉倉庫建建設(shè)策策略自頂向向下的的策略略：先先建立立一個個全數(shù)據(jù)倉倉庫建建設(shè)層層次分析型型應(yīng)用用要求求千差差萬別別，一一個單單一層層次的的數(shù)據(jù)據(jù)倉庫庫不能能滿足足所有有的分分析需需求。。一個個好的的解決決方案案：建建立分分層的的數(shù)據(jù)據(jù)倉庫庫。操作型環(huán)境數(shù)據(jù)倉庫數(shù)據(jù)集市個人倉庫全局級部門級個人級多層數(shù)據(jù)倉庫企業(yè)數(shù)據(jù)倉庫數(shù)據(jù)集市數(shù)據(jù)集市分布式數(shù)據(jù)集市定義高層數(shù)據(jù)模型模型提煉模型提煉遞增、、進化化地開開發(fā)數(shù)數(shù)據(jù)倉倉庫商業(yè)智智能商業(yè)智智能商業(yè)智智能，又稱稱商務(wù)智智能，英文文為BusinessIntelligence，簡寫寫為BI。起源源于上上世紀(jì)紀(jì)90年代代。商業(yè)智智能描描述了了一系系列的的概念和方法，通過過應(yīng)用用基于于事實實的支支持系系統(tǒng)來來輔助助商業(yè)業(yè)決策策的制制定。。商業(yè)業(yè)智能能技術(shù)術(shù)提供供使企企業(yè)迅迅速分分析數(shù)數(shù)據(jù)的的技術(shù)術(shù)和方方法，，包括括收集集、管管理和和分析析數(shù)據(jù)據(jù)，將將這些些數(shù)據(jù)據(jù)轉(zhuǎn)化化為有有用的的信息息，然然后分分發(fā)到到企業(yè)業(yè)各處處。可以說說商務(wù)務(wù)智能能是一一個可可包含含企業(yè)業(yè)所有有知識識的系系統(tǒng)，，服務(wù)務(wù)于管管理決決策層層或部部門執(zhí)執(zhí)行經(jīng)經(jīng)理，，幫助助其進進行決決策和和分析析。商業(yè)智智能結(jié)結(jié)構(gòu)OLAP數(shù)據(jù)挖挖掘（（DataMining））數(shù)據(jù)倉倉庫其他的的查詢詢和展展現(xiàn)商業(yè)智智能的的功能能記錄選選擇查詢展展現(xiàn)關(guān)聯(lián)分分析買債券券，保保本型型理財財監(jiān)視功功能月營業(yè)業(yè)額小小于10萬萬元的的分店店展示功功能查找、、排序序、統(tǒng)統(tǒng)計數(shù)據(jù)輸輸出打印/導(dǎo)出出，圖圖形、、Excel商業(yè)智智能實實施步步驟需求分分析數(shù)據(jù)分分析數(shù)據(jù)倉倉庫建建模數(shù)據(jù)處處理（（ETL））BI展展現(xiàn)(報表表、圖圖形、、OLAP)數(shù)據(jù)模模擬測測試系統(tǒng)完完善改改進（（迭代代）相關(guān)產(chǎn)產(chǎn)品數(shù)據(jù)倉倉庫解解決方方案Teradata，，IBM，，Oracle….建模軟軟件ERwin，PowerDesigner……ETL軟件件DataStage，，Informatic…數(shù)據(jù)倉倉庫Teradata，，Oracle，IBMDB2…BI軟軟件COGNOS，，BO，，Brio…商業(yè)智智能的的發(fā)展展趨勢勢功能上上具有有可配配置性性、靈靈活性性、可可變化化性解決方方案更更開放放、可可擴展展、可可按用用戶定定制，，在保保證核核心技技術(shù)