數(shù)據(jù)倉庫dw建設(shè)

1、1. 數(shù)據(jù)倉庫概述經(jīng)過多年IT的建設(shè)，信息對(duì)于企業(yè)的日常管理已經(jīng)日益重要，并逐漸成為重要的信息資產(chǎn)，信息資產(chǎn)的管理已經(jīng)成為日常管理中一個(gè)非常重要的環(huán)節(jié)。如何管理和利用好企業(yè)內(nèi)部紛繁的數(shù)據(jù)也越來越成為信息管理的一項(xiàng)重要工作。在過去相當(dāng)一段時(shí)間內(nèi)，企業(yè)業(yè)務(wù)系統(tǒng)的構(gòu)建主要圍繞著業(yè)務(wù)的數(shù)據(jù)展開，應(yīng)用的構(gòu)建多是自下而上構(gòu)建，主要以滿足某個(gè)部門的業(yè)務(wù)功能為主，我們稱之為業(yè)務(wù)處理的時(shí)代。這樣的構(gòu)建方式造成了一個(gè)個(gè)分立的應(yīng)用，分立的應(yīng)用導(dǎo)致了一個(gè)個(gè)的靜態(tài)豎井。由于數(shù)據(jù)從屬于應(yīng)用，缺乏企業(yè)全局的單一視圖，形成了一個(gè)個(gè)信息孤島，分立的系統(tǒng)之間缺乏溝通，同樣數(shù)據(jù)的孤島導(dǎo)致只能獲得片面的信息，而不是全局的單一視圖。存

2、儲(chǔ)這些信息的載體可能是各種異構(gòu)或同構(gòu)的關(guān)系型數(shù)據(jù)庫，也有可能是XML、EXCEL等文件。因此，構(gòu)建新一代的一體化平臺(tái)提上了日程并最終促成全域數(shù)據(jù)的管理方式，目的是覆蓋企業(yè)各個(gè)環(huán)節(jié)的關(guān)鍵業(yè)務(wù)數(shù)據(jù)，完善元數(shù)據(jù)管理，形成全局的數(shù)據(jù)字典、業(yè)務(wù)數(shù)據(jù)規(guī)范和統(tǒng)一的業(yè)務(wù)指標(biāo)含義，能夠靈活的獲取企業(yè)業(yè)務(wù)數(shù)據(jù)的單一視圖（需要保證數(shù)據(jù)的一致性、完整性、準(zhǔn)確性和及時(shí)性）。數(shù)據(jù)的交換和共享主要發(fā)生在上下級(jí)組織機(jī)構(gòu)之間或同級(jí)的不同部門之間。最終，這些數(shù)據(jù)可以為部隊(duì)分析、決策支持（多維分析、即席查詢、數(shù)據(jù)挖掘）等應(yīng)用提供更及時(shí)、準(zhǔn)確、有效的支持。數(shù)據(jù)倉庫的目標(biāo)是實(shí)現(xiàn)跨系統(tǒng)數(shù)據(jù)共享，解決信息孤島，提升數(shù)據(jù)質(zhì)量，輔助決策分析，

3、提供統(tǒng)一的數(shù)據(jù)服務(wù)。同時(shí)，數(shù)據(jù)倉庫的構(gòu)建也面臨著各種挑戰(zhàn)，比如信息整合在技術(shù)上的復(fù)雜度、信息整合的管理成本、數(shù)據(jù)資源的獲取、信息整合的實(shí)施周期以及整合項(xiàng)目的風(fēng)險(xiǎn)等。2. 全域數(shù)據(jù)庫總體架構(gòu)全域數(shù)據(jù)庫總體架構(gòu)全域數(shù)據(jù)庫總體的層次，最下面是基礎(chǔ)架構(gòu)層，主要包括支撐這一架構(gòu)運(yùn)行的主機(jī)系統(tǒng)、存儲(chǔ)備份系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)等內(nèi)容。從下往上看，再上面是數(shù)據(jù)源層，既包括各個(gè)業(yè)務(wù)的關(guān)系型數(shù)據(jù)源、內(nèi)容管理數(shù)據(jù)源也包括半結(jié)構(gòu)化數(shù)據(jù)源比如XML、EXCEL等，也包括各個(gè)總隊(duì)、支隊(duì)的業(yè)務(wù)數(shù)據(jù)源。數(shù)據(jù)源層之上是“交換服務(wù)體系”，主要包括信息服務(wù)總線和服務(wù)總線兩部分。信息服務(wù)總線主要實(shí)現(xiàn)數(shù)據(jù)層的信息整合和數(shù)據(jù)轉(zhuǎn)換，而服務(wù)總線主要

4、實(shí)現(xiàn)應(yīng)用層的信息交換和整合。信息服務(wù)總線主要依托聯(lián)邦、復(fù)制、清洗、轉(zhuǎn)換等技術(shù)實(shí)現(xiàn)，其主要包括信息整合服務(wù)和清洗轉(zhuǎn)換加載服務(wù)兩部分。通過信息服務(wù)總線的信息整合服務(wù)（數(shù)據(jù)聯(lián)邦、復(fù)制），可以透明、實(shí)時(shí)的訪問分布在總隊(duì)和支隊(duì)的各個(gè)業(yè)務(wù)系統(tǒng)中的各種同構(gòu)、異構(gòu)數(shù)據(jù)（前提是擁有足夠的權(quán)限）。信息整合服務(wù)在整個(gè)企業(yè)層面保證了數(shù)據(jù)的完整性和及時(shí)性。信息服務(wù)主要使用兩種技術(shù)來完成這一功能：聯(lián)邦和復(fù)制。通過聯(lián)邦功能可以把關(guān)系數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)（如 Excel文件、XML 文件、Web 搜索引擎、MQ 查詢和內(nèi)容源）組成一個(gè)邏輯數(shù)據(jù)庫，對(duì)這些數(shù)據(jù)源中的表可以像操作本地?cái)?shù)據(jù)庫表一樣進(jìn)行操作，而不必關(guān)心我們操作的這些數(shù)據(jù)

5、底層是什么數(shù)據(jù)源，物理在什么位置。而針對(duì)大數(shù)據(jù)量的數(shù)據(jù)訪問或高并發(fā)的訪問，通常將源數(shù)據(jù)增量實(shí)時(shí)復(fù)制到本地，復(fù)制的實(shí)現(xiàn)是基于對(duì)源數(shù)據(jù)庫的日志進(jìn)行捕獲，獲取增量數(shù)據(jù)，并基于消息的機(jī)制將其復(fù)制到目的數(shù)據(jù)庫，復(fù)制的過程中可以實(shí)現(xiàn)數(shù)據(jù)的合并、拆分、轉(zhuǎn)換等操作。信息服務(wù)總線主要完成數(shù)據(jù)的分析、清洗（標(biāo)準(zhǔn)化）、轉(zhuǎn)換、加載等工作。數(shù)據(jù)清洗，主要是去除冗余數(shù)據(jù)，將零散字段合并成全局記錄，并解決重疊和矛盾的數(shù)據(jù)，然后通過添加關(guān)系和層次結(jié)構(gòu)完善豐富信息。首先面臨的挑戰(zhàn)就是如何更有效的識(shí)別現(xiàn)有的業(yè)務(wù)系統(tǒng)，包括業(yè)務(wù)系統(tǒng)使用的分類方法、層次結(jié)構(gòu)、數(shù)據(jù)分布、數(shù)據(jù)字典等。如果數(shù)據(jù)字典不完整或缺失，就要通過方法找出其數(shù)據(jù)的存儲(chǔ)

6、結(jié)構(gòu)以及各個(gè)表之間的主外鍵關(guān)聯(lián)、各表之間的轉(zhuǎn)換關(guān)系等，同樣，數(shù)據(jù)的分布情況同樣可以使用分析功能來完成。在對(duì)現(xiàn)有數(shù)據(jù)足夠了解的基礎(chǔ)上（完成了數(shù)據(jù)的分析），接下來就要制定數(shù)據(jù)的清洗規(guī)則以及轉(zhuǎn)換規(guī)則，其中，清洗規(guī)則又分為兩種情況，一種清洗規(guī)則是明確的，另一種清洗規(guī)則是模糊的，比如不同系統(tǒng)中存儲(chǔ)的地址信息，“南京市定淮門大街9號(hào)”和“江蘇省南京市下關(guān)區(qū)定淮門大街9號(hào)”實(shí)際上是一個(gè)地址，但計(jì)算機(jī)會(huì)當(dāng)成兩個(gè)地址來處理。概率匹配功能和動(dòng)態(tài)權(quán)重策略可以匹配創(chuàng)建高質(zhì)量、準(zhǔn)確的數(shù)據(jù)，并在整個(gè)數(shù)據(jù)域中一致地識(shí)別核心業(yè)務(wù)信息，如人名、位置、和時(shí)間。數(shù)據(jù)清洗、轉(zhuǎn)換、加載服務(wù)對(duì)保障數(shù)據(jù)的準(zhǔn)確性和一致性非常重要。在不同的系

7、統(tǒng)中，對(duì)同一業(yè)務(wù)會(huì)使用不同的分類方法，同樣，數(shù)據(jù)的類別和層次結(jié)構(gòu)也會(huì)不同。需要通過數(shù)據(jù)清洗、轉(zhuǎn)換、加載層實(shí)現(xiàn)對(duì)這些信息格式的轉(zhuǎn)換，匹配成通用的信息格式和分類方法，以便提供整個(gè)企業(yè)業(yè)務(wù)層面聚合的業(yè)務(wù)視圖。實(shí)際證明一體化平臺(tái)（一期）的全域數(shù)據(jù)梳理中，手工統(tǒng)計(jì)可以完成這項(xiàng)工作但不夠好，不夠直觀和沒有擴(kuò)展延續(xù)能力。數(shù)據(jù)清洗、轉(zhuǎn)換、加載工作對(duì)未來數(shù)據(jù)的使用非常重要，即使有工具幫助，工作量依然很大。雖然，開始的時(shí)候，這項(xiàng)工作看起來費(fèi)時(shí)費(fèi)力，但從長(zhǎng)遠(yuǎn)來看，它使得基于這些數(shù)據(jù)的業(yè)務(wù)流程和統(tǒng)一數(shù)據(jù)視圖實(shí)現(xiàn)自動(dòng)化，并減少了人為干預(yù)不準(zhǔn)確或不一致數(shù)據(jù)的努力，從而節(jié)省了大量成本。企業(yè)層面的單一視圖一經(jīng)建立，其維護(hù)必將

8、是一個(gè)持續(xù)進(jìn)行的過程。數(shù)據(jù)的管理通常需要一個(gè)管理組織來對(duì)沖突或缺失的數(shù)據(jù)進(jìn)行決策，組織會(huì)通常需要各個(gè)業(yè)務(wù)部門的人參與，而不僅僅局限于通技處或信息中心的人。企業(yè)單一數(shù)據(jù)視圖的維護(hù)，很多業(yè)務(wù)部門都做的不夠好，時(shí)間一久，很多業(yè)務(wù)部門就變得厭倦，數(shù)據(jù)清洗轉(zhuǎn)換的工作沒有堅(jiān)持下去。一旦數(shù)據(jù)的準(zhǔn)確性出現(xiàn)問題，業(yè)務(wù)系統(tǒng)的全局共享就無法再從中獲益。交換服務(wù)體系中的服務(wù)總線主要基于流程服務(wù)、傳輸服務(wù)、交換服務(wù)等實(shí)現(xiàn)。通過使用總線，可以支持各種協(xié)議以及數(shù)據(jù)格式的數(shù)據(jù)交互。通過搭建一個(gè)基于標(biāo)準(zhǔn)的、開發(fā)的、易于集成的、總線方式的服務(wù)總線，通過今后對(duì)現(xiàn)有系統(tǒng)的逐步升級(jí)改造，系統(tǒng)之間以一種成為“服務(wù)”的接口方式統(tǒng)一通過總線

9、方式進(jìn)行交互，通過對(duì)服務(wù)的管理，系統(tǒng)之間交互的信息格式的差異、傳輸協(xié)議的差異、采用技術(shù)的差異、物理位置的不同等等這些問題都由這個(gè)總線來進(jìn)行屏蔽。進(jìn)一步通過流程管理，將模塊和系統(tǒng)之間的服務(wù)按照業(yè)務(wù)流程的需要進(jìn)行編排，做到了“隨需而變”。數(shù)據(jù)存儲(chǔ)區(qū)包括ODS、數(shù)據(jù)倉庫/數(shù)據(jù)集市、共享數(shù)據(jù)庫、特征庫、模型庫等，主要提供各種數(shù)據(jù)的存儲(chǔ)服務(wù)。其中，邏輯視圖中ODS部分存放了整個(gè)企業(yè)單位全局級(jí)的明細(xì)數(shù)據(jù)，而數(shù)據(jù)倉庫數(shù)據(jù)集市中存儲(chǔ)了不同級(jí)別的匯總數(shù)據(jù)。特征庫主要存放各種數(shù)據(jù)分群特征、業(yè)務(wù)分類特征等業(yè)務(wù)信息，模型庫存放構(gòu)建的各種業(yè)務(wù)模型信息等?；A(chǔ)服務(wù)層主要包括“應(yīng)用服務(wù)器”，“服務(wù)總線”，“工作流引擎”，“

10、消息中間件”，“OLAP引擎”，“數(shù)據(jù)挖掘引擎”，“事件驅(qū)動(dòng)”，“規(guī)則引擎”，“協(xié)同工作”和“空間地理數(shù)據(jù)引擎”。應(yīng)用層包括各種應(yīng)用，其中多維分析、即席查詢、報(bào)表統(tǒng)計(jì)、圖形展現(xiàn)等。右邊的信息治理層主要是為了保證數(shù)據(jù)的完整性、一致性、準(zhǔn)確性、及時(shí)性，保證歷史數(shù)據(jù)正確歸檔并在需要的時(shí)候可以和現(xiàn)有數(shù)據(jù)一起被聯(lián)合訪問，提供數(shù)據(jù)庫安全、審計(jì)、監(jiān)控和合規(guī)服務(wù)，從而防止內(nèi)部人員偷竊，防范欺詐作假，保護(hù)數(shù)據(jù)隱私，強(qiáng)制執(zhí)行安全規(guī)范，強(qiáng)制滿足合規(guī)的要求，防止外部攻擊對(duì)數(shù)據(jù)的破壞。而元數(shù)據(jù)管理會(huì)貫穿數(shù)據(jù)業(yè)務(wù)層面、業(yè)務(wù)系統(tǒng)、信息整合服務(wù)總線、ETL層、數(shù)據(jù)存儲(chǔ)區(qū)、信息服務(wù)層、展現(xiàn)層等各個(gè)層面，當(dāng)數(shù)據(jù)口徑出現(xiàn)問題時(shí)，能

11、夠提供數(shù)據(jù)在各個(gè)層面的正向/逆向追蹤功能。元數(shù)據(jù)的管理涉及業(yè)務(wù)元數(shù)據(jù)和技術(shù)元數(shù)據(jù)兩種。3. 數(shù)據(jù)倉庫架構(gòu)數(shù)據(jù)倉庫總體架構(gòu)1) 多維分析從數(shù)據(jù)的全方位了解現(xiàn)狀，管理人員往往希望從不同的角度來審視業(yè)務(wù)數(shù)值，比如從時(shí)間、地域、類別、功能來看同一類數(shù)據(jù)的總和。每一個(gè)分析的角度可以叫做一個(gè)維，因此，把多角度分析方式稱為多維分析。以前，每一個(gè)分析的角度需要制作一張報(bào)表。由此產(chǎn)生了在線多維分析功能，根據(jù)用戶常用的多種分析角度，事先計(jì)算好一些輔助結(jié)構(gòu)，以便在查詢時(shí)能盡快抽取到所要的記錄，并快速地從一維轉(zhuǎn)變到另一維，將不同角度的信息以數(shù)字、直方圖、餅圖、曲線等等方式展現(xiàn)在您面前。2) 即席查詢可以將數(shù)據(jù)進(jìn)行查詢

12、分組，進(jìn)行資源的管理，可以設(shè)置查詢優(yōu)先級(jí)，可以自動(dòng)控制，調(diào)度復(fù)雜查詢和進(jìn)行跟蹤分析查詢。可以按照以下重要方法進(jìn)行使用，主動(dòng)和動(dòng)態(tài)地控制 數(shù)據(jù)庫的查詢流程，為不同大小的查詢定義不同的查詢類別，從而改善查詢之間的系統(tǒng)資源共享，避免較小的查詢被較大的查詢阻塞等。3) 數(shù)據(jù)挖掘數(shù)據(jù)挖掘正如在礦井中可以開采出珍貴的礦石，在數(shù)據(jù)倉庫的數(shù)據(jù)里也常?？梢蚤_采出業(yè)務(wù)人員意想不到的信息。它比多維分析更進(jìn)一步。例如，如果管理人員要求比較各個(gè)區(qū)域某類出入境特征數(shù)量在過去一年的情況，可以從多維分析中找答案。但是，如果管理人員要問為何一個(gè)地區(qū)的出入境特征情況突然變得特別好或是不好，或者問該出入境特征在另一地區(qū)將會(huì)怎么樣，這時(shí)數(shù)據(jù)挖掘知識(shí)可以作出解答。4) 數(shù)據(jù)倉庫層數(shù)據(jù)倉庫用于抽取、整合、分布、存儲(chǔ)有用的信息，數(shù)據(jù)信息往往分布在不同的部門和下級(jí)單位，管理者要綜