數(shù)據(jù)倉庫系統(tǒng)建設(shè)方案詳細(xì)

1、河北省工商銀行數(shù)據(jù)倉庫系統(tǒng)建設(shè)方案北京世紀(jì)明日網(wǎng)絡(luò)科技有限公司二零零零年三月河北省工商銀行數(shù)據(jù)倉庫系統(tǒng)建設(shè)方案目錄第一章前言數(shù)據(jù)倉庫發(fā)展史競爭日趨激烈的金融市場中國專業(yè)銀行面臨的挑戰(zhàn)中國專業(yè)銀行實(shí)施數(shù)據(jù)倉庫的意義中國專業(yè)銀行實(shí)施數(shù)據(jù)倉庫已具備的條件第二章數(shù)據(jù)倉庫總體概述數(shù)據(jù)倉庫基礎(chǔ)數(shù)據(jù)倉庫技術(shù)概述一個可擴(kuò)展數(shù)據(jù)倉庫的基本框架一個數(shù)據(jù)倉庫實(shí)施流程第三章系統(tǒng)體系結(jié)構(gòu)設(shè)計系統(tǒng)設(shè)計指導(dǎo)思想方案總體框架圖系統(tǒng)體系結(jié)構(gòu)設(shè)計系統(tǒng)方案的組成第四章銀行數(shù)據(jù)倉庫的建設(shè)4.1面向應(yīng)用的OLTP系統(tǒng)和面向主題的OLAP系統(tǒng)個性化服務(wù)的定義業(yè)務(wù)探索/業(yè)務(wù)發(fā)掘建立市場客戶信息基礎(chǔ)利用數(shù)據(jù)倉庫實(shí)現(xiàn)的基本模塊更高層次的開發(fā)應(yīng)

2、用綜合信息發(fā)布第五章方案實(shí)施建議開發(fā)模式組織機(jī)構(gòu)項目實(shí)施進(jìn)程項目進(jìn)度計劃第六章產(chǎn)品報價軟件產(chǎn)品報價硬件產(chǎn)品報價項目開發(fā)實(shí)施費(fèi)用第一章前言數(shù)據(jù)倉庫發(fā)展史相對于許多行業(yè)而言，信息處理技術(shù)還是一門新興的技術(shù)，但是其發(fā)展速度卻幾乎是最快的。隨著計算機(jī)硬件技術(shù)的飛速發(fā)展，軟件技術(shù)也是日新月異。許多企業(yè)和機(jī)構(gòu)已經(jīng)建立了相對完善的OLTP（聯(lián)機(jī)事物處理）系統(tǒng)。隨著時間的推移，這些系統(tǒng)中積累了大量的歷史數(shù)據(jù)，其中蘊(yùn)含了許多重要的信息。通過對這些歷史數(shù)據(jù)的分析和綜合處理，可以找到那些對企業(yè)發(fā)展至關(guān)重要的業(yè)務(wù)信息，從而幫助有關(guān)主管和業(yè)務(wù)部門作出更加合理的決策。70年代中期出現(xiàn)的MIS（管理信息系統(tǒng)）實(shí)際上就是在這

3、種背景下產(chǎn)生的。但MIS具有極大的局限性。首先，它是按預(yù)先定義好的流程對數(shù)據(jù)作相應(yīng)的處理，因此只能對預(yù)先描述好的業(yè)務(wù)問題進(jìn)行回答。其次由于開發(fā)工具的限制，對它的修改也不大方便，特別是業(yè)務(wù)流程發(fā)生變化，模型需要調(diào)整，這種修改更加困難。最后數(shù)據(jù)的不斷積累和數(shù)據(jù)量迅速增加，普通的商用數(shù)據(jù)庫(即OLTP數(shù)據(jù)庫)難以處理，系統(tǒng)的擴(kuò)展存在很大限制。在這種情況下MIS逐步發(fā)展到了數(shù)據(jù)倉庫。世界上最早的數(shù)據(jù)倉庫是NCR公司為全美、也是全世界最大的連鎖超市集團(tuán)Wal*Mart在1981年建立的，經(jīng)過二十年的發(fā)展，該系統(tǒng)已經(jīng)非常完善，數(shù)據(jù)量擴(kuò)展到27TB，成為迄今為止世界上最大的數(shù)據(jù)倉庫。競爭日趨激烈的金融市場根

4、據(jù)TowerGroup公司1998年10月的研究，1999年全球金融機(jī)構(gòu)將投資54億美金實(shí)施數(shù)據(jù)倉庫系統(tǒng)，其中歐美地區(qū)占八成的市場份額，其次為亞太地區(qū)，在美國實(shí)施數(shù)據(jù)倉庫的單位以大型銀行為主，基礎(chǔ)上啟動的資金為五百萬美金以上；1998年在全球前500家銀行中已經(jīng)有近九十家的數(shù)據(jù)倉庫數(shù)據(jù)量超過500GB，預(yù)測在1999年將有150家，2000年有260家；數(shù)據(jù)倉庫是金融機(jī)構(gòu)實(shí)現(xiàn)客戶關(guān)系管理(CustomerRelationshipManagement)的核心技術(shù)，也是金融業(yè)競爭優(yōu)勢的來源，主要的應(yīng)用業(yè)務(wù)部門為信用卡部、信貸部、市場部和零售業(yè)務(wù)部等，應(yīng)用領(lǐng)域是以客戶為中心的分銷渠道管理、客戶利潤分

5、析、客戶關(guān)系優(yōu)化和風(fēng)險控管。造成歐美地區(qū)金融機(jī)構(gòu)采用數(shù)據(jù)倉庫技術(shù)，提供以客戶為中心的個性化服務(wù)(OnetoOneMarketing)的背景原因如下：金融服務(wù)市場的開放競爭。如AT&T電話公司的電話卡可以透支打電話、福特汽車公司的購車信用分期付款、零售業(yè)的透支分會員卡和貴賓卡、信用卡公司發(fā)行信用卡、ESD建立ATM網(wǎng)、GE公司的貸款服務(wù)，保險公司的儲蓄型保險單和保單貸款等，允許銀行業(yè)的并購，影響銀行的業(yè)務(wù)收入和利潤。上述的開放市場，業(yè)者會推出多樣化的產(chǎn)品和服務(wù)，讓顧客有更多的比較和選擇的機(jī)會。造成顧客購買的因素，除了價格以外，還應(yīng)考慮方便性、可用性等，形成個性化服務(wù)的需求。銀行需要更進(jìn)一步了解客

6、戶，才能滿足客戶需求，進(jìn)而留住客戶，增加利潤。信息技術(shù)(如海量并行處理的技術(shù))的突飛猛進(jìn)，使得快速地分析客戶詳細(xì)的歷史交易數(shù)據(jù)成為可能，從而可以更好地了解、模擬和預(yù)測客戶的消費(fèi)行為、偏好等。另外移動通信技術(shù)的進(jìn)步，讓客戶訪問信息服務(wù)的方式不受時空的限制。這些技術(shù)讓銀行業(yè)務(wù)用戶可以及時響應(yīng)各種突發(fā)的復(fù)雜的經(jīng)營問題。銀行現(xiàn)有的管理制度和業(yè)務(wù)流程，都是以產(chǎn)品(Product)為中心來進(jìn)行客戶服務(wù)，不同的帳號信息分散在不同的計算機(jī)系統(tǒng)內(nèi)，缺乏對客戶統(tǒng)一的全面了解。現(xiàn)有的生產(chǎn)系統(tǒng)是銀行營運(yùn)和客戶的基礎(chǔ)設(shè)施，無法提供多用戶對大量歷史數(shù)據(jù)同時進(jìn)行突發(fā)的復(fù)雜的決策分析，所以建立另外一套以客戶為中心的數(shù)據(jù)倉庫決

7、策支持系統(tǒng)是實(shí)現(xiàn)個性化服務(wù)的必要手段。中國專業(yè)銀行面臨的挑戰(zhàn)1984年人民銀行成為中央銀行的角色，成立了四家國有專業(yè)銀行：工商銀行、農(nóng)業(yè)銀行、中國銀行和建設(shè)銀行。后來又成立交通銀行、中信實(shí)業(yè)銀行、光大銀行等十一家股份制商業(yè)銀行。1996年改組城市信用合用社建立股份制城市商業(yè)銀行。國有專業(yè)銀行長期在計劃體制下運(yùn)轉(zhuǎn)，其經(jīng)營行為和經(jīng)營意識帶有很強(qiáng)的行政色彩，正向商業(yè)銀行化進(jìn)行過渡。隨著經(jīng)濟(jì)的增長和國民生活水平的提高，社會保障制度的改革，政府?dāng)U大內(nèi)需的政策等，國有專業(yè)銀行和股份制商業(yè)銀行的零售業(yè)務(wù)，如住房貸款、退休養(yǎng)老金、消費(fèi)貸款和信用卡業(yè)務(wù)等，將成為銀行業(yè)務(wù)和利潤的增長點(diǎn)。如何爭取零售業(yè)務(wù)的市場機(jī)會

8、，發(fā)掘信用好風(fēng)險低的客戶已成為銀行關(guān)注的焦點(diǎn)。在未來零售業(yè)務(wù)的迅猛發(fā)展，改善銀行的獲利能力，將加速國有專業(yè)銀行轉(zhuǎn)型成為商業(yè)銀行的進(jìn)程。在現(xiàn)階段，主要是國有專業(yè)銀行和股份制商業(yè)銀行、郵政銀行之間的競爭，其他服務(wù)業(yè)和外資銀行尚未構(gòu)成全面性的威脅。雖然，國有專業(yè)銀行具有覆蓋全國營業(yè)網(wǎng)點(diǎn)的優(yōu)勢，但受歷史包袱的影響，期待擴(kuò)大零售業(yè)務(wù)，以提高獲利能力；股份制商業(yè)銀行規(guī)模相對小，只能提供地區(qū)性的服務(wù)，零售業(yè)務(wù)是主要的收入來源，從國有專業(yè)銀行和郵政銀行中爭取更多的新客戶，將是主要的經(jīng)營策略；郵政銀行的優(yōu)勢在營業(yè)網(wǎng)點(diǎn)、客戶基礎(chǔ)和更多的增值服務(wù)，競爭的策略是留住有利潤的客戶和爭取新客戶，所以郵政銀行也將是現(xiàn)階段國

9、有專業(yè)銀行和股份制商業(yè)銀行的重要競爭對手。1999年11月15日，中國與美國簽署加入世界貿(mào)易組織的雙邊協(xié)議，中國將自加入世界貿(mào)易組織起，逐步開放金融市場，入世兩年后開放外資銀行經(jīng)營對公業(yè)務(wù)，五年后開放對私業(yè)務(wù)和設(shè)立營業(yè)網(wǎng)點(diǎn)。在可預(yù)見的未來，國內(nèi)的金融機(jī)構(gòu)將同世界級的外資銀行發(fā)生面對面的激烈競爭。屆時，客戶有更多的選擇，競爭會更加的激烈。世界級的外資銀行為加速取得和擴(kuò)大在中國的市場份額，將引進(jìn)其在國外實(shí)施多年的以客戶為中心的數(shù)據(jù)倉庫決策支持系統(tǒng)，推出更多樣化的金融產(chǎn)品和服務(wù)來爭取高利潤的客戶。因此，了解客戶需求和客戶對銀行的利潤貢獻(xiàn)度、提供有競爭性的產(chǎn)品或服務(wù)、經(jīng)由客戶喜好的渠道、在適當(dāng)?shù)臅r機(jī)對

10、客戶進(jìn)行銷售或服務(wù)，這種個性化服務(wù)的策略將是國內(nèi)商業(yè)銀行在目前競爭優(yōu)勢的來源，同時也是未來與外資銀行競爭必備的武器。如何建立個性化服務(wù)的數(shù)據(jù)倉庫系統(tǒng)，已經(jīng)成為國內(nèi)銀行現(xiàn)階段最重要的課題。中國專業(yè)銀行實(shí)施數(shù)據(jù)倉庫的意義從現(xiàn)在和將來專業(yè)銀行所面臨的市場環(huán)境來看，實(shí)施以客戶為中心的數(shù)據(jù)倉庫決策支持系統(tǒng)，將對國內(nèi)銀行業(yè)現(xiàn)在和未來的發(fā)展產(chǎn)生深遠(yuǎn)的影響，且具有重大的戰(zhàn)略意義。首先是增強(qiáng)國內(nèi)銀行的競爭力，在激烈的競爭中維持獲利。無論現(xiàn)在或是未來，銀行將面臨著一個激烈競爭的態(tài)勢，必須對市場多變的需求作出及時響應(yīng)，才能持續(xù)生存和發(fā)展。根據(jù)國外商業(yè)銀行的經(jīng)驗(yàn)，在金融市場開放環(huán)境中，銀行競爭優(yōu)勢的來源是對每一位客戶

11、提供個性化服務(wù)。然而銀行有數(shù)以千百萬計的客戶，如何將客戶細(xì)分到以客戶為中心的客戶單一市場呢？也就是如何設(shè)計大量個性化的產(chǎn)品或服務(wù)。銀行只有通過以客戶為中心(CustomerCentrie)的決策支持系統(tǒng)，才能使用科學(xué)的方法實(shí)現(xiàn)個性化服務(wù)。數(shù)據(jù)倉庫系統(tǒng)存放每一位客戶同銀行往來的詳細(xì)的歷史交易明細(xì)數(shù)據(jù)，對客戶有統(tǒng)一的視圖，能幫助銀行業(yè)務(wù)用戶以科學(xué)的手段快速地分析、模擬和預(yù)測客戶的個性化需求，進(jìn)而設(shè)計符合客戶需求的產(chǎn)品或服務(wù)。通過客戶喜好的渠道完成交易，是增強(qiáng)專業(yè)銀行競爭能力最有效的手段。其次是提高專業(yè)銀行整體運(yùn)作與管理水平。數(shù)據(jù)倉庫決策支持系統(tǒng)是專業(yè)銀行管理模式發(fā)展的結(jié)果。隨著各個歷史時期經(jīng)濟(jì)金融

12、環(huán)境的變化，專業(yè)銀行的經(jīng)營管理模式在演變，最初強(qiáng)調(diào)資產(chǎn)管理，是因?yàn)閬碓幢容^狹窄，主要是活期存款，而工商企業(yè)的資金需求也較簡單，采用會計記帳設(shè)備提高生產(chǎn)力；到了六十年代，產(chǎn)生負(fù)債管理理論，強(qiáng)調(diào)要通過負(fù)債管理保持銀行的流動性，主動從市場、銀行業(yè)來調(diào)劑資金余缺，開始引進(jìn)會計系統(tǒng)計算機(jī)化；七十年代末期，出現(xiàn)了資產(chǎn)負(fù)債綜合管理理論，重點(diǎn)在資產(chǎn)負(fù)債風(fēng)險管理、信貸風(fēng)險管理、投資風(fēng)險管理和外匯交易風(fēng)險管理，MIS和分行自動化成為核心系統(tǒng)；九十年代，金融市場的開放，低利率和信用擴(kuò)張刺激消費(fèi)，零售業(yè)務(wù)成為銀行的主要業(yè)務(wù)和收入，客戶對金融產(chǎn)品和服務(wù)的要求越來越高，銀行業(yè)務(wù)部門和管理層首要關(guān)心的問題在于如何降低風(fēng)險和

13、增加利潤，以客戶為中心的數(shù)據(jù)倉庫決策支持系統(tǒng)可以快速地了解每一項交易、每一個帳號、每一個分銷渠道、每一位客戶的風(fēng)險和利潤，讓銀行作出正確的業(yè)務(wù)決策，及時響應(yīng)每一位客戶的現(xiàn)在和未來需要，提高整體運(yùn)作和管理水平。最后是增強(qiáng)專業(yè)銀行應(yīng)變能力。訂立金融市場開放時間表，讓國內(nèi)銀行有充分的時間準(zhǔn)備來提高自己的競爭實(shí)力，以應(yīng)付外資銀行在將來的競爭。人民銀行會逐步放松管制政策和增加國內(nèi)銀行可以經(jīng)營的業(yè)務(wù)范圍，讓國內(nèi)銀行熟悉市場經(jīng)濟(jì)的運(yùn)作規(guī)則。當(dāng)外資銀行可以在國內(nèi)經(jīng)營零售業(yè)務(wù)時，如果國內(nèi)銀行已經(jīng)完全掌握客戶的行為和需求，了解各種金融產(chǎn)品的的操作和管理，那么對國內(nèi)銀行的沖擊就比較小。問題在于，國內(nèi)銀行如何在這么短

14、的時間內(nèi)完成這么多的事情。如果沒有足夠的企業(yè)和客戶信息，國內(nèi)銀行如何了解人民銀行推出的新政策對銀行的影響呢？又如何向人民銀行建議新業(yè)務(wù)和服務(wù)呢？或是對付外資銀行的競爭呢？企業(yè)級的數(shù)據(jù)倉庫系統(tǒng)，存放銀行各種主題，如客戶、帳號、部門、金融產(chǎn)品、商業(yè)活動、位置、渠道和交易事件等，可以快速地分析、模擬和預(yù)測新業(yè)務(wù)和新政策對銀行整體的影響，讓銀行的領(lǐng)導(dǎo)及時制定策略和戰(zhàn)術(shù)，應(yīng)變突發(fā)的復(fù)雜的經(jīng)營問題。中國專業(yè)銀行實(shí)施數(shù)據(jù)倉庫已具備的條件近年來，中國專業(yè)銀行在管理上已逐步形成了一套快速適應(yīng)市場變化、滿足用戶需求的內(nèi)部運(yùn)行機(jī)制。概括來講，中國專業(yè)銀行實(shí)施個性化服務(wù)數(shù)據(jù)倉庫系統(tǒng)具備了以下條件：企業(yè)有一支較高素質(zhì)的

15、管理人才和技術(shù)隊伍，具備參與信息建設(shè)的豐富經(jīng)驗(yàn)，為基礎(chǔ)上實(shí)施提供了人才的保證。完善的信息技術(shù)基礎(chǔ)設(shè)施，如ATM網(wǎng)絡(luò)、電話銀行、傳真服務(wù)、呼叫中心、網(wǎng)上服務(wù)、POS系統(tǒng)、企業(yè)內(nèi)部網(wǎng)、人行的電子清算系統(tǒng)等，確保交易信息源能及時的獲得，數(shù)據(jù)倉庫建成后使用方便。企業(yè)已建設(shè)或正在建設(shè)的全行范圍的業(yè)務(wù)系統(tǒng)，包括儲蓄、定期、貸款、匯款、外匯、信用卡、支票、信用證、國際業(yè)務(wù)等，已積累了完整而且詳細(xì)的客戶交易記錄，為數(shù)據(jù)倉庫的啟動提供了基本的數(shù)據(jù)來源。多數(shù)的企業(yè)有實(shí)施先進(jìn)管理制度和思想的經(jīng)驗(yàn)，如成立市場部統(tǒng)籌銀行的形象和市場定位的宣傳與規(guī)劃、經(jīng)營效益與員工收入掛鉤、服務(wù)時效的承諾、客戶滿意調(diào)查等，容易接納新知識

16、，對數(shù)據(jù)倉庫的實(shí)施和推廣應(yīng)用起到積極的作用。第二章數(shù)據(jù)倉庫總體概述數(shù)據(jù)倉庫基礎(chǔ)數(shù)據(jù)倉庫的概念最早將數(shù)據(jù)倉庫提升到理論高度加以論述的是著名學(xué)者、被尊稱為數(shù)據(jù)倉庫之父的BillInmon。他對數(shù)據(jù)倉庫所下的定義是：數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的數(shù)據(jù)集合，用以支持管理決策的過程。由此可見，數(shù)據(jù)倉庫是一個綜合的解決方案，是對原始的操作數(shù)據(jù)進(jìn)行各種處理并轉(zhuǎn)換成有用信息的處理過程，它主要用來幫助有關(guān)主管部門作出更符合業(yè)務(wù)發(fā)展規(guī)率的決策。數(shù)據(jù)倉庫的查詢特點(diǎn)針對生產(chǎn)系統(tǒng)的查詢都非常簡單，一般不會使用表的連接操作，每次返回的數(shù)據(jù)量很小，這類問題的特點(diǎn)是知道自己要找什么。數(shù)據(jù)庫大小對系統(tǒng)性能影

17、響不大。數(shù)據(jù)倉庫系統(tǒng)的查詢大都非常復(fù)雜，主要有兩種：一種以報表為主，從數(shù)據(jù)庫中產(chǎn)生各種形式的業(yè)務(wù)報表。這種查詢是預(yù)先規(guī)定好的(Pro-definedQuery)。另一種查詢是隨機(jī)的、動態(tài)的查詢(Ad-Hocquery),對查詢的結(jié)果也是不能預(yù)料的。數(shù)據(jù)倉庫中的查詢由于其復(fù)雜性，會經(jīng)常使用多表的聯(lián)接、累計、分類、排序等操作，這些大都要對整個表進(jìn)行搜索(FullTableScan)。每次查詢返回的數(shù)據(jù)量一般很大，對于動態(tài)查詢而言，經(jīng)常需要根據(jù)上次查詢的結(jié)果進(jìn)行進(jìn)一步的搜索，這個過程稱為數(shù)據(jù)挖掘(DataMining)。根據(jù)這些特點(diǎn)，數(shù)據(jù)庫大小對數(shù)據(jù)倉庫的性能影響很大。當(dāng)數(shù)據(jù)倉庫投入使用后，各業(yè)務(wù)部

18、門的要求會越來越多，使得數(shù)據(jù)倉庫中數(shù)據(jù)量的增長很快。因此設(shè)計數(shù)據(jù)倉庫時，系統(tǒng)的可擴(kuò)展能力是必須考慮的重要因素之一。系統(tǒng)的并行處理能力是另一個要考慮的重要因素。因?yàn)椴樵兊膹?fù)雜性，每個查詢將占用很多的系統(tǒng)資源，如果系統(tǒng)資源不夠、并行處理能力不強(qiáng)，當(dāng)多個用戶同時發(fā)出事物請求時，響應(yīng)時間很長令人無法容忍。數(shù)據(jù)倉庫應(yīng)單獨(dú)建立。因?yàn)槿绻谏a(chǎn)系統(tǒng)上再實(shí)施數(shù)據(jù)倉庫，由于數(shù)據(jù)倉庫的查詢常常占用很多系統(tǒng)資源，將嚴(yán)重影響生產(chǎn)系統(tǒng)的運(yùn)行數(shù)據(jù)倉庫技術(shù)概述作為決策支持系統(tǒng)（DSS）的一種有效、可行的體系化解決方案，數(shù)據(jù)倉庫包括了三個方面的內(nèi)容：數(shù)據(jù)倉庫技術(shù)（DATAWAREHOUSE，DW）、聯(lián)機(jī)分析技術(shù)（ONLINE

19、ANALYTICALPROCESSING,OLAP）、數(shù)據(jù)挖掘技術(shù)（DATAMINING,DM）1）數(shù)據(jù)倉庫技術(shù)（DW）需要以下數(shù)據(jù)庫技術(shù)的支持：高性能數(shù)據(jù)庫服務(wù)器數(shù)據(jù)倉庫的應(yīng)用不同于傳統(tǒng)數(shù)據(jù)庫的OLTP應(yīng)用。傳統(tǒng)數(shù)據(jù)庫的應(yīng)用是操作型的,而數(shù)據(jù)倉庫的應(yīng)用是分析型的,它需要高性能的DBMS核心的支持，以便較快地獲得分析結(jié)果，這通常需數(shù)秒至數(shù)分鐘的時間。雖然比OLPT的響應(yīng)時間長一些，但由于分析型應(yīng)用涉及的數(shù)據(jù)量大，查詢要求復(fù)雜，因此對DBMS核心的性能要求更高，同時，DBMS必須具有良好的查詢優(yōu)化機(jī)制并行數(shù)據(jù)庫技術(shù)數(shù)據(jù)倉庫中的數(shù)據(jù)量大,而且隨著時間的增長,新的數(shù)據(jù)還會不斷進(jìn)入，基本成指數(shù)增長。數(shù)

20、據(jù)倉庫中的數(shù)據(jù)庫通常是GB甚至TB級的，可謂是超大規(guī)模數(shù)據(jù)庫（VLDB）。而并行數(shù)據(jù)庫技術(shù)是存儲管理VLDB,并提供對VLDB復(fù)雜查詢處理的有效技術(shù)。數(shù)據(jù)庫互操作技術(shù)數(shù)據(jù)倉庫中的數(shù)據(jù)大多來自企業(yè)或行業(yè)中業(yè)已運(yùn)行的OLTP數(shù)據(jù)庫或外部的數(shù)據(jù)源。這些數(shù)據(jù)庫常常是異構(gòu)的，甚至是文件系統(tǒng)中的數(shù)據(jù)。數(shù)據(jù)倉庫必須從這些異構(gòu)數(shù)據(jù)源中定期抽取、轉(zhuǎn)換和集成需要的數(shù)據(jù)，并把它們存入數(shù)據(jù)倉庫中。因此，異構(gòu)數(shù)據(jù)源之間的互訪和互操作技術(shù)是必需的。2）聯(lián)機(jī)分析（OLAP）技術(shù)OLAP是一種實(shí)現(xiàn)多維分析的工具。簡單地可以理解為它是位于數(shù)據(jù)倉庫基礎(chǔ)之上的一個多維立方體，它面向分析決策所關(guān)心的綜合性數(shù)據(jù)，以便從更高層次、多個維

21、度來了解數(shù)據(jù)。它從邏輯上或物理上以多維方式從數(shù)據(jù)倉庫里提取數(shù)據(jù)并組織數(shù)據(jù)，便于前端用戶進(jìn)行多維數(shù)據(jù)分析。根據(jù)實(shí)現(xiàn)技術(shù)和存儲數(shù)據(jù)的位置不同，又可分為多維數(shù)據(jù)庫OLAP(MDB-OLAP)、基于關(guān)系數(shù)據(jù)庫的OLAP(ROLAP)和桌邊形的OLAP(DESKTOPOLAP)。OLAP的目的是為了提高多維分析的速度。數(shù)據(jù)挖掘(DM)技術(shù)數(shù)據(jù)挖掘是從數(shù)據(jù)倉庫中發(fā)現(xiàn)并提取隱藏在其中的信息的一種新技術(shù)。目的是幫助決策者尋找數(shù)據(jù)間潛在的關(guān)聯(lián)，發(fā)現(xiàn)被忽略的要素，這些信息對預(yù)測趨勢和決策行為也許是十分有用的。數(shù)據(jù)挖掘技術(shù)涉及數(shù)據(jù)庫、人工智能、機(jī)器學(xué)習(xí)和統(tǒng)計分析等多種技術(shù)。數(shù)據(jù)挖掘技術(shù)使決策支持系統(tǒng)跨入了一個新階段

22、。傳統(tǒng)的決策支持系統(tǒng)通常是在某個假設(shè)的前提下通過數(shù)據(jù)查詢和分析來驗(yàn)證或否定這個假設(shè)，而數(shù)據(jù)挖掘技術(shù)則能夠自動分析數(shù)據(jù)，進(jìn)行歸納性推理，從中發(fā)掘出潛在的模式，或產(chǎn)生聯(lián)想，建立新的業(yè)務(wù)模型，幫助決策者調(diào)整市場策略，并找到正確的決策?？偨Y(jié)數(shù)據(jù)倉庫技術(shù)是以數(shù)據(jù)倉庫為基礎(chǔ)、以O(shè)LAP和數(shù)據(jù)挖掘工具有手段的一整套可操作、可實(shí)施的方案。建立一個數(shù)據(jù)倉庫是一個比較復(fù)雜的過程，它需要精心的規(guī)劃、淵博的知識、豐富的行業(yè)管理經(jīng)驗(yàn)、極強(qiáng)的業(yè)務(wù)溝通能力和全面的IT要素。建立數(shù)據(jù)倉庫要選擇合適的數(shù)據(jù)倉庫引擎、硬件平臺、軟件工具、應(yīng)用程序和行業(yè)專業(yè)服務(wù)一個可擴(kuò)展數(shù)據(jù)倉庫的基本框架I數(shù)據(jù)轉(zhuǎn)換提取過濾凈化家庭關(guān)系識別加載I.一

23、.一.一.一.一.一.一.一I復(fù)制與傳播Gp)I從屬數(shù)!據(jù)集市|企業(yè)中央數(shù)據(jù)倉庫TOC o 1-5 h z!數(shù)據(jù)挖掘分類統(tǒng)計人工智能決策樹|!|!_白I息i信息存|、丨儲工具字i訪-整個框架組成部分?jǐn)?shù)據(jù)裝載：把所謂的操作數(shù)據(jù)和源數(shù)據(jù)利用一定的方法如提取、過濾、清理、家庭關(guān)系識別等，從生產(chǎn)關(guān)系中轉(zhuǎn)換到中央數(shù)據(jù)倉庫中。這種轉(zhuǎn)換分為邏輯與物理兩部分，即先根據(jù)業(yè)務(wù)問題建立數(shù)據(jù)庫邏輯模型，然后在此基礎(chǔ)上構(gòu)造物理模型，將操作數(shù)據(jù)加載到物理表中。邏輯建模應(yīng)基于要解決的業(yè)務(wù)問題進(jìn)行，而不是基于目前的系統(tǒng)能提供什么數(shù)據(jù)進(jìn)行。換而言之，數(shù)據(jù)倉庫的出發(fā)點(diǎn)是解決業(yè)務(wù)問題，而不是單純的一個信息轉(zhuǎn)換與訪問的工具。數(shù)據(jù)管理

24、：這一部分是整個數(shù)據(jù)倉庫的心臟，根據(jù)數(shù)據(jù)倉庫的特點(diǎn)，它必須采用一個具有并行處理性能的關(guān)系數(shù)據(jù)庫管理系統(tǒng)當(dāng)數(shù)據(jù)倉庫非常龐大時，為提高性能，可建立一些面向部門應(yīng)用的數(shù)據(jù)集市，這些數(shù)據(jù)集市中的數(shù)據(jù)是從中央庫中通過復(fù)制與傳送等手段拷貝過來的。信息訪問：這一部分是前端工具，主要提供給有關(guān)業(yè)務(wù)部門訪問數(shù)據(jù)倉庫中的信息使用，在這一部分一般都采用圖形界面、交互功能強(qiáng)的查詢工具。一個數(shù)據(jù)倉庫實(shí)施流程數(shù)據(jù)倉庫規(guī)劃數(shù)據(jù)倉庫設(shè)計與實(shí)施數(shù)據(jù)倉庫支持與完善業(yè)務(wù)數(shù)據(jù)倉-J-探索庫咨詢7V知識探索建模1*邏輯j數(shù)據(jù)建摸j倉庫解決數(shù)據(jù)倉庫j4萬案1結(jié)構(gòu)設(shè)計j就緒信息采集與挖掘*物理模型設(shè)計C/S應(yīng)用開發(fā)數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)倉庫管理（過

25、程與操作）數(shù)據(jù)挖掘與分析*車數(shù)據(jù)倉庫解決方案集成系統(tǒng)支持邏輯建?；仡櫸锢斫；仡檾?shù)據(jù)倉庫調(diào)整數(shù)據(jù)倉庫容量規(guī)劃數(shù)據(jù)倉庫審計第三章系統(tǒng)體系結(jié)構(gòu)設(shè)計3.1系統(tǒng)設(shè)計指導(dǎo)思想制定合理的系統(tǒng)目標(biāo)在數(shù)據(jù)倉庫建設(shè)的規(guī)劃階段，不能求勝心切，應(yīng)該制定切合實(shí)際的系統(tǒng)目標(biāo)，將擴(kuò)大決策支持系統(tǒng)的數(shù)據(jù)源、改善用戶獲得信息的手段、為用戶提供更加準(zhǔn)確、可靠和全面的信息作為系統(tǒng)建設(shè)的根本出發(fā)點(diǎn)。2)循序漸進(jìn)在銀行中使用數(shù)據(jù)倉庫技術(shù)應(yīng)本著循序漸進(jìn)的原則進(jìn)行。首先，在涉及某一類銀行業(yè)務(wù)的單項應(yīng)用領(lǐng)域開展，逐步發(fā)展到在涉及不同銀行產(chǎn)品的幾個單項應(yīng)用領(lǐng)域開展，最后，再建立全行的數(shù)據(jù)倉庫，將數(shù)據(jù)挖掘的范圍擴(kuò)展到多項銀行活動。而不要一開始

26、就希望把銀行所有的數(shù)據(jù)都裝載到數(shù)據(jù)倉庫中，建立一個大規(guī)模的全銀行范圍內(nèi)的數(shù)據(jù)倉庫，這樣會使銀行隱入邏輯、行政和財政的困境而不能自拔。數(shù)據(jù)倉庫不是越大越有效，初始時從建立較小的數(shù)據(jù)集市入手，一方面可以降低開發(fā)成本，縮短實(shí)現(xiàn)周期，另一方面還有助于為未來數(shù)據(jù)倉庫的全面啟動培訓(xùn)IT人員。3)將相關(guān)信息集成到數(shù)據(jù)倉庫中80年代，美國曾做過一次對企業(yè)高層管理人員的問卷調(diào)查，以研究高層管理人員獲得經(jīng)營管理信息的途徑。結(jié)果出人意料，管理人員的級別越高，他就越少通過內(nèi)部數(shù)據(jù)來獲得經(jīng)營管理信息：大型企業(yè)的最高決策者95的經(jīng)營管理信息來自企業(yè)外部。數(shù)據(jù)倉庫系統(tǒng)不是簡單的企業(yè)內(nèi)部數(shù)據(jù)集成，而是為決策支持提供集成的數(shù)據(jù)

27、源，因此，必須在關(guān)注企業(yè)內(nèi)部數(shù)據(jù)的同時，將外部信息集成到數(shù)據(jù)倉庫中；此外，與數(shù)據(jù)信息相比，圖形、圖像信息更為直觀、易于理解，也應(yīng)該集成到數(shù)據(jù)倉庫中。當(dāng)前目標(biāo)與長遠(yuǎn)目標(biāo)相結(jié)合數(shù)據(jù)倉庫建設(shè)不是一勞永逸的事情，應(yīng)該樹立長遠(yuǎn)的發(fā)展眼光。即使在建立第一個面向特定部門或特定應(yīng)用的數(shù)據(jù)集市時，也一定要保證現(xiàn)在使用的數(shù)據(jù)模型能夠向?qū)硭褂玫娜y行范圍的數(shù)據(jù)存儲擴(kuò)展，以便于將來其他數(shù)據(jù)集市和戰(zhàn)略性數(shù)據(jù)倉庫的實(shí)現(xiàn)。必須在部門之間進(jìn)行一致性的數(shù)據(jù)定義，并通過這些定義上的一致性協(xié)議使以后部門間的數(shù)據(jù)聯(lián)合成為有效、可行。統(tǒng)計結(jié)果顯示，數(shù)據(jù)倉庫的數(shù)據(jù)量會以每年大約40的速率增長，由于在設(shè)計階段很難準(zhǔn)確地預(yù)料到系統(tǒng)初始和

28、未來的負(fù)載情況，所以，應(yīng)該在設(shè)計開始時考慮系統(tǒng)可伸縮性，以便能夠容納更多的客戶、進(jìn)程和存儲，應(yīng)盡可能準(zhǔn)確地選擇與用戶需求相適應(yīng)的系統(tǒng)并適當(dāng)?shù)亓舫鲇嗟?，以免因系統(tǒng)過大而超出其適用范圍，白白浪費(fèi)投資。不追求盡善盡美進(jìn)行數(shù)據(jù)倉庫建設(shè)時，在定義了系統(tǒng)目標(biāo)、明確了關(guān)鍵的成功因素、合理控制了數(shù)據(jù)倉庫規(guī)模的基礎(chǔ)上，就應(yīng)該盡快行動起來，盡快獲取數(shù)據(jù)倉庫投資帶來的回報。當(dāng)客戶需要更多的信息和更詳細(xì)的細(xì)節(jié)時，就應(yīng)立即著手進(jìn)行數(shù)據(jù)倉庫的發(fā)展和擴(kuò)建工作，不應(yīng)拘泥于“完美”不放，應(yīng)在不斷修改的同時不斷發(fā)展。以不影響正常業(yè)務(wù)為前提由于數(shù)據(jù)倉庫的查詢是一種不規(guī)則的查詢運(yùn)作，在考慮數(shù)據(jù)倉庫方案時，應(yīng)以不防礙正常的銀行業(yè)務(wù)處理

29、為原則，可考慮把數(shù)據(jù)倉庫的系統(tǒng)平臺與生產(chǎn)系統(tǒng)的系統(tǒng)平臺分隔開來，放在并行的主從服務(wù)器上分別運(yùn)行。方案總體框架圖提取過濾條件壓縮清理家庭關(guān)系識別數(shù)據(jù)加載1方式：瀏覽器對象：信息發(fā)布、網(wǎng)上報表、各級領(lǐng)導(dǎo)網(wǎng)上查詢系統(tǒng)體系結(jié)構(gòu)設(shè)計為了實(shí)現(xiàn)各種功能，我們建議分別采用了組件技術(shù)，WEB技術(shù),OLAP技術(shù)，并在整個應(yīng)用系統(tǒng)的體系結(jié)構(gòu)上采用了三層體系結(jié)構(gòu)來進(jìn)行設(shè)計。三層體系結(jié)構(gòu)針對河北省工商銀行數(shù)據(jù)倉庫系統(tǒng)，我們建議采用的三層體系結(jié)構(gòu)（BWD），即數(shù)據(jù)庫，WEB服務(wù)器，瀏覽器表現(xiàn)層。早在1980年第一個數(shù)據(jù)庫管理系統(tǒng)出現(xiàn)時，數(shù)據(jù)庫的世紀(jì)就已悄然開始。那時的觀念是由應(yīng)用程序控制關(guān)系型數(shù)據(jù)庫，這種數(shù)據(jù)處理的模式一

30、般稱為單層結(jié)構(gòu)（1-Tier）。由于這種結(jié)構(gòu)的數(shù)據(jù)庫程序占用計算機(jī)資源較多，于是在80年代中期，數(shù)據(jù)庫應(yīng)用開始轉(zhuǎn)向C/S結(jié)構(gòu)，也就是所謂的兩層結(jié)構(gòu)（2-Tier）。這種結(jié)構(gòu)在近十年內(nèi)不但得到了廣泛的運(yùn)用，而且相當(dāng)成功。然而，在兩層結(jié)構(gòu)成功的背后卻逐漸暴露出其構(gòu)架上的缺陷。其中最明顯的問題表現(xiàn)在應(yīng)用程序的伸縮性和維護(hù)方面。例如，如何把數(shù)據(jù)庫管理系統(tǒng)及其應(yīng)用程序分散到十分緩慢的網(wǎng)絡(luò)上，如何控制數(shù)據(jù)的統(tǒng)一性和完整性；一旦應(yīng)用程序有任何改動，維護(hù)人員就必須修改每一個客戶端上的應(yīng)用。新一代數(shù)據(jù)庫管理系統(tǒng)在傳統(tǒng)的C/S結(jié)構(gòu)中，增加了應(yīng)用程序服務(wù)器一一這種新的結(jié)構(gòu)就是所謂的nTier或Muiti-Tier。

31、應(yīng)用程序服務(wù)器包括了統(tǒng)一的界面、業(yè)務(wù)規(guī)則的制定和數(shù)據(jù)處理邏輯的規(guī)定等等。多層應(yīng)用服務(wù)技術(shù)允許分割應(yīng)用程序，本地計算機(jī)上無須安裝一套數(shù)據(jù)庫工具，就可以在另一臺機(jī)器上存取數(shù)據(jù)。同時它允許對業(yè)務(wù)規(guī)則和進(jìn)程進(jìn)行集中管理，并在整個網(wǎng)絡(luò)上分發(fā)、實(shí)現(xiàn)進(jìn)程負(fù)載的動態(tài)調(diào)節(jié)。在三層體系結(jié)構(gòu)的第三層，即表現(xiàn)層，可以分為三大類，應(yīng)用程序的客戶端，瀏覽器，第三方廠商提供的前端表現(xiàn)工具。組件技術(shù)在整個體系結(jié)構(gòu)的設(shè)計中，我們注重了組件的應(yīng)用，采用積木法來進(jìn)行設(shè)計。先構(gòu)筑系統(tǒng)的總體框架，然后構(gòu)造各個構(gòu)件，并依次把構(gòu)件安裝到系統(tǒng)中去。大部分應(yīng)用系統(tǒng)，在功能上有類似之處，因而利用軟件的重用技術(shù)就可以把開發(fā)過程大大簡化。在確定系統(tǒng)

32、總體框架、構(gòu)筑總體框架、構(gòu)造構(gòu)件以及修改構(gòu)件等階段，都同一個叫做“軟構(gòu)件集合”的實(shí)體打交道，這個軟構(gòu)件集合也被稱為“軟件構(gòu)件庫”。在開發(fā)之初就應(yīng)該著手準(zhǔn)備這個軟構(gòu)件集合，比如可以搜集一些已經(jīng)開發(fā)的系統(tǒng)的總體設(shè)計、規(guī)范、局部流程以及某些人機(jī)界面、通用功能模塊、簡單開發(fā)工具。每開發(fā)出一個組件，都要把該組件及其功能、調(diào)用接口等信息放入軟構(gòu)件集合。我們采用ActiveX來完成組件的設(shè)計。在應(yīng)用程序的客戶端，瀏覽器上的ActiveX用dcom協(xié)議或CORBA協(xié)議與應(yīng)用服務(wù)器進(jìn)行通信，由DcomServer或CORBAServer負(fù)責(zé)向數(shù)據(jù)庫提交請示，并取得相應(yīng)數(shù)據(jù)。2）WEE技術(shù)WWW是Internet

33、上發(fā)展最快、應(yīng)用最廣泛也最實(shí)用的超文本信息通信系統(tǒng)。服務(wù)器端通過WebServer可以提供各種服務(wù)；客戶端可以通過瀏覽器（Browser）訪問多種協(xié)議的多媒體信息，依據(jù)用戶的需要組織和傳遞信息。人們可以通過WWW瀏覽器瀏覽和檢索WWW站點(diǎn)的信息，這就使得信息的共享與交流越來越迅速、越來越方便，正因?yàn)槿绱耍懦蔀榱四壳癐nternet/Intranet上信息發(fā)布與出版的重要途徑。WWW的最大特色在于為用戶提供良好的信息查詢界面。WWW把各種形式的信息，如文本、圖像、聲音、視頻等無縫隙地集成在一起，用戶只需要提出自己的查詢要求，具體到什么地方、如何取回信息都由WWW自動完成。通過瀏覽器，用戶只需用

34、鼠標(biāo)點(diǎn)擊顯示屏上高亮度或有下劃線的詞語，就可將與該詞語相關(guān)聯(lián)的文件取回并顯示在屏幕上，用戶無需關(guān)心這些文件存放在Internet/Intranet上的哪臺計算機(jī)中。3）OLAP技術(shù)OLAP是On-lineAnalyticalProcess（在線分析）的首字母縮寫。OLAP是使用戶能夠從多種角度對從原始數(shù)據(jù)中轉(zhuǎn)化出來的、能夠真正為用戶所理解的、并真正反映企業(yè)維特性的信息進(jìn)行快速、一致、交互地存取，從而獲得對數(shù)據(jù)的更深入了解的一類軟件技術(shù)。OLAP的目標(biāo)是滿足決策支持或多維環(huán)境特定的查詢或報表需求，它的技術(shù)核心是“維”的概念，因此OLAP也被稱為多維數(shù)據(jù)分析。系統(tǒng)方案的組成該方案包括：可擴(kuò)展的高性

35、能的系統(tǒng)硬件平臺；適合復(fù)雜數(shù)據(jù)分析處理的數(shù)據(jù)倉庫引擎；數(shù)據(jù)抽取和轉(zhuǎn)換工具；數(shù)據(jù)挖掘和分析工具；I省行中心機(jī)房IIBM/RS6000前端的商業(yè)智能工具數(shù)據(jù)倉庫操作系統(tǒng)：AIX4.3.3數(shù)據(jù)庫：RedBrick軟件：DatastageRAIDInformixMetaCube4.2Brio.QueryDesigner系統(tǒng)軟硬件配置圖數(shù)據(jù)倉庫的操作系統(tǒng)平臺和數(shù)據(jù)庫平臺1）我們選擇IBM/AIX433作為數(shù)據(jù)倉庫的操作系統(tǒng)平臺。IBM作為世界范圍高質(zhì)量服務(wù)的UNIX系統(tǒng)提供商，它推出的AIX操作系統(tǒng)主要特征：同時支持32-位和64-位應(yīng)用多線索內(nèi)核；PageableKernel（動態(tài)可交換內(nèi)核）；JFS

36、（日志文件系統(tǒng)）；LVM（邏輯卷管理）；OSLevelMirroring（操作系統(tǒng)鏡像）；SMIT（易用型管理工具，支持圖形和Web）;WorkloadManager（工作負(fù)荷管理）。2)我們選擇RedBrickWarehouse作為數(shù)據(jù)倉庫的數(shù)據(jù)庫平臺RedBrickWarehouse是一種專門的服務(wù)器技術(shù)，針對分析性數(shù)據(jù)集市解決方案、復(fù)雜查詢、快速加載性能、高容量/高性能以及超大數(shù)據(jù)庫的有效管理等方面進(jìn)行了設(shè)計和優(yōu)化。關(guān)鍵特色：TableManagementUtility(TMU)完成所有必要的任務(wù)，以確保數(shù)據(jù)就緒，同時還支持?jǐn)?shù)據(jù)轉(zhuǎn)化和清洗、插入數(shù)據(jù)行、檢查參照完整性、更新所有相關(guān)索引和創(chuàng)

37、建聚集等功能，可以在單個加載過程中完成所有操作。ParallelTableManagementUtility(PTMU)能用SMP并行機(jī)制來大大加速數(shù)據(jù)加載，并行機(jī)制來大大加速數(shù)據(jù)加載，并行地實(shí)現(xiàn)全面的參照完整性檢查和創(chuàng)建索引。數(shù)據(jù)庫的設(shè)計者加以選用STAR、TARGET、以及B-Tree索引來優(yōu)化他們的特定處理環(huán)境。AutoAggregateLoad與TMU或PTMU共同使用，集成聚集表并在常規(guī)的更新過程中生成。這種過程可以大大減少維護(hù)管理聚集記錄的成本。STARindex將多個表連接起來，以實(shí)現(xiàn)最佳的查詢響應(yīng)能力和高性能的增量更新。STARindex采用了InformixRedBrickW

38、arehouse獨(dú)特的高級算法，可以使每個索引占據(jù)更小的磁盤空間。STARjoin種獨(dú)特的多表連接算法技巧，針對star模式優(yōu)化,可以為數(shù)據(jù)倉庫查詢的多維分析提供更快的反應(yīng)速度。TARGETindex可不斷調(diào)整的TARGETindex是一種位圖索引技術(shù)，專門為以極快速度從大型的表中選擇記錄而設(shè)計。TARGETjoin允許用戶在查詢中對多個表并行地采用多套限制,提供更加聚焦、更具目標(biāo)的數(shù)據(jù)視圖。RISQLExtensions使商務(wù)用戶可以方便地利用SQL表達(dá)常見的業(yè)務(wù)問題，并進(jìn)行包括排序和排列的多種形式比較。Vista一種聚集管理系統(tǒng)，集成于服務(wù)器內(nèi)，提供了全面的聚集創(chuàng)建、管理和查詢優(yōu)化功能。它

39、可以使頻繁訪問的數(shù)據(jù)更有強(qiáng)大的功能。ParallelonDemand防止過多的并行處理，使用戶不必花費(fèi)寶貴的時間去優(yōu)化單個的查詢。DynamicIncrementalOptimization動態(tài)增量優(yōu)化在查詢執(zhí)行過程中，利用從即時結(jié)果獲得信息，重新評估和調(diào)整查詢和執(zhí)行計劃。SuperScan使多個用戶利用同一個I/O流，大大減少大量用戶和查詢時的1/O操作。TableSegmentation表分區(qū)可以對一個表或索引進(jìn)行物理上的劃分，使其分布在不同的設(shè)備或文件系統(tǒng)上，同時保持單個表時在管理和可用性方面的所有優(yōu)勢。Time-CyclicDataManagement通過將舊的數(shù)據(jù)分區(qū)清除掉，用于存儲

40、新的數(shù)據(jù)分區(qū)，幫助用戶有效地處理時間敏感的數(shù)據(jù)。InformixRedBrick安全性功能通過提供層次化，基于角色的安全性和豐富的日志來支持管理、優(yōu)化和計費(fèi)功能，方便了大規(guī)模數(shù)據(jù)庫管理。Query-PriorityConcurrcy這種獨(dú)特的多任務(wù)機(jī)制專門針對決策支持環(huán)境設(shè)計，從而使查詢的執(zhí)行在數(shù)據(jù)更新和加載操作中不受影響。SQLBacktrack提供全面和靈活的解決方案，以快速、簡捷、安全地備份和恢復(fù)數(shù)據(jù)庫。InformixRedBrickWarehouseAdministrator一種圖形化，基于Windows的工具，可以簡化管理并提高效率。它為學(xué)習(xí)如何管理InformixRedBrick

41、Warehouse提供方便的學(xué)習(xí)方法，并可引導(dǎo)有經(jīng)驗(yàn)的管理員完成不常見的任務(wù)。同時，它還支持“whatif”試驗(yàn)和增量模式發(fā)展數(shù)據(jù)抽取、轉(zhuǎn)換、和裝載軟件DtaStage要想實(shí)施有效的決策應(yīng)用，應(yīng)首先必須擁有能夠從不同數(shù)據(jù)源中抽取數(shù)據(jù)、凈化數(shù)據(jù)、并把數(shù)據(jù)裝入數(shù)據(jù)倉庫環(huán)境中的功能強(qiáng)大、技術(shù)成熟的工具。InformixDatastage是一套專門對多種操作數(shù)據(jù)源的數(shù)據(jù)抽取、轉(zhuǎn)換和維護(hù)過程進(jìn)行簡化和自動化，并將其輸入目標(biāo)數(shù)據(jù)庫的集成工具。在線分析和數(shù)據(jù)挖掘工具M(jìn)etaCubeMetaCube能夠：提供相關(guān)數(shù)據(jù)倉庫中數(shù)據(jù)的直觀、易于導(dǎo)航的多維視圖；提供多數(shù)據(jù)庫平臺支持；提供一整套高級的管理工具集，簡化數(shù)

42、據(jù)倉庫管理；提供全面的、基于Web的ROLAP解決方案。MetaCube的優(yōu)勢：在數(shù)據(jù)倉庫實(shí)施中使用MetaCube能為用戶帶來許多好處：增加數(shù)據(jù)倉庫投資的收益和回報；提高企業(yè)的知識水平和生產(chǎn)力；幫助決策著做出更明智的決策；更快速、更高效地把握不可預(yù)測的、面向主題的信息；實(shí)現(xiàn)分布式的決策。Web服務(wù)器WindowsNT提供了一些支持Internet和Intranet出版和訪問服務(wù)的工具，例如IIS（InternetInformationServer、即Internet信息服務(wù)器），IE等。Internet上的核心網(wǎng)絡(luò)服務(wù)之一是WorldWideWeb（WWW或Web），它為用戶提供圖形的，易于

43、瀏覽的界面，使用戶能夠確定Internet上信息的位置，這些網(wǎng)面連在一起組成了一個信息網(wǎng)。IIS為基于WindowsNT的計算機(jī)了提供了Internet上發(fā)布資源和服務(wù)的能力，使用IIS可進(jìn)行發(fā)布服務(wù)，例如超文本網(wǎng)頁，客戶機(jī)/服務(wù)器應(yīng)用程序等。使用超文本傳輸協(xié)議（HTTP），文件傳輸協(xié)議（FTP）在Internet和Intranet上提供發(fā)布信息和服務(wù)。使用這些網(wǎng)絡(luò)服務(wù)，可以發(fā)布網(wǎng)頁，交互式應(yīng)用程序，客戶目錄，在WWW上讀取數(shù)據(jù)庫。345前端分析工具：Brio產(chǎn)品在三層結(jié)構(gòu)中的表現(xiàn)層，可以利用第三方廠商提供的產(chǎn)品實(shí)現(xiàn)簡便，靈活的查詢，報表生成功能，并利用這些工具，對數(shù)據(jù)庫中的信息進(jìn)行分析和查詢

44、。Brio是提供的前端表示工具，它們桌面OLAP分析的建模工具，OLAP分析工具，及對庫的查詢，報表的生成。Brio企業(yè)版的服務(wù)器:OnDemand服務(wù)器是一個網(wǎng)絡(luò)應(yīng)用服務(wù)器。網(wǎng)上進(jìn)行查詢、集中管理客戶、安全性和“適應(yīng)性報表”(AdaptiveReports)。允許使用Web的用戶方便并安全的訪問存在企業(yè)業(yè)務(wù)數(shù)據(jù)庫、數(shù)據(jù)集市和數(shù)據(jù)倉庫中的商業(yè)信息Brio的Client/Server客戶端工具：BrioQueryDesigener是查詢、分析及報表工具。具有數(shù)據(jù)庫管理功能、安全性、審計和“存儲倉庫”(Repository)設(shè)置(供信息技術(shù)部門使用)Brio的Web/Intranet客戶端工具：B

45、rio.Insight是基于Web瀏覽器的查詢、分析及報表工具。根據(jù)報表信息和用戶安全的需要而具有不同層次的功能。編程工具Deliphi自從Borland推出了Deliphi之后，深受程序設(shè)計人員的青睞oDeliphi的每一個新版本都給用戶提供了更新、更好的功能,。例如Deliphi1.0版本給用戶提供了一種全新的可視化編程環(huán)境，使用戶能快速開發(fā)Windows3.1的應(yīng)用程序。Deliphi2.0中增加了數(shù)據(jù)模塊(DataModule)等多種高效的數(shù)據(jù)重用功能?，F(xiàn)在每三代版本Deliphi3，4多層結(jié)構(gòu)的32位快速開發(fā)工具又給開發(fā)人員帶來了全新的多層結(jié)構(gòu)概念，并推出了開發(fā)多層結(jié)構(gòu)所需的技術(shù)和工

46、具集。MIDAS是開發(fā)服務(wù)器級的應(yīng)用程序，即體系結(jié)構(gòu)中的應(yīng)用服務(wù)器和表現(xiàn)層的理想工具之一網(wǎng)頁設(shè)計工具InterDev是為有一定編程能力的程序人員設(shè)計的網(wǎng)頁設(shè)計軟件。它提供端到端的調(diào)試功能，現(xiàn)場設(shè)計和管理工具，數(shù)據(jù)庫連接工具，編程資源庫，并可方便引入用ActiveX組件等功能。Frontpage是美化頁面的工具Photoshop用來完成圖片的設(shè)計第四章銀行數(shù)據(jù)倉庫的建設(shè)數(shù)據(jù)倉庫系統(tǒng)與傳統(tǒng)的OLTP系統(tǒng)有很大的區(qū)別，因此需要豐富的實(shí)踐經(jīng)驗(yàn)才能保證系統(tǒng)的成功實(shí)施。北京天恩科技有限公司作為專門從事銀行業(yè)務(wù)信息化的企業(yè)，通過多年來對銀行業(yè)務(wù)的深入研究，以其雄厚的技術(shù)實(shí)力為客戶提供從系統(tǒng)平臺、網(wǎng)絡(luò)方案到銀

47、行應(yīng)用系統(tǒng)全套的解決方案。天恩科技公司經(jīng)過多年的銀行應(yīng)用軟件的開發(fā)，實(shí)現(xiàn)了對公、儲蓄及信用卡帳目的管理，并建立一套完善的辦公自動化系統(tǒng)、風(fēng)險監(jiān)督系統(tǒng)以及其他輔助子系統(tǒng)。利用銀行系統(tǒng)項目開發(fā)工作中積累了許多寶貴的經(jīng)驗(yàn)，同時結(jié)合國外先進(jìn)的數(shù)據(jù)倉庫的實(shí)施方法論和數(shù)據(jù)倉庫的完整框架結(jié)構(gòu)，作為國內(nèi)銀行實(shí)施數(shù)據(jù)倉庫的管理機(jī)制與技術(shù)指南。4.1面向應(yīng)用的OLTP系統(tǒng)與面向主題的OLAP系統(tǒng)對銀行而言，一般都針對其各項業(yè)務(wù)開發(fā)了相應(yīng)的OLTP系統(tǒng)，用來解決銀行日常的生產(chǎn)自動化問題，如儲蓄系統(tǒng)、信用卡系統(tǒng)等。這些系統(tǒng)都是解決專門的業(yè)務(wù)問題數(shù)據(jù)倉庫則是面向主題的，對銀行來講，客戶是一個永恒的話題，要研究客戶的消費(fèi)

48、行為和心理，對客戶進(jìn)行各種分類，如哪些客戶的信用好，哪些客戶的風(fēng)險大，等等諸如此類的問題。另外，銀行的產(chǎn)品也是一個值得研究的主題，據(jù)此來分析這些產(chǎn)品的市場定位等從數(shù)據(jù)庫結(jié)構(gòu)來看，兩者的區(qū)別可以用下圖來表示。面向應(yīng)用面向主題4.2個性化服務(wù)的定義我們首先對個性化服務(wù)進(jìn)行定義，這種定義可以從客戶和銀行的兩個方面的觀點(diǎn)來看：對公和對私客戶認(rèn)為個性化服務(wù)是：銀行知道我(who)在什么時間(when),需要什么產(chǎn)品或服務(wù)(what),以我可以接受的價格(howmuch),經(jīng)由我喜歡的分銷渠道(where),對我提供銷售。銀行的定義是：以有競爭性的產(chǎn)品或服務(wù)what),在適當(dāng)?shù)臅r間(when),通過適當(dāng)?shù)?/p>

49、分銷渠道(where),對信用好風(fēng)險低的客戶(who),以合理的價格(howmuch)和利潤(profitable)完成銷售。兩者都在精打細(xì)算的前提下,以達(dá)成自己的需求和目標(biāo)。然而銀行現(xiàn)有的信息技術(shù)和體系結(jié)構(gòu),都是以帳號為中心的客戶檔案和歷史的交易明細(xì),在設(shè)計時考慮以最快的速度處理業(yè)務(wù)流程的交易,所以不同業(yè)務(wù)的生產(chǎn)系統(tǒng)只儲存與此應(yīng)用相關(guān)的交易明細(xì)數(shù)據(jù),其他應(yīng)用的歷史數(shù)據(jù)都已備份在流帶或存儲在不同的生產(chǎn)系統(tǒng)中,無法滿足以分析為向?qū)У膫€性化服務(wù)的業(yè)務(wù)需要。為不影響銀行現(xiàn)有以業(yè)務(wù)為流程為向?qū)У纳a(chǎn)系統(tǒng)的處理速度,需要建立一套全新的數(shù)據(jù)倉庫信息技術(shù)才能滿足以分析為向?qū)У膫€性化服務(wù)的業(yè)務(wù)需求,達(dá)成上述客

50、戶和銀行的各自要求。業(yè)務(wù)探索/業(yè)務(wù)發(fā)掘業(yè)務(wù)需求發(fā)掘是個復(fù)雜的咨詢服務(wù)過程,對銀行有極大的業(yè)務(wù)價值，它將促使銀行確定和評價相關(guān)項目的優(yōu)先級程度以及投資核算的成本，更清楚的了解自身現(xiàn)有什么樣的數(shù)據(jù)信息、數(shù)據(jù)質(zhì)量、具有什么樣的IT基礎(chǔ)架構(gòu)等等。了解如何實(shí)施數(shù)據(jù)倉庫解決方案實(shí)施銀行的CRM計劃并達(dá)到什么樣的結(jié)果，這些結(jié)果將是可以定量描述的，可以在規(guī)定的時間內(nèi)達(dá)到。業(yè)務(wù)需求發(fā)掘過程將由天恩科技有限公司金融業(yè)資深顧問負(fù)責(zé)，在銀行信用卡部、市場部、規(guī)劃部、科技部等相關(guān)業(yè)務(wù)部門的密切配合下完成。最終業(yè)務(wù)需求發(fā)掘報告將確定銀行多種業(yè)務(wù)中目前最重要的目標(biāo)和達(dá)到這些目標(biāo)需要的信息。4.4建立市場客戶信息基礎(chǔ)(MCI

51、F,MarketingCustomerInformationFoundation)。MCIF是整個數(shù)據(jù)倉庫應(yīng)用的基礎(chǔ)。我們將現(xiàn)有業(yè)務(wù)系統(tǒng)中有關(guān)客戶的交易數(shù)據(jù)，加載到中央的市場客戶信息庫，建立以客戶為中心的數(shù)據(jù)倉庫基礎(chǔ)環(huán)境?，F(xiàn)有銀行業(yè)務(wù)系統(tǒng)的設(shè)計都是以產(chǎn)品為中心，客戶與銀行的往來業(yè)務(wù)不同，需要使用不同的帳號；另外銀行的業(yè)務(wù)系統(tǒng)隨時間的演變，會增加新系統(tǒng)和修改舊系統(tǒng)，數(shù)據(jù)存放在不同的磁盤上；再者由于使用不同的數(shù)據(jù)庫系統(tǒng)在不同的硬件平臺和操作系統(tǒng)上運(yùn)行，造成字段的名稱和格式代碼都不一致，數(shù)據(jù)的冗余性很高?，F(xiàn)有這些情況，是現(xiàn)有生產(chǎn)系統(tǒng)無法提供業(yè)務(wù)用戶進(jìn)行以客戶為中心數(shù)據(jù)分析的主要原因。在市場客戶信息庫

52、建立完成后，銀行的各業(yè)務(wù)部門將對全行客戶有統(tǒng)一的視圖(SingleVersionofTruth),從而能夠以客戶為單位分析銀行的業(yè)務(wù)情況，知道客戶的人數(shù)，客戶與銀行往來的情況、客戶的基本分類、了解客戶的基本需求，或其他和客戶有關(guān)的復(fù)雜的查詢與報表，如趨勢分析、集群分析等。這一階段的關(guān)鍵是：邏輯數(shù)據(jù)模型和RedBrick數(shù)據(jù)庫管理系統(tǒng)，建立客戶市場營銷信息文件，提供動態(tài)查詢等。4.5利用數(shù)據(jù)倉庫實(shí)現(xiàn)的基本功能模塊根據(jù)北京天恩科技有限公司在銀行業(yè)多年的實(shí)踐經(jīng)驗(yàn)，我們建議河北省工商行銀行各級領(lǐng)導(dǎo)注意考慮在以下幾種功能模塊：1)報表查詢與分析：調(diào)用用戶發(fā)布到網(wǎng)上的報表模板，查詢所需報表，同時，還能將已

53、生成的報表圖示化，對報表數(shù)據(jù)進(jìn)行圖示分析。報表查詢與分析方法提供的是較為宏觀的分析方法。指標(biāo)查詢分析：指標(biāo)查詢與分析方法是以指標(biāo)方式進(jìn)行的查詢分析方法，與報表查詢查詢方式不同，指標(biāo)查詢分析提供的是較為微觀的分析方法，每次關(guān)注的是一個或幾個指標(biāo)的情況。地理方式指標(biāo)查詢：該模塊提供一個生動直觀的地圖界面，在地圖界面上，用戶可以選擇相應(yīng)的地區(qū)，該地區(qū)的經(jīng)營指標(biāo)，并且，還能進(jìn)行圖示化的對比分析、構(gòu)成分析、時間序列分析等分析。該模塊能通過WEB瀏覽器從網(wǎng)上調(diào)用。指標(biāo)采摘分析：該模塊提供指標(biāo)之間的關(guān)聯(lián)查詢與分析，用戶在查詢到某條指標(biāo)時，可以通過后臺的指標(biāo)關(guān)系服務(wù)器，聯(lián)想也與該指標(biāo)有關(guān)聯(lián)的其他指標(biāo)。3）財務(wù)

54、分析財務(wù)比率分析：列出所有財務(wù)比率，并可以通過某項財務(wù)比率指標(biāo)，進(jìn)行OLAP鉆取，查詢到影響該比率指標(biāo)的其財務(wù)指標(biāo)。資產(chǎn)負(fù)債結(jié)構(gòu)分析：銀行對自己的資金從資產(chǎn)和負(fù)債兩個方面進(jìn)行統(tǒng)一的協(xié)調(diào)和管理，實(shí)現(xiàn)兩者在期限和利率上的最佳組合，以確保資金的安全性和流動性，并在此基礎(chǔ)追求最大化利潤。利用在線分析（OLAP）技術(shù)和產(chǎn)品建立資產(chǎn)負(fù)債分析的模型，供銀行有關(guān)業(yè)務(wù)人員進(jìn)行多維的資產(chǎn)負(fù)債結(jié)構(gòu)分析。具體說利用該模塊，業(yè)務(wù)人員可進(jìn)行如下分析：資產(chǎn)的總體結(jié)構(gòu)分析；負(fù)債的總體結(jié)構(gòu)分析；某類資產(chǎn)如貸款的地區(qū)結(jié)構(gòu)、行業(yè)結(jié)構(gòu)、品種結(jié)構(gòu)、期限結(jié)構(gòu)分析；某類貸款如不良代款（次級、可疑、損失貸款）的地區(qū)結(jié)構(gòu)、行業(yè)結(jié)構(gòu)、期限結(jié)構(gòu)；

55、某類負(fù)債如存款的地區(qū)結(jié)構(gòu)、行業(yè)結(jié)構(gòu)、品種結(jié)構(gòu)、期限結(jié)構(gòu)分析；某類存款如定期存款的地區(qū)結(jié)構(gòu)、行業(yè)結(jié)構(gòu)、期限結(jié)構(gòu)分析等等。存款結(jié)構(gòu)分析：采用OLAP技術(shù)，分析銀行各項存款的分布情況，如存款行業(yè)分布，存款期限分布，存款利率分布等?，F(xiàn)金收支分布情況分析：采用OLAP技術(shù)，分析銀行現(xiàn)金收支分布情況。貸款結(jié)構(gòu)分析：采用OLAP技術(shù)，分析銀行各項貸款的分布情況。如貸款行業(yè)分布，貸款性質(zhì)分布，貸款期限分布等期限匹配的資產(chǎn)負(fù)債差額分析：將所有資產(chǎn)按到期日的長短由少到多排列，按加權(quán)平均（比如以資產(chǎn)數(shù)額作為權(quán)重）的方法計算出資產(chǎn)的平均到期日。然后以同樣方法計算出負(fù)債的平均到期日。兩者之間的差額稱為期限匹配形成的差額

56、。若這個差額為正數(shù)，即資產(chǎn)的平均到期日大于負(fù)債的平均到期日，說明銀行的資金應(yīng)用過多了，到時侯可能出現(xiàn)支付能力不足的情況，而銀行卻不能依靠貸款的收回來支付到期的負(fù)債，只能想辦法來尋找新的資金來源或調(diào)整負(fù)債結(jié)構(gòu)，此時銀行的經(jīng)營就會出現(xiàn)比較大的風(fēng)險；若差額為負(fù)數(shù)，即資產(chǎn)的平均到期日小于負(fù)債的平均到期日，說明銀行資金運(yùn)用得不足，可能會出現(xiàn)資金的閑置，影響銀行的盈利。因此，銀行應(yīng)盡可能使得此差額接近于零，這樣既能保證資金的流動性，又能保持較高的盈利。該模塊可自動計算該差額，并要求有關(guān)分析人員填定一份固定格式分析報告，對差額產(chǎn)生的原因、可能造成的后果，以及解決的措施，作出簡要的分析。從而為有關(guān)決策提供依據(jù)

57、。4)決策支持這里提供所需的統(tǒng)計分析和決策分析功能，為銀行各級決策人員提供決策支持。決策支持所要求的功能。聚類分析：該模塊可供銀行內(nèi)部有人關(guān)人員進(jìn)行銀行各經(jīng)營要素的聚類分析，如可以根據(jù)幾個重要指標(biāo)，如利潤總額、存款余額、貸款余額對所轄各支行運(yùn)行進(jìn)行分類。相關(guān)性分析：該模塊可供銀行內(nèi)部有關(guān)人員進(jìn)行銀行各經(jīng)營要素間的相關(guān)性分析，如銀行各類資產(chǎn)總額與利潤總額之間相關(guān)性，各類貸款總額與利息收入總額的相關(guān)性，利率水平與存貸款總量的相關(guān)性，揭示其內(nèi)在聯(lián)動關(guān)系，從而為銀行的有關(guān)決策提供依據(jù)。預(yù)測分析：該系統(tǒng)可供銀行有關(guān)人員對銀行未來的經(jīng)營狀況進(jìn)行預(yù)測，從而為銀行的有關(guān)決策提供依據(jù)。貸款需求預(yù)測：預(yù)測未來一段

58、時間的貸款需求量情況。資金籌措能力預(yù)測：預(yù)測未來一段時間的存款余額情況。資金需求情況預(yù)測：預(yù)測未來的段時間的資金需求情況。5)今日動態(tài)這里列出銀行每日管理中非常關(guān)心的一些經(jīng)營信息及分析。今日頭寸：列出當(dāng)日數(shù)，并可選擇得到過去和預(yù)測未來的一段時間序列曲線。今日存款余額：列出昨日末存款余額，并可得到過去和預(yù)測未來一段時期的存款發(fā)生額、取款發(fā)生額、存款余額時間序列曲線，也可細(xì)化得到各種分類的存款余額。今日貸款余額：列出昨日末貸款余額，并可得到過去和預(yù)測未來十天的存款發(fā)生額、取款發(fā)生額、存款余額時間序列曲線，也可細(xì)化得到各種分類存款余額。今日到期存款情況：列出今日到期的存款額今日到期貸款情況：列出今日

59、到期的貸款額今日預(yù)警信息：對比較重要的指標(biāo)設(shè)定警戒值，由預(yù)警服務(wù)器不斷檢測預(yù)警指標(biāo)，當(dāng)發(fā)現(xiàn)有指標(biāo)超出警戒值時，將超出警戒值的指標(biāo)羅列出來，以醒目(或其他能提醒人注意)的方式，報告給用戶。6)理數(shù)據(jù)信息庫：根據(jù)報表信息和用戶安全的需要，對各級用戶設(shè)定管理權(quán)限提供在線的聯(lián)機(jī)幫助4.6更高層次的開發(fā)應(yīng)用1)客戶利潤分析(ValueAnalyzer):開發(fā)和實(shí)施細(xì)化的客戶利潤分析模型，根據(jù)我們多年的開發(fā)經(jīng)驗(yàn)，將基于五個因素的利潤分析模型，這五個因素是：凈利潤收入，其他收入，直接成本，間接成本和風(fēng)險成本?？蛻衾麧櫡治鰧⒔Y(jié)合銀行特有的業(yè)務(wù)和它的客戶提供一套一致的，精確的利潤利潤分析方案。這些細(xì)化的利潤分析

60、指標(biāo)可以被銀行各部門，如市場、財務(wù)、規(guī)劃、風(fēng)險和產(chǎn)品管理，幫助各部門作出更合適的業(yè)務(wù)決策。建立利潤評測模型，需要收入和成本的確實(shí)金額，因此需要加載會計系統(tǒng)的財務(wù)數(shù)據(jù)到中央數(shù)據(jù)庫中。在收入方面分兩類，主要是與貸款和存款有關(guān)的凈利息收入，以及和手續(xù)費(fèi)年費(fèi)等有關(guān)的其他收入；在費(fèi)用方面分成三部分，直接成本可以是基于活動的成本核算和分?jǐn)偟姆绞?，間接成本如銀行日常運(yùn)行的生產(chǎn)成本，和風(fēng)險成本如壞帳準(zhǔn)備金的提拔等。當(dāng)利潤評測模型建立完成后，銀行可依照組織、客戶和產(chǎn)品三種維度分析利潤貢獻(xiàn)度。銀行依照客戶的利潤貢獻(xiàn)度，合理安排適當(dāng)?shù)姆咒N渠道提供服務(wù)和銷售，知道哪些有利潤的客戶要留住，采用什么方法留住客戶，交叉銷售