金融行業(yè)數(shù)據(jù)倉庫應(yīng)用案例

金融行業(yè)數(shù)據(jù)倉庫應(yīng)用案例內(nèi)容提要（一）自我介紹（二）案例背景（三）期望的數(shù)據(jù)倉庫（四）數(shù)據(jù)倉庫建設(shè)實(shí)踐2025/3/1222025/3/123案例背景中國大型商業(yè)銀行信貸應(yīng)用與分析系統(tǒng)系統(tǒng)構(gòu)建了全行的信貸數(shù)據(jù)倉庫（總行）。系統(tǒng)建立了全行450個信貸數(shù)據(jù)集市?；谌珖總€地市級分行建立信貸數(shù)據(jù)分析中心。數(shù)據(jù)規(guī)模6T，數(shù)據(jù)以500G/年的數(shù)據(jù)增長。系統(tǒng)已運(yùn)行八年。

系統(tǒng)用戶20,000+。系統(tǒng)累計投資5億+。系統(tǒng)采用ROLAP模型，采用BusinessObjects為分析工具，采用Informix為數(shù)據(jù)倉庫平臺，采用Domino/Notes為應(yīng)用平臺。2025/3/124案例背景信貸系統(tǒng)目前的體系結(jié)構(gòu)2025/3/125案例背景一個典型的ETL流程2025/3/126期望的數(shù)據(jù)倉庫大家期望的數(shù)據(jù)倉庫是什么？數(shù)據(jù)倉庫項(xiàng)目無法作為形象工程！數(shù)據(jù)倉庫類型的系統(tǒng)無法在短期內(nèi)看到效益，無法在短期內(nèi)提供有效的回報，數(shù)據(jù)倉庫類型的系統(tǒng)建成后需要一個較長的時間來使用和積累，才能發(fā)揮作用。數(shù)據(jù)倉庫不是報表系統(tǒng)！數(shù)據(jù)倉庫是面向主題的面向分析的系統(tǒng)，不是日常的報表系統(tǒng)，數(shù)據(jù)倉庫在于從業(yè)務(wù)的角度上發(fā)現(xiàn)問題，分析問題，解決問題。報表系統(tǒng)在于真實(shí)的反映日常的運(yùn)行狀況，要求高效快捷，無須深入分析和挖掘。數(shù)據(jù)倉庫能干什么！數(shù)據(jù)倉庫用來分析業(yè)務(wù)數(shù)據(jù)的潛在關(guān)系，用來指導(dǎo)業(yè)務(wù)人員思考和分析，用來發(fā)現(xiàn)問題，指導(dǎo)業(yè)務(wù)的開展和改造。雖然這些成果都是以報表、圖表、圖示的方式展現(xiàn)出來，但這些展現(xiàn)方式都是表層，以這些展現(xiàn)方式來展現(xiàn)數(shù)據(jù)背后的關(guān)系才是數(shù)據(jù)倉庫的用途。根據(jù)Bill.Inmon的定義，“數(shù)據(jù)倉庫是面向主題的、集成的、穩(wěn)定的、隨時間變化的，主要用于決策支持的數(shù)據(jù)庫系統(tǒng)”。

2025/3/127期望的數(shù)據(jù)倉庫

數(shù)據(jù)倉庫是一個用以更好地支持企業(yè)決策分析處理的、面向主題的、集成的、不可更新的、隨時間不斷變化的、分離維護(hù)的數(shù)據(jù)集合。2025/3/128期望的數(shù)據(jù)倉庫現(xiàn)實(shí)中的數(shù)據(jù)倉庫系統(tǒng)包括哪些部分？數(shù)據(jù)采集部分直接的數(shù)據(jù)采集、其他系統(tǒng)作為數(shù)據(jù)源等ETL數(shù)據(jù)整合部分?jǐn)?shù)據(jù)匯總、清洗、轉(zhuǎn)換，當(dāng)然還包括數(shù)據(jù)傳輸、數(shù)據(jù)匯集、分發(fā)、校驗(yàn)、過濾、過程記錄等。采用工具還是自己開發(fā)。重點(diǎn)關(guān)注效率問題數(shù)據(jù)倉庫存儲系統(tǒng)部分大型存儲設(shè)備、高運(yùn)算能力的服務(wù)器等設(shè)備數(shù)據(jù)庫軟件平臺數(shù)據(jù)倉庫與數(shù)據(jù)集市、集中數(shù)據(jù)與分布數(shù)據(jù)重點(diǎn)關(guān)注效率問題數(shù)據(jù)倉庫展現(xiàn)分析部分主流分析展現(xiàn)工具。定制功能的工具開發(fā)。2025/3/129期望的數(shù)據(jù)倉庫數(shù)據(jù)倉庫項(xiàng)目中的角色企業(yè)最高領(lǐng)導(dǎo)團(tuán)隊(duì)你是否打算建設(shè)成為形象工程？這是你重大決策的原動力、而不是你的秘書。你是否有足夠的耐心和準(zhǔn)備，來建設(shè)這個長期性的項(xiàng)目。數(shù)據(jù)提供部門如何解決我為別人服務(wù)的問題。如何解決數(shù)據(jù)倉庫項(xiàng)目成為了我的負(fù)擔(dān)。如何解決數(shù)據(jù)準(zhǔn)確性和時效性。系統(tǒng)建設(shè)部門如何理解數(shù)據(jù)倉庫項(xiàng)目的建設(shè)過程。如何面對模糊的需求、巨大的數(shù)據(jù)量、異想天開的要求。如果不要陷入運(yùn)行泥潭。數(shù)據(jù)使用部門數(shù)據(jù)為什么總是有問題為什么我總是無法應(yīng)用系統(tǒng)為什么他什么都做不到2025/3/1210期望的數(shù)據(jù)倉庫成功的數(shù)據(jù)倉庫：面向過程的開發(fā)方法2025/3/1211期望的數(shù)據(jù)倉庫成功的數(shù)據(jù)倉庫：結(jié)構(gòu)化元數(shù)據(jù)管理數(shù)據(jù)挖掘主管信息系統(tǒng)設(shè)計建模抽取清洗轉(zhuǎn)換加載數(shù)據(jù)倉庫信息展現(xiàn)業(yè)務(wù)流程物理模型邏輯模型聯(lián)機(jī)分析處理報表、即席查詢咨詢服務(wù)IntelligentInfrastructure外部數(shù)據(jù)企業(yè)信息門戶內(nèi)部數(shù)據(jù)數(shù)據(jù)庫管理工具數(shù)據(jù)庫2025/3/1212期望的數(shù)據(jù)倉庫數(shù)據(jù)倉庫不僅僅是數(shù)據(jù)存儲加上一個查詢工具數(shù)據(jù)倉庫不僅僅是產(chǎn)品服務(wù)+產(chǎn)品數(shù)據(jù)倉庫的成功必須有正確的構(gòu)造方法為指導(dǎo)數(shù)據(jù)倉庫的構(gòu)造包括多方面的問題基礎(chǔ)架構(gòu)(硬件、數(shù)據(jù)庫、網(wǎng)絡(luò))規(guī)劃設(shè)計 數(shù)據(jù)轉(zhuǎn)移數(shù)據(jù)訪問(REPORT、OLAP、EIS、WEB)

元數(shù)據(jù)管理 數(shù)據(jù)挖掘 系統(tǒng)管理2025/3/1213數(shù)據(jù)倉庫建設(shè)實(shí)踐主要的建設(shè)階段：目標(biāo)調(diào)研、需求分析確立數(shù)據(jù)倉庫系統(tǒng)的主題目標(biāo)分析業(yè)務(wù)需求，制定需求框架，逐步細(xì)化系統(tǒng)設(shè)計和開發(fā)技術(shù)構(gòu)架設(shè)計業(yè)務(wù)分析模型設(shè)計運(yùn)行、完善機(jī)制設(shè)計系統(tǒng)開發(fā)和上線發(fā)布系統(tǒng)運(yùn)行、積累和完善系統(tǒng)的使用和運(yùn)行；數(shù)據(jù)、分析的積累系統(tǒng)的再完善，數(shù)據(jù)重構(gòu)

2025/3/1214數(shù)據(jù)倉庫建設(shè)實(shí)踐目標(biāo)調(diào)研、需求分析：確立數(shù)據(jù)倉庫的主題目標(biāo)數(shù)據(jù)倉庫的目標(biāo)不能包括所能想起來的所有目標(biāo)，要根據(jù)企業(yè)的實(shí)施能力、分析能力、數(shù)據(jù)基礎(chǔ)制定合理的建設(shè)目標(biāo)，建議按照目標(biāo)的可實(shí)現(xiàn)度分布建設(shè)。分析業(yè)務(wù)需求、制定需求框架、逐步細(xì)化分析具體業(yè)務(wù)需求，對于無法確定的需求，要首先制定需求框架，給系統(tǒng)體系設(shè)計提供指標(biāo)估算。在項(xiàng)目的設(shè)計和建設(shè)中可逐步細(xì)化局體需求條目。2025/3/1215數(shù)據(jù)倉庫建設(shè)實(shí)踐系統(tǒng)設(shè)計和開發(fā)技術(shù)構(gòu)架設(shè)計系統(tǒng)規(guī)模評估系統(tǒng)技術(shù)構(gòu)架選型系統(tǒng)存儲、服務(wù)器選型系統(tǒng)軟件平臺選型系統(tǒng)分析工具選型系統(tǒng)ETL工具選型系統(tǒng)技術(shù)實(shí)現(xiàn)確定系統(tǒng)數(shù)據(jù)分布設(shè)計業(yè)務(wù)分析模型設(shè)計業(yè)務(wù)主題設(shè)計分析模型設(shè)計運(yùn)行、完善機(jī)制設(shè)計運(yùn)行機(jī)制設(shè)計完善機(jī)制設(shè)計系統(tǒng)開發(fā)和上線發(fā)布系統(tǒng)開發(fā)系統(tǒng)上線數(shù)據(jù)裝載2025/3/1216數(shù)據(jù)倉庫建設(shè)實(shí)踐系統(tǒng)運(yùn)行、積累和完善系統(tǒng)的使用和運(yùn)行；數(shù)據(jù)、分析的積累數(shù)據(jù)準(zhǔn)確性的反饋分析執(zhí)行效率的反饋數(shù)據(jù)模型合理性反饋分析主題的積累和反饋系統(tǒng)的再完善，數(shù)據(jù)重構(gòu)系統(tǒng)的擴(kuò)展和糾正元數(shù)據(jù)管理數(shù)據(jù)的重構(gòu)2025/3/1217數(shù)據(jù)倉庫建設(shè)實(shí)踐環(huán)境模型設(shè)計