版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、 昆明商行數(shù)據(jù)中心建設(shè)方案昆明商行數(shù)據(jù)中心建設(shè)方案 版本版本 1.0 吉貝克信息技術(shù)(北京)有限公司 二零零七年五月 I 目 錄 1昆明商行數(shù)據(jù)中心背景昆明商行數(shù)據(jù)中心背景.1 2數(shù)據(jù)中心建設(shè)目標(biāo)和設(shè)計(jì)原則數(shù)據(jù)中心建設(shè)目標(biāo)和設(shè)計(jì)原則.2 2.1設(shè)計(jì)思想.2 2.2系統(tǒng)目標(biāo).2 2.3設(shè)計(jì)原則.3 3數(shù)據(jù)中心體系結(jié)構(gòu)數(shù)據(jù)中心體系結(jié)構(gòu).5 3.1數(shù)據(jù)中心總體結(jié)構(gòu).5 3.2數(shù)據(jù)中心體系結(jié)構(gòu).6 3.3數(shù)據(jù)中心數(shù)據(jù)視圖.7 3.4硬件部署圖.8 3.5技術(shù)架構(gòu)圖.9 3.6數(shù)據(jù)資源圖.10 4數(shù)據(jù)中心實(shí)施方案數(shù)據(jù)中心實(shí)施方案.11 4.1數(shù)據(jù)中心項(xiàng)目規(guī)劃.11 4.1.1整體規(guī)劃的必要性.11 4.
2、1.2體系架構(gòu).12 4.1.3昆明商行數(shù)據(jù)中心.13 4.1.4數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)中心建設(shè)方法.13 4.2數(shù)據(jù)中心架構(gòu)設(shè)計(jì).14 4.3數(shù)據(jù)中心需求分析.18 4.4數(shù)據(jù)中心模型設(shè)計(jì).19 4.4.1建模方法和技術(shù).19 4.4.2吉貝克銀行數(shù)據(jù)倉(cāng)庫(kù)模型.25 4.5ETCL 設(shè)計(jì).47 4.5.1ETCL案例介紹.47 4.5.2ETCL實(shí)施方法及設(shè)計(jì)要素.48 4.5.3四種ETCL方案.49 II 4.5.4ETL流程控制.51 4.5.5模型設(shè)計(jì)與ETCL效率.51 4.6元數(shù)據(jù)管理設(shè)計(jì).52 4.6.1元數(shù)據(jù)的概念和作用.52 4.6.2元數(shù)據(jù)管理的設(shè)計(jì).54 4.7關(guān)注數(shù)據(jù)質(zhì)量問題
3、.56 4.8數(shù)據(jù)補(bǔ)錄.59 4.9對(duì)數(shù)據(jù)中心應(yīng)用的兼顧.60 4.9.1銀行管理體系與數(shù)據(jù)中心.61 4.9.2數(shù)據(jù)中心應(yīng)用分析主題.63 5數(shù)據(jù)中心安全體系數(shù)據(jù)中心安全體系.69 5.1安全設(shè)計(jì)原則.69 5.2系統(tǒng)安全模型和實(shí)現(xiàn).69 5.2.1本系統(tǒng)受到的安全威脅.69 5.2.2系統(tǒng)安全模型.70 5.3安全評(píng)估和檢測(cè).74 5.3.1安全評(píng)估.74 5.3.2安全檢測(cè).75 6項(xiàng)目管理項(xiàng)目管理.76 6.1項(xiàng)目的組織結(jié)構(gòu).76 6.2人員職責(zé).76 6.2.1項(xiàng)目領(lǐng)導(dǎo)委員會(huì).76 6.2.2項(xiàng)目經(jīng)理.76 6.2.3業(yè)務(wù)分析組.77 6.2.4架構(gòu)及應(yīng)用開發(fā)組.77 6.2.5ET
4、L組.77 6.2.6系統(tǒng)測(cè)試組.77 6.2.7質(zhì)量控制組.78 6.3項(xiàng)目管理方法.78 6.3.1軟件開發(fā)管理方法.78 6.3.2選擇項(xiàng)目管理軟件.80 III 6.3.3軟件配置方案.80 7典型數(shù)據(jù)倉(cāng)庫(kù)案例介紹典型數(shù)據(jù)倉(cāng)庫(kù)案例介紹.82 7.1中信銀行資產(chǎn)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng).82 7.2中信銀行公司銀行數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng).85 7.3交通銀行上海分行決策支撐系統(tǒng)規(guī)劃.87 7.4興業(yè)銀行信貸風(fēng)險(xiǎn)監(jiān)測(cè)系統(tǒng).88 7.5上海證券交易所數(shù)據(jù)倉(cāng)庫(kù)二期監(jiān)理項(xiàng)目.90 7.6河北地稅稅源管理信息系統(tǒng).91 1 1 昆明商行數(shù)據(jù)中心背景昆明商行數(shù)據(jù)中心背景 昆明市商業(yè)銀行股份有限公司(以下簡(jiǎn)稱“昆明商行”
5、)在核心業(yè)務(wù)系統(tǒng)逐步 完善的基礎(chǔ)上,為了滿足行內(nèi)對(duì)數(shù)據(jù)分析的不斷需求,擬建立一個(gè)統(tǒng)一的數(shù)據(jù)中心, 為行內(nèi)其它數(shù)據(jù)分析類系統(tǒng)提供數(shù)據(jù)分析基礎(chǔ)。昆明商行的信息系統(tǒng)環(huán)境比較單一, 信息系統(tǒng)數(shù)量不多,目前比較關(guān)鍵的信息系統(tǒng)包括: 核心業(yè)務(wù)系統(tǒng)(綜合業(yè)務(wù)系統(tǒng)、銀行卡系統(tǒng)、國(guó)際業(yè)務(wù)系統(tǒng)、票據(jù)系統(tǒng)) 渠道接入系統(tǒng)(中間業(yè)務(wù)平臺(tái)、ATM、POS、CDR、BST) 資金管理系統(tǒng) CRM 系統(tǒng) 昆商行目前正致力于銀行信息化建設(shè),隨著銀行核心業(yè)務(wù)系統(tǒng)和渠道接入系統(tǒng) 的改造陸續(xù)完成,管理信息系統(tǒng)的建設(shè)開始提上議事日程。 在實(shí)施上,數(shù)據(jù)中心將分多期建設(shè),首期主要對(duì)數(shù)據(jù)進(jìn)行抽取、整合,建立統(tǒng) 一的數(shù)據(jù)平臺(tái);在首期整合數(shù)據(jù)
6、的基礎(chǔ)上,后期主要在數(shù)據(jù)基礎(chǔ)上滿足業(yè)務(wù)分析的 要求建立各種應(yīng)用主題。 我們認(rèn)為:方案的設(shè)計(jì)過(guò)程是廠家與用戶不斷交流,不斷溝通的過(guò)程,是將廠我們認(rèn)為:方案的設(shè)計(jì)過(guò)程是廠家與用戶不斷交流,不斷溝通的過(guò)程,是將廠 家的技術(shù)優(yōu)勢(shì)與用戶的業(yè)務(wù)需求相匹配的過(guò)程。因此我們提交昆明商行數(shù)據(jù)中心項(xiàng)家的技術(shù)優(yōu)勢(shì)與用戶的業(yè)務(wù)需求相匹配的過(guò)程。因此我們提交昆明商行數(shù)據(jù)中心項(xiàng) 目建議書,供昆明商行確認(rèn)業(yè)務(wù)內(nèi)容與客戶化的需求,最終共同完成方案的設(shè)計(jì),目建議書,供昆明商行確認(rèn)業(yè)務(wù)內(nèi)容與客戶化的需求,最終共同完成方案的設(shè)計(jì), 確保將系統(tǒng)建設(shè)成為一個(gè)立足現(xiàn)在、實(shí)用有效,未來(lái)有充分?jǐn)U展空間的數(shù)據(jù)中心系確保將系統(tǒng)建設(shè)成為一個(gè)立足現(xiàn)
7、在、實(shí)用有效,未來(lái)有充分?jǐn)U展空間的數(shù)據(jù)中心系 統(tǒng)。統(tǒng)。 在下面幾章中,我們針對(duì)昆明商行數(shù)據(jù)中心的情況,從技術(shù)架構(gòu)規(guī)劃、數(shù)據(jù)中 心模型、ETCL 等方面,給出昆明商行數(shù)據(jù)中心建設(shè)方案。 2 2 數(shù)據(jù)中心建設(shè)目標(biāo)和設(shè)計(jì)原則數(shù)據(jù)中心建設(shè)目標(biāo)和設(shè)計(jì)原則 2.1 設(shè)計(jì)思想設(shè)計(jì)思想 為建立確保在競(jìng)爭(zhēng)中處于優(yōu)勢(shì)的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng),必須掌握和運(yùn)用最先進(jìn)的計(jì)算 機(jī)和信息技術(shù)。我公司將提供一個(gè)優(yōu)秀的咨詢隊(duì)伍和出色的項(xiàng)目實(shí)施團(tuán)隊(duì)來(lái)幫助貴 行完成數(shù)據(jù)倉(cāng)庫(kù)的建設(shè)工作。 我公司多年來(lái)致力于數(shù)據(jù)倉(cāng)庫(kù)的技術(shù)追蹤和實(shí)踐,潛心致力于數(shù)據(jù)倉(cāng)庫(kù)方案的 設(shè)計(jì)和研究,并為銀行業(yè)客戶提供成功的數(shù)據(jù)倉(cāng)庫(kù)解決方案,實(shí)現(xiàn)商業(yè)智能管理。 倡導(dǎo)開放式體
8、系結(jié)構(gòu) 我公司在產(chǎn)品設(shè)計(jì)中積極倡導(dǎo)開放式體系結(jié)構(gòu)。我公司追求的目標(biāo)是,通過(guò)系 統(tǒng)適應(yīng)性和擴(kuò)展性來(lái)保護(hù)用戶的投資。我公司在提出的解決方案中,都預(yù)先考慮到 客戶未來(lái)對(duì)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)可能提出的新要求。 遵循全球業(yè)界的國(guó)際標(biāo)準(zhǔn) 我公司遵循國(guó)際組織在各個(gè)業(yè)界的標(biāo)準(zhǔn)而設(shè)計(jì)軟硬件標(biāo)準(zhǔn)系統(tǒng)開放平臺(tái),大 大加強(qiáng)了產(chǎn)品的互通性。 重視應(yīng)用與管理 數(shù)據(jù)庫(kù)系統(tǒng)的概念對(duì)于許多人來(lái)說(shuō)已經(jīng)不再陌生,但在調(diào)研及項(xiàng)目運(yùn)作中發(fā)現(xiàn), 往往忽略一個(gè)非常重要的問題,即如何在現(xiàn)有的計(jì)算機(jī)用戶和使用人員下,通過(guò)廣 泛使用和有效的管理從而提高工作效率、節(jié)約成本,作出正確決策。 2.2 系統(tǒng)目標(biāo)系統(tǒng)目標(biāo) 昆明商行數(shù)據(jù)中心建設(shè)最終目標(biāo)是建立公共數(shù)
9、據(jù)中心,形成統(tǒng)一的數(shù)據(jù)與應(yīng)用 的基礎(chǔ)架構(gòu)平臺(tái),實(shí)現(xiàn)對(duì)數(shù)據(jù)資源的有效整合,交流,保護(hù)、管理和分析,開發(fā)對(duì) 業(yè)務(wù)數(shù)據(jù)的各種應(yīng)用,如客戶分析、決策支持系統(tǒng)、風(fēng)險(xiǎn)管理系統(tǒng),為管理層決策 提供重要依據(jù)。 3 系統(tǒng)建設(shè)的兩大重要工作是:系統(tǒng)建設(shè)的兩大重要工作是: 1、 昆明商行數(shù)據(jù)中心的功能,包括業(yè)務(wù)數(shù)據(jù)匯總、數(shù)據(jù)備份、數(shù)據(jù)交換轉(zhuǎn)發(fā)、昆明商行數(shù)據(jù)中心的功能,包括業(yè)務(wù)數(shù)據(jù)匯總、數(shù)據(jù)備份、數(shù)據(jù)交換轉(zhuǎn)發(fā)、 數(shù)據(jù)共享和應(yīng)用。數(shù)據(jù)共享和應(yīng)用。 2、 通過(guò)建設(shè)昆明商行數(shù)據(jù)中心系統(tǒng)和決策分析支持系統(tǒng),實(shí)現(xiàn)昆明商行統(tǒng)一通過(guò)建設(shè)昆明商行數(shù)據(jù)中心系統(tǒng)和決策分析支持系統(tǒng),實(shí)現(xiàn)昆明商行統(tǒng)一 的業(yè)務(wù)分析平臺(tái),完成業(yè)務(wù)數(shù)據(jù)的統(tǒng)計(jì)、確
10、定主題的聯(lián)機(jī)分析、業(yè)務(wù)及管的業(yè)務(wù)分析平臺(tái),完成業(yè)務(wù)數(shù)據(jù)的統(tǒng)計(jì)、確定主題的聯(lián)機(jī)分析、業(yè)務(wù)及管 理的趨勢(shì)分析、預(yù)測(cè)分析等一系列的高級(jí)分析。理的趨勢(shì)分析、預(yù)測(cè)分析等一系列的高級(jí)分析。 2.3 設(shè)計(jì)原則設(shè)計(jì)原則 在本系統(tǒng)設(shè)計(jì)中,我們制定如下的系統(tǒng)設(shè)計(jì)原則和技術(shù)設(shè)計(jì)原則: (1)系統(tǒng)設(shè)計(jì)原則 采用國(guó)際最新的高科技成果,使其在國(guó)內(nèi)銀行業(yè)數(shù)據(jù)管理具有較高的水 平。 結(jié)合昆明商行的業(yè)務(wù)實(shí)際,建立高可用性的運(yùn)營(yíng)與管理系統(tǒng)。 擴(kuò)充方便,設(shè)置修改靈活,操作維護(hù)簡(jiǎn)單,系統(tǒng)構(gòu)筑時(shí)間短,能夠適 應(yīng)業(yè)務(wù)的快速變化。 充分利用現(xiàn)有各種系統(tǒng)的資源,充分利用現(xiàn)有的 WAN 數(shù)據(jù)通信網(wǎng)絡(luò) 和 LAN 網(wǎng)絡(luò),節(jié)省運(yùn)行成本。 規(guī)范性與
11、開放性。能夠與現(xiàn)有的辦公系統(tǒng)等直接或間接互聯(lián)。 (2)技術(shù)設(shè)計(jì)原則 先進(jìn)性:采用最先進(jìn)的基于計(jì)算機(jī)網(wǎng)絡(luò)與數(shù)據(jù)庫(kù)集成技術(shù)設(shè)計(jì)開發(fā)本 系統(tǒng)。提供最先進(jìn)的基于三層結(jié)構(gòu)(Multi-tier)的系統(tǒng)解決方案, 能夠根據(jù)業(yè)務(wù)需要快速地?cái)U(kuò)充規(guī)模。 標(biāo)準(zhǔn)性:基于標(biāo)準(zhǔn)的網(wǎng)絡(luò)協(xié)議 TCP/IP、HTTP 等,系統(tǒng)應(yīng)用平臺(tái)采用基 于 CORBA 標(biāo)準(zhǔn)與國(guó)際標(biāo)準(zhǔn)保持一致。 開放性與靈活性:采用主流的數(shù)據(jù)庫(kù)產(chǎn)品和數(shù)據(jù)倉(cāng)庫(kù)產(chǎn)品,建設(shè)基于 開放技術(shù)的應(yīng)用平臺(tái);具有良好的的 GUI 界面,可配置不同的前端展 現(xiàn)工具,使系統(tǒng)靈活易用。 4 可擴(kuò)展性:軟硬件平臺(tái)的良好擴(kuò)展性能滿足技術(shù)、業(yè)務(wù)以及未來(lái)擴(kuò)展 的需要。 一致性:集成現(xiàn)
12、有的業(yè)務(wù)系統(tǒng),有效地組織抽取業(yè)務(wù)部門數(shù)據(jù),使系 統(tǒng)有統(tǒng)一的數(shù)據(jù)視圖,在訪問手段上采用統(tǒng)一的“瘦客戶”方式-瀏覽 器。 5 3 數(shù)據(jù)中心體系結(jié)構(gòu)數(shù)據(jù)中心體系結(jié)構(gòu) 數(shù)據(jù)中心對(duì)數(shù)據(jù)保留得要求是最近三年得數(shù)據(jù),總帳數(shù)據(jù)要求當(dāng)年的每年保存, 以往的保留年末數(shù)據(jù),交易明細(xì)數(shù)據(jù)要求每天保留。 3.1 數(shù)據(jù)中心總體結(jié)構(gòu)數(shù)據(jù)中心總體結(jié)構(gòu) 6 3.2 數(shù)據(jù)中心體系結(jié)構(gòu)數(shù)據(jù)中心體系結(jié)構(gòu) 7 3.3 數(shù)據(jù)中心數(shù)據(jù)視圖數(shù)據(jù)中心數(shù)據(jù)視圖 8 3.4 硬件部署圖硬件部署圖 9 3.5 技術(shù)架構(gòu)圖技術(shù)架構(gòu)圖 10 3.6 數(shù)據(jù)資源圖數(shù)據(jù)資源圖 11 4 數(shù)據(jù)中心實(shí)施方案數(shù)據(jù)中心實(shí)施方案 本節(jié)將從技術(shù)的角度對(duì)昆明商行數(shù)據(jù)中心進(jìn)
13、行架構(gòu)設(shè)計(jì),但這些架構(gòu)設(shè)計(jì)還是 比較簡(jiǎn)單的,昆明商行數(shù)據(jù)中心的詳細(xì)架構(gòu)設(shè)計(jì)必需對(duì)昆明商行各種信息系統(tǒng)進(jìn)行 進(jìn)一步的了解;簡(jiǎn)單架構(gòu)之后將重點(diǎn)介紹一些數(shù)據(jù)中心的關(guān)鍵技術(shù),這些都是實(shí)施 經(jīng)驗(yàn)的積累,是數(shù)據(jù)中心架構(gòu)以及數(shù)據(jù)中心實(shí)施中的關(guān)鍵部分。 4.1 數(shù)據(jù)中心項(xiàng)目規(guī)劃數(shù)據(jù)中心項(xiàng)目規(guī)劃 昆明商行數(shù)據(jù)中心建設(shè)是一個(gè)長(zhǎng)期的過(guò)程,為保數(shù)據(jù)中心設(shè)計(jì)的實(shí)用性、全面 性和靈活性,應(yīng)該充分考慮到現(xiàn)有及后續(xù)基于數(shù)據(jù)中心開發(fā)應(yīng)用計(jì)劃。因此我們必 須對(duì)數(shù)據(jù)中心建設(shè)進(jìn)行整體規(guī)劃。 4.1.1整體規(guī)劃的必要性整體規(guī)劃的必要性 隨著 IT 業(yè)新技術(shù)的不斷涌現(xiàn)和軟硬件產(chǎn)品性能的快速提高,企業(yè) IT 項(xiàng)目也日 趨復(fù)雜和龐大,涉及到
14、眾多軟硬件產(chǎn)品、應(yīng)用開發(fā)工作量巨大、企業(yè)投資也非常大, 而且各系統(tǒng)之間關(guān)系緊密、系統(tǒng)邊界不夠明晰、項(xiàng)目范圍和階段難以確定,此時(shí)進(jìn) 行項(xiàng)目實(shí)施規(guī)劃的重要性便逐漸凸顯出來(lái)。如果缺乏合理有效的項(xiàng)目實(shí)施規(guī)劃,可 能造成項(xiàng)目過(guò)于龐大、需求變動(dòng)頻繁、業(yè)務(wù)與技術(shù)人員之間產(chǎn)生矛盾、項(xiàng)目遲遲難 以完工等問題,由此而造成項(xiàng)目失敗的先例不在少數(shù)。只有有了明確的項(xiàng)目規(guī)劃, 定義好哪些功能在哪個(gè)階段完成,才有助于很好地界定項(xiàng)目功能和邊界、確定項(xiàng)目 計(jì)劃、保證項(xiàng)目按時(shí)完成并及早為用戶所用。 業(yè)務(wù)、技術(shù)和效益的分析著眼點(diǎn)應(yīng)是業(yè)務(wù)需求。業(yè)務(wù)需求的提出應(yīng)基于三個(gè)方 面:現(xiàn)在正在做的業(yè)務(wù),想做尚未做或尚不能做的,以及別人在做或應(yīng)
15、該做而企業(yè) 尚不知道的。通過(guò)對(duì)這三個(gè)方面的分析,即可保證所建立的系統(tǒng)在可行性及經(jīng)濟(jì)性 原則下,既能滿足現(xiàn)在業(yè)務(wù)的需求,又可行且具有前瞻性。業(yè)務(wù)需求是由業(yè)務(wù)部門 起頭,在業(yè)務(wù)部門提出的基礎(chǔ)上由外部專家加以提升,這樣才能保證其前瞻性。 在項(xiàng)目建設(shè)時(shí)要避免“大而全” ,應(yīng)該分期、分階段地逐步實(shí)施。而每期項(xiàng)目 12 范圍的劃分依據(jù)主要有以下幾點(diǎn): 企業(yè)長(zhǎng)期發(fā)展戰(zhàn)略 業(yè)務(wù)需求的緊迫性 對(duì)昆明商行決策的重要性及可能帶來(lái)的經(jīng)濟(jì)效益 項(xiàng)目完成時(shí)間及難易程度 源數(shù)據(jù)系統(tǒng)狀況 替代做法的可行性及難易程度 商業(yè)目標(biāo)、業(yè)務(wù)需求以及完成某一部分需求所需時(shí)間、人力資源及潛在效益都 將成為系統(tǒng)分步建設(shè)的主要決定因素,當(dāng)然昆
16、明商行的戰(zhàn)略計(jì)劃、長(zhǎng)期規(guī)劃以及緊 迫性和可替代性都可能會(huì)影響最終決定,但基本原則應(yīng)是找那些時(shí)間周期短、技術(shù) 可信度高、投資少、見效快、效益好、影響大的需求作為突破口。 4.1.2體系架構(gòu)體系架構(gòu) 昆明商行數(shù)據(jù)中心系統(tǒng)架構(gòu)如下圖所示: 建立數(shù)據(jù)中心的主要工作包括: 從綜合業(yè)務(wù)系統(tǒng)、信貸管理系統(tǒng)合和國(guó)際業(yè)務(wù)等系統(tǒng)中抽取數(shù)據(jù),進(jìn) 行清理、轉(zhuǎn)換后,加載到昆明商行數(shù)據(jù)中心中,完整的、可重用的數(shù) 據(jù)集市的設(shè)計(jì)基于對(duì)下列兩方面進(jìn)行充分分析的基礎(chǔ)上: 對(duì)綜合業(yè)務(wù)分析目標(biāo)的確定,數(shù)據(jù)源的確定 了解支持?jǐn)?shù)據(jù)集市的各種風(fēng)險(xiǎn)分析方法和實(shí)現(xiàn)技術(shù) 昆明商行數(shù)據(jù)中心包括多維分析、查詢、報(bào)表、數(shù)據(jù)補(bǔ)錄和參數(shù)維護(hù), 是數(shù)據(jù)倉(cāng)庫(kù)
17、功能有效性的支持 本期要實(shí)現(xiàn)功能有三類:報(bào)表、多維分析、數(shù)據(jù)補(bǔ)錄及參數(shù)設(shè)置。其 中報(bào)表包括批量通知書類、日常管理統(tǒng)計(jì)類、績(jī)效考核類、經(jīng)營(yíng)業(yè)務(wù) 評(píng)價(jià)類、用戶定制類報(bào)表;多維分析包括績(jī)效考核、經(jīng)營(yíng)業(yè)務(wù)評(píng)價(jià)、 貸款產(chǎn)品分析。 13 4.1.3昆明商行數(shù)據(jù)中心昆明商行數(shù)據(jù)中心 昆明商行數(shù)據(jù)中心是分析平臺(tái)使用的重要數(shù)據(jù)源,為報(bào)表及多維分析等應(yīng)用提 供數(shù)據(jù)。數(shù)據(jù)中心從核心業(yè)務(wù)數(shù)據(jù)等系統(tǒng)中獲取相關(guān)的業(yè)務(wù)數(shù)據(jù),經(jīng)過(guò)必須的清洗 轉(zhuǎn)換后存儲(chǔ)在數(shù)據(jù)中心中,數(shù)據(jù)中心采用面向分析應(yīng)用設(shè)計(jì)的數(shù)據(jù)模型,以高效的 查詢?cè)L問效率為主要目標(biāo),主要為星形模型,數(shù)據(jù)存在一定的冗余。數(shù)據(jù)模型設(shè)計(jì) 依據(jù) Ralph Kimball 的數(shù)
18、據(jù)集市設(shè)計(jì)理論,主要特點(diǎn)有: 星型模式 數(shù)量眾多的星形結(jié)構(gòu)通過(guò)共享維聯(lián)系成一體 高冗余 面向分析應(yīng)用 4.1.4數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)倉(cāng)庫(kù)/數(shù)據(jù)中心建設(shè)方法數(shù)據(jù)中心建設(shè)方法 數(shù)據(jù)中心建設(shè)是一個(gè)長(zhǎng)期的過(guò)程,需要不斷的完善和增加功能,是一個(gè)越做越 好的過(guò)程。對(duì)于昆明商行數(shù)據(jù)中心準(zhǔn)備采用的是迭代執(zhí)行法,實(shí)行統(tǒng)一規(guī)劃,分步 14 實(shí)施。如圖所示: 統(tǒng)一規(guī)劃的必要性: 一個(gè)成功的企業(yè)級(jí)數(shù)據(jù)倉(cāng)庫(kù)工程是一個(gè)耗時(shí)、耗力、耗資金、耗人力資源 的龐大的系統(tǒng)工程 統(tǒng)一規(guī)劃能保證項(xiàng)目的實(shí)用性,全面性和前瞻性 分步實(shí)施的必要性: 風(fēng)險(xiǎn)前置,盡量將風(fēng)險(xiǎn)在一階段暴露 每隔一段較短的時(shí)間就能看到數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的新增應(yīng)用,互動(dòng)的實(shí)施過(guò)程
19、能增強(qiáng)企業(yè)對(duì)成功建設(shè)數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的信心 迅速體現(xiàn)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目?jī)r(jià)值,快速收回?cái)?shù)據(jù)倉(cāng)庫(kù)項(xiàng)目投資 4.2 數(shù)據(jù)中心架構(gòu)設(shè)計(jì)數(shù)據(jù)中心架構(gòu)設(shè)計(jì) 從系統(tǒng)邏輯結(jié)構(gòu)上看,整體昆明商行數(shù)據(jù)中心主要由數(shù)據(jù)源、數(shù)據(jù)中心、數(shù)據(jù) 中心應(yīng)用、元數(shù)據(jù)、系統(tǒng)管理幾個(gè)部分組成,如圖所示。首期主要進(jìn)行數(shù)據(jù)整合, 因此主要是數(shù)據(jù)源、數(shù)據(jù)中心、元數(shù)據(jù)管理以及系統(tǒng)管理,同時(shí)考慮兼顧未來(lái)的數(shù) 據(jù)中心應(yīng)用。 15 核心業(yè)務(wù)系統(tǒng) 外部數(shù)據(jù)CRM系統(tǒng) 數(shù)數(shù)據(jù)據(jù)中中心心 ETCL 查詢、報(bào)表、統(tǒng)計(jì)、多維分析、數(shù)據(jù)維護(hù) 客客戶戶分分析析產(chǎn)產(chǎn)品品分分析析 績(jī)績(jī)效效分分析析 元元數(shù)數(shù)據(jù)據(jù)管管理理 系系統(tǒng)統(tǒng)管管理理 數(shù)據(jù)源 數(shù)據(jù)中心 數(shù)據(jù)中心 應(yīng)用 風(fēng)
20、風(fēng)險(xiǎn)險(xiǎn)分分析析 數(shù)據(jù)集市 數(shù)據(jù)源 數(shù)據(jù)源包括了昆明商行的核心業(yè)務(wù)系統(tǒng)和 CRM 系統(tǒng),以及根據(jù)需求 可能涉及的其它外部數(shù)據(jù)資源。 數(shù)據(jù)中心 數(shù)據(jù)中心是整個(gè)系統(tǒng)的核心,它是整個(gè)系統(tǒng)存儲(chǔ)、管理數(shù)據(jù)和信息的 地方。數(shù)據(jù)中心由可分為以下幾個(gè)部分: 數(shù)據(jù)抽取、轉(zhuǎn)換、清洗和裝載(Extract, Transform, Clear, Load) 負(fù)責(zé)將數(shù)據(jù)從業(yè)務(wù)系統(tǒng)或外部系統(tǒng)中獲得,轉(zhuǎn)換和清洗成數(shù)據(jù)倉(cāng) 庫(kù)需要的格式和形態(tài),并在規(guī)定的時(shí)間裝入到數(shù)據(jù)中心中去。通常我 們把這四個(gè)具體的步驟統(tǒng)稱為 ETCL,在系統(tǒng)實(shí)現(xiàn)時(shí)一般采用數(shù)據(jù)抽 取工具和應(yīng)用編程實(shí)現(xiàn),并擁有調(diào)度管理和控制。 同時(shí),在數(shù)據(jù)源方面,目前的多數(shù)大數(shù)
21、據(jù)量的數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)中, Extract 部分往往采用 Push 的方式,一些對(duì)數(shù)據(jù)源業(yè)務(wù)日志監(jiān)測(cè)的增 量數(shù)據(jù)提取工具,或數(shù)據(jù)復(fù)制工具也涉足其中。 從技術(shù)發(fā)展看,在 ETCL 環(huán)節(jié),數(shù)據(jù)抽取工具已經(jīng)得到廣泛的使 用,以應(yīng)用編碼實(shí)現(xiàn)的數(shù)據(jù)抽取逐漸減少。對(duì)多種數(shù)據(jù)源的訪問,包 16 括非關(guān)系型數(shù)據(jù)庫(kù)和大型主機(jī),成為基本的技術(shù)指標(biāo)。復(fù)雜的數(shù)據(jù)清 洗、裝載作業(yè)的調(diào)度和管理也成為產(chǎn)品的基本組成部分。 數(shù)據(jù)中心 數(shù)據(jù)中心是數(shù)據(jù)存儲(chǔ)核心,從技術(shù)上也稱數(shù)據(jù)倉(cāng)庫(kù)。目前大多數(shù) 數(shù)據(jù)倉(cāng)庫(kù)采用關(guān)系型數(shù)據(jù)庫(kù)管理。但數(shù)據(jù)模式的設(shè)計(jì)將不同于傳統(tǒng)事 務(wù)處理數(shù)據(jù)庫(kù)。數(shù)據(jù)倉(cāng)庫(kù)的關(guān)鍵技術(shù)難點(diǎn)在于數(shù)據(jù)量的龐大和查詢的 復(fù)雜,有效的存儲(chǔ)
22、與快速的查詢是一對(duì)矛盾,要解決這個(gè)問題,我們 建議在數(shù)據(jù)倉(cāng)庫(kù)的數(shù)據(jù)庫(kù)中存儲(chǔ)以下兩部分?jǐn)?shù)據(jù): 關(guān)系型數(shù)據(jù):此部分著眼于存儲(chǔ)盡量詳細(xì)全面的(具體粒度取決 于業(yè)務(wù)需求) 、低冗余度的源系統(tǒng)數(shù)據(jù),這一方面為本次項(xiàng)目的查詢、 報(bào)表和多維分析提供數(shù)據(jù),另一方面為后續(xù)項(xiàng)目的查詢分析及數(shù)據(jù)挖 掘工作打下數(shù)據(jù)基礎(chǔ)。 多維模型數(shù)據(jù):多維模型是一種不同于 OLTP 數(shù)據(jù)庫(kù)的、專為滿 足多維分析需求而建立的數(shù)據(jù)結(jié)構(gòu),由維表和事實(shí)表組成。此部分?jǐn)?shù) 據(jù)著眼于提供快速的分析查詢,并作為 OLAP 應(yīng)用的數(shù)據(jù)源。 數(shù)據(jù)中心應(yīng)用 數(shù)據(jù)中心應(yīng)用是昆明商行后期在數(shù)據(jù)中心建立的基礎(chǔ)上進(jìn)行的數(shù) 據(jù)分析。 數(shù)據(jù)集市(Data Mart)
23、 大多數(shù)據(jù)中心應(yīng)用,由于其關(guān)心的分析主題和使用數(shù)據(jù)的層次和 范圍不同,并不是直接從數(shù)據(jù)倉(cāng)庫(kù)中查詢數(shù)據(jù),而是通過(guò)對(duì)數(shù)據(jù)集市 的訪問。數(shù)據(jù)集市存儲(chǔ)了由數(shù)據(jù)中心來(lái)的,經(jīng)過(guò)裁剪和歸整的數(shù)據(jù), 這些數(shù)據(jù)針對(duì)某個(gè)業(yè)務(wù)部門或某種業(yè)務(wù)分析應(yīng)用而建立。數(shù)據(jù)集市一 般都對(duì)數(shù)據(jù)進(jìn)行了各種層次的匯總,并建立多維分析的模型,同時(shí)也 包括了數(shù)據(jù)采樣。數(shù)據(jù)集市的存儲(chǔ)主要有關(guān)系數(shù)據(jù)庫(kù)和多維數(shù)據(jù)庫(kù)。 其中,多維數(shù)據(jù)庫(kù)存放多維分析數(shù)據(jù),而關(guān)系數(shù)據(jù)庫(kù)則存儲(chǔ)星型模式。 從數(shù)據(jù)中心到數(shù)據(jù)集市還有一個(gè)數(shù)據(jù)歸整的過(guò)程,主要的任務(wù)是多維 模型的轉(zhuǎn)換、數(shù)據(jù)的匯總和采樣等,有時(shí)它由 ETCL 系統(tǒng)統(tǒng)一調(diào)度完 17 成。 查詢和報(bào)表(Query
24、& Report) 查詢和報(bào)表是數(shù)據(jù)中心應(yīng)用的最基本部分。由于數(shù)據(jù)倉(cāng)庫(kù)擁有最 完整的信息資源,基于商業(yè)智能系統(tǒng)的查詢和報(bào)表能夠提供比業(yè)務(wù)系 統(tǒng)更豐富信息,而且不會(huì)對(duì)日常的事務(wù)處理產(chǎn)生任何影響。查詢和報(bào) 表通常采用報(bào)表工具實(shí)現(xiàn)。 聯(lián)機(jī)分析處理(OLAP) 聯(lián)機(jī)分析處理主要指的是多維分析。它提供將數(shù)據(jù)組織成多維立 方體(不論邏輯的還是物理的),而用戶可以對(duì)這些數(shù)據(jù)立方體進(jìn)行切片、 旋轉(zhuǎn)、匯總等多角度的查詢和統(tǒng)計(jì)。這種查詢和統(tǒng)計(jì)可完全出自用戶 對(duì)業(yè)務(wù)的考慮,而不必關(guān)心數(shù)據(jù)的物理結(jié)構(gòu)和技術(shù)上的組織形式。聯(lián) 機(jī)分析應(yīng)用是商業(yè)智能應(yīng)用中最主要,也是最廣泛的應(yīng)用形式。 數(shù)據(jù)挖掘(Data Mining) 數(shù)
25、據(jù)挖掘是利用各種數(shù)理統(tǒng)計(jì)和人工智能的方法,從大量數(shù)據(jù)中 間找出內(nèi)在蘊(yùn)含的關(guān)系和特征。數(shù)據(jù)挖掘原本是獨(dú)立的應(yīng)用領(lǐng)域和專 題,但它往往需要基于大量的,經(jīng)過(guò)預(yù)處理的數(shù)據(jù),而這些正是數(shù)據(jù) 倉(cāng)庫(kù)系統(tǒng)的工作。因此,數(shù)據(jù)挖掘近年來(lái)越來(lái)越多地應(yīng)用于商業(yè)智能 的應(yīng)用,并正在解決著大量業(yè)務(wù)問題。 商業(yè)應(yīng)用(Business Applications) 事實(shí)上,數(shù)據(jù)中心應(yīng)用并不限于對(duì)各種工具的使用來(lái)訪問數(shù)據(jù)倉(cāng) 庫(kù),它更多地體現(xiàn)行業(yè)的特征來(lái)解決企業(yè)分析決策的具體問題。因此, 集成的商業(yè)應(yīng)用是商業(yè)智能系統(tǒng)的重要組成部分。它將聯(lián)機(jī)分析、報(bào) 表查詢、數(shù)理統(tǒng)計(jì)和數(shù)據(jù)挖掘等各項(xiàng)技術(shù)集成起來(lái),提供面向企業(yè)各 管理層次、體現(xiàn)行業(yè)特
26、征、采用最新應(yīng)用模式(如:企業(yè)內(nèi)部門戶、 Intranet 應(yīng)用集成)的綜合型應(yīng)用。因此,中間件、門戶軟件越來(lái)越多 地出現(xiàn)在數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用中。 元數(shù)據(jù) 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)涉及了多個(gè)組成部分,并由多種產(chǎn)品和工具構(gòu)成。管理 18 和控制漸漸成為人們關(guān)心的話題。數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)的管理員與其分別管理每 一個(gè)工具或產(chǎn)品及其所轄的數(shù)據(jù)和功能,不如在統(tǒng)一集中的平臺(tái)上對(duì)整個(gè) 系統(tǒng)協(xié)調(diào)控制。這需要一種貫穿全局的管理機(jī)制。而采用數(shù)據(jù)驅(qū)動(dòng)是一個(gè) 自然的解決方案。所謂元數(shù)據(jù)就是管理商業(yè)智能系統(tǒng)的數(shù)據(jù),其主要部分 類似于數(shù)據(jù)字典,其內(nèi)容貫穿了商業(yè)智能應(yīng)用的各階段,記錄著從 ETCL 到分析展現(xiàn)各個(gè)階段和各組成部分的管理信息。在系
27、統(tǒng)管理上,試圖提供 統(tǒng)一的平臺(tái)對(duì)元數(shù)據(jù)進(jìn)行管理和維護(hù),并通過(guò)元數(shù)據(jù)的狀態(tài)驅(qū)動(dòng)系統(tǒng)各部 分的運(yùn)轉(zhuǎn)。不過(guò),就目前而言,元數(shù)據(jù)的概念在數(shù)據(jù)倉(cāng)庫(kù)業(yè)界尚未擁有一 個(gè)統(tǒng)一的標(biāo)準(zhǔn),各個(gè)數(shù)據(jù)倉(cāng)庫(kù)廠商的產(chǎn)品間元數(shù)據(jù)也是不能夠互通的。 從上述技術(shù)架構(gòu)以及實(shí)施數(shù)據(jù)倉(cāng)庫(kù)的經(jīng)驗(yàn),在實(shí)施過(guò)程有一些關(guān)鍵點(diǎn)或稱為風(fēng) 險(xiǎn)點(diǎn)的地方。在進(jìn)行設(shè)計(jì)時(shí),必須對(duì)這些風(fēng)險(xiǎn)點(diǎn)特別關(guān)注,設(shè)計(jì)最好的解決方法, 并不斷優(yōu)化,是保證項(xiàng)目效率的關(guān)鍵。 主要的風(fēng)險(xiǎn)點(diǎn)包括: ETCL、數(shù)據(jù)中心建模、數(shù)據(jù)質(zhì)量分析、元數(shù)據(jù)管理以 及工具集成?;诶ッ魃绦械木唧w情況,我們將針對(duì)數(shù)據(jù)中心建模、數(shù)據(jù)標(biāo)準(zhǔn)化、 ETCL 技術(shù)、元數(shù)據(jù)管理、數(shù)據(jù)質(zhì)量幾個(gè)關(guān)鍵點(diǎn)進(jìn)行論述,提
28、出一些可行的解決方 法和注意點(diǎn)。 4.3 數(shù)據(jù)中心需求分析數(shù)據(jù)中心需求分析 項(xiàng)目啟動(dòng)之后則正式進(jìn)入項(xiàng)目的設(shè)計(jì)開發(fā)階段,其第一步就是需求分析。對(duì)任 何項(xiàng)目來(lái)說(shuō),需求分析都是非常重要的,對(duì)一個(gè)數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目來(lái)說(shuō)就更為重要。因 為數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目不是為一個(gè)企業(yè)的 IT 部門建設(shè)的,而是為輔助領(lǐng)導(dǎo)、部門領(lǐng)導(dǎo)和 業(yè)務(wù)人員進(jìn)行決策而建設(shè)的,盲目的閉門造車只能導(dǎo)致失敗。只有通過(guò)用戶訪談和 分析討論,真正了解昆明商行的需要,深入了解業(yè)務(wù)細(xì)節(jié),總結(jié)出業(yè)務(wù)需求,才能 進(jìn)行模型設(shè)計(jì)和實(shí)施,最終完成整個(gè)項(xiàng)目的建設(shè)。 需求分析分成兩個(gè)步驟:第一步是收集業(yè)務(wù)或功能性需求分析;第二步是收集 非功能性需求。 19 業(yè)務(wù)或功能性需求
29、分析 功能性需求分析是本系統(tǒng)最重要的一個(gè)步驟, 在沒有仔細(xì)做好需求收集與分 析的工作前就直接跳入項(xiàng)目實(shí)施步驟,會(huì)最終導(dǎo)致整個(gè)項(xiàng)目的失敗。 昆明商行參與需求分析的業(yè)務(wù)人員應(yīng)該具備以下幾個(gè)條件: 首先應(yīng)對(duì)自己的業(yè)務(wù)有很深刻的了解; 其次必須對(duì)項(xiàng)目有一定的了解,并且理解項(xiàng)目將會(huì)帶給他們的好處; 能夠提供有靈活性的與本系統(tǒng)緊密結(jié)合的需求 非功能性需求 需求分析的第二個(gè)步驟是收集非功能性需求。非功能性需求只有通過(guò)與業(yè)務(wù)人 員交流才能獲得,例如:模塊設(shè)置需求,系統(tǒng)安全需求和查詢響應(yīng)率要求等等。 該階段的幾項(xiàng)主要活動(dòng)有: 業(yè)務(wù)規(guī)則建檔 具體的可用性需求 非功能性需求定稿 用戶界面需求定稿 該步驟主要涉及的人
30、員有:業(yè)務(wù)分析員。 4.4 數(shù)據(jù)中心模型設(shè)計(jì)數(shù)據(jù)中心模型設(shè)計(jì) 數(shù)據(jù)是數(shù)據(jù)中心中最重要的部分,數(shù)據(jù)中心需要建立在一個(gè)準(zhǔn)確、結(jié)實(shí)的數(shù)據(jù) 結(jié)構(gòu)之上的。 .1 建模方法和技術(shù)建模方法和技術(shù) 根據(jù)我們的數(shù)據(jù)倉(cāng)庫(kù)項(xiàng)目實(shí)施經(jīng)驗(yàn),模型設(shè)計(jì)(包括邏輯模型設(shè)計(jì)、物理模型 設(shè)計(jì)以及多維模型設(shè)計(jì))是系統(tǒng)的基礎(chǔ)和成敗的關(guān)鍵,在設(shè)計(jì)數(shù)據(jù)模型時(shí)要考慮到 設(shè)計(jì)模型的靈活性和擴(kuò)充性,要充分考慮: 未來(lái)增加的新業(yè)務(wù)系統(tǒng); 現(xiàn)有業(yè) 務(wù)系統(tǒng)的更新; 數(shù)據(jù)中心模型增強(qiáng)與擴(kuò)展。 20 數(shù)據(jù)倉(cāng)庫(kù)的模型設(shè)計(jì)部分,主要是介紹邏輯數(shù)據(jù)模型(LDM)和物理模型 (PDM)的設(shè)計(jì),以及面向數(shù)據(jù)中心應(yīng)用的多維數(shù)據(jù)模型設(shè)計(jì)。 4.4.1
31、.1邏輯數(shù)據(jù)模型(邏輯數(shù)據(jù)模型(LDM) 邏輯數(shù)據(jù)模型是對(duì)于業(yè)務(wù)信息需求的一種圖形化的展示,或圖形化的業(yè)務(wù)語(yǔ)言, 邏輯數(shù)據(jù)模型不是一個(gè)數(shù)據(jù)庫(kù)。 邏輯數(shù)據(jù)模型是業(yè)務(wù)人員和技術(shù)人員進(jìn)行知識(shí)溝通的工具。從人員意義上講, LDM 的構(gòu)造過(guò)程是:業(yè)務(wù)人員將對(duì)數(shù)據(jù)的需求描述給數(shù)據(jù)模型設(shè)計(jì)師,業(yè)務(wù)人員 需要清楚、準(zhǔn)確的傳達(dá)業(yè)務(wù)問題和業(yè)務(wù)邏輯給模型設(shè)計(jì)師,并與模型設(shè)計(jì)師一起, 完成邏輯數(shù)據(jù)模型的建造,以確保它的準(zhǔn)確性和正確性;邏輯模型完成后,技術(shù)人 員,如數(shù)據(jù)庫(kù)管理員,可以通過(guò)這種直觀的圖形化工具與在模型設(shè)計(jì)師的幫助下, 通過(guò)邏輯數(shù)據(jù)模型來(lái)建立物理數(shù)據(jù)模型。 好的邏輯數(shù)據(jù)模型,必須是盡可能的獨(dú)立于物理的數(shù)據(jù)存
32、儲(chǔ)設(shè)備。 原因在于, 技術(shù)的變化日益更新,然后業(yè)務(wù)上的變化卻沒有那么迅速。 如果邏輯數(shù)據(jù)模型的 設(shè)計(jì)與技術(shù)和物理的數(shù)據(jù)存儲(chǔ)設(shè)備有著緊密的關(guān)系,一旦有新的技術(shù)產(chǎn)生,那么將 給今后數(shù)據(jù)的使用方面造成巨大的困難,給數(shù)據(jù)庫(kù)的維護(hù)和管理加上巨大的負(fù)荷, 后果不堪設(shè)想。 當(dāng)建立了一個(gè)良好的邏輯數(shù)據(jù)模型后,任何針對(duì)數(shù)據(jù)庫(kù)的更新只需要技術(shù)人員 回到邏輯數(shù)據(jù)模型那里,而不需要再次從業(yè)務(wù)人員那里獲得最基本的業(yè)務(wù)需求。從 時(shí)間上,價(jià)值上,邏輯數(shù)據(jù)模型都大大降低了對(duì)于技術(shù)更新、改良上的成本。 與物理數(shù)據(jù)模型不同(參見下一小節(jié)) ,邏輯數(shù)據(jù)模型的特點(diǎn)是: 包括所有商業(yè)上的實(shí)體、關(guān)系、屬性,獨(dú)立于技術(shù)和物理的數(shù)據(jù)存儲(chǔ) 設(shè)
33、備 使用業(yè)務(wù)名稱,捕捉和記錄了業(yè)務(wù)上有用的信息 包括唯一的標(biāo)識(shí)符 所有數(shù)據(jù)經(jīng)過(guò)標(biāo)準(zhǔn)化,不存在重復(fù)數(shù)據(jù) 不包括任何導(dǎo)出的數(shù)據(jù) 數(shù)據(jù)模型由業(yè)務(wù)人員主要決定和控制 21 物理數(shù)據(jù)模型(物理數(shù)據(jù)模型(PDM) 物理數(shù)據(jù)模型是具體的數(shù)據(jù)庫(kù)的實(shí)施。與邏輯數(shù)據(jù)模型不同的是,物理的數(shù)據(jù) 模型設(shè)計(jì)需要與所選定的物理數(shù)據(jù)庫(kù)的特點(diǎn)相結(jié)合。 從人員意義上講,物理數(shù)據(jù)模型的設(shè)計(jì)是由數(shù)據(jù)庫(kù)管理員,在邏輯數(shù)據(jù)模型的 基礎(chǔ)上建立起來(lái)的。數(shù)據(jù)庫(kù)管理員在設(shè)計(jì)時(shí),要充分利用選定的物理數(shù)據(jù)庫(kù)的優(yōu)點(diǎn), 來(lái)設(shè)計(jì)數(shù)據(jù)的存儲(chǔ)、索引的選擇、壓縮等等物理上的因素。 實(shí)際運(yùn)用中,許多人認(rèn)為邏輯數(shù)據(jù)模型中的“實(shí)體(entity)” ,
34、與物理數(shù)據(jù)模型 中的“表格(table)”在意義上沒有區(qū)別,可以互換。但是,邏輯數(shù)據(jù)模型中的“實(shí) 體”是特指對(duì)于商業(yè)業(yè)務(wù)中很重要的人的組合、物的組合和概念的組合;而物理數(shù) 據(jù)模型中的“表格” ,指的是在特定的數(shù)據(jù)庫(kù)管理系統(tǒng)下的一種數(shù)據(jù)結(jié)構(gòu),表格中 包含了存放在物理存儲(chǔ)設(shè)備上的,實(shí)際的數(shù)據(jù)值。 另外,邏輯數(shù)據(jù)模型中的唯一的“標(biāo)識(shí)符(identifier)”與物理數(shù)據(jù)模型中的 “主鍵(primary key)”不同。邏輯數(shù)據(jù)模型中的唯一標(biāo)識(shí)符代表的是數(shù)據(jù)元素,這 些數(shù)據(jù)元素是在業(yè)務(wù)中,用于區(qū)分同一實(shí)體下的不同事件的。例如,在業(yè)務(wù)中,區(qū) 別客戶的方法可以是,客戶的姓名。在業(yè)務(wù)中,客戶的姓名是非常重要
35、的業(yè)務(wù)信息, 所以,在邏輯數(shù)據(jù)模型中,客戶姓名可以被當(dāng)作客戶實(shí)體下的標(biāo)識(shí)符。然而,對(duì)于 一個(gè)數(shù)據(jù)庫(kù)設(shè)計(jì)師來(lái)說(shuō),他不會(huì)將客戶的姓名作為客戶表中的主鍵。在物理數(shù)據(jù)模 型中,一般會(huì)選用由計(jì)算機(jī)生成的客戶號(hào),來(lái)當(dāng)作客戶表中的主鍵,原因是這個(gè)客 戶號(hào)是唯一的,可以區(qū)別客戶表中每一行信息的標(biāo)識(shí);而它也可以作為外鍵,用在 其他相關(guān)的表格中。 與邏輯數(shù)據(jù)模型不同(參見上一小節(jié)) ,物理數(shù)據(jù)模型的特點(diǎn)是: 包括表格、列、鍵、數(shù)據(jù)類型、數(shù)據(jù)庫(kù)觸發(fā)器、程序、域和與數(shù)據(jù)安 全相關(guān)的訪問約束等信息; 使用數(shù)據(jù)庫(kù)管理系統(tǒng)下的名稱 包括技術(shù)相關(guān)的數(shù)據(jù)元素,例如旗標(biāo)、轉(zhuǎn)換和時(shí)間記錄等 包括主鍵、外鍵和索引等,用于快速數(shù)據(jù)訪問
36、 可能需要滿足性能需求,進(jìn)行反標(biāo)準(zhǔn)化處理,存在有重復(fù)數(shù)據(jù); 22 可以包含導(dǎo)出數(shù)據(jù); 數(shù)據(jù)庫(kù)管理員來(lái)控制物理數(shù)據(jù)模型 多維數(shù)據(jù)模型多維數(shù)據(jù)模型 多維數(shù)據(jù)模型的設(shè)計(jì)是主要針對(duì)于各個(gè)具體的業(yè)務(wù)應(yīng)用,與邏輯數(shù)據(jù)模型設(shè)計(jì) 不同,多維數(shù)據(jù)模型設(shè)計(jì)中存在有較大程度上的冗余,一般采用星型模型,或者是 雪花狀模型的設(shè)計(jì)方法,即多個(gè)小維表,圍繞一個(gè)中心大的事實(shí)表構(gòu)成。形狀類似 星型,所以也稱星型模型。雪花狀模型是由多個(gè)星型模型組成的。 多維數(shù)據(jù)模型的主要目的,在于體現(xiàn)針對(duì)每一個(gè)具體業(yè)務(wù)應(yīng)用的事實(shí)表和維度 表的設(shè)計(jì)中。這里需要強(qiáng)調(diào)的是,一個(gè)事實(shí)表并非只對(duì)應(yīng)一個(gè)具體業(yè)務(wù)應(yīng)用,應(yīng)該 存在著業(yè)務(wù)需求的整合
37、。 多維模型的設(shè)計(jì)與前面提到的邏輯模型設(shè)計(jì)不同在于,多維模型是非對(duì)稱模型。 換句話說(shuō),在多維模型中,事實(shí)表是唯一的一個(gè)可以與其他維表有連接的表格,其 他維度表,均只有一條連接到事實(shí)表的聯(lián)結(jié)。在邏輯數(shù)據(jù)模型中,所有的實(shí)體都有 同等的機(jī)會(huì),可以與該實(shí)體有關(guān)系的表格連接。 在多維數(shù)據(jù)模型設(shè)計(jì)過(guò)程中,選擇星型模型或雪花狀模型,還需要看每一個(gè)具 體的應(yīng)用。一般情況下,星型模型的使用率較高。在維度設(shè)計(jì)方面,復(fù)雜的維度關(guān) 系上,可能會(huì)出現(xiàn)使用范式方式實(shí)現(xiàn),用來(lái)減少冗余,此時(shí),就會(huì)出現(xiàn)雪花狀模型。 1)事實(shí)表設(shè)計(jì) 事實(shí)表中存放了業(yè)務(wù)的數(shù)字度量。事實(shí)表是由維度和度量值兩大部分 組成,它的設(shè)計(jì)主要依照具體的業(yè)務(wù)應(yīng)
38、用,需要具體內(nèi)容具體設(shè)計(jì)。 事實(shí)表中,最有利用價(jià)值的數(shù)據(jù)是數(shù)字類的,常變量,例如,銀行賬 戶中的余額等。這些數(shù)據(jù)是數(shù)字類的信息,可以被用來(lái)做運(yùn)算,可加,可 減。這些數(shù)字類、常變量、可做運(yùn)算的事實(shí)數(shù)據(jù),是在數(shù)據(jù)倉(cāng)庫(kù)中最經(jīng)常 被查詢的信息。 事實(shí)表的設(shè)計(jì)原則有: 業(yè)務(wù)術(shù)語(yǔ)的定義要統(tǒng)一;要準(zhǔn)確的定義每一個(gè)維度和度量的含義, 23 定義其數(shù)據(jù)來(lái)源和計(jì)算方法。 字段的英文簡(jiǎn)稱要具有一致性 數(shù)據(jù)類型的使用上要注意精度選擇,度量值一般為大的匯總值, 需要注意數(shù)據(jù)范圍和精度,以避免對(duì)今后,數(shù)據(jù)的存儲(chǔ)和數(shù)據(jù)的 質(zhì)量上產(chǎn)生不利的影響。 2)維度表設(shè)計(jì) 所謂維度表,一般主要是代碼表,是記錄業(yè)務(wù)維度的文本形容,有少
39、數(shù)是業(yè)務(wù)實(shí)體,維度表的設(shè)計(jì)主要是要考慮以下幾個(gè)方面的問題: 數(shù)據(jù)整合問題 這里的數(shù)據(jù)整合主要體現(xiàn)在代碼上的整合。在現(xiàn)實(shí)環(huán)境下,許 多業(yè)務(wù)系統(tǒng)是分別在不同的時(shí)期內(nèi)建立完成的,且一般不由同一 家開發(fā)商,獨(dú)立完成。另外,使用這些系統(tǒng)的業(yè)務(wù)人員也來(lái)自于 不同的業(yè)務(wù)部門,因此,在一些業(yè)務(wù)語(yǔ)言的使用上,一些業(yè)務(wù)術(shù) 語(yǔ)的定義上,一些編碼的制定上,會(huì)有所不同。 舉一個(gè)簡(jiǎn)單的例子,如性別這個(gè)維度,有的業(yè)務(wù)系統(tǒng)可能是使 用數(shù)字 0 和 1 來(lái)表示,有的系統(tǒng)是采用 M(Male)和 F(Female)來(lái)表 示,有的系統(tǒng)有四個(gè)編碼是男、女、未知和其它等。不同的部門 對(duì)于同一個(gè)代碼的定義有不同的方式。因此,對(duì)于如昆明商
40、行這 樣的大機(jī)構(gòu),包含有如此之多的業(yè)務(wù)部門和業(yè)務(wù)系統(tǒng),如果需要 將各個(gè)系統(tǒng)的數(shù)據(jù)整合起來(lái)使用,代碼表的整合是一項(xiàng)非常重要 的工作,一般建議由領(lǐng)導(dǎo)牽頭,在各個(gè)部門的有效的配合下,由 專人負(fù)責(zé)執(zhí)行。 維度變化問題 由于銀行各種信息系統(tǒng)建立的年代久遠(yuǎn),有些業(yè)務(wù)代碼定義可 能出現(xiàn)過(guò)多次的更改,主要有以下幾種可能: 代碼的編碼規(guī)則變化了,如位數(shù)的增加等。 代碼本身的廢棄使用,因此代碼同樣存在歷史性的問題。 一般解決上述問題的方式就是采用起始日期和結(jié)束日期的方 24 式來(lái)記錄維度歷史,在具體采用何種處理方法,主要取決于業(yè)務(wù) 上的需要,因此設(shè)計(jì)上要預(yù)先考慮上這一問題,早作準(zhǔn)備。 維度功用問題 維度共用是多維
41、模型設(shè)計(jì)中比較普遍的情況,比如在此項(xiàng)目中 可能就有如下維度是共用維度: 一定形式時(shí)間維度 地理區(qū)域等維度 機(jī)構(gòu)、部門維度 金融工具維度 在實(shí)施過(guò)程中,需要注意這些共用維度的定義是否具有一致 性,以及在數(shù)據(jù)更新上的特殊要求等。 3)粒度的設(shè)計(jì) 數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)中的一個(gè)重要問題是數(shù)據(jù)的粒度設(shè)計(jì)。數(shù)據(jù)的粒度 表示的是數(shù)據(jù)的詳細(xì)級(jí)別,即數(shù)據(jù)越詳細(xì),粒度就越小。 數(shù)據(jù)倉(cāng)庫(kù)模型中所存儲(chǔ)的數(shù)據(jù)的粒度將對(duì)信息系統(tǒng)的多方面產(chǎn)生影響, 例如數(shù)據(jù)的粒度對(duì)于存儲(chǔ)的數(shù)據(jù)量以及能夠回答的查詢都有很大影響。對(duì) 于低粒度的數(shù)據(jù)來(lái)說(shuō),優(yōu)點(diǎn)是能夠回答多種查詢問題,但缺點(diǎn)是需要花較 長(zhǎng)的時(shí)間來(lái)搜尋不同查詢的答案。 對(duì)于高粒度的數(shù)據(jù)
42、來(lái)說(shuō),優(yōu)點(diǎn)是查詢 效率高,但是卻經(jīng)常無(wú)法回答需要詳細(xì)內(nèi)容的查詢。查詢效率和查詢覆蓋 面都是數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì)中必須考慮到的問題,但是,具體決定還需要按 照實(shí)際需求權(quán)衡而定。 事實(shí)表中以各種維度的什么層次作為最細(xì)粒度,將決定存儲(chǔ)的數(shù)據(jù)能 否滿足信息分析的功能需求,而粒度的層次劃分、以及聚合表中粒度的選 擇將直接影響查詢的響應(yīng)時(shí)間。 如果同一個(gè)信息系統(tǒng)要在大范圍、多層次上同時(shí)運(yùn)行,如部門級(jí)和企 業(yè)級(jí),還應(yīng)考慮不同層次的數(shù)據(jù)倉(cāng)庫(kù)采用不同的粒度。 4)業(yè)務(wù)整合考慮 由于有些業(yè)務(wù)應(yīng)用具有相同或相似的分析維度,在多維數(shù)據(jù)模型設(shè)計(jì) 25 時(shí),應(yīng)該考慮到整合的問題,即并不是按照一個(gè)應(yīng)用對(duì)于一個(gè)事實(shí)表的方 式,可
43、以存在著多個(gè)業(yè)務(wù)應(yīng)用對(duì)應(yīng)一個(gè)事實(shí)表的方式,以減少冗余,提高 性能。因此需要強(qiáng)調(diào)指出的是模型和應(yīng)用不是一一對(duì)應(yīng)的關(guān)系,應(yīng)該存在 著數(shù)據(jù)整合和共同使用的情況,在模型設(shè)計(jì)工作中此部分的工作非常重要。 企業(yè)級(jí)數(shù)據(jù)模型。 4.4.2吉貝克銀行數(shù)據(jù)倉(cāng)庫(kù)模型吉貝克銀行數(shù)據(jù)倉(cāng)庫(kù)模型 認(rèn)識(shí)現(xiàn)代商業(yè)銀行的視角認(rèn)識(shí)現(xiàn)代商業(yè)銀行的視角主題的確立主題的確立 現(xiàn)代商業(yè)銀行在經(jīng)濟(jì)活動(dòng)中要實(shí)現(xiàn)對(duì)自身的認(rèn)識(shí)和評(píng)價(jià),就要全面地、客觀地 對(duì)自身情況進(jìn)行反映和分析。那么如何認(rèn)識(shí)現(xiàn)代商業(yè)銀行才能全面地反映客觀事實(shí) 就是決策支持的重要基礎(chǔ)。因此,很多經(jīng)濟(jì)學(xué)者提出了不同視角觀察現(xiàn)代商業(yè)銀行 的分類方法,包括各個(gè)長(zhǎng)期研究管理與
44、風(fēng)險(xiǎn)的機(jī)構(gòu)也給出眾多的分類標(biāo)準(zhǔn)。這種分 類是觀察現(xiàn)代商業(yè)銀行的角度,也是評(píng)價(jià)的一個(gè)方向,這種視角就是分析的“主題” 。隨著對(duì)“主題”的進(jìn)一步深入研究,該主題還將細(xì)分成更為具體化的細(xì)分主題, 和所要針對(duì)性分析的“問題”或“課題” 。 傳統(tǒng)的商業(yè)銀行由于在監(jiān)管上一直處于高監(jiān)管的狀態(tài),銀行的經(jīng)營(yíng)和管理始終 關(guān)注于“帳戶、交易、機(jī)構(gòu)” ,渡過(guò)了商業(yè)銀行歷史上的一段“幸福時(shí)光”注。隨 著商業(yè)銀行的發(fā)展,市場(chǎng)競(jìng)爭(zhēng)日益激烈,銀行在監(jiān)管制度逐步放松的環(huán)境下,謀求 生存壯大的愿望日漸強(qiáng)烈。追求“資本利益最大化”成為現(xiàn)代商業(yè)銀行發(fā)展的主旨, 因而,在激烈的市場(chǎng)環(huán)境中如何形成有利的競(jìng)爭(zhēng)優(yōu)勢(shì),創(chuàng)新產(chǎn)品,并實(shí)現(xiàn)有效的金
45、 融產(chǎn)品“銷售”成為現(xiàn)代商業(yè)銀行走向“企業(yè)化”的中心課題。正是這樣的發(fā)展歷 程和行業(yè)趨勢(shì),銀行業(yè)不得不再次關(guān)注于“客戶” 、關(guān)注于“產(chǎn)品” ,關(guān)注于實(shí)現(xiàn) “銷售”的“渠道” 。這即為數(shù)據(jù)倉(cāng)庫(kù)的應(yīng)用增加了原動(dòng)力,又為數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用豐 富了內(nèi)容,使數(shù)據(jù)倉(cāng)庫(kù)成為繼核心業(yè)務(wù)系統(tǒng)、信貸管理系統(tǒng)、財(cái)務(wù)系統(tǒng)之后的重要 基礎(chǔ)應(yīng)用。 26 針對(duì)如何考察和分析現(xiàn)代商業(yè)銀行的問題,業(yè)界并沒有統(tǒng)一的認(rèn)識(shí)方法和分析 標(biāo)準(zhǔn)。這正是“沒有任何一個(gè)模型是萬(wàn)能的”的直接反映。由于關(guān)注角度的不同, 問題側(cè)重點(diǎn)的不同,業(yè)界存在著眾多的觀點(diǎn)和研究體系。 經(jīng)濟(jì)學(xué)界經(jīng)常提出的對(duì)現(xiàn)代商業(yè)銀行的關(guān)注視角主要是:市場(chǎng)、財(cái)務(wù)、產(chǎn)品、市場(chǎng)、財(cái)務(wù)、產(chǎn)
46、品、 風(fēng)險(xiǎn)、人力資源風(fēng)險(xiǎn)、人力資源。 同時(shí),很多長(zhǎng)期致力于現(xiàn)代商業(yè)銀行管理產(chǎn)品研究的產(chǎn)品提供商也在不斷的研 究和產(chǎn)品研發(fā)中,形成了各具特色、自成體系的主題模型。由于現(xiàn)代商業(yè)銀行正處 在監(jiān)管政策放寬、經(jīng)營(yíng)領(lǐng)域擴(kuò)大、服務(wù)區(qū)域全球化等大趨勢(shì)的變革中,這些主題模 型目前尚沒有形成統(tǒng)一的格局;但是,也正是現(xiàn)代商業(yè)銀行在經(jīng)營(yíng)產(chǎn)品、地域、管 理等方面出現(xiàn)的同質(zhì)化趨勢(shì),各種模型也同時(shí)具有一些共性的特征。這些模型一方 面代表了對(duì)現(xiàn)代商業(yè)銀行經(jīng)營(yíng)、管理上的不同觀點(diǎn),另一方面也反映了現(xiàn)代商業(yè)銀 行經(jīng)營(yíng)管理上戰(zhàn)略大趨勢(shì)的主流方向。 IBMIBM 在分析模型中經(jīng)常通過(guò)其提供的模版把主題劃分為: 細(xì)分(Segment)
47、渠道(Chanel) 產(chǎn)品(Product) 活動(dòng)(Campaign) 客戶(Customer) 協(xié)調(diào)(Arrangement) 通信(Communications) 分支機(jī)構(gòu)(Branch) ORACLEORACLE 在其 OFSA 的廣泛使用中,經(jīng)常推薦采用的主題是: 財(cái)務(wù) 27 風(fēng)險(xiǎn) 客戶 市場(chǎng) 信用卡 管理 有時(shí)針對(duì)一些更加關(guān)注經(jīng)營(yíng)活動(dòng)的商業(yè)銀行也按照客戶、總帳、客戶帳戶、活 動(dòng)來(lái)劃分。 NCRNCR 在現(xiàn)代商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用上具有一定的影響力,其主題建設(shè)上經(jīng)常分 為: 團(tuán)體(Party) 團(tuán)體資產(chǎn)(Party Asset) 財(cái)務(wù)管理(Finance) 行銷活動(dòng) 帳戶 事件 內(nèi)部組織
48、 產(chǎn)品 渠道 地理位置 SenderoSendero 在現(xiàn)代商業(yè)銀行數(shù)據(jù)倉(cāng)庫(kù)應(yīng)用主題建設(shè)上經(jīng)常分為: 帳戶 團(tuán)體(Party) 產(chǎn)品 事件 地理位置 內(nèi)部組織 28 行銷活動(dòng) 渠道 另外,其他一些銀行評(píng)級(jí)機(jī)構(gòu)采用的主題劃分有:客戶、權(quán)益、資產(chǎn)、負(fù)債、客戶、權(quán)益、資產(chǎn)、負(fù)債、 組織、監(jiān)管組織、監(jiān)管。 結(jié)合我國(guó)境內(nèi)監(jiān)管政策及混業(yè)經(jīng)營(yíng)大趨勢(shì)和銀行業(yè)的經(jīng)營(yíng)、管理特點(diǎn),我們對(duì) 銀行業(yè)內(nèi)部管理、外部營(yíng)銷、業(yè)務(wù)規(guī)范化等方向入手,將從客戶、產(chǎn)品、帳戶、交 易與活動(dòng)、渠道、銀行組織六個(gè)方向來(lái)審視現(xiàn)代商業(yè)銀行。據(jù)此,我們推薦在數(shù)據(jù) 倉(cāng)庫(kù)建設(shè)中,采用六個(gè)主題:客戶、產(chǎn)品、帳戶、事件、渠道、銀行組織客戶、產(chǎn)品、帳戶、
49、事件、渠道、銀行組織。 在六個(gè)主題的研究中,我們還發(fā)現(xiàn)國(guó)內(nèi)商業(yè)銀行能夠準(zhǔn)確把握的是帳戶和銀行 組織的部分領(lǐng)域,而對(duì)事件、渠道的認(rèn)識(shí)還正在逐步深入的過(guò)程中,對(duì)客戶和產(chǎn)品 的認(rèn)識(shí)程度還遠(yuǎn)遠(yuǎn)不足。簡(jiǎn)單的例子就是“以客戶為中心”還沒有真正能貫徹到經(jīng) 營(yíng)的各個(gè)領(lǐng)域,忽略了“客戶為中心”的服務(wù)營(yíng)銷本質(zhì),在 IT 支持上也僅僅停留 在統(tǒng)一客戶號(hào)上面;而對(duì)產(chǎn)品的定義、評(píng)價(jià)還不能做出科學(xué)的分析,產(chǎn)品創(chuàng)新和保 護(hù)還遠(yuǎn)遠(yuǎn)不夠,因此產(chǎn)品的“同質(zhì)化”程度相當(dāng)高,存在一窩蜂的現(xiàn)象。 29 客戶帳戶 事件渠道 產(chǎn)品組織 基礎(chǔ)數(shù)據(jù)模型的成長(zhǎng)與擴(kuò)充基礎(chǔ)數(shù)據(jù)模型的成長(zhǎng)與擴(kuò)充 現(xiàn)代商業(yè)銀行在業(yè)務(wù)經(jīng)營(yíng)范
50、圍上已經(jīng)出現(xiàn)了很大的突破,而商業(yè)銀行傳統(tǒng)資金 經(jīng)營(yíng)模式也更加多樣化。正是這樣的一個(gè)大趨勢(shì),使我們不能不清醒地認(rèn)識(shí)到,基 礎(chǔ)數(shù)據(jù)和基礎(chǔ)數(shù)據(jù)模型是一個(gè)不斷成長(zhǎng)的“信息體” 。 ..1沒有沒有“萬(wàn)能萬(wàn)能”的模型的模型 無(wú)論是用什么方法構(gòu)造的模型,都是基于我們對(duì)現(xiàn)實(shí)世界認(rèn)識(shí)的抽象和模擬。 由于人類的認(rèn)識(shí)和分析能力仍舊是有限的,因此從來(lái)就不會(huì)出現(xiàn)一個(gè)“萬(wàn)能的模型” 。 也正是由于這個(gè)原因,在現(xiàn)代商業(yè)銀行的發(fā)展進(jìn)程中,我們的認(rèn)識(shí)是在不斷的 探索和嘗試中進(jìn)行,而根據(jù)已經(jīng)掌握或者說(shuō)是自認(rèn)為是已經(jīng)全面掌握的規(guī)律或特征, 構(gòu)造的數(shù)據(jù)模型,仍舊是一個(gè)片面的產(chǎn)物,還需要不斷地修正和補(bǔ)充,
51、以適應(yīng)更多、 更新的應(yīng)用需求。 30 ..2任何模型都具有一定的時(shí)間效應(yīng)任何模型都具有一定的時(shí)間效應(yīng) 現(xiàn)代商業(yè)銀行正處在一個(gè)快速發(fā)展階段,更多的業(yè)務(wù)特征、管理方法、經(jīng)營(yíng)手 段、戰(zhàn)略思想仍在不斷產(chǎn)生和變革中,而市場(chǎng)環(huán)境的變化和社會(huì)需求的發(fā)展,也同 時(shí)造成很多業(yè)已成熟的業(yè)務(wù)、架構(gòu)、模式被淘汰出歷史的舞臺(tái)。這不但預(yù)示著我們 的認(rèn)識(shí)和理解必然是在一定時(shí)期內(nèi)、對(duì)認(rèn)識(shí)能力所及的范圍內(nèi)的產(chǎn)物,而且也給我 們的任何知識(shí)成果都加蓋了時(shí)間印章。因此,隨著時(shí)間的推移,我們?cè)谶@里所建立 基礎(chǔ)數(shù)據(jù)模型必然是隨著銀行業(yè)的發(fā)展“新陳代謝”的。 ..3模型需要不斷成
52、長(zhǎng)和完善模型需要不斷成長(zhǎng)和完善 我國(guó)商業(yè)銀行起步比較晚,在發(fā)展過(guò)程中,經(jīng)歷了由專業(yè)銀行向商業(yè)銀行轉(zhuǎn)化 的蛻變。進(jìn)入二十一世紀(jì)以來(lái),正在以前所未有的高速度發(fā)展。我們?cè)谶@里建立的 基礎(chǔ)數(shù)據(jù)模型,盡管總結(jié)了境內(nèi)內(nèi)外資銀行在業(yè)務(wù)、經(jīng)營(yíng)、管理等多方面的認(rèn)識(shí), 但是不斷成長(zhǎng)和完善是必然的選擇。尤其是隨著混業(yè)經(jīng)營(yíng)、產(chǎn)品創(chuàng)新、技術(shù)創(chuàng)新的 發(fā)展,新產(chǎn)生的各種各樣的信息都將是現(xiàn)代商業(yè)銀行寶貴的“資源”注。它們應(yīng)該 不斷地成為基礎(chǔ)數(shù)據(jù)模型的新的成長(zhǎng)點(diǎn)。 吉貝克企業(yè)級(jí)數(shù)據(jù)模型是通過(guò)主題域、實(shí)體和關(guān)系等的定義及描述,記錄和反 映企業(yè)級(jí)的各類業(yè)務(wù)邏輯和業(yè)務(wù)規(guī)則,企業(yè)級(jí)數(shù)據(jù)模型面向的是企業(yè)級(jí)的分析和應(yīng) 用,是各級(jí)用戶使用企
53、業(yè)生產(chǎn)數(shù)據(jù)的統(tǒng)一視圖,起著統(tǒng)一規(guī)劃和規(guī)范管理企業(yè)數(shù)據(jù) 的作用。通過(guò)企業(yè)級(jí)數(shù)據(jù)模型的建設(shè)可以帶來(lái)以下一些效果: 提供良好的溝通渠道 企業(yè)級(jí)數(shù)據(jù)模型具有跨部門、中性的特征,表描述企業(yè)范圍內(nèi)的全部 業(yè)務(wù),為企業(yè)的數(shù)據(jù)使用者和技術(shù)開發(fā)人員提供一致的環(huán)境和基礎(chǔ),幫助 分布在企業(yè)內(nèi)的數(shù)據(jù)使用者正確理解和使用數(shù)據(jù)。 提高分析應(yīng)用開發(fā)效率 通過(guò)企業(yè)級(jí)數(shù)據(jù)模型的建設(shè),企業(yè)指標(biāo)需求定位到模型中的分析需求 后,通過(guò)模型內(nèi)部映射關(guān)系,可快捷定位到生產(chǎn)數(shù)據(jù),相關(guān)模型在系統(tǒng)中 31 的實(shí)現(xiàn),可獲取支持企業(yè)指標(biāo)需求的分析數(shù)據(jù)。通過(guò)模型,企業(yè)生產(chǎn)數(shù)據(jù) 可以支持的分析得到擴(kuò)展,模型的擴(kuò)展和應(yīng)用過(guò)程中,更高效率、更好質(zhì) 量的支持
54、更豐富的企業(yè)指標(biāo)需求。 提高數(shù)據(jù)的可用性 通過(guò)模型的建設(shè),企業(yè)分析需求逐步規(guī)范、相對(duì)穩(wěn)定。分析數(shù)據(jù)粒度 較細(xì),分析數(shù)據(jù)的一致性、準(zhǔn)確性、及時(shí)性、可共享性提升。生產(chǎn)數(shù)據(jù)利 用率提高、生產(chǎn)系統(tǒng)冗余負(fù)荷減小、相關(guān)維護(hù)兩減小、分析需求實(shí)現(xiàn)的邏 輯變更頻次降低、生產(chǎn)數(shù)據(jù)可主動(dòng)服務(wù)與分析需求。 企業(yè)級(jí)數(shù)據(jù)模型建設(shè)是以業(yè)務(wù)模型為基礎(chǔ),以數(shù)據(jù)模型為成果的分析和開發(fā)過(guò) 程。業(yè)務(wù)模型是依據(jù)企業(yè)經(jīng)營(yíng)范圍分析得到的業(yè)務(wù)視圖,是數(shù)據(jù)模型設(shè)計(jì)的基礎(chǔ), 以記錄和反映業(yè)務(wù)模型為目標(biāo)進(jìn)行數(shù)據(jù)模型的設(shè)計(jì)和開發(fā)。 業(yè)務(wù)模型業(yè)務(wù)模型 隨著銀行業(yè)務(wù)的不斷發(fā)展,銀行會(huì)逐漸建立綜合、全面的銀行系統(tǒng),包括業(yè)務(wù) 管理系統(tǒng)、分析系
55、統(tǒng)、風(fēng)險(xiǎn)管理系統(tǒng)等是必然的,所以建立一個(gè)穩(wěn)定的、適合業(yè)務(wù) 發(fā)展的數(shù)據(jù)倉(cāng)庫(kù)具有戰(zhàn)略意義的。 數(shù)據(jù)倉(cāng)庫(kù)的建立需要建立在對(duì)相對(duì)全面的系統(tǒng)建設(shè)的規(guī)劃上,目前國(guó)內(nèi)的銀行 系統(tǒng)主要包含以下的系統(tǒng): 銀行的系統(tǒng)主要以核心系統(tǒng)為中心,包括客戶信息,賬戶信息,交易信息等, 核心系統(tǒng)主要分為對(duì)公業(yè)務(wù)、對(duì)私業(yè)務(wù)、信用卡業(yè)務(wù)等。對(duì)公業(yè)務(wù)核算的業(yè)務(wù)主要 有存、貸款業(yè)務(wù),各種結(jié)算業(yè)務(wù)、表外業(yè)務(wù);對(duì)私的業(yè)務(wù)主要包括存款業(yè)務(wù),各種 轉(zhuǎn)賬業(yè)務(wù),和貸款業(yè)務(wù);信用卡業(yè)務(wù)目前也包括私人信用卡業(yè)務(wù)和法人信用卡業(yè)務(wù)。 銀行主要的、傳統(tǒng)的交易結(jié)算業(yè)務(wù)都在核心系統(tǒng)中完成。 信貸管理系統(tǒng)包括客戶信息(客戶基本信息,集團(tuán)基本信息、客戶評(píng)級(jí)信息等
56、) ;銀行對(duì)客戶的額度信息、合同信息、擔(dān)保合同,實(shí)際借貸業(yè)務(wù)發(fā)生的借據(jù)信息, 信貸業(yè)務(wù)的歷史信息,抵質(zhì)押品信息,相關(guān)單證信息(如貿(mào)易融資項(xiàng)下的信用證、 保險(xiǎn)單證、運(yùn)輸單證等) ; 32 隨著信貸業(yè)務(wù)的發(fā)展,為了對(duì)信貸審批流程的合法性、合規(guī)性進(jìn)行管理,提高 信貸審批的效率,可以單獨(dú)建立信貸審批流程的管理系統(tǒng),對(duì)信貸審批的角色,進(jìn) 程,傳遞的各種審批資料和信息進(jìn)行及時(shí)監(jiān)控和管理。 抵質(zhì)押品管理系統(tǒng)是對(duì)信貸的輔助管理系統(tǒng),主要是為了加強(qiáng)對(duì)信貸管理系統(tǒng) 中的抵質(zhì)押品的管理,通過(guò)實(shí)現(xiàn)對(duì)抵質(zhì)押品在全行建立統(tǒng)一的賬號(hào),實(shí)行一戶一物, 對(duì)抵質(zhì)押品的物理屬性進(jìn)行登記和跟蹤,對(duì)抵制押品的評(píng)估價(jià)值進(jìn)行及時(shí)的登記和
57、監(jiān)控,避免抵押品的重復(fù)抵押、物品損失、貶值等帶來(lái)的風(fēng)險(xiǎn),從而控制信貸資產(chǎn) 的風(fēng)險(xiǎn)敞口。 內(nèi)部評(píng)級(jí)系統(tǒng)是根據(jù)巴塞爾協(xié)議對(duì)信用風(fēng)險(xiǎn)的采用標(biāo)準(zhǔn)化處理方式計(jì)量信用風(fēng) 險(xiǎn)。目前國(guó)內(nèi)銀行一般建立對(duì)授信客戶的客戶評(píng)級(jí)和債項(xiàng)評(píng)級(jí),對(duì)客戶進(jìn)行綜合評(píng) 價(jià),對(duì)銀行的授信業(yè)務(wù)提供依據(jù)。內(nèi)部評(píng)級(jí)可以根據(jù)銀行信貸業(yè)務(wù)的發(fā)展,屬于信 貸管理系統(tǒng)的一個(gè)部分或者獨(dú)立建立。 客戶關(guān)系管理系統(tǒng):是為了幫助銀行對(duì)客戶進(jìn)行分群,為銀行尋找高價(jià)值、高 受益的客戶,通過(guò)對(duì)客戶的屬性特征和交易特征的分析,對(duì)不同的客戶提供不同的 產(chǎn)品和服務(wù),提高客戶的忠誠(chéng)度,并提高客戶的貢獻(xiàn)度,知道銀行的發(fā)展戰(zhàn)略、設(shè) 施建設(shè)、產(chǎn)品設(shè)計(jì),減少運(yùn)營(yíng)成本和營(yíng)銷成本
58、,實(shí)現(xiàn)銀行的利益最大化。 風(fēng)險(xiǎn)關(guān)系管理系統(tǒng):根據(jù)巴塞爾協(xié)議對(duì)風(fēng)險(xiǎn)資本的管理要求,目前銀行可以進(jìn) 行系統(tǒng)管理的風(fēng)險(xiǎn)主要是信用風(fēng)險(xiǎn)和市場(chǎng)風(fēng)險(xiǎn)。信用風(fēng)險(xiǎn)來(lái)自銀行提供的各種信用 業(yè)務(wù)、市場(chǎng)風(fēng)險(xiǎn)主要來(lái)自銀行的利率政策、投資風(fēng)險(xiǎn)和外匯買賣等。信用風(fēng)險(xiǎn)管理 系統(tǒng)目前主要包括對(duì)風(fēng)險(xiǎn)資產(chǎn)進(jìn)行分類、預(yù)計(jì)損失資產(chǎn)進(jìn)行減值計(jì)提、不良資產(chǎn)管 理、風(fēng)險(xiǎn)預(yù)警等方面;市場(chǎng)風(fēng)險(xiǎn)管理主要對(duì)銀行利率風(fēng)險(xiǎn)和匯率風(fēng)險(xiǎn)進(jìn)行分析和監(jiān) 控。 各系統(tǒng)的關(guān)系如下圖所示: 33 數(shù)據(jù)模型數(shù)據(jù)模型 通過(guò)從兩個(gè)層次來(lái)描述企業(yè)級(jí)數(shù)據(jù)模型:以主題域?yàn)榭蚣艿母邔訑?shù)據(jù)模型和以 實(shí)體、關(guān)系為框架和明細(xì)級(jí)數(shù)據(jù)模型。高層數(shù)據(jù)模型提供概要的描述,明細(xì)級(jí)
59、數(shù)據(jù) 模型給出具體的實(shí)體、屬性及關(guān)聯(lián)關(guān)系等的定義。下面主要從高層數(shù)據(jù)模型及主題 域?qū)哟蜗蚶ッ魃绦凶鲆粋€(gè)介紹 依據(jù)企業(yè)級(jí)業(yè)務(wù)模型所描述的業(yè)務(wù)運(yùn)作過(guò)程中的各類信息及相關(guān)聯(lián)系,可以采 用如下圖所示的高層概念視圖即主題域視圖來(lái)描述: 34 主題域模型的每個(gè)主題域信息不重復(fù),主題域間的關(guān)系通過(guò)引用相關(guān)主題域中 的實(shí)體標(biāo)識(shí)來(lái)體現(xiàn)。該層視圖具有如下特征: 各主題域包含有明確的核心業(yè)務(wù)實(shí)體,如果參與者主題包括存貸款客戶、 關(guān)聯(lián)企業(yè),帳務(wù)包括會(huì)計(jì)帳戶、營(yíng)銷包括營(yíng)銷活動(dòng)計(jì)劃等 主題域中包含的信息相對(duì)獨(dú)立于其它主題域,主題域內(nèi)的實(shí)體有著很強(qiáng)的 內(nèi)聚性 主題域間通過(guò)核心業(yè)務(wù)實(shí)體的標(biāo)識(shí)反映主題間聯(lián)系 .1
60、 主題域說(shuō)明主題域說(shuō)明 參與者主題域 與昆明商行相關(guān)的客戶、合作伙伴或潛在客戶等的信息集合,參與者可以 是個(gè)人,也可以是團(tuán)體或機(jī)構(gòu)。一個(gè)參與者可以同時(shí)承擔(dān)多個(gè)角色,相互間可 能存在多種關(guān)系。 主要包括的信息有: 參與者基本信息 參與者隸屬、關(guān)聯(lián)關(guān)系信息 信用評(píng)級(jí)、評(píng)分信息 35 財(cái)務(wù)報(bào)表信息 參與者的大事件,違約歷史等 資產(chǎn)主題域 銀行所關(guān)注的客戶擁有資產(chǎn)的相關(guān)信息,包括有形的和無(wú)形的各類資產(chǎn)或 負(fù)債。通過(guò)這些信息實(shí)現(xiàn)風(fēng)險(xiǎn)控制,為風(fēng)險(xiǎn)管理提供參考數(shù)據(jù)??蛻舻母黝愘Y 產(chǎn)信息通常是辦理各類業(yè)務(wù)過(guò)程中收集得到。定期對(duì)客戶資產(chǎn)的評(píng)估是防范風(fēng) 險(xiǎn)的主要手段之一。 主要包括的信息有: 資產(chǎn)的基本信息 資產(chǎn)
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 如何高效準(zhǔn)備家庭教育的月度匯報(bào)
- 二零二五年度新型建筑材料研發(fā)與采購(gòu)合同示范文本3篇
- 2025年蘇教新版選修1化學(xué)下冊(cè)月考試卷
- 2024智能城市信息安全防護(hù)平臺(tái)合同
- 小學(xué)漢字教育創(chuàng)新教學(xué)方法探討
- 2025年度網(wǎng)絡(luò)文學(xué)約稿合同-網(wǎng)絡(luò)原創(chuàng)小說(shuō)專屬3篇
- 2024版?zhèn)l(fā)行履約擔(dān)保服務(wù)合同
- 2025年度智能機(jī)器人銷售團(tuán)隊(duì)服務(wù)合同規(guī)范
- 2024招投標(biāo)活動(dòng)廉政監(jiān)督與服務(wù)合同3篇
- 室外景觀設(shè)計(jì)在醫(yī)療建筑中的應(yīng)用
- 領(lǐng)導(dǎo)學(xué) 課件全套 孫健 第1-9章 領(lǐng)導(dǎo)要素- 領(lǐng)導(dǎo)力開發(fā)
- 2024-2025學(xué)年七年級(jí)上學(xué)期語(yǔ)文期末考前押題卷(統(tǒng)編版2024+含答案)
- 土建定額培訓(xùn)課件
- ISO 56001-2024《創(chuàng)新管理體系-要求》專業(yè)解讀與應(yīng)用實(shí)踐指導(dǎo)材料之13:“6策劃-6.2創(chuàng)新目標(biāo)及其實(shí)現(xiàn)的策劃”(雷澤佳編制-2025B0)
- 2024年保護(hù)環(huán)境的建議書范文(33篇)
- 退休人員公益活動(dòng)合作合同
- 四年級(jí)數(shù)學(xué)(四則混合運(yùn)算帶括號(hào))計(jì)算題專項(xiàng)練習(xí)與答案
- 急診創(chuàng)傷疼痛護(hù)理
- 2022年期貨從業(yè)資格《期貨基礎(chǔ)知識(shí)》考試題庫(kù)(含典型題)
- 浙江省湖州市2023-2024學(xué)年高二上學(xué)期期末調(diào)研測(cè)試數(shù)學(xué)試題 含解析
- 浙江省杭州市蕭山區(qū)2023-2024學(xué)年高二上學(xué)期1月期末考試物理試題(含答案)
評(píng)論
0/150
提交評(píng)論