數(shù)據(jù)倉庫體系培訓(xùn)(內(nèi)部)

1、Advance Your Potential咨詢咨詢 解決方案解決方案 數(shù)據(jù)倉庫體系培訓(xùn)1文思信息 版權(quán)所有，內(nèi)部保密材料主題2數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論Q&A文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫規(guī)劃步驟33現(xiàn)狀分析體系規(guī)劃實(shí)施路線基礎(chǔ)數(shù)據(jù)平臺(tái)與分析型系統(tǒng)現(xiàn)狀總結(jié)銀行現(xiàn)有數(shù)據(jù)倉庫體系差距規(guī)劃數(shù)據(jù)倉庫系統(tǒng)總體技術(shù)方案藍(lán)圖制定相關(guān)管理制度與工作流程規(guī)劃數(shù)據(jù)倉庫體系分階段落地方案與實(shí)施路線圖指導(dǎo)方針承前啟后：著重考慮對前期工作的承接和規(guī)劃成果的落地實(shí)施敦本務(wù)實(shí)：實(shí)施公司、同業(yè)經(jīng)驗(yàn)與銀行實(shí)際相結(jié)合遠(yuǎn)近兼顧：立足長遠(yuǎn)與滿足當(dāng)前需求相結(jié)合文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫

2、典型體系架構(gòu)（星型EDW）4SASBYHTCMSPMS。調(diào)度軟件調(diào)度軟件（Control-M、Automation、ETL_PLUS）ETL軟件前端軟件管管 控控 平平 臺(tái)臺(tái)DM信用卡集市DM信貸集市DM風(fēng)險(xiǎn)管理集市DM。ETL軟件ETL軟件ETL軟件前端軟件前端軟件前端軟件文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫典型體系架構(gòu)（集中型EDW）5SASBYHTCMSPMS。調(diào)度軟件調(diào)度軟件（Control-M、Automation、ETL_PLUS）ETL軟件PowercenterDatastage文本腳本前端軟件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、

3、Oracle）緩沖層模型層匯總層集市層管管 控控 平平 臺(tái)臺(tái)文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫典型體系架構(gòu)（混合型EDW）6SASBYHTCMSPMS。調(diào)度軟件調(diào)度軟件（Control-M、Automation、ETL_PLUS）ETL軟件PowercenterDatastage文本腳本前端軟件（BIEE、Congnus、BO、Microstrategy）DB（TD、DB2、Oracle）緩沖層模型層匯總層集市層管管 控控 平平 臺(tái)臺(tái)庫外集市庫外集市文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫體系規(guī)劃7應(yīng)用體系應(yīng)用主題應(yīng)用模式應(yīng)用方案實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu) ODS基礎(chǔ)層匯總層集市層技術(shù)體系

4、統(tǒng)一交換統(tǒng)一監(jiān)控統(tǒng)一調(diào)度統(tǒng)一發(fā)布統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲(chǔ)數(shù)據(jù)質(zhì)量元數(shù)據(jù)安全組織架構(gòu)管控體系組織架構(gòu)管控流程管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫規(guī)劃。文思信息 版權(quán)所有，內(nèi)部保密材料BI環(huán)境內(nèi)的數(shù)據(jù)架構(gòu)8集市層匯總層預(yù)連接/預(yù)處理ODS基礎(chǔ)層客戶賬戶資產(chǎn)交易產(chǎn)品渠道財(cái)務(wù)賬戶匯總交易統(tǒng)計(jì)匯總客戶匯總機(jī)構(gòu)匯總產(chǎn)品匯總渠道匯總指標(biāo)庫:規(guī)模指標(biāo)、客戶指標(biāo)、盈利指標(biāo)、風(fēng)險(xiǎn)指標(biāo)等核心個(gè)貸法貸基金存管國結(jié)IT人員業(yè)務(wù)分析人員決策用戶高級(jí)分析人員ODS層層解決源系統(tǒng)快速接入的問題；避免從

5、源系統(tǒng)頻繁、重復(fù)數(shù)據(jù)抽??；源系統(tǒng)一次性分析、一次性抽取、一次性接入；需要隨著源系統(tǒng)變更進(jìn)行維護(hù)基礎(chǔ)層基礎(chǔ)層面向主題整合；保留詳細(xì)數(shù)據(jù)和歷史數(shù)據(jù)按照業(yè)務(wù)驅(qū)動(dòng)、逐步建設(shè)模型相對穩(wěn)定；但是隨著源系統(tǒng)和數(shù)據(jù)業(yè)務(wù)標(biāo)準(zhǔn)的變化，ETL加工邏輯會(huì)長期變化應(yīng)用集市層應(yīng)用集市層面向應(yīng)用的個(gè)性化定制。匯總層匯總層提供統(tǒng)一的業(yè)務(wù)口徑。避免集市的重復(fù)加工。隨著應(yīng)用建設(shè)逐步完善模型相對穩(wěn)定，隨著業(yè)務(wù)擴(kuò)展可以擴(kuò)展模型；隨著業(yè)務(wù)統(tǒng)計(jì)口徑變化，ETL加工邏輯會(huì)變化；文思信息 版權(quán)所有，內(nèi)部保密材料不同層次應(yīng)用場景91 1審計(jì)/風(fēng)險(xiǎn)管理等需要未經(jīng)加工的業(yè)務(wù)原始數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢查規(guī)則、常規(guī)報(bào)告應(yīng)用用戶、決策用戶會(huì)訪問特定應(yīng)用業(yè)務(wù)人

6、員通過設(shè)定業(yè)務(wù)檢查規(guī)則來明確模型可用性業(yè)務(wù)部門人員多數(shù)需要常規(guī)報(bào)表供日常呈報(bào)業(yè)務(wù)人員參考整合規(guī)則來驗(yàn)證業(yè)務(wù)正確性POWER USER通常需要訪問第二層對數(shù)據(jù)進(jìn)行深入分析2 23 34 4文思信息 版權(quán)所有，內(nèi)部保密材料ODS & EDW 特點(diǎn)比較ODS :與源系統(tǒng)保持一致基本不進(jìn)行轉(zhuǎn)換和整合當(dāng)前最新數(shù)據(jù)EDW:第三范式模型進(jìn)行數(shù)據(jù)整合和轉(zhuǎn)換當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)ODS:狀態(tài)類數(shù)據(jù)保存當(dāng)前最新數(shù)據(jù)日志類數(shù)據(jù)保存3個(gè)月 針對及其特殊的需要可以考慮對數(shù)據(jù)保留一定時(shí)間段的歷史EDW:一般最長在線保存7年。事件類數(shù)據(jù)在線保留時(shí)間會(huì)短一些，13個(gè)月左右。ODS:全部源系統(tǒng)不重復(fù)保存已經(jīng)入EDW的Event類數(shù)

7、據(jù)EDW:全部源系統(tǒng)的原始細(xì)節(jié)數(shù)據(jù)，不接入派生和匯總數(shù)據(jù)。ODS: 時(shí)效性要求高的不需要需歷史數(shù)據(jù)需要訪問最始數(shù)據(jù)（審計(jì)、稽核類）的應(yīng)用EDW:模型區(qū)時(shí)效性可以滿足要求的需要訪問歷史數(shù)據(jù)的基于多個(gè)系統(tǒng)整合數(shù)據(jù)的不是必須訪問原始數(shù)據(jù)的應(yīng)用數(shù)據(jù)模型數(shù)據(jù)接入數(shù)據(jù)存儲(chǔ)數(shù)據(jù)應(yīng)用 ODS ODS 特點(diǎn)特點(diǎn)面向數(shù)據(jù)的面向數(shù)據(jù)的非集成的非集成的易變的易變的當(dāng)前數(shù)據(jù)的當(dāng)前數(shù)據(jù)的 詳細(xì)的 EDW EDW 特點(diǎn)特點(diǎn)面向主題的 集成的穩(wěn)定的 隨時(shí)間變化的詳細(xì)的文思信息 版權(quán)所有，內(nèi)部保密材料11 業(yè)務(wù)處理系統(tǒng) (OLTP)用戶群體 客戶 員工應(yīng)用交易處理帳務(wù)處理訪問特征頻繁的更新偶爾的查詢數(shù)據(jù)模型當(dāng)前狀態(tài)數(shù)據(jù)很少的歷

8、史數(shù)據(jù)范圍比較小戰(zhàn)略性分析 (EDW)用戶群管理人員高層領(lǐng)導(dǎo)應(yīng)用戰(zhàn)略性分析復(fù)雜的查詢和報(bào)表預(yù)測訪問特征批量插入-很少的更新頻繁的復(fù)雜查詢優(yōu)劣勢對比解決企業(yè)的決策需求不能滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求戰(zhàn)術(shù)性查詢 (ODS)用戶群體一線的業(yè)務(wù)人員客戶應(yīng)用業(yè)務(wù)領(lǐng)域查詢戰(zhàn)術(shù)性決策支持簡單的分析（評(píng)分）訪問特征當(dāng)前數(shù)據(jù)訪問查詢較多優(yōu)劣勢對比滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求不能滿足中遠(yuǎn)期決策需求EDWOLTP 1OLTP 2OLTP 3任務(wù)的連續(xù)性任務(wù)的連續(xù)性O(shè)DS & EDW價(jià)值和定位ODS最佳數(shù)據(jù)架構(gòu)，最佳數(shù)據(jù)架構(gòu)，ODSODS和和EDWEDW是互為補(bǔ)充的。是互為補(bǔ)充的。文思信息 版權(quán)所有，內(nèi)部保密材料ODS層

9、模型12偏源系統(tǒng)模型部分?jǐn)?shù)據(jù)保留全量少量數(shù)據(jù)保留短暫歷史簡單處理不考慮整合考慮保留策略文思信息 版權(quán)所有，內(nèi)部保密材料基礎(chǔ)層模型 VS. 匯總層模型文思信息 版權(quán)所有，內(nèi)部保密材料應(yīng)用集市層模型文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫體系規(guī)劃15應(yīng)用體系應(yīng)用主題應(yīng)用模式應(yīng)用方案實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu) ODS基礎(chǔ)層匯總層集市層技術(shù)體系統(tǒng)一交換統(tǒng)一監(jiān)控統(tǒng)一調(diào)度統(tǒng)一發(fā)布統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲(chǔ)數(shù)據(jù)質(zhì)量元數(shù)據(jù)安全組織架構(gòu)管控體系組織架構(gòu)管控流程管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)

10、倉庫規(guī)劃。文思信息 版權(quán)所有，內(nèi)部保密材料統(tǒng)一數(shù)據(jù)交換16文思信息 版權(quán)所有，內(nèi)部保密材料統(tǒng)一調(diào)度架構(gòu)17文思信息 版權(quán)所有，內(nèi)部保密材料統(tǒng)一監(jiān)控架構(gòu)18文思信息 版權(quán)所有，內(nèi)部保密材料統(tǒng)一信息發(fā)布統(tǒng)一信息發(fā)布定位統(tǒng)一信息發(fā)布定位統(tǒng)一信息發(fā)布平臺(tái)定位為廣發(fā)銀行數(shù)據(jù)倉庫體系的展現(xiàn)平臺(tái)，用于展現(xiàn)銀行的基礎(chǔ)數(shù)據(jù)平臺(tái)及所有分析型應(yīng)用資源。分析型應(yīng)用資源的集成包含前端界面的整合和各應(yīng)用后臺(tái)數(shù)據(jù)及權(quán)限的整合19登錄首頁公告頁面調(diào)用功能分析型應(yīng)用集成角色管理授權(quán)管理系統(tǒng)系統(tǒng)管理管理日志管理會(huì)話管理應(yīng)用模應(yīng)用模式式固定報(bào)表即席查詢數(shù)據(jù)挖掘用戶身份管理統(tǒng)一認(rèn)證單點(diǎn)登錄安全審計(jì)認(rèn)證管認(rèn)證管理理統(tǒng)一信息統(tǒng)一信息發(fā)布

11、內(nèi)容發(fā)布內(nèi)容統(tǒng)一統(tǒng)一入口入口權(quán)限權(quán)限管理管理應(yīng)用應(yīng)用集成集成文思信息 版權(quán)所有，內(nèi)部保密材料統(tǒng)一數(shù)據(jù)管控架構(gòu)20元元 數(shù)數(shù) 據(jù)據(jù) 管管 理理 數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理數(shù)據(jù)質(zhì)量管理影響分析、血緣分析影響分析、血緣分析代碼標(biāo)代碼標(biāo)準(zhǔn)落地準(zhǔn)落地提供檢核對象定位檢核問題檢核指標(biāo)存儲(chǔ)提供映射源數(shù)據(jù)標(biāo)準(zhǔn)存儲(chǔ)數(shù)據(jù)標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)信息準(zhǔn)信息模型模型數(shù)據(jù)標(biāo)數(shù)據(jù)標(biāo)準(zhǔn)文檔準(zhǔn)文檔提供檢核規(guī)則提供檢核問題檢核規(guī)則指標(biāo)模型源系統(tǒng)源系統(tǒng)源系統(tǒng)ETLETL數(shù)據(jù)服數(shù)據(jù)服務(wù)務(wù)StageStageFDMFDMADMADM數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)平臺(tái)數(shù)據(jù)平臺(tái)應(yīng)用系統(tǒng)應(yīng)用系統(tǒng)元數(shù)元數(shù)據(jù)據(jù)元數(shù)元數(shù)據(jù)據(jù)元數(shù)元數(shù)據(jù)據(jù)業(yè)務(wù)元

12、數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)操作元數(shù)據(jù)操作元數(shù)據(jù)技術(shù)元數(shù)據(jù)技術(shù)元數(shù)據(jù)綜合信息服務(wù)管理綜合信息服務(wù)管理數(shù)據(jù)標(biāo)準(zhǔn)需求數(shù)據(jù)質(zhì)量需求元數(shù)據(jù)需求銀行業(yè)務(wù)需求文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫體系規(guī)劃21應(yīng)用體系應(yīng)用主題應(yīng)用模式應(yīng)用方案實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu) ODS基礎(chǔ)層匯總層集市層技術(shù)體系統(tǒng)一交換統(tǒng)一監(jiān)控統(tǒng)一調(diào)度統(tǒng)一發(fā)布統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲(chǔ)數(shù)據(jù)質(zhì)量元數(shù)據(jù)安全組織架構(gòu)管控體系組織架構(gòu)管控流程管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫規(guī)劃。文思信息 版權(quán)所有，內(nèi)部保密材料國內(nèi)銀行商業(yè)智能應(yīng)用

13、22客戶管理客戶管理支持國內(nèi)銀行的數(shù)據(jù)倉庫應(yīng)用種類超過支持國內(nèi)銀行的數(shù)據(jù)倉庫應(yīng)用種類超過4040余個(gè)，主要分布如下余個(gè)，主要分布如下 ：運(yùn)營運(yùn)營管理管理風(fēng)險(xiǎn)風(fēng)險(xiǎn)管理管理財(cái)務(wù)財(cái)務(wù)管理管理信息信息管理管理客戶信息管理系統(tǒng)（CIM）分析型客戶關(guān)系管理系統(tǒng)（ACRM）操作型客戶關(guān)系管理（OCRM ）個(gè)人積分計(jì)算客戶貢獻(xiàn)度計(jì)算/模型客戶流失概率模型客戶聚類細(xì)分模型產(chǎn)品購買關(guān)聯(lián)度模型業(yè)務(wù)統(tǒng)計(jì)分析信用卡分析渠道分析、中間業(yè)務(wù)分析平衡計(jì)分卡經(jīng)營指標(biāo)快報(bào)(KPI Dashboard)利潤貢獻(xiàn)度客戶經(jīng)理績效考核產(chǎn)品績效分析1104監(jiān)管報(bào)表人行反洗錢人行征信非現(xiàn)場稽核五級(jí)分類數(shù)據(jù)加工內(nèi)部評(píng)級(jí)法定價(jià)系統(tǒng)客戶違約概率模

14、型信用卡申請?jiān)u分模型資本充足率資產(chǎn)負(fù)債管理關(guān)聯(lián)交易應(yīng)用支持人行集中金融統(tǒng)計(jì)內(nèi)部財(cái)務(wù)信息分析管理會(huì)計(jì)數(shù)據(jù)標(biāo)準(zhǔn)企業(yè)數(shù)據(jù)架構(gòu)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理（Metadata）數(shù)據(jù)訪問安全管理文思信息 版權(quán)所有，內(nèi)部保密材料常見的應(yīng)用模式及其演變發(fā)展23報(bào)表報(bào)表發(fā)生什么事情發(fā)生什么事情預(yù)定義報(bào)表預(yù)定義報(bào)表分析分析為什么會(huì)發(fā)生為什么會(huì)發(fā)生隨機(jī)查詢隨機(jī)查詢, BI Tools預(yù)測預(yù)測什么將會(huì)發(fā)生什么將會(huì)發(fā)生數(shù)據(jù)挖掘模型數(shù)據(jù)挖掘模型使用于操作使用于操作什么正在發(fā)生什么正在發(fā)生捕捉動(dòng)態(tài)事件捕捉動(dòng)態(tài)事件ACTIVATING MAKE it happen!事件營銷事件營銷操作智能是決策智能向業(yè)務(wù)系統(tǒng)和流程的延伸。操作智能

15、是決策智能向業(yè)務(wù)系統(tǒng)和流程的延伸。決策智能決策智能操作智能操作智能文思信息 版權(quán)所有，內(nèi)部保密材料業(yè)務(wù)需求/分析和應(yīng)用模式的關(guān)系OLAP/固定報(bào)表隨機(jī)查詢挖掘模型 用途：提供日常業(yè)務(wù)管理統(tǒng)計(jì)，輔助發(fā)現(xiàn)業(yè)務(wù)發(fā)展趨勢。 場景：客戶分布發(fā)生變化或者某項(xiàng)業(yè)務(wù)趨勢呈現(xiàn)異常，轉(zhuǎn)而使用其他分析手段，以“客戶交易金額和筆數(shù)分布發(fā)生變化”為例。 用途：提供解決那些無法預(yù)先定義的查詢分析需求以及查找問題時(shí)的詳細(xì)鉆取。 場景： “客戶交易金額和筆數(shù)分布發(fā)生變化”的詳細(xì)分析，比如“哪些客戶的哪些交易有了變化，是交易種類、金額、筆數(shù)還是交易場所？這些客戶的特征是怎樣的？他們在我行持有的產(chǎn)品分布如何？” 用途：數(shù)據(jù)挖掘通

16、過模式識(shí)別與數(shù)學(xué)模型技術(shù)從數(shù)據(jù)倉庫中的大量明細(xì)數(shù)據(jù)中發(fā)現(xiàn)隱藏的模式與趨勢。 場景： 經(jīng)過隨機(jī)分析發(fā)現(xiàn)那些屬于“交易金額和筆數(shù)分布發(fā)生變化”的客戶群中發(fā)現(xiàn)部分客戶最近有銷戶或者已經(jīng)很長時(shí)間不發(fā)生往來的傾向，因此需要利用“客戶流失模型”進(jìn)行評(píng)分，結(jié)合“客戶等級(jí)”確定需要進(jìn)行挽留的客戶名單。 用途：支持綜合、復(fù)雜業(yè)務(wù)邏輯的應(yīng)用，提供前端的用戶使用界面。 場景： 設(shè)計(jì)營銷活動(dòng)進(jìn)行客戶挽留，輸入該營銷活動(dòng)的“執(zhí)行策略、日期、預(yù)計(jì)成本”以及具體的“溝通計(jì)劃”和“渠道使用規(guī)則”等信息。上述各模式的使用順序與邏輯僅是示例，依賴于具體的使用場景。應(yīng)用系統(tǒng)分析人員分析人員文思信息 版權(quán)所有，內(nèi)部保密材料應(yīng)用規(guī)劃考

17、慮維度q IT部門除了考慮數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、投資預(yù)算規(guī)模之外，更重要的是考慮應(yīng)用實(shí)施能否滿足業(yè)務(wù)用戶目前收益心理預(yù)期等因素，要想的大（全面，具體，全局觀）。q 數(shù)據(jù)倉庫建設(shè)規(guī)劃，要分步驟進(jìn)行實(shí)施，起步從小做起（）；q 不同業(yè)務(wù)部門對業(yè)務(wù)應(yīng)用的優(yōu)先度要求不同，必須綜合考慮不同部門對業(yè)務(wù)應(yīng)用的策略價(jià)值和投資回報(bào)評(píng)價(jià)，形成初步的規(guī)劃后，再經(jīng)數(shù)據(jù)倉庫管理委員會(huì)討論確定。數(shù)據(jù)倉庫建設(shè)規(guī)劃，通常從以下三個(gè)方面數(shù)據(jù)倉庫建設(shè)規(guī)劃，通常從以下三個(gè)方面進(jìn)行評(píng)估：進(jìn)行評(píng)估：p實(shí)施難度：實(shí)施難度：ITIT部門評(píng)估部門評(píng)估p策略價(jià)值：決策層評(píng)估策略價(jià)值：決策層評(píng)估p投資回報(bào)：應(yīng)用部門評(píng)估投資回報(bào)：應(yīng)用部門評(píng)估文思信

18、息 版權(quán)所有，內(nèi)部保密材料實(shí)施路線規(guī)劃l 倉庫規(guī)劃咨詢l 管控平臺(tái)建設(shè)l ODS系統(tǒng)優(yōu)化業(yè)業(yè)管管技技l 管理駕駛艙l 統(tǒng)一報(bào)送平臺(tái)l 即席查詢l 構(gòu)建數(shù)據(jù)倉庫技術(shù)框架l 數(shù)據(jù)倉庫部分模型入倉l 數(shù)據(jù)標(biāo)準(zhǔn)擴(kuò)展與落地l 數(shù)據(jù)管控平臺(tái)應(yīng)用業(yè)業(yè)管管技技l 數(shù)據(jù)倉庫接入范圍擴(kuò)展l 數(shù)據(jù)倉庫主題完善l 數(shù)據(jù)標(biāo)準(zhǔn)完善l 完善、推廣管控應(yīng)用l 完善流程與制度l 建立商業(yè)智能團(tuán)隊(duì)l 風(fēng)險(xiǎn)應(yīng)用l 客戶管理業(yè)業(yè)l 商業(yè)智能團(tuán)隊(duì)，擴(kuò)大業(yè)務(wù)支持范圍l 推廣數(shù)據(jù)挖掘和即席查詢l 應(yīng)用遷移管管l 全方位管控體系的執(zhí)行和推廣l 提升數(shù)據(jù)資產(chǎn)質(zhì)量l 加強(qiáng)管控監(jiān)督技技l 數(shù)據(jù)倉庫穩(wěn)定與完善l 數(shù)據(jù)服務(wù)提高技技技術(shù)架構(gòu)管管業(yè)業(yè)業(yè)務(wù)

19、支持?jǐn)?shù)據(jù)管控準(zhǔn)備階段第一階段第二階段第三階段文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫體系規(guī)劃27應(yīng)用體系應(yīng)用主題應(yīng)用模式應(yīng)用方案實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu) ODS基礎(chǔ)層匯總層集市層技術(shù)體系統(tǒng)一交換統(tǒng)一監(jiān)控統(tǒng)一調(diào)度統(tǒng)一發(fā)布統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲(chǔ)數(shù)據(jù)質(zhì)量元數(shù)據(jù)安全組織架構(gòu)管控體系組織架構(gòu)管控流程管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫規(guī)劃。文思信息 版權(quán)所有，內(nèi)部保密材料運(yùn)維體系規(guī)劃從現(xiàn)有的經(jīng)驗(yàn)看，數(shù)據(jù)倉庫體系的運(yùn)行維護(hù)主要是通過合理的組織架構(gòu)，制定易于執(zhí)行的運(yùn)維管理流程和規(guī)范

20、，通過完善的管理工具，對系統(tǒng)監(jiān)控、問題處理、系統(tǒng)變更等常規(guī)問題進(jìn)行系統(tǒng)化的處理，并在知識(shí)庫中予以記錄Title in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in hereTitle in here日常監(jiān)控變更管理問題處理容量規(guī)劃備份恢復(fù)需求管理服務(wù)水平組織架構(gòu)管理工具主管部門技術(shù)支持部門生產(chǎn)運(yùn)行部門數(shù)據(jù)支持部門資源管理部門資源監(jiān)控服務(wù)監(jiān)控應(yīng)用監(jiān)控運(yùn)行性問題非運(yùn)行性問題變更規(guī)范變更流程設(shè)計(jì)原則備份內(nèi)容備份策略備份管理技術(shù)緩沖層整合模型層共性加工層應(yīng)用集市層制定

21、SLA標(biāo)準(zhǔn)落實(shí)標(biāo)準(zhǔn)周期性考核數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)元數(shù)據(jù)管理平臺(tái)數(shù)據(jù)質(zhì)量管理平臺(tái)綜合信息服務(wù)平臺(tái)問題管理系統(tǒng)項(xiàng)目需求臨時(shí)數(shù)據(jù)類需求組織架構(gòu)日常監(jiān)控問題處理變更管理備份恢復(fù)容量規(guī)劃服務(wù)水平管理工具需求管理文思信息 版權(quán)所有，內(nèi)部保密材料運(yùn)行維護(hù)規(guī)劃系統(tǒng)安全管理29系統(tǒng)安全管理綜述系統(tǒng)安全管理綜述鑒于數(shù)據(jù)倉庫中數(shù)據(jù)的商業(yè)性和保密性，需要一個(gè)安全的系統(tǒng)來加強(qiáng)數(shù)據(jù)倉庫管理服務(wù)，在保證數(shù)據(jù)安全的基礎(chǔ)上，提高數(shù)據(jù)倉庫運(yùn)作效率和準(zhǔn)確性。數(shù)據(jù)安全保證需要從技術(shù)和管理兩個(gè)層面實(shí)現(xiàn)，技術(shù)層面主要是通過技術(shù)手段保證系統(tǒng)的安全；管理層面主要系統(tǒng)的安全策略由安全處理流程和安全制度組成，通過定義安全需求，同時(shí)定義處理流程和規(guī)章

22、制度以滿足這些需求。網(wǎng)絡(luò)安全：網(wǎng)絡(luò)安全：包括防火墻、地址翻譯、監(jiān)控網(wǎng)絡(luò)通訊、數(shù)據(jù)傳輸加密等系統(tǒng)安全：系統(tǒng)安全：包括限制用戶訪問主機(jī)資源、用戶口令安全規(guī)則等應(yīng)用安全：應(yīng)用安全：包括用戶管理、權(quán)限管理、日志審計(jì)等安全策略：安全策略：包括用戶帳戶統(tǒng)一管理、通報(bào)機(jī)制、單點(diǎn)登錄等安全制度：安全制度：包括建立角色權(quán)限視圖、規(guī)范應(yīng)用程序上線變更、生產(chǎn)與開發(fā)測試環(huán)境隔離等用戶安全：用戶安全：包括用戶認(rèn)證、用戶鎖定、用戶權(quán)限控制等數(shù)據(jù)庫安全：數(shù)據(jù)庫安全：包括物理安全、用戶登錄控制、數(shù)據(jù)存取控制可靠性保護(hù)：可靠性保護(hù)：包括系統(tǒng)級(jí)數(shù)據(jù)保護(hù)、數(shù)據(jù)庫級(jí)數(shù)據(jù)保護(hù)安全策略：安全策略：根據(jù)不同用戶需求劃分為四個(gè)層面，DBA、

23、業(yè)務(wù)用戶、ETL用戶、開發(fā)測試用戶安全制度：安全制度：通過制定數(shù)據(jù)安全使用授權(quán)機(jī)制及審批流程，結(jié)合安全審計(jì)等制度來保證數(shù)據(jù)資產(chǎn)的安全數(shù)據(jù)安全數(shù)據(jù)安全系統(tǒng)安全系統(tǒng)安全文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)倉庫體系規(guī)劃30應(yīng)用體系應(yīng)用主題應(yīng)用模式應(yīng)用方案實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu) ODS基礎(chǔ)層匯總層集市層技術(shù)體系統(tǒng)一交換統(tǒng)一監(jiān)控統(tǒng)一調(diào)度統(tǒng)一發(fā)布統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲(chǔ)數(shù)據(jù)質(zhì)量元數(shù)據(jù)安全組織架構(gòu)管控體系組織架構(gòu)管控流程管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫規(guī)劃。文思信息 版權(quán)所有，

24、內(nèi)部保密材料數(shù)據(jù)管控核心要素系統(tǒng)工具組織架構(gòu)工作流程數(shù)據(jù)管控核心組成部分通過建立相應(yīng)的數(shù)據(jù)管控組織架構(gòu)，梳理完善的管控工作流程，通過系統(tǒng)工具支撐日常工作，使數(shù)據(jù)管控治理工作能夠落到實(shí)處，全面提升銀行數(shù)據(jù)運(yùn)用水平和數(shù)據(jù)質(zhì)量。文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)和職責(zé)負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃；負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)制定、評(píng)審、發(fā)布、執(zhí)行、變更、復(fù)審等工作的具體組織與協(xié)調(diào)；負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況的監(jiān)督檢查；協(xié)助制定數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃；負(fù)責(zé)IT系統(tǒng)開發(fā)流程中標(biāo)準(zhǔn)核檢工作；協(xié)助數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況的監(jiān)督檢查；負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)的日常運(yùn)營和維護(hù)、用戶設(shè)置與管理；負(fù)責(zé)標(biāo)準(zhǔn)版本在平臺(tái)上的發(fā)布；各業(yè)務(wù)部門標(biāo)

25、準(zhǔn)管理員負(fù)責(zé)本部門數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)需求的收集、整理，并在需求管理平臺(tái)提交數(shù)據(jù)標(biāo)準(zhǔn)新增/變更需求。計(jì)劃財(cái)務(wù)部數(shù)據(jù)標(biāo)準(zhǔn)專員根據(jù)收集到的標(biāo)準(zhǔn)需求，牽頭開展定制相關(guān)標(biāo)準(zhǔn)、評(píng)審標(biāo)準(zhǔn)和審核落地計(jì)劃等工作。信息技術(shù)部在日常軟件開發(fā)流程以及變更流程中根據(jù)實(shí)際情況協(xié)助將標(biāo)準(zhǔn)進(jìn)行落地。文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)標(biāo)準(zhǔn)制定流程標(biāo)準(zhǔn)提出方（分行、總行部門）數(shù)據(jù)標(biāo)準(zhǔn)管理員（業(yè)務(wù)部門）數(shù)據(jù)標(biāo)準(zhǔn)管理專員（計(jì)劃財(cái)務(wù)部）數(shù)據(jù)標(biāo)準(zhǔn)平臺(tái)管理員（計(jì)劃財(cái)務(wù)部）標(biāo)準(zhǔn)新增/變更需求是否提交？組織相關(guān)人員評(píng)審標(biāo)準(zhǔn)標(biāo)準(zhǔn)提出需求審批標(biāo)準(zhǔn)評(píng)審標(biāo)準(zhǔn)發(fā)布崗位職責(zé)比對現(xiàn)有標(biāo)準(zhǔn)否是數(shù)據(jù)標(biāo)準(zhǔn)咨詢項(xiàng)目組收集標(biāo)準(zhǔn)需求組織標(biāo)準(zhǔn)可行性/必要性評(píng)審是否通過？否建

26、立/變更數(shù)據(jù)標(biāo)準(zhǔn)制定標(biāo)準(zhǔn)是牽頭申請標(biāo)準(zhǔn)立項(xiàng)，制定工作計(jì)劃是否通過？結(jié)束需求否是標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)管理平臺(tái)需求管理平臺(tái)非管控平臺(tái)流程說明說明是否立項(xiàng)？是否建立/變更數(shù)據(jù)標(biāo)準(zhǔn)文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)管控系統(tǒng)界面文思信息 版權(quán)所有，內(nèi)部保密材料標(biāo)準(zhǔn)管理系統(tǒng)-標(biāo)準(zhǔn)瀏覽八大類信息項(xiàng)目錄樹產(chǎn)品分類映射到PMS中INDV_BASC_NFO的EDU_LEVEL學(xué)歷標(biāo)準(zhǔn)代碼小類信息項(xiàng)明細(xì)信息項(xiàng)標(biāo)準(zhǔn)與系統(tǒng)映射映射到具體字段文思信息 版權(quán)所有，內(nèi)部保密材料元數(shù)據(jù)管理系統(tǒng)-數(shù)據(jù)字典瀏覽選擇具體系統(tǒng)選擇具體表查看卡狀態(tài)代碼“是否代碼字段”為1，表示有代碼注釋文思信息 版權(quán)所有，內(nèi)部保密材料數(shù)據(jù)質(zhì)量管理系統(tǒng)檢核

27、規(guī)則檢核結(jié)果質(zhì)量分析檢核字段：OPERATERID記錄總數(shù)：3397問題總數(shù)：285檢核字段：COLNUMBER檢核類型：非空檢核頻度規(guī)則基本屬性規(guī)則擴(kuò)展屬性指標(biāo)趨勢分析非空問題：31%長度問題：31%一致性問題：38%趨勢分析問題數(shù)：3問題數(shù)：7類型分析檢核對象規(guī)則定義報(bào)警渠道文思信息 版權(quán)所有，內(nèi)部保密材料主題38數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論數(shù)據(jù)倉庫實(shí)施方法論Q&A文思信息 版權(quán)所有，內(nèi)部保密材料需求分析需求分析系統(tǒng)設(shè)計(jì)系統(tǒng)設(shè)計(jì)開發(fā)與測試開發(fā)與測試上線與維護(hù)上線與維護(hù)企業(yè)基礎(chǔ)數(shù)據(jù)平臺(tái)項(xiàng)目實(shí)施方法論業(yè)務(wù)調(diào)研業(yè)務(wù)訪談業(yè)務(wù)需求編寫業(yè)務(wù)需求分析信息調(diào)研應(yīng)用概要設(shè)計(jì)應(yīng)用詳細(xì)設(shè)計(jì)應(yīng)用模型設(shè)計(jì)應(yīng)用

28、設(shè)計(jì)應(yīng)用開發(fā)邏輯模型 設(shè)計(jì)物理模型 設(shè)計(jì)系統(tǒng)體系架構(gòu)設(shè)計(jì)ETL開發(fā)系統(tǒng)測試投產(chǎn)試運(yùn)行系統(tǒng)管理運(yùn)維數(shù) 據(jù) 訪 問 服 務(wù)數(shù)據(jù)管控（元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)需求）項(xiàng) 目 管 理項(xiàng)目前期準(zhǔn)備項(xiàng)目結(jié)束回顧 項(xiàng)目啟動(dòng)會(huì)議 確認(rèn)項(xiàng)目范圍與目標(biāo) 確認(rèn)項(xiàng)目實(shí)施計(jì)劃 確定工作小成員職責(zé) 確定工作小組階段性目標(biāo) 工作場地與環(huán)境準(zhǔn)備 項(xiàng)目管理規(guī)范準(zhǔn)備 圈定調(diào)研業(yè)務(wù)部門 準(zhǔn)備業(yè)務(wù)訪談與調(diào)研計(jì)劃 策略性規(guī)劃應(yīng)用系統(tǒng) 確定系統(tǒng)重點(diǎn)用戶 業(yè)務(wù)需求調(diào)研與分析 源系統(tǒng)調(diào)研與分析 樣本數(shù)據(jù)質(zhì)量分析 數(shù)據(jù)缺口分析 建立實(shí)體模型 邏輯數(shù)據(jù)模型客戶化 LDM轉(zhuǎn)換PDM 系統(tǒng)總體架構(gòu)設(shè)計(jì) 數(shù)據(jù)、ETL體系 運(yùn)維體系設(shè)計(jì) 應(yīng)用概要

29、、詳細(xì)設(shè)計(jì) 數(shù)據(jù)接口設(shè)計(jì) 系統(tǒng)界面設(shè)計(jì) 用戶權(quán)限設(shè)計(jì) 應(yīng)用數(shù)據(jù)模型設(shè)計(jì) ETL策略與體系結(jié)構(gòu)設(shè)計(jì) ETL設(shè)計(jì)和開發(fā) 應(yīng)用功能模塊開發(fā) 用戶訪問權(quán)限開發(fā) 企業(yè)門戶集成開發(fā) 開發(fā)、測試系統(tǒng)軟硬件設(shè)備安裝 制定系統(tǒng)、UAT測試計(jì)劃 系統(tǒng)、UAT測試驗(yàn)收 上線投產(chǎn)文檔準(zhǔn)備 生產(chǎn)系統(tǒng)軟硬件安裝 制定數(shù)據(jù)倉庫日常管理與操作流程 驗(yàn)證數(shù)據(jù)備份與恢復(fù)程序 用戶培訓(xùn) 現(xiàn)場投產(chǎn) 項(xiàng)目總結(jié)與匯報(bào) 項(xiàng)目下階段工作規(guī)劃文思信息 版權(quán)所有，內(nèi)部保密材料模型物理化總體原則物理模型是數(shù)據(jù)倉庫基礎(chǔ)建設(shè)中模型建設(shè)的一部分，是邏輯模型的最終物理實(shí)現(xiàn)。所有的業(yè)物理模型是數(shù)據(jù)倉庫基礎(chǔ)建設(shè)中模型建設(shè)的一部分，是邏輯模型的最終物理實(shí)現(xiàn)。所有的業(yè)務(wù)間邏輯均體現(xiàn)在邏輯模型中，物理模型僅僅反映邏輯在數(shù)據(jù)庫中的具體體現(xiàn)。物理模型原務(wù)間邏輯均體現(xiàn)在邏輯模型中，物理模型僅僅反映邏輯在數(shù)據(jù)庫中的具體體現(xiàn)。物理模型原則上與邏輯模型保持一致。在進(jìn)行模型物理化時(shí)，需要注意以下共性環(huán)節(jié)：則上與邏輯模型保持一致。在進(jìn)行模型物理化時(shí)，需要注意以下共性環(huán)節(jié)：模型模型物理化物理化原則原則表與字表與字段物理段物理命名命名選擇字選擇字段數(shù)據(jù)段數(shù)據(jù)類型類型確定字確定字段大小段大小寫敏感寫敏感選擇及選擇及調(diào)整索調(diào)整索引引選擇表選擇表分區(qū)字分區(qū)字段段表英文名全部