![數(shù)據(jù)倉庫體系培訓(xùn)課件_第1頁](http://file4.renrendoc.com/view/032f16bc3ee0637a850194fab5dfd6fa/032f16bc3ee0637a850194fab5dfd6fa1.gif)
![數(shù)據(jù)倉庫體系培訓(xùn)課件_第2頁](http://file4.renrendoc.com/view/032f16bc3ee0637a850194fab5dfd6fa/032f16bc3ee0637a850194fab5dfd6fa2.gif)
![數(shù)據(jù)倉庫體系培訓(xùn)課件_第3頁](http://file4.renrendoc.com/view/032f16bc3ee0637a850194fab5dfd6fa/032f16bc3ee0637a850194fab5dfd6fa3.gif)
![數(shù)據(jù)倉庫體系培訓(xùn)課件_第4頁](http://file4.renrendoc.com/view/032f16bc3ee0637a850194fab5dfd6fa/032f16bc3ee0637a850194fab5dfd6fa4.gif)
![數(shù)據(jù)倉庫體系培訓(xùn)課件_第5頁](http://file4.renrendoc.com/view/032f16bc3ee0637a850194fab5dfd6fa/032f16bc3ee0637a850194fab5dfd6fa5.gif)
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
數(shù)據(jù)倉庫體系培訓(xùn)1數(shù)據(jù)倉庫體系培訓(xùn)1主題2數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論Q&A主題2數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論Q&A數(shù)據(jù)倉庫規(guī)劃步驟33現(xiàn)狀分析體系規(guī)劃實(shí)施路線基礎(chǔ)數(shù)據(jù)平臺與分析型系統(tǒng)現(xiàn)狀總結(jié)銀行現(xiàn)有數(shù)據(jù)倉庫體系差距規(guī)劃數(shù)據(jù)倉庫系統(tǒng)總體技術(shù)方案藍(lán)圖制定相關(guān)管理制度與工作流程規(guī)劃數(shù)據(jù)倉庫體系分階段落地方案與實(shí)施路線圖指導(dǎo)方針承前啟后:著重考慮對前期工作的承接和規(guī)劃成果的落地實(shí)施敦本務(wù)實(shí):實(shí)施公司、同業(yè)經(jīng)驗(yàn)與銀行實(shí)際相結(jié)合遠(yuǎn)近兼顧:立足長遠(yuǎn)與滿足當(dāng)前需求相結(jié)合數(shù)據(jù)倉庫規(guī)劃步驟33現(xiàn)狀分析體系規(guī)劃實(shí)施路線基礎(chǔ)數(shù)據(jù)平臺與分?jǐn)?shù)據(jù)倉庫典型體系架構(gòu)(星型-EDW)4SASBYHTCMSPMS。。。調(diào)度軟件(Control-M、Automation、ETL_PLUS)ETL軟件前端軟件管控平臺DM信用卡集市DM信貸集市DM風(fēng)險(xiǎn)管理集市DM。。。ETL軟件ETL軟件ETL軟件前端軟件前端軟件前端軟件數(shù)據(jù)倉庫典型體系架構(gòu)(星型-EDW)4SASBYHTCMSP數(shù)據(jù)倉庫典型體系架構(gòu)(集中型-EDW)5SASBYHTCMSPMS。。。調(diào)度軟件(Control-M、Automation、ETL_PLUS)ETL軟件PowercenterDatastage文本腳本前端軟件(BIEE、Congnus、BO、Microstrategy)DB(TD、DB2、Oracle)緩沖層模型層匯總層集市層管控平臺數(shù)據(jù)倉庫典型體系架構(gòu)(集中型-EDW)5SASBYHTCMS數(shù)據(jù)倉庫典型體系架構(gòu)(混合型-EDW)6SASBYHTCMSPMS。。。調(diào)度軟件(Control-M、Automation、ETL_PLUS)ETL軟件PowercenterDatastage文本腳本前端軟件(BIEE、Congnus、BO、Microstrategy)DB(TD、DB2、Oracle)緩沖層模型層匯總層集市層管控平臺庫外集市庫外集市數(shù)據(jù)倉庫典型體系架構(gòu)(混合型-EDW)6SASBYHTCMS數(shù)據(jù)倉庫體系規(guī)劃7應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃7應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)組BI環(huán)境內(nèi)的數(shù)據(jù)架構(gòu)8集市層匯總層預(yù)連接/預(yù)處理ODS基礎(chǔ)層客戶賬戶資產(chǎn)交易產(chǎn)品渠道財(cái)務(wù)賬戶匯總交易統(tǒng)計(jì)匯總客戶匯總機(jī)構(gòu)匯總產(chǎn)品匯總渠道匯總指標(biāo)庫:規(guī)模指標(biāo)、客戶指標(biāo)、盈利指標(biāo)、風(fēng)險(xiǎn)指標(biāo)等核心個(gè)貸法貸基金存管國結(jié)IT人員業(yè)務(wù)分析人員決策用戶高級分析人員ODS層解決源系統(tǒng)快速接入的問題;避免從源系統(tǒng)頻繁、重復(fù)數(shù)據(jù)抽取;源系統(tǒng)一次性分析、一次性抽取、一次性接入;需要隨著源系統(tǒng)變更進(jìn)行維護(hù)基礎(chǔ)層面向主題整合;保留詳細(xì)數(shù)據(jù)和歷史數(shù)據(jù)按照業(yè)務(wù)驅(qū)動(dòng)、逐步建設(shè)模型相對穩(wěn)定;但是隨著源系統(tǒng)和數(shù)據(jù)業(yè)務(wù)標(biāo)準(zhǔn)的變化,ETL加工邏輯會長期變化應(yīng)用集市層面向應(yīng)用的個(gè)性化定制。匯總層提供統(tǒng)一的業(yè)務(wù)口徑。避免集市的重復(fù)加工。隨著應(yīng)用建設(shè)逐步完善模型相對穩(wěn)定,隨著業(yè)務(wù)擴(kuò)展可以擴(kuò)展模型;隨著業(yè)務(wù)統(tǒng)計(jì)口徑變化,ETL加工邏輯會變化;BI環(huán)境內(nèi)的數(shù)據(jù)架構(gòu)8集市層匯總層預(yù)連接/預(yù)處理ODS基礎(chǔ)層不同層次應(yīng)用場景91審計(jì)/風(fēng)險(xiǎn)管理等需要未經(jīng)加工的業(yè)務(wù)原始數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢查規(guī)則、常規(guī)報(bào)告……應(yīng)用用戶、決策用戶會訪問特定應(yīng)用……業(yè)務(wù)人員通過設(shè)定業(yè)務(wù)檢查規(guī)則來明確模型可用性業(yè)務(wù)部門人員多數(shù)需要常規(guī)報(bào)表供日常呈報(bào)……業(yè)務(wù)人員參考整合規(guī)則來驗(yàn)證業(yè)務(wù)正確性POWERUSER通常需要訪問第二層對數(shù)據(jù)進(jìn)行深入分析……234不同層次應(yīng)用場景91審計(jì)/風(fēng)險(xiǎn)管理等需要未經(jīng)加工的業(yè)務(wù)原始數(shù)ODS&EDW特點(diǎn)比較ODS:與源系統(tǒng)保持一致基本不進(jìn)行轉(zhuǎn)換和整合當(dāng)前最新數(shù)據(jù)EDW:第三范式模型進(jìn)行數(shù)據(jù)整合和轉(zhuǎn)換當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)ODS:狀態(tài)類數(shù)據(jù)保存當(dāng)前最新數(shù)據(jù)日志類數(shù)據(jù)保存3個(gè)月針對及其特殊的需要可以考慮對數(shù)據(jù)保留一定時(shí)間段的歷史EDW:一般最長在線保存7年。事件類數(shù)據(jù)在線保留時(shí)間會短一些,13個(gè)月左右。ODS:全部源系統(tǒng)不重復(fù)保存已經(jīng)入EDW的Event類數(shù)據(jù)EDW:全部源系統(tǒng)的原始細(xì)節(jié)數(shù)據(jù),不接入派生和匯總數(shù)據(jù)。ODS:時(shí)效性要求高的不需要需歷史數(shù)據(jù)需要訪問最始數(shù)據(jù)(審計(jì)、稽核類)的應(yīng)用EDW:模型區(qū)時(shí)效性可以滿足要求的需要訪問歷史數(shù)據(jù)的基于多個(gè)系統(tǒng)整合數(shù)據(jù)的不是必須訪問原始數(shù)據(jù)的應(yīng)用數(shù)據(jù)模型數(shù)據(jù)接入數(shù)據(jù)存儲數(shù)據(jù)應(yīng)用
ODS特點(diǎn)面向數(shù)據(jù)的非集成的易變的當(dāng)前數(shù)據(jù)的
詳細(xì)的
EDW特點(diǎn)面向主題的集成的穩(wěn)定的隨時(shí)間變化的詳細(xì)的ODS&EDW特點(diǎn)比較ODS:ODS:ODS:ODS11>業(yè)務(wù)處理系統(tǒng)(OLTP)用戶群體客戶員工應(yīng)用交易處理帳務(wù)處理訪問特征頻繁的更新偶爾的查詢數(shù)據(jù)模型當(dāng)前狀態(tài)數(shù)據(jù)很少的歷史數(shù)據(jù)范圍比較小戰(zhàn)略性分析(EDW)用戶群管理人員高層領(lǐng)導(dǎo)應(yīng)用戰(zhàn)略性分析復(fù)雜的查詢和報(bào)表預(yù)測訪問特征批量插入-很少的更新頻繁的復(fù)雜查詢優(yōu)劣勢對比解決企業(yè)的決策需求不能滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求戰(zhàn)術(shù)性查詢(ODS)用戶群體一線的業(yè)務(wù)人員客戶應(yīng)用業(yè)務(wù)領(lǐng)域查詢戰(zhàn)術(shù)性決策支持簡單的分析(評分)訪問特征當(dāng)前數(shù)據(jù)訪問查詢較多優(yōu)劣勢對比滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求不能滿足中遠(yuǎn)期決策需求EDWOLTP1OLTP2OLTP3任務(wù)的連續(xù)性O(shè)DS
&EDW價(jià)值和定位ODS最佳數(shù)據(jù)架構(gòu),ODS和EDW是互為補(bǔ)充的。11>業(yè)務(wù)處理系統(tǒng)(OLTP)用戶群體應(yīng)用訪問特征ODS層模型12偏源系統(tǒng)模型部分?jǐn)?shù)據(jù)保留全量少量數(shù)據(jù)保留短暫歷史簡單處理不考慮整合考慮保留策略O(shè)DS層模型12偏源系統(tǒng)模型簡單處理基礎(chǔ)層模型VS.匯總層模型基礎(chǔ)層模型VS.匯總層模型應(yīng)用集市層模型應(yīng)用集市層模型數(shù)據(jù)倉庫體系規(guī)劃15應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃15應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)統(tǒng)一數(shù)據(jù)交換16統(tǒng)一數(shù)據(jù)交換16統(tǒng)一調(diào)度架構(gòu)17統(tǒng)一調(diào)度架構(gòu)17統(tǒng)一監(jiān)控架構(gòu)18統(tǒng)一監(jiān)控架構(gòu)18統(tǒng)一信息發(fā)布統(tǒng)一信息發(fā)布定位統(tǒng)一信息發(fā)布平臺定位為廣發(fā)銀行數(shù)據(jù)倉庫體系的展現(xiàn)平臺,用于展現(xiàn)銀行的基礎(chǔ)數(shù)據(jù)平臺及所有分析型應(yīng)用資源。分析型應(yīng)用資源的集成包含前端界面的整合和各應(yīng)用后臺數(shù)據(jù)及權(quán)限的整合19登錄首頁公告頁面調(diào)用功能分析型應(yīng)用集成角色管理授權(quán)管理系統(tǒng)管理日志管理會話管理應(yīng)用模式固定報(bào)表即席查詢數(shù)據(jù)挖掘用戶身份管理統(tǒng)一認(rèn)證單點(diǎn)登錄安全審計(jì)認(rèn)證管理統(tǒng)一信息發(fā)布內(nèi)容統(tǒng)一入口權(quán)限管理應(yīng)用集成統(tǒng)一信息發(fā)布統(tǒng)一信息發(fā)布定位統(tǒng)一信息發(fā)布平臺定位為廣發(fā)銀行數(shù)統(tǒng)一數(shù)據(jù)管控架構(gòu)20元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理影響分析、血緣分析代碼標(biāo)準(zhǔn)落地提供檢核對象定位檢核問題檢核指標(biāo)存儲提供映射源數(shù)據(jù)標(biāo)準(zhǔn)存儲數(shù)據(jù)標(biāo)準(zhǔn)信息模型數(shù)據(jù)標(biāo)準(zhǔn)文檔提供檢核規(guī)則提供檢核問題檢核規(guī)則指標(biāo)模型源系統(tǒng)源系統(tǒng)源系統(tǒng)ETL數(shù)據(jù)服務(wù)StageFDMADM數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)平臺應(yīng)用系統(tǒng)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)操作元數(shù)據(jù)技術(shù)元數(shù)據(jù)綜合信息服務(wù)管理數(shù)據(jù)標(biāo)準(zhǔn)需求數(shù)據(jù)質(zhì)量需求元數(shù)據(jù)需求銀行業(yè)務(wù)需求統(tǒng)一數(shù)據(jù)管控架構(gòu)20元數(shù)據(jù)管理數(shù)數(shù)據(jù)倉庫體系規(guī)劃21應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃21應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)國內(nèi)銀行商業(yè)智能應(yīng)用22客戶管理支持國內(nèi)銀行的數(shù)據(jù)倉庫應(yīng)用種類超過40余個(gè),主要分布如下
:運(yùn)營管理風(fēng)險(xiǎn)管理財(cái)務(wù)管理信息管理客戶信息管理系統(tǒng)(CIM)分析型客戶關(guān)系管理系統(tǒng)(ACRM)操作型客戶關(guān)系管理(OCRM)個(gè)人積分計(jì)算客戶貢獻(xiàn)度計(jì)算/模型客戶流失概率模型客戶聚類細(xì)分模型產(chǎn)品購買關(guān)聯(lián)度模型業(yè)務(wù)統(tǒng)計(jì)分析信用卡分析渠道分析、中間業(yè)務(wù)分析平衡計(jì)分卡經(jīng)營指標(biāo)快報(bào)(KPIDashboard)利潤貢獻(xiàn)度客戶經(jīng)理績效考核產(chǎn)品績效分析1104監(jiān)管報(bào)表人行反洗錢人行征信非現(xiàn)場稽核五級分類數(shù)據(jù)加工內(nèi)部評級法定價(jià)系統(tǒng)客戶違約概率模型信用卡申請?jiān)u分模型資本充足率資產(chǎn)負(fù)債管理關(guān)聯(lián)交易應(yīng)用支持人行集中金融統(tǒng)計(jì)內(nèi)部財(cái)務(wù)信息分析管理會計(jì)數(shù)據(jù)標(biāo)準(zhǔn)企業(yè)數(shù)據(jù)架構(gòu)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理(Metadata)數(shù)據(jù)訪問安全管理國內(nèi)銀行商業(yè)智能應(yīng)用22客戶管理支持國內(nèi)銀行的數(shù)據(jù)倉庫應(yīng)用種常見的應(yīng)用模式及其演變發(fā)展23報(bào)表發(fā)生什么事情預(yù)定義報(bào)表分析為什么會發(fā)生隨機(jī)查詢,
BITools預(yù)測什么將會發(fā)生數(shù)據(jù)挖掘模型使用于操作什么正在發(fā)生捕捉動(dòng)態(tài)事件ACTIVATING
MAKEithappen!事件營銷操作智能是決策智能向業(yè)務(wù)系統(tǒng)和流程的延伸。決策智能操作智能常見的應(yīng)用模式及其演變發(fā)展23報(bào)表預(yù)定義報(bào)表分析隨機(jī)查詢,業(yè)務(wù)需求/分析和應(yīng)用模式的關(guān)系OLAP/固定報(bào)表隨機(jī)查詢挖掘模型用途:提供日常業(yè)務(wù)管理統(tǒng)計(jì),輔助發(fā)現(xiàn)業(yè)務(wù)發(fā)展趨勢。場景:客戶分布發(fā)生變化或者某項(xiàng)業(yè)務(wù)趨勢呈現(xiàn)異常,轉(zhuǎn)而使用其他分析手段,以“客戶交易金額和筆數(shù)分布發(fā)生變化”為例。用途:提供解決那些無法預(yù)先定義的查詢分析需求以及查找問題時(shí)的詳細(xì)鉆取。場景:“客戶交易金額和筆數(shù)分布發(fā)生變化”的詳細(xì)分析,比如“哪些客戶的哪些交易有了變化,是交易種類、金額、筆數(shù)還是交易場所?這些客戶的特征是怎樣的?他們在我行持有的產(chǎn)品分布如何?”用途:數(shù)據(jù)挖掘通過模式識別與數(shù)學(xué)模型技術(shù)從數(shù)據(jù)倉庫中的大量明細(xì)數(shù)據(jù)中發(fā)現(xiàn)隱藏的模式與趨勢。場景:經(jīng)過隨機(jī)分析發(fā)現(xiàn)那些屬于“交易金額和筆數(shù)分布發(fā)生變化”的客戶群中發(fā)現(xiàn)部分客戶最近有銷戶或者已經(jīng)很長時(shí)間不發(fā)生往來的傾向,因此需要利用“客戶流失模型”進(jìn)行評分,結(jié)合“客戶等級”確定需要進(jìn)行挽留的客戶名單。用途:支持綜合、復(fù)雜業(yè)務(wù)邏輯的應(yīng)用,提供前端的用戶使用界面。場景:設(shè)計(jì)營銷活動(dòng)進(jìn)行客戶挽留,輸入該營銷活動(dòng)的“執(zhí)行策略、日期、預(yù)計(jì)成本”以及具體的“溝通計(jì)劃”和“渠道使用規(guī)則”等信息。上述各模式的使用順序與邏輯僅是示例,依賴于具體的使用場景。應(yīng)用系統(tǒng)分析人員業(yè)務(wù)需求/分析和應(yīng)用模式的關(guān)系OLAP/固定報(bào)表隨機(jī)查詢挖掘應(yīng)用規(guī)劃考慮維度IT部門除了考慮數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、投資預(yù)算規(guī)模之外,更重要的是考慮應(yīng)用實(shí)施能否滿足業(yè)務(wù)用戶目前收益心理預(yù)期等因素,要想的大(全面,具體,全局觀)。數(shù)據(jù)倉庫建設(shè)規(guī)劃,要分步驟進(jìn)行實(shí)施,起步從小做起();不同業(yè)務(wù)部門對業(yè)務(wù)應(yīng)用的優(yōu)先度要求不同,必須綜合考慮不同部門對業(yè)務(wù)應(yīng)用的策略價(jià)值和投資回報(bào)評價(jià),形成初步的規(guī)劃后,再經(jīng)數(shù)據(jù)倉庫管理委員會討論確定。數(shù)據(jù)倉庫建設(shè)規(guī)劃,通常從以下三個(gè)方面進(jìn)行評估:實(shí)施難度:IT部門評估策略價(jià)值:決策層評估投資回報(bào):應(yīng)用部門評估應(yīng)用規(guī)劃考慮維度IT部門除了考慮數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、投資預(yù)實(shí)施路線規(guī)劃倉庫規(guī)劃咨詢管控平臺建設(shè)ODS系統(tǒng)優(yōu)化業(yè)管技管理駕駛艙統(tǒng)一報(bào)送平臺即席查詢構(gòu)建數(shù)據(jù)倉庫技術(shù)框架數(shù)據(jù)倉庫部分模型入倉數(shù)據(jù)標(biāo)準(zhǔn)擴(kuò)展與落地?cái)?shù)據(jù)管控平臺應(yīng)用業(yè)管技數(shù)據(jù)倉庫接入范圍擴(kuò)展數(shù)據(jù)倉庫主題完善數(shù)據(jù)標(biāo)準(zhǔn)完善完善、推廣管控應(yīng)用完善流程與制度建立商業(yè)智能團(tuán)隊(duì)風(fēng)險(xiǎn)應(yīng)用客戶管理業(yè)商業(yè)智能團(tuán)隊(duì),擴(kuò)大業(yè)務(wù)支持范圍推廣數(shù)據(jù)挖掘和即席查詢應(yīng)用遷移管全方位管控體系的執(zhí)行和推廣提升數(shù)據(jù)資產(chǎn)質(zhì)量加強(qiáng)管控監(jiān)督技數(shù)據(jù)倉庫穩(wěn)定與完善數(shù)據(jù)服務(wù)提高技技術(shù)架構(gòu)管業(yè)業(yè)務(wù)支持?jǐn)?shù)據(jù)管控準(zhǔn)備階段第一階段第二階段第三階段實(shí)施路線規(guī)劃倉庫規(guī)劃咨詢業(yè)管技管理駕駛艙構(gòu)建數(shù)據(jù)倉庫技術(shù)框架數(shù)據(jù)倉庫體系規(guī)劃27應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃27應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)運(yùn)維體系規(guī)劃從現(xiàn)有的經(jīng)驗(yàn)看,數(shù)據(jù)倉庫體系的運(yùn)行維護(hù)主要是通過合理的組織架構(gòu),制定易于執(zhí)行的運(yùn)維管理流程和規(guī)范,通過完善的管理工具,對系統(tǒng)監(jiān)控、問題處理、系統(tǒng)變更等常規(guī)問題進(jìn)行系統(tǒng)化的處理,并在知識庫中予以記錄TitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhere日常監(jiān)控變更管理問題處理容量規(guī)劃備份恢復(fù)需求管理服務(wù)水平組織架構(gòu)管理工具①②③④⑤⑥⑦⑧⑨主管部門技術(shù)支持部門生產(chǎn)運(yùn)行部門數(shù)據(jù)支持部門資源管理部門資源監(jiān)控服務(wù)監(jiān)控應(yīng)用監(jiān)控運(yùn)行性問題非運(yùn)行性問題變更規(guī)范變更流程設(shè)計(jì)原則備份內(nèi)容備份策略備份管理技術(shù)緩沖層整合模型層共性加工層應(yīng)用集市層制定SLA標(biāo)準(zhǔn)落實(shí)標(biāo)準(zhǔn)周期性考核數(shù)據(jù)標(biāo)準(zhǔn)管理平臺元數(shù)據(jù)管理平臺數(shù)據(jù)質(zhì)量管理平臺綜合信息服務(wù)平臺問題管理系統(tǒng)項(xiàng)目需求臨時(shí)數(shù)據(jù)類需求組織架構(gòu)日常監(jiān)控問題處理變更管理備份恢復(fù)容量規(guī)劃服務(wù)水平管理工具需求管理運(yùn)維體系規(guī)劃從現(xiàn)有的經(jīng)驗(yàn)看,數(shù)據(jù)倉庫體系的運(yùn)行維護(hù)主要是通過運(yùn)行維護(hù)規(guī)劃-系統(tǒng)安全管理29系統(tǒng)安全管理綜述鑒于數(shù)據(jù)倉庫中數(shù)據(jù)的商業(yè)性和保密性,需要一個(gè)安全的系統(tǒng)來加強(qiáng)數(shù)據(jù)倉庫管理服務(wù),在保證數(shù)據(jù)安全的基礎(chǔ)上,提高數(shù)據(jù)倉庫運(yùn)作效率和準(zhǔn)確性。數(shù)據(jù)安全保證需要從技術(shù)和管理兩個(gè)層面實(shí)現(xiàn),技術(shù)層面主要是通過技術(shù)手段保證系統(tǒng)的安全;管理層面主要系統(tǒng)的安全策略由安全處理流程和安全制度組成,通過定義安全需求,同時(shí)定義處理流程和規(guī)章制度以滿足這些需求。網(wǎng)絡(luò)安全:包括防火墻、地址翻譯、監(jiān)控網(wǎng)絡(luò)通訊、數(shù)據(jù)傳輸加密等系統(tǒng)安全:包括限制用戶訪問主機(jī)資源、用戶口令安全規(guī)則等應(yīng)用安全:包括用戶管理、權(quán)限管理、日志審計(jì)等安全策略:包括用戶帳戶統(tǒng)一管理、通報(bào)機(jī)制、單點(diǎn)登錄等安全制度:包括建立角色權(quán)限視圖、規(guī)范應(yīng)用程序上線變更、生產(chǎn)與開發(fā)測試環(huán)境隔離等用戶安全:包括用戶認(rèn)證、用戶鎖定、用戶權(quán)限控制等數(shù)據(jù)庫安全:包括物理安全、用戶登錄控制、數(shù)據(jù)存取控制可靠性保護(hù):包括系統(tǒng)級數(shù)據(jù)保護(hù)、數(shù)據(jù)庫級數(shù)據(jù)保護(hù)安全策略:根據(jù)不同用戶需求劃分為四個(gè)層面,DBA、業(yè)務(wù)用戶、ETL用戶、開發(fā)測試用戶安全制度:通過制定數(shù)據(jù)安全使用授權(quán)機(jī)制及審批流程,結(jié)合安全審計(jì)等制度來保證數(shù)據(jù)資產(chǎn)的安全數(shù)據(jù)安全系統(tǒng)安全運(yùn)行維護(hù)規(guī)劃-系統(tǒng)安全管理29系統(tǒng)安全管理綜述鑒于數(shù)據(jù)倉庫中數(shù)據(jù)倉庫體系規(guī)劃30應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃30應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)數(shù)據(jù)管控核心要素系統(tǒng)工具組織架構(gòu)工作流程數(shù)據(jù)管控核心組成部分通過建立相應(yīng)的數(shù)據(jù)管控組織架構(gòu),梳理完善的管控工作流程,通過系統(tǒng)工具支撐日常工作,使數(shù)據(jù)管控治理工作能夠落到實(shí)處,全面提升銀行數(shù)據(jù)運(yùn)用水平和數(shù)據(jù)質(zhì)量。數(shù)據(jù)管控核心要素系統(tǒng)工具組織架構(gòu)工作流程數(shù)據(jù)管控核心組成部分?jǐn)?shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)和職責(zé)數(shù)據(jù)標(biāo)準(zhǔn)管理專員(計(jì)劃財(cái)務(wù)部)數(shù)據(jù)標(biāo)準(zhǔn)平臺管理員(計(jì)財(cái)部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(信息技術(shù)部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(個(gè)人銀行部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(公司銀行部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(計(jì)劃財(cái)務(wù)部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(。。。)負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃;負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)制定、評審、發(fā)布、執(zhí)行、變更、復(fù)審等工作的具體組織與協(xié)調(diào);負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況的監(jiān)督檢查;協(xié)助制定數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃;負(fù)責(zé)IT系統(tǒng)開發(fā)流程中標(biāo)準(zhǔn)核檢工作;協(xié)助數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況的監(jiān)督檢查;負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)管理平臺的日常運(yùn)營和維護(hù)、用戶設(shè)置與管理;負(fù)責(zé)標(biāo)準(zhǔn)版本在平臺上的發(fā)布;各業(yè)務(wù)部門標(biāo)準(zhǔn)管理員負(fù)責(zé)本部門數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)需求的收集、整理,并在需求管理平臺提交數(shù)據(jù)標(biāo)準(zhǔn)新增/變更需求。計(jì)劃財(cái)務(wù)部數(shù)據(jù)標(biāo)準(zhǔn)專員根據(jù)收集到的標(biāo)準(zhǔn)需求,牽頭開展定制相關(guān)標(biāo)準(zhǔn)、評審標(biāo)準(zhǔn)和審核落地計(jì)劃等工作。信息技術(shù)部在日常軟件開發(fā)流程以及變更流程中根據(jù)實(shí)際情況協(xié)助將標(biāo)準(zhǔn)進(jìn)行落地。數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)和職責(zé)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)數(shù)據(jù)標(biāo)準(zhǔn)制定流程標(biāo)準(zhǔn)提出方(分行、總行部門)數(shù)據(jù)標(biāo)準(zhǔn)管理員(業(yè)務(wù)部門)數(shù)據(jù)標(biāo)準(zhǔn)管理專員(計(jì)劃財(cái)務(wù)部)數(shù)據(jù)標(biāo)準(zhǔn)平臺管理員(計(jì)劃財(cái)務(wù)部)標(biāo)準(zhǔn)新增/變更需求是否提交?組織相關(guān)人員評審標(biāo)準(zhǔn)標(biāo)準(zhǔn)提出需求審批標(biāo)準(zhǔn)評審標(biāo)準(zhǔn)發(fā)布崗位職責(zé)比對現(xiàn)有標(biāo)準(zhǔn)否是數(shù)據(jù)標(biāo)準(zhǔn)咨詢項(xiàng)目組收集標(biāo)準(zhǔn)需求組織標(biāo)準(zhǔn)可行性/必要性評審是否通過?否建立/變更數(shù)據(jù)標(biāo)準(zhǔn)制定標(biāo)準(zhǔn)是牽頭申請標(biāo)準(zhǔn)立項(xiàng),制定工作計(jì)劃是否通過?結(jié)束需求否是標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)管理平臺需求管理平臺非管控平臺流程說明是否立項(xiàng)?是否建立/變更數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)制定流程標(biāo)準(zhǔn)提出方數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)平臺標(biāo)準(zhǔn)新數(shù)據(jù)管控系統(tǒng)界面數(shù)據(jù)管控系統(tǒng)界面標(biāo)準(zhǔn)管理系統(tǒng)-標(biāo)準(zhǔn)瀏覽八大類信息項(xiàng)目錄樹產(chǎn)品分類映射到PMS中INDV_BASC_NFO的EDU_LEVEL學(xué)歷標(biāo)準(zhǔn)代碼小類信息項(xiàng)明細(xì)信息項(xiàng)標(biāo)準(zhǔn)與系統(tǒng)映射映射到具體字段標(biāo)準(zhǔn)管理系統(tǒng)-標(biāo)準(zhǔn)瀏覽八大類信息項(xiàng)目錄樹產(chǎn)品分類映射到PMS元數(shù)據(jù)管理系統(tǒng)-數(shù)據(jù)字典瀏覽選擇具體系統(tǒng)選擇具體表查看卡狀態(tài)代碼“是否代碼字段”為1,表示有代碼注釋元數(shù)據(jù)管理系統(tǒng)-數(shù)據(jù)字典瀏覽選擇具體系統(tǒng)選擇具體表查看卡狀態(tài)數(shù)據(jù)質(zhì)量管理系統(tǒng)檢核規(guī)則檢核結(jié)果質(zhì)量分析檢核字段:OPERATERID記錄總數(shù):3397問題總數(shù):285檢核字段:COLNUMBER檢核類型:非空檢核頻度規(guī)則基本屬性規(guī)則擴(kuò)展屬性指標(biāo)趨勢分析非空問題:31%長度問題:31%一致性問題:38%趨勢分析問題數(shù):3問題數(shù):7類型分析檢核對象規(guī)則定義報(bào)警渠道數(shù)據(jù)質(zhì)量管理系統(tǒng)檢核規(guī)則檢核結(jié)果質(zhì)量分析檢核字段:OPERA主題38數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論Q&A主題38數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論Q&A需求分析系統(tǒng)設(shè)計(jì)開發(fā)與測試上線與維護(hù)企業(yè)基礎(chǔ)數(shù)據(jù)平臺項(xiàng)目實(shí)施方法論業(yè)務(wù)調(diào)研業(yè)務(wù)訪談業(yè)務(wù)需求編寫業(yè)務(wù)需求分析信息調(diào)研應(yīng)用概要設(shè)計(jì)應(yīng)用詳細(xì)設(shè)計(jì)應(yīng)用模型設(shè)計(jì)應(yīng)用設(shè)計(jì)應(yīng)用開發(fā)邏輯模型設(shè)計(jì)物理模型設(shè)計(jì)系統(tǒng)體系架構(gòu)設(shè)計(jì)ETL開發(fā)系統(tǒng)測試投產(chǎn)試運(yùn)行系統(tǒng)管理運(yùn)維數(shù)據(jù)訪問服務(wù)數(shù)據(jù)管控(元數(shù)據(jù)、數(shù)據(jù)質(zhì)量、數(shù)據(jù)標(biāo)準(zhǔn)、數(shù)據(jù)需求)項(xiàng)目管理項(xiàng)目前期準(zhǔn)備項(xiàng)目結(jié)束回顧項(xiàng)目啟動(dòng)會議確認(rèn)項(xiàng)目范圍與目標(biāo)確認(rèn)項(xiàng)目實(shí)施計(jì)劃確定工作小成員職責(zé)確定工作小組階段性目標(biāo)工作場地與環(huán)境準(zhǔn)備項(xiàng)目管理規(guī)范準(zhǔn)備圈定調(diào)研業(yè)務(wù)部門準(zhǔn)備業(yè)務(wù)訪談與調(diào)研計(jì)劃策略性規(guī)劃應(yīng)用系統(tǒng)確定系統(tǒng)重點(diǎn)用戶業(yè)務(wù)需求調(diào)研與分析源系統(tǒng)調(diào)研與分析樣本數(shù)據(jù)質(zhì)量分析數(shù)據(jù)缺口分析建立實(shí)體模型邏輯數(shù)據(jù)模型客戶化LDM轉(zhuǎn)換PDM系統(tǒng)總體架構(gòu)設(shè)計(jì)數(shù)據(jù)、ETL體系運(yùn)維體系設(shè)計(jì)應(yīng)用概要、詳細(xì)設(shè)計(jì)數(shù)據(jù)接口設(shè)計(jì)系統(tǒng)界面設(shè)計(jì)用戶權(quán)限設(shè)計(jì)應(yīng)用數(shù)據(jù)模型設(shè)計(jì)ETL策略與體系結(jié)構(gòu)設(shè)計(jì)ETL設(shè)計(jì)和開發(fā)應(yīng)用功能模塊開發(fā)用戶訪問權(quán)限開發(fā)企業(yè)門戶集成開發(fā)開發(fā)、測試系統(tǒng)軟硬件設(shè)備安裝制定系統(tǒng)、UAT測試計(jì)劃系統(tǒng)、UAT測試驗(yàn)收上線投產(chǎn)文檔準(zhǔn)備生產(chǎn)系統(tǒng)軟硬件安裝制定數(shù)據(jù)倉庫日常管理與操作流程驗(yàn)證數(shù)據(jù)備份與恢復(fù)程序用戶培訓(xùn)現(xiàn)場投產(chǎn)項(xiàng)目總結(jié)與匯報(bào)項(xiàng)目下階段工作規(guī)劃需求分析系統(tǒng)設(shè)計(jì)開發(fā)與測試上線與維護(hù)企業(yè)基礎(chǔ)數(shù)據(jù)平臺項(xiàng)目實(shí)施模型物理化-總體原則物理模型是數(shù)據(jù)倉庫基礎(chǔ)建設(shè)中模型建設(shè)的一部分,是邏輯模型的最終物理實(shí)現(xiàn)。所有的業(yè)務(wù)間邏輯均體現(xiàn)在邏輯模型中,物理模型僅僅反映邏輯在數(shù)據(jù)庫中的具體體現(xiàn)。物理模型原則上與邏輯模型保持一致。在進(jìn)行模型物理化時(shí),需要注意以下共性環(huán)節(jié):模型物理化原則表與字段物理命名選擇字段數(shù)據(jù)類型確定字段大小寫敏感選擇及調(diào)整索引選擇表分區(qū)字段表英文名全部字母大寫,單詞之間用下劃線分開;字段英文名單詞第一個(gè)字母大寫,單詞間用下劃線。長度不超過30字符字段長度要足夠存儲源數(shù)據(jù);考慮到源系統(tǒng)升級的因素,字段長度適當(dāng)冗余;外鍵字段數(shù)據(jù)類型與主鍵字段保持一致索引選擇主要有三種:查詢常用原則;
JOIN一致原則;對于父子類表,一般要求索引相同選擇表中合適字段(如交易日期等)對數(shù)據(jù)做Partition分區(qū)。當(dāng)訪問條件中包含PPI字段時(shí),可以提高訪問效率,當(dāng)加刪時(shí)新數(shù)據(jù)是一個(gè)單獨(dú)的Partition值時(shí),也提高加刪數(shù)據(jù)效率由LDM相關(guān)負(fù)責(zé)人確定,在PDM里顯式標(biāo)明該字段取值為大小寫敏感的模型物理化-總體原則物理模型是數(shù)據(jù)倉庫基礎(chǔ)建設(shè)中模型建設(shè)的一技術(shù)緩沖層->數(shù)據(jù)整合層ETL開發(fā)方式41設(shè)計(jì)LDM模型,并進(jìn)行物理化根據(jù)LDM物理化模型,設(shè)計(jì)相關(guān)映射文檔根據(jù)映射文檔開發(fā)數(shù)據(jù)轉(zhuǎn)換(ETL)腳本在這個(gè)步驟,使用腳本自動(dòng)生成工具創(chuàng)建從技術(shù)緩沖層->數(shù)據(jù)整合層(十大主題的PDM層)的數(shù)據(jù)處理腳本技術(shù)緩沖層->數(shù)據(jù)整合層ETL開發(fā)方式41設(shè)計(jì)LDM模型,并廣發(fā)EDW一期項(xiàng)目實(shí)施規(guī)劃與說明項(xiàng)目總體開發(fā)測試階段計(jì)劃7個(gè)月左右,然后進(jìn)入3個(gè)月的試運(yùn)行期。在項(xiàng)目正式進(jìn)入維護(hù)階段后,進(jìn)入1年的維護(hù)期。項(xiàng)目里程碑設(shè)定分解為三部分:基礎(chǔ)平臺建設(shè)、即席查詢建設(shè)(含統(tǒng)一信息發(fā)布平臺建設(shè))、數(shù)據(jù)服務(wù)建設(shè)(管理駕駛艙及統(tǒng)一報(bào)送平臺供數(shù))?;A(chǔ)平臺建設(shè)即席查詢建設(shè)數(shù)據(jù)服務(wù)建設(shè)12月1月2月3月4月5月6月7月8月9月10月112234231完成基礎(chǔ)數(shù)據(jù)平臺建設(shè)需求調(diào)研與分析完成基礎(chǔ)數(shù)據(jù)平臺系統(tǒng)設(shè)計(jì),包括總體方案設(shè)計(jì)、模型設(shè)計(jì)、ETL設(shè)計(jì)、數(shù)據(jù)管控集成策略設(shè)計(jì)等完成開發(fā)、測試完成試運(yùn)行提供業(yè)務(wù)部門使用完成即席查詢應(yīng)用需求調(diào)研與分析,以及架構(gòu)設(shè)計(jì)、詳細(xì)設(shè)計(jì)工作完成即席查詢應(yīng)用編碼、測試工作完成試運(yùn)行提供業(yè)務(wù)部門使用完成所提供的數(shù)據(jù)服務(wù)應(yīng)用模型及映射解答配合管理駕駛艙、統(tǒng)一報(bào)送平臺完成所需提供的供數(shù)驗(yàn)收廣發(fā)EDW一期項(xiàng)目實(shí)施規(guī)劃與說明項(xiàng)目總體開發(fā)測試階段計(jì)劃7個(gè)43Q&A注:提倡環(huán)保,打印PPT時(shí)首尾頁請?jiān)诒匾獣r(shí)斟酌打印.43Q&A注:提倡環(huán)保,打印PPT時(shí)首尾頁請?jiān)诒匾獣r(shí)斟酌數(shù)據(jù)倉庫體系培訓(xùn)44數(shù)據(jù)倉庫體系培訓(xùn)1主題45數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論Q&A主題2數(shù)據(jù)倉庫體系規(guī)劃數(shù)據(jù)倉庫實(shí)施方法論Q&A數(shù)據(jù)倉庫規(guī)劃步驟4646現(xiàn)狀分析體系規(guī)劃實(shí)施路線基礎(chǔ)數(shù)據(jù)平臺與分析型系統(tǒng)現(xiàn)狀總結(jié)銀行現(xiàn)有數(shù)據(jù)倉庫體系差距規(guī)劃數(shù)據(jù)倉庫系統(tǒng)總體技術(shù)方案藍(lán)圖制定相關(guān)管理制度與工作流程規(guī)劃數(shù)據(jù)倉庫體系分階段落地方案與實(shí)施路線圖指導(dǎo)方針承前啟后:著重考慮對前期工作的承接和規(guī)劃成果的落地實(shí)施敦本務(wù)實(shí):實(shí)施公司、同業(yè)經(jīng)驗(yàn)與銀行實(shí)際相結(jié)合遠(yuǎn)近兼顧:立足長遠(yuǎn)與滿足當(dāng)前需求相結(jié)合數(shù)據(jù)倉庫規(guī)劃步驟33現(xiàn)狀分析體系規(guī)劃實(shí)施路線基礎(chǔ)數(shù)據(jù)平臺與分?jǐn)?shù)據(jù)倉庫典型體系架構(gòu)(星型-EDW)47SASBYHTCMSPMS。。。調(diào)度軟件(Control-M、Automation、ETL_PLUS)ETL軟件前端軟件管控平臺DM信用卡集市DM信貸集市DM風(fēng)險(xiǎn)管理集市DM。。。ETL軟件ETL軟件ETL軟件前端軟件前端軟件前端軟件數(shù)據(jù)倉庫典型體系架構(gòu)(星型-EDW)4SASBYHTCMSP數(shù)據(jù)倉庫典型體系架構(gòu)(集中型-EDW)48SASBYHTCMSPMS。。。調(diào)度軟件(Control-M、Automation、ETL_PLUS)ETL軟件PowercenterDatastage文本腳本前端軟件(BIEE、Congnus、BO、Microstrategy)DB(TD、DB2、Oracle)緩沖層模型層匯總層集市層管控平臺數(shù)據(jù)倉庫典型體系架構(gòu)(集中型-EDW)5SASBYHTCMS數(shù)據(jù)倉庫典型體系架構(gòu)(混合型-EDW)49SASBYHTCMSPMS。。。調(diào)度軟件(Control-M、Automation、ETL_PLUS)ETL軟件PowercenterDatastage文本腳本前端軟件(BIEE、Congnus、BO、Microstrategy)DB(TD、DB2、Oracle)緩沖層模型層匯總層集市層管控平臺庫外集市庫外集市數(shù)據(jù)倉庫典型體系架構(gòu)(混合型-EDW)6SASBYHTCMS數(shù)據(jù)倉庫體系規(guī)劃50應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃7應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)組BI環(huán)境內(nèi)的數(shù)據(jù)架構(gòu)51集市層匯總層預(yù)連接/預(yù)處理ODS基礎(chǔ)層客戶賬戶資產(chǎn)交易產(chǎn)品渠道財(cái)務(wù)賬戶匯總交易統(tǒng)計(jì)匯總客戶匯總機(jī)構(gòu)匯總產(chǎn)品匯總渠道匯總指標(biāo)庫:規(guī)模指標(biāo)、客戶指標(biāo)、盈利指標(biāo)、風(fēng)險(xiǎn)指標(biāo)等核心個(gè)貸法貸基金存管國結(jié)IT人員業(yè)務(wù)分析人員決策用戶高級分析人員ODS層解決源系統(tǒng)快速接入的問題;避免從源系統(tǒng)頻繁、重復(fù)數(shù)據(jù)抽??;源系統(tǒng)一次性分析、一次性抽取、一次性接入;需要隨著源系統(tǒng)變更進(jìn)行維護(hù)基礎(chǔ)層面向主題整合;保留詳細(xì)數(shù)據(jù)和歷史數(shù)據(jù)按照業(yè)務(wù)驅(qū)動(dòng)、逐步建設(shè)模型相對穩(wěn)定;但是隨著源系統(tǒng)和數(shù)據(jù)業(yè)務(wù)標(biāo)準(zhǔn)的變化,ETL加工邏輯會長期變化應(yīng)用集市層面向應(yīng)用的個(gè)性化定制。匯總層提供統(tǒng)一的業(yè)務(wù)口徑。避免集市的重復(fù)加工。隨著應(yīng)用建設(shè)逐步完善模型相對穩(wěn)定,隨著業(yè)務(wù)擴(kuò)展可以擴(kuò)展模型;隨著業(yè)務(wù)統(tǒng)計(jì)口徑變化,ETL加工邏輯會變化;BI環(huán)境內(nèi)的數(shù)據(jù)架構(gòu)8集市層匯總層預(yù)連接/預(yù)處理ODS基礎(chǔ)層不同層次應(yīng)用場景521審計(jì)/風(fēng)險(xiǎn)管理等需要未經(jīng)加工的業(yè)務(wù)原始數(shù)據(jù)源數(shù)據(jù)質(zhì)量檢查規(guī)則、常規(guī)報(bào)告……應(yīng)用用戶、決策用戶會訪問特定應(yīng)用……業(yè)務(wù)人員通過設(shè)定業(yè)務(wù)檢查規(guī)則來明確模型可用性業(yè)務(wù)部門人員多數(shù)需要常規(guī)報(bào)表供日常呈報(bào)……業(yè)務(wù)人員參考整合規(guī)則來驗(yàn)證業(yè)務(wù)正確性POWERUSER通常需要訪問第二層對數(shù)據(jù)進(jìn)行深入分析……234不同層次應(yīng)用場景91審計(jì)/風(fēng)險(xiǎn)管理等需要未經(jīng)加工的業(yè)務(wù)原始數(shù)ODS&EDW特點(diǎn)比較ODS:與源系統(tǒng)保持一致基本不進(jìn)行轉(zhuǎn)換和整合當(dāng)前最新數(shù)據(jù)EDW:第三范式模型進(jìn)行數(shù)據(jù)整合和轉(zhuǎn)換當(dāng)前數(shù)據(jù)和歷史數(shù)據(jù)ODS:狀態(tài)類數(shù)據(jù)保存當(dāng)前最新數(shù)據(jù)日志類數(shù)據(jù)保存3個(gè)月針對及其特殊的需要可以考慮對數(shù)據(jù)保留一定時(shí)間段的歷史EDW:一般最長在線保存7年。事件類數(shù)據(jù)在線保留時(shí)間會短一些,13個(gè)月左右。ODS:全部源系統(tǒng)不重復(fù)保存已經(jīng)入EDW的Event類數(shù)據(jù)EDW:全部源系統(tǒng)的原始細(xì)節(jié)數(shù)據(jù),不接入派生和匯總數(shù)據(jù)。ODS:時(shí)效性要求高的不需要需歷史數(shù)據(jù)需要訪問最始數(shù)據(jù)(審計(jì)、稽核類)的應(yīng)用EDW:模型區(qū)時(shí)效性可以滿足要求的需要訪問歷史數(shù)據(jù)的基于多個(gè)系統(tǒng)整合數(shù)據(jù)的不是必須訪問原始數(shù)據(jù)的應(yīng)用數(shù)據(jù)模型數(shù)據(jù)接入數(shù)據(jù)存儲數(shù)據(jù)應(yīng)用
ODS特點(diǎn)面向數(shù)據(jù)的非集成的易變的當(dāng)前數(shù)據(jù)的
詳細(xì)的
EDW特點(diǎn)面向主題的集成的穩(wěn)定的隨時(shí)間變化的詳細(xì)的ODS&EDW特點(diǎn)比較ODS:ODS:ODS:ODS54>業(yè)務(wù)處理系統(tǒng)(OLTP)用戶群體客戶員工應(yīng)用交易處理帳務(wù)處理訪問特征頻繁的更新偶爾的查詢數(shù)據(jù)模型當(dāng)前狀態(tài)數(shù)據(jù)很少的歷史數(shù)據(jù)范圍比較小戰(zhàn)略性分析(EDW)用戶群管理人員高層領(lǐng)導(dǎo)應(yīng)用戰(zhàn)略性分析復(fù)雜的查詢和報(bào)表預(yù)測訪問特征批量插入-很少的更新頻繁的復(fù)雜查詢優(yōu)劣勢對比解決企業(yè)的決策需求不能滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求戰(zhàn)術(shù)性查詢(ODS)用戶群體一線的業(yè)務(wù)人員客戶應(yīng)用業(yè)務(wù)領(lǐng)域查詢戰(zhàn)術(shù)性決策支持簡單的分析(評分)訪問特征當(dāng)前數(shù)據(jù)訪問查詢較多優(yōu)劣勢對比滿足實(shí)時(shí)監(jiān)控和實(shí)時(shí)業(yè)務(wù)需求不能滿足中遠(yuǎn)期決策需求EDWOLTP1OLTP2OLTP3任務(wù)的連續(xù)性O(shè)DS
&EDW價(jià)值和定位ODS最佳數(shù)據(jù)架構(gòu),ODS和EDW是互為補(bǔ)充的。11>業(yè)務(wù)處理系統(tǒng)(OLTP)用戶群體應(yīng)用訪問特征ODS層模型55偏源系統(tǒng)模型部分?jǐn)?shù)據(jù)保留全量少量數(shù)據(jù)保留短暫歷史簡單處理不考慮整合考慮保留策略O(shè)DS層模型12偏源系統(tǒng)模型簡單處理基礎(chǔ)層模型VS.匯總層模型基礎(chǔ)層模型VS.匯總層模型應(yīng)用集市層模型應(yīng)用集市層模型數(shù)據(jù)倉庫體系規(guī)劃58應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃15應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)統(tǒng)一數(shù)據(jù)交換59統(tǒng)一數(shù)據(jù)交換16統(tǒng)一調(diào)度架構(gòu)60統(tǒng)一調(diào)度架構(gòu)17統(tǒng)一監(jiān)控架構(gòu)61統(tǒng)一監(jiān)控架構(gòu)18統(tǒng)一信息發(fā)布統(tǒng)一信息發(fā)布定位統(tǒng)一信息發(fā)布平臺定位為廣發(fā)銀行數(shù)據(jù)倉庫體系的展現(xiàn)平臺,用于展現(xiàn)銀行的基礎(chǔ)數(shù)據(jù)平臺及所有分析型應(yīng)用資源。分析型應(yīng)用資源的集成包含前端界面的整合和各應(yīng)用后臺數(shù)據(jù)及權(quán)限的整合62登錄首頁公告頁面調(diào)用功能分析型應(yīng)用集成角色管理授權(quán)管理系統(tǒng)管理日志管理會話管理應(yīng)用模式固定報(bào)表即席查詢數(shù)據(jù)挖掘用戶身份管理統(tǒng)一認(rèn)證單點(diǎn)登錄安全審計(jì)認(rèn)證管理統(tǒng)一信息發(fā)布內(nèi)容統(tǒng)一入口權(quán)限管理應(yīng)用集成統(tǒng)一信息發(fā)布統(tǒng)一信息發(fā)布定位統(tǒng)一信息發(fā)布平臺定位為廣發(fā)銀行數(shù)統(tǒng)一數(shù)據(jù)管控架構(gòu)63元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)質(zhì)量管理影響分析、血緣分析代碼標(biāo)準(zhǔn)落地提供檢核對象定位檢核問題檢核指標(biāo)存儲提供映射源數(shù)據(jù)標(biāo)準(zhǔn)存儲數(shù)據(jù)標(biāo)準(zhǔn)信息模型數(shù)據(jù)標(biāo)準(zhǔn)文檔提供檢核規(guī)則提供檢核問題檢核規(guī)則指標(biāo)模型源系統(tǒng)源系統(tǒng)源系統(tǒng)ETL數(shù)據(jù)服務(wù)StageFDMADM數(shù)據(jù)服務(wù)數(shù)據(jù)服務(wù)數(shù)據(jù)平臺應(yīng)用系統(tǒng)元數(shù)據(jù)元數(shù)據(jù)元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)操作元數(shù)據(jù)技術(shù)元數(shù)據(jù)綜合信息服務(wù)管理數(shù)據(jù)標(biāo)準(zhǔn)需求數(shù)據(jù)質(zhì)量需求元數(shù)據(jù)需求銀行業(yè)務(wù)需求統(tǒng)一數(shù)據(jù)管控架構(gòu)20元數(shù)據(jù)管理數(shù)數(shù)據(jù)倉庫體系規(guī)劃64應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃21應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)國內(nèi)銀行商業(yè)智能應(yīng)用65客戶管理支持國內(nèi)銀行的數(shù)據(jù)倉庫應(yīng)用種類超過40余個(gè),主要分布如下
:運(yùn)營管理風(fēng)險(xiǎn)管理財(cái)務(wù)管理信息管理客戶信息管理系統(tǒng)(CIM)分析型客戶關(guān)系管理系統(tǒng)(ACRM)操作型客戶關(guān)系管理(OCRM)個(gè)人積分計(jì)算客戶貢獻(xiàn)度計(jì)算/模型客戶流失概率模型客戶聚類細(xì)分模型產(chǎn)品購買關(guān)聯(lián)度模型業(yè)務(wù)統(tǒng)計(jì)分析信用卡分析渠道分析、中間業(yè)務(wù)分析平衡計(jì)分卡經(jīng)營指標(biāo)快報(bào)(KPIDashboard)利潤貢獻(xiàn)度客戶經(jīng)理績效考核產(chǎn)品績效分析1104監(jiān)管報(bào)表人行反洗錢人行征信非現(xiàn)場稽核五級分類數(shù)據(jù)加工內(nèi)部評級法定價(jià)系統(tǒng)客戶違約概率模型信用卡申請?jiān)u分模型資本充足率資產(chǎn)負(fù)債管理關(guān)聯(lián)交易應(yīng)用支持人行集中金融統(tǒng)計(jì)內(nèi)部財(cái)務(wù)信息分析管理會計(jì)數(shù)據(jù)標(biāo)準(zhǔn)企業(yè)數(shù)據(jù)架構(gòu)數(shù)據(jù)質(zhì)量管理元數(shù)據(jù)管理(Metadata)數(shù)據(jù)訪問安全管理國內(nèi)銀行商業(yè)智能應(yīng)用22客戶管理支持國內(nèi)銀行的數(shù)據(jù)倉庫應(yīng)用種常見的應(yīng)用模式及其演變發(fā)展66報(bào)表發(fā)生什么事情預(yù)定義報(bào)表分析為什么會發(fā)生隨機(jī)查詢,
BITools預(yù)測什么將會發(fā)生數(shù)據(jù)挖掘模型使用于操作什么正在發(fā)生捕捉動(dòng)態(tài)事件ACTIVATING
MAKEithappen!事件營銷操作智能是決策智能向業(yè)務(wù)系統(tǒng)和流程的延伸。決策智能操作智能常見的應(yīng)用模式及其演變發(fā)展23報(bào)表預(yù)定義報(bào)表分析隨機(jī)查詢,業(yè)務(wù)需求/分析和應(yīng)用模式的關(guān)系OLAP/固定報(bào)表隨機(jī)查詢挖掘模型用途:提供日常業(yè)務(wù)管理統(tǒng)計(jì),輔助發(fā)現(xiàn)業(yè)務(wù)發(fā)展趨勢。場景:客戶分布發(fā)生變化或者某項(xiàng)業(yè)務(wù)趨勢呈現(xiàn)異常,轉(zhuǎn)而使用其他分析手段,以“客戶交易金額和筆數(shù)分布發(fā)生變化”為例。用途:提供解決那些無法預(yù)先定義的查詢分析需求以及查找問題時(shí)的詳細(xì)鉆取。場景:“客戶交易金額和筆數(shù)分布發(fā)生變化”的詳細(xì)分析,比如“哪些客戶的哪些交易有了變化,是交易種類、金額、筆數(shù)還是交易場所?這些客戶的特征是怎樣的?他們在我行持有的產(chǎn)品分布如何?”用途:數(shù)據(jù)挖掘通過模式識別與數(shù)學(xué)模型技術(shù)從數(shù)據(jù)倉庫中的大量明細(xì)數(shù)據(jù)中發(fā)現(xiàn)隱藏的模式與趨勢。場景:經(jīng)過隨機(jī)分析發(fā)現(xiàn)那些屬于“交易金額和筆數(shù)分布發(fā)生變化”的客戶群中發(fā)現(xiàn)部分客戶最近有銷戶或者已經(jīng)很長時(shí)間不發(fā)生往來的傾向,因此需要利用“客戶流失模型”進(jìn)行評分,結(jié)合“客戶等級”確定需要進(jìn)行挽留的客戶名單。用途:支持綜合、復(fù)雜業(yè)務(wù)邏輯的應(yīng)用,提供前端的用戶使用界面。場景:設(shè)計(jì)營銷活動(dòng)進(jìn)行客戶挽留,輸入該營銷活動(dòng)的“執(zhí)行策略、日期、預(yù)計(jì)成本”以及具體的“溝通計(jì)劃”和“渠道使用規(guī)則”等信息。上述各模式的使用順序與邏輯僅是示例,依賴于具體的使用場景。應(yīng)用系統(tǒng)分析人員業(yè)務(wù)需求/分析和應(yīng)用模式的關(guān)系OLAP/固定報(bào)表隨機(jī)查詢挖掘應(yīng)用規(guī)劃考慮維度IT部門除了考慮數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、投資預(yù)算規(guī)模之外,更重要的是考慮應(yīng)用實(shí)施能否滿足業(yè)務(wù)用戶目前收益心理預(yù)期等因素,要想的大(全面,具體,全局觀)。數(shù)據(jù)倉庫建設(shè)規(guī)劃,要分步驟進(jìn)行實(shí)施,起步從小做起();不同業(yè)務(wù)部門對業(yè)務(wù)應(yīng)用的優(yōu)先度要求不同,必須綜合考慮不同部門對業(yè)務(wù)應(yīng)用的策略價(jià)值和投資回報(bào)評價(jià),形成初步的規(guī)劃后,再經(jīng)數(shù)據(jù)倉庫管理委員會討論確定。數(shù)據(jù)倉庫建設(shè)規(guī)劃,通常從以下三個(gè)方面進(jìn)行評估:實(shí)施難度:IT部門評估策略價(jià)值:決策層評估投資回報(bào):應(yīng)用部門評估應(yīng)用規(guī)劃考慮維度IT部門除了考慮數(shù)據(jù)質(zhì)量、數(shù)據(jù)可用性、投資預(yù)實(shí)施路線規(guī)劃倉庫規(guī)劃咨詢管控平臺建設(shè)ODS系統(tǒng)優(yōu)化業(yè)管技管理駕駛艙統(tǒng)一報(bào)送平臺即席查詢構(gòu)建數(shù)據(jù)倉庫技術(shù)框架數(shù)據(jù)倉庫部分模型入倉數(shù)據(jù)標(biāo)準(zhǔn)擴(kuò)展與落地?cái)?shù)據(jù)管控平臺應(yīng)用業(yè)管技數(shù)據(jù)倉庫接入范圍擴(kuò)展數(shù)據(jù)倉庫主題完善數(shù)據(jù)標(biāo)準(zhǔn)完善完善、推廣管控應(yīng)用完善流程與制度建立商業(yè)智能團(tuán)隊(duì)風(fēng)險(xiǎn)應(yīng)用客戶管理業(yè)商業(yè)智能團(tuán)隊(duì),擴(kuò)大業(yè)務(wù)支持范圍推廣數(shù)據(jù)挖掘和即席查詢應(yīng)用遷移管全方位管控體系的執(zhí)行和推廣提升數(shù)據(jù)資產(chǎn)質(zhì)量加強(qiáng)管控監(jiān)督技數(shù)據(jù)倉庫穩(wěn)定與完善數(shù)據(jù)服務(wù)提高技技術(shù)架構(gòu)管業(yè)業(yè)務(wù)支持?jǐn)?shù)據(jù)管控準(zhǔn)備階段第一階段第二階段第三階段實(shí)施路線規(guī)劃倉庫規(guī)劃咨詢業(yè)管技管理駕駛艙構(gòu)建數(shù)據(jù)倉庫技術(shù)框架數(shù)據(jù)倉庫體系規(guī)劃70應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃27應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)運(yùn)維體系規(guī)劃從現(xiàn)有的經(jīng)驗(yàn)看,數(shù)據(jù)倉庫體系的運(yùn)行維護(hù)主要是通過合理的組織架構(gòu),制定易于執(zhí)行的運(yùn)維管理流程和規(guī)范,通過完善的管理工具,對系統(tǒng)監(jiān)控、問題處理、系統(tǒng)變更等常規(guī)問題進(jìn)行系統(tǒng)化的處理,并在知識庫中予以記錄TitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhereTitleinhere日常監(jiān)控變更管理問題處理容量規(guī)劃備份恢復(fù)需求管理服務(wù)水平組織架構(gòu)管理工具①②③④⑤⑥⑦⑧⑨主管部門技術(shù)支持部門生產(chǎn)運(yùn)行部門數(shù)據(jù)支持部門資源管理部門資源監(jiān)控服務(wù)監(jiān)控應(yīng)用監(jiān)控運(yùn)行性問題非運(yùn)行性問題變更規(guī)范變更流程設(shè)計(jì)原則備份內(nèi)容備份策略備份管理技術(shù)緩沖層整合模型層共性加工層應(yīng)用集市層制定SLA標(biāo)準(zhǔn)落實(shí)標(biāo)準(zhǔn)周期性考核數(shù)據(jù)標(biāo)準(zhǔn)管理平臺元數(shù)據(jù)管理平臺數(shù)據(jù)質(zhì)量管理平臺綜合信息服務(wù)平臺問題管理系統(tǒng)項(xiàng)目需求臨時(shí)數(shù)據(jù)類需求組織架構(gòu)日常監(jiān)控問題處理變更管理備份恢復(fù)容量規(guī)劃服務(wù)水平管理工具需求管理運(yùn)維體系規(guī)劃從現(xiàn)有的經(jīng)驗(yàn)看,數(shù)據(jù)倉庫體系的運(yùn)行維護(hù)主要是通過運(yùn)行維護(hù)規(guī)劃-系統(tǒng)安全管理72系統(tǒng)安全管理綜述鑒于數(shù)據(jù)倉庫中數(shù)據(jù)的商業(yè)性和保密性,需要一個(gè)安全的系統(tǒng)來加強(qiáng)數(shù)據(jù)倉庫管理服務(wù),在保證數(shù)據(jù)安全的基礎(chǔ)上,提高數(shù)據(jù)倉庫運(yùn)作效率和準(zhǔn)確性。數(shù)據(jù)安全保證需要從技術(shù)和管理兩個(gè)層面實(shí)現(xiàn),技術(shù)層面主要是通過技術(shù)手段保證系統(tǒng)的安全;管理層面主要系統(tǒng)的安全策略由安全處理流程和安全制度組成,通過定義安全需求,同時(shí)定義處理流程和規(guī)章制度以滿足這些需求。網(wǎng)絡(luò)安全:包括防火墻、地址翻譯、監(jiān)控網(wǎng)絡(luò)通訊、數(shù)據(jù)傳輸加密等系統(tǒng)安全:包括限制用戶訪問主機(jī)資源、用戶口令安全規(guī)則等應(yīng)用安全:包括用戶管理、權(quán)限管理、日志審計(jì)等安全策略:包括用戶帳戶統(tǒng)一管理、通報(bào)機(jī)制、單點(diǎn)登錄等安全制度:包括建立角色權(quán)限視圖、規(guī)范應(yīng)用程序上線變更、生產(chǎn)與開發(fā)測試環(huán)境隔離等用戶安全:包括用戶認(rèn)證、用戶鎖定、用戶權(quán)限控制等數(shù)據(jù)庫安全:包括物理安全、用戶登錄控制、數(shù)據(jù)存取控制可靠性保護(hù):包括系統(tǒng)級數(shù)據(jù)保護(hù)、數(shù)據(jù)庫級數(shù)據(jù)保護(hù)安全策略:根據(jù)不同用戶需求劃分為四個(gè)層面,DBA、業(yè)務(wù)用戶、ETL用戶、開發(fā)測試用戶安全制度:通過制定數(shù)據(jù)安全使用授權(quán)機(jī)制及審批流程,結(jié)合安全審計(jì)等制度來保證數(shù)據(jù)資產(chǎn)的安全數(shù)據(jù)安全系統(tǒng)安全運(yùn)行維護(hù)規(guī)劃-系統(tǒng)安全管理29系統(tǒng)安全管理綜述鑒于數(shù)據(jù)倉庫中數(shù)據(jù)倉庫體系規(guī)劃73應(yīng)用體系應(yīng)用主題·應(yīng)用模式·應(yīng)用方案·實(shí)施規(guī)劃數(shù)據(jù)體系數(shù)據(jù)架構(gòu)·ODS·基礎(chǔ)層·匯總層·集市層技術(shù)體系統(tǒng)一交換·統(tǒng)一監(jiān)控·統(tǒng)一調(diào)度·統(tǒng)一發(fā)布·統(tǒng)一管控運(yùn)維體系數(shù)據(jù)存儲·數(shù)據(jù)質(zhì)量·元數(shù)據(jù)·安全組織架構(gòu)管控體系組織架構(gòu)·管控流程·管控內(nèi)容管控體系從數(shù)據(jù)體系、技術(shù)體系、應(yīng)用體系、運(yùn)維體系和管控體系五個(gè)方面闡述數(shù)據(jù)倉庫規(guī)劃。數(shù)據(jù)倉庫體系規(guī)劃30應(yīng)用體系數(shù)據(jù)體系技術(shù)體系運(yùn)維體系組織架構(gòu)數(shù)據(jù)管控核心要素系統(tǒng)工具組織架構(gòu)工作流程數(shù)據(jù)管控核心組成部分通過建立相應(yīng)的數(shù)據(jù)管控組織架構(gòu),梳理完善的管控工作流程,通過系統(tǒng)工具支撐日常工作,使數(shù)據(jù)管控治理工作能夠落到實(shí)處,全面提升銀行數(shù)據(jù)運(yùn)用水平和數(shù)據(jù)質(zhì)量。數(shù)據(jù)管控核心要素系統(tǒng)工具組織架構(gòu)工作流程數(shù)據(jù)管控核心組成部分?jǐn)?shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)和職責(zé)數(shù)據(jù)標(biāo)準(zhǔn)管理專員(計(jì)劃財(cái)務(wù)部)數(shù)據(jù)標(biāo)準(zhǔn)平臺管理員(計(jì)財(cái)部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(信息技術(shù)部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(個(gè)人銀行部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(公司銀行部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(計(jì)劃財(cái)務(wù)部)數(shù)據(jù)標(biāo)準(zhǔn)管理員(。。。)負(fù)責(zé)制定數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃;負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)制定、評審、發(fā)布、執(zhí)行、變更、復(fù)審等工作的具體組織與協(xié)調(diào);負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況的監(jiān)督檢查;協(xié)助制定數(shù)據(jù)標(biāo)準(zhǔn)化工作計(jì)劃;負(fù)責(zé)IT系統(tǒng)開發(fā)流程中標(biāo)準(zhǔn)核檢工作;協(xié)助數(shù)據(jù)標(biāo)準(zhǔn)執(zhí)行情況的監(jiān)督檢查;負(fù)責(zé)數(shù)據(jù)標(biāo)準(zhǔn)管理平臺的日常運(yùn)營和維護(hù)、用戶設(shè)置與管理;負(fù)責(zé)標(biāo)準(zhǔn)版本在平臺上的發(fā)布;各業(yè)務(wù)部門標(biāo)準(zhǔn)管理員負(fù)責(zé)本部門數(shù)據(jù)標(biāo)準(zhǔn)相關(guān)需求的收集、整理,并在需求管理平臺提交數(shù)據(jù)標(biāo)準(zhǔn)新增/變更需求。計(jì)劃財(cái)務(wù)部數(shù)據(jù)標(biāo)準(zhǔn)專員根據(jù)收集到的標(biāo)準(zhǔn)需求,牽頭開展定制相關(guān)標(biāo)準(zhǔn)、評審標(biāo)準(zhǔn)和審核落地計(jì)劃等工作。信息技術(shù)部在日常軟件開發(fā)流程以及變更流程中根據(jù)實(shí)際情況協(xié)助將標(biāo)準(zhǔn)進(jìn)行落地。數(shù)據(jù)標(biāo)準(zhǔn)管理組織架構(gòu)和職責(zé)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)數(shù)據(jù)標(biāo)準(zhǔn)制定流程標(biāo)準(zhǔn)提出方(分行、總行部門)數(shù)據(jù)標(biāo)準(zhǔn)管理員(業(yè)務(wù)部門)數(shù)據(jù)標(biāo)準(zhǔn)管理專員(計(jì)劃財(cái)務(wù)部)數(shù)據(jù)標(biāo)準(zhǔn)平臺管理員(計(jì)劃財(cái)務(wù)部)標(biāo)準(zhǔn)新增/變更需求是否提交?組織相關(guān)人員評審標(biāo)準(zhǔn)標(biāo)準(zhǔn)提出需求審批標(biāo)準(zhǔn)評審標(biāo)準(zhǔn)發(fā)布崗位職責(zé)比對現(xiàn)有標(biāo)準(zhǔn)否是數(shù)據(jù)標(biāo)準(zhǔn)咨詢項(xiàng)目組收集標(biāo)準(zhǔn)需求組織標(biāo)準(zhǔn)可行性/必要性評審是否通過?否建立/變更數(shù)據(jù)標(biāo)準(zhǔn)制定標(biāo)準(zhǔn)是牽頭申請標(biāo)準(zhǔn)立項(xiàng),制定工作計(jì)劃是否通過?結(jié)束需求否是標(biāo)準(zhǔn)發(fā)布數(shù)據(jù)標(biāo)準(zhǔn)管理平臺需求管理平臺非管控平臺流程說明是否立項(xiàng)?是否建立/變更數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)制定流程標(biāo)準(zhǔn)提出方數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)平臺標(biāo)準(zhǔn)新數(shù)據(jù)管控系統(tǒng)界面數(shù)據(jù)管控系統(tǒng)界面標(biāo)準(zhǔn)管理系統(tǒng)-標(biāo)準(zhǔn)瀏覽八大類信息項(xiàng)目錄樹產(chǎn)品分類映射到PMS中INDV_BASC_NFO的EDU_LEVEL學(xué)歷標(biāo)準(zhǔn)代碼小類信息項(xiàng)明細(xì)信息項(xiàng)標(biāo)準(zhǔn)與系統(tǒng)映射映射到具體字段標(biāo)準(zhǔn)管理系統(tǒng)-標(biāo)準(zhǔn)瀏覽八大類信息項(xiàng)目錄樹產(chǎn)品分類映射到PMS元數(shù)據(jù)管理系統(tǒng)-數(shù)據(jù)字典瀏覽選擇具體系統(tǒng)選擇具體表查看卡狀態(tài)代碼“是否代碼字段”為1,表示有代碼注釋元數(shù)據(jù)
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 2025年巴音郭楞道路運(yùn)輸從業(yè)資格證考試內(nèi)容是什么
- 小學(xué)三年級100道口算題
- 2025年欽州貨運(yùn)上崗證模擬考試題
- 2025年荷澤貨運(yùn)從業(yè)資格證模擬考試駕考
- 華東師大版七年級數(shù)學(xué)上冊《第3章整式的加減3.1列代數(shù)式3.1.3列代數(shù)式 》聽評課記錄
- 湘教版數(shù)學(xué)八年級下冊《2.2.1平行四邊形的邊、角性質(zhì)》聽評課記錄
- 建筑項(xiàng)目經(jīng)理工作總結(jié)
- 初中理科教研組工作計(jì)劃
- 新學(xué)校校辦室工作計(jì)劃
- 平面設(shè)計(jì)師工作計(jì)劃范文欣賞
- Bankart損傷的診療進(jìn)展培訓(xùn)課件
- 護(hù)理部用藥安全質(zhì)量評價(jià)標(biāo)準(zhǔn)
- 校園信息化設(shè)備管理檢查表
- 新版抗拔樁裂縫及強(qiáng)度驗(yàn)算計(jì)算表格(自動(dòng)版)
- API SPEC 5DP-2020鉆桿規(guī)范
- 創(chuàng)新思維課件(完整版)
- DB34∕T 4161-2022 全過程工程咨詢服務(wù)管理規(guī)程
- 部編版小學(xué)生語文教師:統(tǒng)編版語文1-6年級語文要素梳理
- 注塑成型工藝參數(shù)知識講解
- 安全生產(chǎn)專業(yè)化管理
- 初中生成長檔案模板
評論
0/150
提交評論