數(shù)據(jù)集市數(shù)據(jù)架構(gòu)方案設(shè)計

2021

項目工作建議匯報匯報方:XXX工作計劃/商業(yè)計劃目錄2業(yè)務(wù)部需求計劃1科技部IT需求2021年度工作概述科技部需求The2021annualworksummary01001信用卡集市改造升級數(shù)據(jù)架構(gòu)—加工計量層定位信用卡集市項目背景

XX項目信用卡集市建設(shè)基于大數(shù)據(jù)技術(shù)的數(shù)據(jù)集市、結(jié)合數(shù)據(jù)治理措施，集中統(tǒng)籌管理XX項目信用卡中心業(yè)務(wù)數(shù)據(jù)，并從信用卡營銷、運營和風(fēng)險控制的業(yè)務(wù)角度出發(fā)，實現(xiàn)數(shù)據(jù)管理集中化和規(guī)范化，提升面對復(fù)雜市場環(huán)境和監(jiān)管政策下的數(shù)據(jù)管理和決策支持能力，并為后續(xù)衍生出更多適應(yīng)市場變化創(chuàng)新產(chǎn)品提供平臺基礎(chǔ)，實現(xiàn)數(shù)據(jù)業(yè)務(wù)價值挖掘和數(shù)據(jù)價值變現(xiàn)，為信用卡業(yè)務(wù)戰(zhàn)略決策和高效運營提供準確高效的數(shù)據(jù)支持，提升行業(yè)科技競爭力。信用卡集市定位信用卡數(shù)據(jù)集市，在BigData基礎(chǔ)上，以信用卡、ETC業(yè)務(wù)驅(qū)動為主，數(shù)據(jù)驅(qū)動為輔，建立的一種多層次數(shù)據(jù)訪問服務(wù)體系。支持新報表或報表需求變更的敏捷開發(fā)、落地支持分行特色業(yè)務(wù)以及報表的分層級管理信用卡數(shù)據(jù)集市的特點數(shù)據(jù)層面業(yè)務(wù)層面功能層面數(shù)據(jù)管理層面確定的數(shù)據(jù)來源采用模型化結(jié)構(gòu)對業(yè)務(wù)數(shù)據(jù)進行加工整合減少同類報表間數(shù)據(jù)的冗余存儲和重復(fù)的ETL工作實現(xiàn)信用卡、ETC業(yè)務(wù)的整合以及分類，支持業(yè)務(wù)按照數(shù)據(jù)來源進行查詢存儲信用卡報表計量結(jié)果數(shù)據(jù)分析與報表展現(xiàn)分行特色業(yè)務(wù)查詢報表分層級管理應(yīng)用展現(xiàn)權(quán)限控制建立數(shù)據(jù)質(zhì)量檢核機制推進信用卡數(shù)據(jù)質(zhì)量的改善大數(shù)據(jù)平臺信用卡集市改造信用卡系統(tǒng)其他系統(tǒng)數(shù)據(jù)源數(shù)據(jù)安全備份恢復(fù)數(shù)據(jù)校驗系統(tǒng)監(jiān)控數(shù)據(jù)質(zhì)量規(guī)則配置運營管理數(shù)據(jù)質(zhì)量任務(wù)監(jiān)控任務(wù)管理數(shù)據(jù)處理調(diào)度引擎數(shù)據(jù)存儲基礎(chǔ)數(shù)據(jù)主題計量數(shù)據(jù)主題應(yīng)用數(shù)據(jù)主題信用卡報表系統(tǒng)行內(nèi)業(yè)務(wù)分析報表對外報送報表數(shù)據(jù)平臺DWH整體架構(gòu)-加工計量主題域整體架構(gòu)—具體描述源系統(tǒng)數(shù)據(jù)源信用卡集市現(xiàn)狀：信用卡數(shù)據(jù)集市的數(shù)據(jù)源為信用卡系統(tǒng)、數(shù)據(jù)從XX項目DWH平臺中接入大數(shù)據(jù)平臺，DWH通過中轉(zhuǎn)服務(wù)器給大數(shù)據(jù)平臺下發(fā)數(shù)據(jù)文件。

大數(shù)據(jù)平臺信用卡接口數(shù)據(jù)將進行數(shù)據(jù)指標校驗以及數(shù)據(jù)條數(shù)校驗規(guī)則進行程序的加工處理。改造方案：信用卡數(shù)據(jù)源進行數(shù)據(jù)目錄切換，不在通過DWH進行數(shù)據(jù)文件下發(fā)，將通過源系統(tǒng)目錄文件進行數(shù)據(jù)接收接入大數(shù)據(jù)平臺，跳過DWH平臺。與DWH中轉(zhuǎn)服務(wù)器連機：落地為文本文件數(shù)據(jù)存儲信用卡集市現(xiàn)狀：對信用卡數(shù)據(jù)集市內(nèi)的基礎(chǔ)數(shù)據(jù)主題、計量數(shù)據(jù)主題、應(yīng)用數(shù)據(jù)主題等各數(shù)據(jù)主題進行定制化的存儲，可指定關(guān)鍵時間節(jié)點存儲、時間段歷史存儲數(shù)據(jù)交換數(shù)據(jù)處理數(shù)據(jù)處理任務(wù)由統(tǒng)一大數(shù)據(jù)平臺調(diào)度機器人完成來完成，調(diào)度工具具備成熟的調(diào)度處理、任務(wù)監(jiān)控、任務(wù)分析等功能信用卡數(shù)據(jù)集市加工計量層主題：計量數(shù)據(jù)主題，進行指標共性加工存儲、以供應(yīng)用主題、進行定制化的存儲，可指定關(guān)鍵時間節(jié)點存儲、時間段歷史存儲整體架構(gòu)—系統(tǒng)交互上游系統(tǒng)大數(shù)據(jù)平臺應(yīng)用服務(wù)DWH標準接口文件BigData加載加載ADS聯(lián)機庫信用卡集市ORA聯(lián)機庫說明：針對大數(shù)據(jù)平臺數(shù)據(jù)集市改造，數(shù)據(jù)接口將不再接DWH數(shù)據(jù)文件，直接對接原系統(tǒng)數(shù)據(jù)目錄文件，大數(shù)據(jù)平臺自身進行清洗臟數(shù)據(jù)后，接入BigData。數(shù)據(jù)架構(gòu)—層次介紹基礎(chǔ)數(shù)據(jù)主題存儲信用卡集市應(yīng)用所需的全部基礎(chǔ)數(shù)據(jù)，進行統(tǒng)一的數(shù)據(jù)清洗、整合、預(yù)鏈接和預(yù)加工計量數(shù)據(jù)主題存儲信用卡應(yīng)用的聚合匯總（計量加工）數(shù)據(jù)，即從基礎(chǔ)數(shù)據(jù)層加工而來的匯總（計量）數(shù)據(jù)，基礎(chǔ)指標的加工應(yīng)用數(shù)據(jù)主題直接用于前端展示的業(yè)務(wù)數(shù)據(jù)，依據(jù)業(yè)務(wù)需求，對基礎(chǔ)指標進行最終加工，并保存歷史數(shù)據(jù)。數(shù)據(jù)架構(gòu)—詳細介紹數(shù)據(jù)存儲信用卡源系統(tǒng)數(shù)據(jù)接口其他系統(tǒng)數(shù)據(jù)接口數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)每天數(shù)據(jù)通過日期字段區(qū)分數(shù)據(jù)處理加載源數(shù)據(jù)文件到BigData庫數(shù)據(jù)文件加載需要配置作業(yè)任務(wù)數(shù)據(jù)形式數(shù)據(jù)庫表存儲策略保留14天（以業(yè)務(wù)給定保存策略為準）數(shù)據(jù)存儲對基礎(chǔ)數(shù)據(jù)的聚合匯總、計量加工、基礎(chǔ)指標加工等數(shù)據(jù)結(jié)構(gòu)面向信用卡應(yīng)用主題建模。解耦合的設(shè)計模式數(shù)據(jù)處理

SQL語句作業(yè)運行日志以文件的形式保存數(shù)據(jù)形式數(shù)據(jù)庫表存儲策略存儲3-5年歷史數(shù)據(jù)（以業(yè)務(wù)給定保存策略為準）數(shù)據(jù)存儲基礎(chǔ)指標的最終加工直接用于前端展現(xiàn)數(shù)據(jù)結(jié)構(gòu)基于報表展現(xiàn)的設(shè)計數(shù)據(jù)處理SQL語句作業(yè)運行日志以文件的形式保存數(shù)據(jù)形式數(shù)據(jù)庫表存儲策略存儲3-5年歷史數(shù)據(jù)（以業(yè)務(wù)給定保存策略為準）計量數(shù)據(jù)主題應(yīng)用數(shù)據(jù)主題基礎(chǔ)數(shù)據(jù)主題數(shù)據(jù)架構(gòu)—ETL處理過程XX項目信用卡數(shù)據(jù)集市大數(shù)據(jù)統(tǒng)一調(diào)度平臺接口文件加載校驗加載通信接口基礎(chǔ)數(shù)據(jù)主題計量加工關(guān)聯(lián)代碼轉(zhuǎn)換匯總計量數(shù)據(jù)主題基礎(chǔ)指標應(yīng)用加工匯總關(guān)聯(lián)報表指標應(yīng)用數(shù)據(jù)主題校驗加載通信接口關(guān)聯(lián)代碼轉(zhuǎn)換匯總基礎(chǔ)指標關(guān)聯(lián)報表指標數(shù)據(jù)架構(gòu)—加工計量層指標項貸款品種貸款產(chǎn)品支付渠道運營管理部風(fēng)險管理部業(yè)務(wù)拓展部貸款產(chǎn)品貸款期限最后到期日貸款產(chǎn)品合作渠道貸款區(qū)域分類業(yè)務(wù)維度業(yè)務(wù)指標放款筆數(shù)放款金額應(yīng)收本金放款渠道進件渠道還款渠道明細類客戶明細放款明細還款明細賬務(wù)差異明細貸款明細逾期金額逾期利息逾期天數(shù)逾期貸款明細放款明細還款明細五級分類貸款狀態(tài)還款方式貸款金額貸款余額到期本金進件筆數(shù)、金額放款筆數(shù)放款金額累積放款客戶數(shù)累計放款筆數(shù)累計放款金額學(xué)歷性別年齡城市級別客戶明細首期逾期金額累積歸還本金催收服務(wù)費新增客戶數(shù)授信筆數(shù)授信金額實收本金應(yīng)收利息實收利息交易成功率貸款期數(shù)扣款類型貸款類型進件渠道貸款品種2021年度工作概述科技部需求The2021annualworksummary02002績效考核改造升級歷年常規(guī)任務(wù)：

①配合對公績效考核中間業(yè)務(wù)供數(shù)；

②績效考核填報，審核人員賦權(quán)；

③分值報表查看角色調(diào)整；

④檢查所有填報審批流程；

⑤分值指標填報配合格式修改，添加新指標考核標準配合開發(fā)；

⑥配合業(yè)務(wù)人員分析相關(guān)數(shù)據(jù)指標存疑問題?？萍疾縄T需求—績效考核平臺改造新建貸款考核指標平臺：

①建設(shè)分支行系列貸款考核指標，按照各部門劃分對公條線及對私條線貸款考核制；

②建設(shè)縣域支行系列貸款考核指標，按照不同部門劃分不同業(yè)務(wù)條線，如：風(fēng)險部，風(fēng)險類考核指標；授信部，征信貸款考核指標。

績效考核指標評分01常規(guī)任務(wù)_存款02計劃實施_貸款010203

建設(shè)大數(shù)據(jù)平臺ODS層數(shù)據(jù)清洗機制；不通過數(shù)據(jù)倉庫下發(fā)清洗上游數(shù)據(jù)文件，上游系統(tǒng)數(shù)據(jù)文件直接下發(fā)中轉(zhuǎn)服務(wù)器UP目錄下（DOWN目錄為數(shù)據(jù)倉庫平臺清洗后的下發(fā)數(shù)據(jù)文件），BIGDATA平臺直接進行CHECK檢測IPM平臺中；優(yōu)點：可跳過數(shù)據(jù)倉庫平臺清洗卸載的等待時間?？萍疾縄T需求—運營優(yōu)化

目前，大數(shù)據(jù)平臺ODS層接入上游系統(tǒng)表1325張，經(jīng)過分析統(tǒng)計有727張數(shù)據(jù)表無下游任務(wù)使用，接入數(shù)據(jù)表緊40%使用率；為減輕平臺批量任務(wù)的負荷情況，①可進行727張數(shù)據(jù)表下線處理②在不線下的前提下，進行大數(shù)據(jù)平臺時間空閑的情況下進行設(shè)置數(shù)據(jù)刷新同步。優(yōu)點：減少平臺批量任務(wù)時間，同樣可減輕CHECK任務(wù)的排隊擁擠，預(yù)估可減少批量時間2-3小時左右。

優(yōu)化ETL任務(wù)