金融大數(shù)據(jù)中心建設(shè)規(guī)劃

1、 Page * MERGEFORMAT 7金融大數(shù)據(jù)中心建設(shè)規(guī)劃目錄 TOC o 1-3 h z u HYPERLINK l _Toc504504726 1、數(shù)據(jù)中心數(shù)據(jù)現(xiàn)狀 PAGEREF _Toc504504726 h 3 HYPERLINK l _Toc504504727 1.1 數(shù)據(jù)中心核心信息數(shù)據(jù)情況 PAGEREF _Toc504504727 h 3 HYPERLINK l _Toc504504728 1.2 數(shù)據(jù)中心與外部系統(tǒng)信息交互情況 PAGEREF _Toc504504728 h 4 HYPERLINK l _Toc504504729 1.3數(shù)據(jù)中心目前的數(shù)據(jù)存儲(chǔ)情況 PA

2、GEREF _Toc504504729 h 4 HYPERLINK l _Toc504504730 2、數(shù)據(jù)中心系統(tǒng)現(xiàn)狀 PAGEREF _Toc504504730 h 5 HYPERLINK l _Toc504504731 2.1 系統(tǒng)架構(gòu) PAGEREF _Toc504504731 h 5 HYPERLINK l _Toc504504732 2.2 功能描述 PAGEREF _Toc504504732 h 5 HYPERLINK l _Toc504504733 2.3面臨的問題 PAGEREF _Toc504504733 h 6 HYPERLINK l _Toc504504734 3、項(xiàng)目

3、建設(shè)目標(biāo) PAGEREF _Toc504504734 h 6 HYPERLINK l _Toc504504735 3.1 業(yè)務(wù)目標(biāo) PAGEREF _Toc504504735 h 6 HYPERLINK l _Toc504504736 3.1.1.建立數(shù)據(jù)模型分析平臺(tái)，開展持卡人交易行為分析 PAGEREF _Toc504504736 h 6 HYPERLINK l _Toc504504737 3.1.2.建立基于大數(shù)據(jù)平臺(tái)的海量數(shù)據(jù)統(tǒng)計(jì)平臺(tái) PAGEREF _Toc504504737 h 7 HYPERLINK l _Toc504504738 3.1.3.能滿足對(duì)海量歷史數(shù)據(jù)進(jìn)行快速查詢的要

4、求 PAGEREF _Toc504504738 h 7 HYPERLINK l _Toc504504739 3.2 技術(shù)目標(biāo) PAGEREF _Toc504504739 h 71、數(shù)據(jù)中心數(shù)據(jù)現(xiàn)狀1.1 數(shù)據(jù)中心核心信息數(shù)據(jù)情況數(shù)據(jù)中心對(duì)外展示功能主要基于業(yè)務(wù)數(shù)據(jù)查詢平臺(tái)，其主要功能包括：關(guān)鍵指標(biāo)展示、多維分析、專題明細(xì)查詢、常用數(shù)據(jù)瀏覽、靜態(tài)報(bào)表下載以及部分業(yè)務(wù)參數(shù)管理和維護(hù)。數(shù)據(jù)中心保存的數(shù)據(jù)主要包含三大類：交易流水類數(shù)據(jù)、商戶檔案類數(shù)據(jù)和匯總統(tǒng)計(jì)類數(shù)據(jù)，均為結(jié)構(gòu)化數(shù)據(jù)。1.2 數(shù)據(jù)中心與外部系統(tǒng)信息交互情況1.3數(shù)據(jù)中心目前的數(shù)據(jù)存儲(chǔ)情況數(shù)據(jù)中心目前數(shù)據(jù)量情況為全庫18T，其中流水類數(shù)據(jù)

5、為10T包括綜合流水（90億條記錄），新一代增值流水（FJNL）,清分流水。每日增量流水約1200萬條記錄。商戶信息數(shù)據(jù)按天保存，商戶數(shù)約為300萬，終端數(shù)約為480萬。每天數(shù)據(jù)量約為10G。2、數(shù)據(jù)中心系統(tǒng)現(xiàn)狀2.1 系統(tǒng)架構(gòu)2.2 功能描述新一代流水、清分流水、結(jié)算流水和BMS商戶數(shù)據(jù)分別以文本和oracle dmp格式通過ftp方式傳輸?shù)綌?shù)據(jù)中心服務(wù)器上，每天定時(shí)由批處理服務(wù)器通過批量框架（C+）調(diào)用批量過程按分支機(jī)構(gòu)并發(fā)地將文件或DMP包導(dǎo)入數(shù)據(jù)庫中。并通過調(diào)用存儲(chǔ)過程完成數(shù)據(jù)的清洗、關(guān)聯(lián)、數(shù)據(jù)補(bǔ)齊工作。批量過程完成元數(shù)據(jù)加工工作后，按各種業(yè)務(wù)維度按天、按月匯總交易數(shù)交易金額和收益等數(shù)

6、據(jù)并生成關(guān)鍵指標(biāo)數(shù)據(jù)。目前數(shù)據(jù)中有各種維度的匯總統(tǒng)計(jì)表80余張。完成匯總后，批量框架服務(wù)會(huì)根據(jù)關(guān)鍵指標(biāo)數(shù)據(jù)生成cognos cube，并刷新cognos服務(wù)；同時(shí)報(bào)表生成程序會(huì)根據(jù)中間匯總表生成預(yù)定的報(bào)表文件。終端用戶以web訪問方式通過查詢平臺(tái)可以查詢定制的報(bào)表或者通過cognos組件以儀表盤方式查詢各動(dòng)態(tài)報(bào)表。用戶亦可通過拖拉拽方式自由組合維度和度量生成報(bào)表表格，通過cube可以實(shí)現(xiàn)數(shù)據(jù)的多維分析和動(dòng)態(tài)鉆取。2.3面臨的問題1. 單庫查詢方式的數(shù)據(jù)存儲(chǔ)容量有限，很難做到數(shù)據(jù)的長(zhǎng)期保存和查詢。2新增中間統(tǒng)計(jì)匯總需求或者中間統(tǒng)計(jì)匯總口徑發(fā)生變化時(shí)，對(duì)存量數(shù)據(jù)的重新匯總需要耗費(fèi)很漫長(zhǎng)的時(shí)間。3無

7、法滿足海量歷史數(shù)據(jù)隨機(jī)查詢的需求。4數(shù)據(jù)備份困難，超大容量數(shù)據(jù)庫在備份和恢復(fù)方面存在很大困難，成本極高。5. 數(shù)據(jù)分析處理能力有限，僅能按日進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，無法進(jìn)行海量數(shù)據(jù)抽取運(yùn)算。3、項(xiàng)目建設(shè)目標(biāo)3.1 業(yè)務(wù)目標(biāo) 大數(shù)據(jù)建設(shè)工作主要包括：3.1.1.建立數(shù)據(jù)模型分析平臺(tái)，開展持卡人交易行為分析持卡人交易行為分析是已交易流水中的卡號(hào)為對(duì)象，根據(jù)持卡人歷史消費(fèi)情況進(jìn)行數(shù)據(jù)擬合，根據(jù)一筆實(shí)際消費(fèi)信息快速計(jì)算出該持卡人下一筆可能的消費(fèi)目的，為精準(zhǔn)營(yíng)銷提供支持。持卡人行為分析除了分析模型建立外，還包含了商圈的識(shí)別，目前我們已對(duì)部分商戶地址進(jìn)行了坐標(biāo)化（百度坐標(biāo)）。該行為分析的時(shí)限要求是1秒內(nèi)且在1000TPS的情況下延時(shí)不超過5秒。3.1.2.建立基于大數(shù)據(jù)平臺(tái)的海量數(shù)據(jù)統(tǒng)計(jì)平臺(tái)海量歷史數(shù)據(jù)統(tǒng)計(jì)要求是非實(shí)時(shí)的，是針對(duì)一定統(tǒng)計(jì)口徑進(jìn)行匯總的批處理要求。例如一定統(tǒng)計(jì)口徑下針對(duì)90億條流水按天生成匯總的中間結(jié)果，速度要求是小時(shí)級(jí)。3.1.3.能滿足對(duì)海量歷史數(shù)據(jù)進(jìn)行快速查詢的要求海量歷史數(shù)據(jù)快速查詢要求對(duì)海量歷史流水按一定條件進(jìn)行快速查詢，需實(shí)現(xiàn)分頁技術(shù)。此需求要求搜索的數(shù)據(jù)量大，響應(yīng)速度快，要求能在分鐘級(jí)內(nèi)從大數(shù)據(jù)平臺(tái)返回?cái)?shù)據(jù)集給前端應(yīng)用。3.2 技術(shù)目標(biāo)1.具備強(qiáng)大計(jì)算處理能力和存儲(chǔ)能力。2.采用X86框架服務(wù)