金融大數(shù)據(jù)中心建設(shè)規(guī)劃

1、 Page * MERGEFORMAT 7金融大數(shù)據(jù)中心建設(shè)規(guī)劃目錄 TOC o 1-3 h z u HYPERLINK l _Toc504504726 1、數(shù)據(jù)中心數(shù)據(jù)現(xiàn)狀 PAGEREF _Toc504504726 h 3 HYPERLINK l _Toc504504727 1.1 數(shù)據(jù)中心核心信息數(shù)據(jù)情況 PAGEREF _Toc504504727 h 3 HYPERLINK l _Toc504504728 1.2 數(shù)據(jù)中心與外部系統(tǒng)信息交互情況 PAGEREF _Toc504504728 h 4 HYPERLINK l _Toc504504729 1.3數(shù)據(jù)中心目前的數(shù)據(jù)存儲情況 PA

2、GEREF _Toc504504729 h 4 HYPERLINK l _Toc504504730 2、數(shù)據(jù)中心系統(tǒng)現(xiàn)狀 PAGEREF _Toc504504730 h 5 HYPERLINK l _Toc504504731 2.1 系統(tǒng)架構(gòu) PAGEREF _Toc504504731 h 5 HYPERLINK l _Toc504504732 2.2 功能描述 PAGEREF _Toc504504732 h 5 HYPERLINK l _Toc504504733 2.3面臨的問題 PAGEREF _Toc504504733 h 6 HYPERLINK l _Toc504504734 3、項目

3、建設(shè)目標 PAGEREF _Toc504504734 h 6 HYPERLINK l _Toc504504735 3.1 業(yè)務(wù)目標 PAGEREF _Toc504504735 h 6 HYPERLINK l _Toc504504736 3.1.1.建立數(shù)據(jù)模型分析平臺，開展持卡人交易行為分析 PAGEREF _Toc504504736 h 6 HYPERLINK l _Toc504504737 3.1.2.建立基于大數(shù)據(jù)平臺的海量數(shù)據(jù)統(tǒng)計平臺 PAGEREF _Toc504504737 h 7 HYPERLINK l _Toc504504738 3.1.3.能滿足對海量歷史數(shù)據(jù)進行快速查詢的要

4、求 PAGEREF _Toc504504738 h 7 HYPERLINK l _Toc504504739 3.2 技術(shù)目標 PAGEREF _Toc504504739 h 71、數(shù)據(jù)中心數(shù)據(jù)現(xiàn)狀1.1 數(shù)據(jù)中心核心信息數(shù)據(jù)情況數(shù)據(jù)中心對外展示功能主要基于業(yè)務(wù)數(shù)據(jù)查詢平臺，其主要功能包括：關(guān)鍵指標展示、多維分析、專題明細查詢、常用數(shù)據(jù)瀏覽、靜態(tài)報表下載以及部分業(yè)務(wù)參數(shù)管理和維護。數(shù)據(jù)中心保存的數(shù)據(jù)主要包含三大類：交易流水類數(shù)據(jù)、商戶檔案類數(shù)據(jù)和匯總統(tǒng)計類數(shù)據(jù)，均為結(jié)構(gòu)化數(shù)據(jù)。1.2 數(shù)據(jù)中心與外部系統(tǒng)信息交互情況1.3數(shù)據(jù)中心目前的數(shù)據(jù)存儲情況數(shù)據(jù)中心目前數(shù)據(jù)量情況為全庫18T，其中流水類數(shù)據(jù)

5、為10T包括綜合流水（90億條記錄），新一代增值流水（FJNL）,清分流水。每日增量流水約1200萬條記錄。商戶信息數(shù)據(jù)按天保存，商戶數(shù)約為300萬，終端數(shù)約為480萬。每天數(shù)據(jù)量約為10G。2、數(shù)據(jù)中心系統(tǒng)現(xiàn)狀2.1 系統(tǒng)架構(gòu)2.2 功能描述新一代流水、清分流水、結(jié)算流水和BMS商戶數(shù)據(jù)分別以文本和oracle dmp格式通過ftp方式傳輸?shù)綌?shù)據(jù)中心服務(wù)器上，每天定時由批處理服務(wù)器通過批量框架（C+）調(diào)用批量過程按分支機構(gòu)并發(fā)地將文件或DMP包導(dǎo)入數(shù)據(jù)庫中。并通過調(diào)用存儲過程完成數(shù)據(jù)的清洗、關(guān)聯(lián)、數(shù)據(jù)補齊工作。批量過程完成元數(shù)據(jù)加工工作后，按各種業(yè)務(wù)維度按天、按月匯總交易數(shù)交易金額和收益等數(shù)

6、據(jù)并生成關(guān)鍵指標數(shù)據(jù)。目前數(shù)據(jù)中有各種維度的匯總統(tǒng)計表80余張。完成匯總后，批量框架服務(wù)會根據(jù)關(guān)鍵指標數(shù)據(jù)生成cognos cube，并刷新cognos服務(wù)；同時報表生成程序會根據(jù)中間匯總表生成預(yù)定的報表文件。終端用戶以web訪問方式通過查詢平臺可以查詢定制的報表或者通過cognos組件以儀表盤方式查詢各動態(tài)報表。用戶亦可通過拖拉拽方式自由組合維度和度量生成報表表格，通過cube可以實現(xiàn)數(shù)據(jù)的多維分析和動態(tài)鉆取。2.3面臨的問題1. 單庫查詢方式的數(shù)據(jù)存儲容量有限，很難做到數(shù)據(jù)的長期保存和查詢。2新增中間統(tǒng)計匯總需求或者中間統(tǒng)計匯總口徑發(fā)生變化時，對存量數(shù)據(jù)的重新匯總需要耗費很漫長的時間。3無

7、法滿足海量歷史數(shù)據(jù)隨機查詢的需求。4數(shù)據(jù)備份困難，超大容量數(shù)據(jù)庫在備份和恢復(fù)方面存在很大困難，成本極高。5. 數(shù)據(jù)分析處理能力有限，僅能按日進行數(shù)據(jù)統(tǒng)計，無法進行海量數(shù)據(jù)抽取運算。3、項目建設(shè)目標3.1 業(yè)務(wù)目標 大數(shù)據(jù)建設(shè)工作主要包括：3.1.1.建立數(shù)據(jù)模型分析平臺，開展持卡人交易行為分析持卡人交易行為分析是已交易流水中的卡號為對象，根據(jù)持卡人歷史消費情況進行數(shù)據(jù)擬合，根據(jù)一筆實際消費信息快速計算出該持卡人下一筆可能的消費目的，為精準營銷提供支持。持卡人行為分析除了分析模型建立外，還包含了商圈的識別，目前我們已對部分商戶地址進行了坐標化（百度坐標）。該行為分析的時限要求是1秒內(nèi)且在1000TPS的情況下延時不超過5秒。3.1.2.建立基于大數(shù)據(jù)平臺的海量數(shù)據(jù)統(tǒng)計平臺海量歷史數(shù)據(jù)統(tǒng)計要求是非實時的，是針對一定統(tǒng)計口徑進行匯總的批處理要求。例如一定統(tǒng)計口徑下針對90億條流水按天生成匯總的中間結(jié)果，速度要求是小時級。3.1.3.能滿足對海量歷史數(shù)據(jù)進行快速查詢的要求海量歷史數(shù)據(jù)快速查詢要求對海量歷史流水按一定條件進行快速查詢，需實現(xiàn)分頁技術(shù)。此需求要求搜索的數(shù)據(jù)量大，響應(yīng)速度快，要求能在分鐘級內(nèi)從大數(shù)據(jù)平臺返回數(shù)據(jù)集給前端應(yīng)用。3.2 技術(shù)目標1.具備強大計算處理能力和存儲能力。2.采用X86框架服務(wù)