金融大數據解決方案之我談

大數據背后的技術金融大數據與傳統數倉議題構建金融大數據解決方案大數據解決方案分析實踐大數據平臺數據倉庫案例第一頁，共23頁。大數據背后的技術第二頁，共23頁。大數據技術起源3Google三大論文MapReduce/GFS/BigTableApacheLucene

開源的高性能全文檢索工具包ApacheNutch開源的Web搜索引擎第三頁，共23頁。大數據技術起源4GoogleHadoopGFSHDFSMapReduceMapReduceBigTableHBase第四頁，共23頁。大數據技術的發(fā)展52004年--DougCutting基于Google論文實現(HDFS/MapReduce)。2005年12月--Nutch移植到新的框架，Hadoop在20個節(jié)點上穩(wěn)定運行。2006年01月--DougCutting加入雅虎。2006年02月--ApacheHadoop項目正式啟動以支持MapReduce和HDFS的獨立發(fā)展。2008年04月--贏得世界最快1TB數據排序在900個節(jié)點上用時209秒。2008年10月--研究集群每天裝載10TB的數據。2009年03月--17個集群總共24000臺機器。2009年04月--59秒內排序500GB(1400個節(jié)點)和173分鐘內排序100TB數據(3400個節(jié)點)。第五頁，共23頁。大數據平臺集成商6Cloudera

HortonworksFusionInsight（華為）Transwarp

（星環(huán)）第六頁，共23頁。大數據平臺核心組件7HADOOP（分布式文件系統HDFS，并行計算框架MapReduce)YARN（Hadoop資源管理器：計算、內存、帶寬等）

HIVE

（分布式數據倉庫，HiveQL語言，不適合低延遲計算）HBASE（寬表、大表的非結構化數據庫）SPARK（具有MapReduce有點，中間結果在內存，語言JAVA、SCALA）ZOOKEEPER（分布式應用程序協調服務）MANAGER（集群管理）Mahout(可擴展的機器學習和數據挖掘庫)第七頁，共23頁。金融大數據與傳統倉庫第八頁，共23頁。金融傳統數據倉庫9報表平臺績效系統支付系統客戶360個人結算賬戶回單打印銀企對賬存貸標準化監(jiān)管報送系統內審系統關聯交易成本分攤風險監(jiān)控外管報送系統風險預警平臺EAST數據報送總部一體化后督AML反洗錢。。。。。?？蛻麸L險第九頁，共23頁。大數據部分應用場景10網絡金融征信P2P網絡貸款市場規(guī)模急劇增長個人征信業(yè)務需求不斷上升通過大數據實時分析客戶信用記錄提升企業(yè)價值小微貸款管理需要大數據分析提供業(yè)務支撐利用實時數據處理信息管理、交叉營銷、信貸模型分析以及業(yè)務風險控制的需求不斷提升財富管理評估利用大數據分析給予用戶有價值的財富管理產品組合使用業(yè)態(tài)廣：銀行/財富管理機構/券商/保險反欺詐預警滲漏與欺詐風險增加，控制力度和手段不足缺乏先進的分析能力“實時高效”的甄別可疑理賠行為客戶識別、流失預警分析識別潛在客戶群體、維護老客戶、降低客戶開發(fā)成本成為主要需求理賠審查評估騙保識別成為保險業(yè)最大問題難點分析、評估理賠數據有效降低風險并為保險賠付制定提供依據高頻交易分析量化投資增長迅速，對結構化/非結構化數據利用力度不斷加大實時、準確的數據模型提供有價值的交易推薦，提升客戶滿意度保險精算利用大數據對險種、賠付率建立模型進行細分維度下的精準預測提升企業(yè)盈利水平保險業(yè)核心業(yè)務需求實時分析客戶信用記錄提供貸款依據大數據提供交叉營銷、信貸模型分析大數據實時分析滲漏欺詐風險利用外部內部大數據有效管理客戶關系實時建立賠付率模型、并根據客戶分析制定險種劃分內外部大數據分析有價值的財富投資組合數據量化投資組合、建立高效數據模型理賠數據審查、數據評估，有效降低異常賠付和騙保第十頁，共23頁。大數據在金融領域的熱點應用11用戶畫像風險管理資產產品定價運營優(yōu)化區(qū)塊鏈智能投顧風險定價量化交易精準營銷金融搜索引擎金融領域大數據應用熱點圖橫軸代表該應用領域價值周期，表明該應用價值速度的快慢縱軸代表該應用領域的炒作周期階段圓圈代表應用領域的規(guī)模，表示該應用領域當前參與方的多少與應用數量第十一頁，共23頁。大數據解決方案分析實踐第十二頁，共23頁。大數據部分應用分析-某互聯網金融產品13互聯網金融行業(yè)在解決什么問題?面臨怎樣的風險?用什么樣的技術手段來應對??傳統金融V.S.互聯網金融?信用風險V.S.欺詐風險?傳統風控V.S.數據科學技術風控第十三頁，共23頁?；ヂ摼W金融行業(yè)中的風險14風險遇到的問題業(yè)界通常的方法業(yè)界的方法為什么無效信用風險還款能力收集收入水平、消費水平、負債情況等對用戶進行風險評分無權威數據、數據收集難度大、傳統評分卡有效特征挖掘難度大欺詐風險偽冒申請和欺詐交易人工審查、信用黑名單、基于規(guī)則人工效率低、無權威黑名單、無法自動發(fā)現異常、欺詐手段更新快第十四頁，共23頁?；ヂ摼W金融風險分析實踐15借款用戶通信社交網絡與欺詐風險結論1:與壞用戶有大量關聯的借款用戶的壞賬率是未關聯用戶的2.9倍結論2：高分段用戶的壞賬率是低分段用戶的3.3倍第十五頁，共23頁。風控建模中的數據科學16數據獲取與清洗特征提取高級特征提取建模風險控制金融數據消費數據行為數據社交數據其他統計學習數據分析社交網絡分析......消費能力評級用戶風險評級社交關聯評級用戶屬性評級其他GBDT梯度提升決策樹SVM支持向量機RF隨機森林......第十六頁，共23頁。大數據構建數據倉庫案例第十七頁，共23頁。2016年成都銀行歷史數據平臺一期18調度監(jiān)控ODBCJDBC專用接口數據加載數據壓縮數據安全數據處理數據查詢數據導出共享存儲統一調度統一監(jiān)控歷史數據存儲應用功能信貸系統核心系統個貸系統微貸系統CRM網銀系統信用卡手機銀行二代支付其他海量數據并行處理數據存儲歷史明細數據獲取測試明細數據獲取相關應用系統測試環(huán)境接口服務數據查詢應用司法查詢、歷史指標查詢客戶歷史數據查詢歷史數據查詢界面柜面終端非現場審計審計界面查詢服務源系統第十八頁，共23頁。2017年長沙華融湘江銀行大數據平臺19第十九頁，共23頁。構建金融大數據解決方案第二十頁，共23頁。邏輯架構21第二十一頁，共23頁。技術架構22第二十二頁，共23頁。未來大數據應用發(fā)展趨勢23機器學習兩級分化數據治理物聯數據風險管理分布存儲終端整合跨界應用機器學習和數據科學將加速發(fā)展，帶動風控和反欺詐領域的應用行業(yè)領導者與后來者的差距將會變大，傳統金融機構逐漸跟上趨勢數據治理將成為大數據平臺的重點，金融業(yè)注重合規(guī)和數據質量問題金融服務