RichData金融行業(yè)大數(shù)據(jù)智能分析解決方案

1、RichData金融行業(yè)大數(shù)據(jù)智能分析解決方案方案概述進(jìn)入21世紀(jì)，中國金融業(yè)對信息化工作前所未有的重視，眾多金融機(jī)構(gòu)都建立起了自己的數(shù)據(jù)平臺，形成了金融機(jī)構(gòu)網(wǎng)絡(luò)和垂直業(yè)務(wù)體系，實現(xiàn)了金融數(shù)據(jù)大集中。這些數(shù)據(jù)有四個特點。第一個特點是數(shù)據(jù)量大，一般達(dá)到PB級。第二個特點是類型多，如非結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、流數(shù)據(jù)等。第三個特點是價值密度低，有用的數(shù)據(jù)含量少。第四個特點是處理速度快，要求系統(tǒng)在短時間內(nèi)做出響應(yīng)。這都是大數(shù)據(jù)的典型特點，而在金融行業(yè)，對數(shù)據(jù)存儲要求非常高，特別是在像中國人口很多的國家來說，每天都會產(chǎn)生大量的交易數(shù)據(jù)，包括銀行、證券、保險等各個金融領(lǐng)域都會產(chǎn)生大量的數(shù)據(jù)。這些數(shù)據(jù)都會

2、存放在交易系統(tǒng)當(dāng)中，如何處理每天產(chǎn)生的大數(shù)據(jù)，進(jìn)行科學(xué)的分析處理，挖掘隱藏在數(shù)據(jù)內(nèi)部各種有價值的關(guān)聯(lián)，并及時提供決策支持，成為擺在金融業(yè)面前的新課題。傳統(tǒng)的BI處理手段，深度上有限制。例如數(shù)據(jù)分析，希望細(xì)化到每筆交易的查詢、分析，對于數(shù)據(jù)的處理計算能力和計算的深度、廣度要求都非常高，原有數(shù)據(jù)分析速度限制等原因做不到。而大數(shù)據(jù)的優(yōu)勢是能夠針對最底層的交易數(shù)據(jù)進(jìn)行全面的模式識別、分析，使得整個風(fēng)險分析能力和效率大大提升。在盈利方面，通過對用戶的分類和信用能力分析，可以改善用戶服務(wù)，也能大大提升金融機(jī)構(gòu)的盈利水平。在運(yùn)營效率方面，對金融公司來說，很多都是跨全國的大型公司，它的分支機(jī)構(gòu)，整個公司運(yùn)營效

3、率也是具有大量價值，可以降低成本，可以使整個金融機(jī)構(gòu)在后臺上及時得到穩(wěn)定、平穩(wěn)的支持。我們可以用大數(shù)據(jù)手段，把金融機(jī)構(gòu)在分于各個系統(tǒng)當(dāng)中的運(yùn)營數(shù)據(jù)進(jìn)行匯總、交叉分析使得整個運(yùn)營效益進(jìn)行大大的提升?；诮鹑诤芏鄻I(yè)務(wù)系統(tǒng)都已經(jīng)構(gòu)建，包括BI、信息分析，這些仍然可以在大數(shù)據(jù)平臺上繼續(xù)實施，而且比傳統(tǒng)方法更有效率。不僅可以降低數(shù)據(jù)整合工作量，把這些相對昂貴的工作放到更有效、更高效、性價比更高的大數(shù)據(jù)Hadoop上來進(jìn)行，可以更大程度上降低原來對于基于主機(jī)昂貴的獨(dú)立系統(tǒng)要求，同樣使數(shù)據(jù)可以運(yùn)行在基于英特爾X86平臺上，提高效率降低成本。方案架構(gòu)金融行業(yè)大數(shù)據(jù)總體系統(tǒng)架構(gòu)分為五層, 分別是數(shù)據(jù)層，存儲層，

4、計算層，模型層, 應(yīng)用層。模型層是整個大數(shù)據(jù)的核心部分，為上層應(yīng)用提供數(shù)據(jù)支撐。針對金融行業(yè)大數(shù)據(jù)分析的特點, 引入大數(shù)據(jù)平臺架構(gòu)，實現(xiàn)對海量的銀行數(shù)據(jù)、證券數(shù)據(jù)、保險數(shù)據(jù)的自動化、高能效、虛擬化和標(biāo)準(zhǔn)化的存儲和管理，保證金融行業(yè)海量交易數(shù)據(jù)的安全性、可靠性和高效的運(yùn)營。方案優(yōu)勢彩訊金融大數(shù)據(jù)解決方案在數(shù)據(jù)分析、數(shù)據(jù)管理、數(shù)據(jù)處理、數(shù)據(jù)可視化等重要技術(shù)上具有優(yōu)勢：數(shù)據(jù)分析技術(shù)：包括數(shù)據(jù)挖掘、機(jī)器學(xué)習(xí)等人工智能技術(shù)，主要應(yīng)用在用戶信用分析，用戶聚類分析，用戶特征分析，產(chǎn)品關(guān)聯(lián)分析，營銷分析等方面。由于金融系統(tǒng)安全性、穩(wěn)定性和實時性要求比較高，也大數(shù)據(jù)計算處理能力也要求非常高。彩訊金融大數(shù)據(jù)解決方

5、案內(nèi)置自主開發(fā)的函數(shù)模型庫，除包含常用的統(tǒng)計分析算法外，還內(nèi)置了多種常用數(shù)據(jù)挖掘算法及分析模型。插件式的函數(shù)模型庫，可動態(tài)增加新算法模型。同時，還提供行業(yè)分析模型及類似BI的分析和展示工具。數(shù)據(jù)管理技術(shù)：包括關(guān)系型和非關(guān)系型數(shù)據(jù)管理技術(shù)、數(shù)據(jù)融合和集成技術(shù)、數(shù)據(jù)抽取技術(shù)、數(shù)據(jù)清洗和轉(zhuǎn)換等技術(shù)。金融行業(yè)對數(shù)據(jù)的實時處理能力要求非常高，彩訊金融大數(shù)據(jù)解決方案內(nèi)置ETL服務(wù)子系統(tǒng)與ETL配置工具，支持從文件，DB、數(shù)據(jù)流中導(dǎo)入數(shù)據(jù)。 靈活的進(jìn)行數(shù)據(jù)轉(zhuǎn)換配置和任務(wù)配置。數(shù)據(jù)處理技術(shù)：包括分布式計算技術(shù)、內(nèi)存計算技術(shù)、流處理技術(shù)。金融數(shù)據(jù)的海量增長使得企業(yè)需要通過新型數(shù)據(jù)處理技術(shù)來更有效的利用軟硬件資源

6、，在降低 IT 投入、維護(hù)成本和物理能耗的同時，為金融大數(shù)據(jù)的發(fā)展提供更為穩(wěn)定、強(qiáng)大的數(shù)據(jù)處理能力。 彩訊金融大數(shù)據(jù)解決方案包含Rich Hadoop分布式計算框架和Rich Streaming流計算框架，同時集成了hive、hbase等成熟的開源組件。數(shù)據(jù)展現(xiàn)技術(shù)：包括可視化技術(shù)、歷史流展示技術(shù)、空間信息流展示技術(shù)等。主要用于金融產(chǎn)品健康度監(jiān)視，產(chǎn)品發(fā)展趨勢監(jiān)視，客戶價值監(jiān)視，反洗錢反欺詐預(yù)警等方面。金融數(shù)據(jù)種類多樣，相關(guān)統(tǒng)計指標(biāo)復(fù)雜，需要大力發(fā)展數(shù)據(jù)展現(xiàn)技術(shù)，提高金融數(shù)據(jù)的直觀性和可視性，從而提升金融數(shù)據(jù)的可利用價值。彩訊金融大數(shù)據(jù)解決方案自助分析工具包含報表工具和分析工具。自定義報表工具，實現(xiàn)了基于 XML 的定義文件來可編程性地生成報表的能力。 圍繞著報表引擎，開發(fā)用戶圖形界面，用戶可以使用向?qū)?，無需編程，通過工具配置一步接一步完成創(chuàng)建一個報表。數(shù)據(jù)展示格式靈活，能更大程度上滿足用戶的數(shù)據(jù)需求。多維分析工具，提供豐富的圖形化展現(xiàn)界面和接口。 用java語言開發(fā)支持 MDX（多維表達(dá)式）的查詢語言 、分析型XML 和 olap4j 的接口技術(shù)規(guī)范。實現(xiàn)了從 SQL 和其它數(shù)據(jù)源讀取數(shù)據(jù)，在內(nèi)存緩沖區(qū)中生成集合數(shù)據(jù)。方案價值金額行業(yè)當(dāng)前面臨的跨行業(yè)數(shù)據(jù)共享的問題與挑戰(zhàn)。彩訊金融行業(yè)大數(shù)據(jù)解決方案能全