金融大數(shù)據(jù)平臺解決方案

金融大數(shù)據(jù)平臺解決方案

目錄

1.政策背景.......................................................3

2.建設(shè)意義.......................................................3

3.總體建設(shè)方案...................................................3

3.1.設(shè)計原則...................................................3

3.2.平臺架構(gòu)..................................................4

4.項(xiàng)目建設(shè)方案...................................................5

4.1.數(shù)據(jù)服務(wù)門戶...............................................5

4.1.1.功能簡介..............................................5

4.1.2.功能特點(diǎn)..............................................5

4.1.3.主要功能介紹..........................................5

4.2.數(shù)據(jù)治理...................................................5

4.2.1.功能簡介..............................................5

4.2.2.功能特點(diǎn)..............................................5

4.2.3.主要功能介紹..........................................6

4.3.數(shù)據(jù)服務(wù)...................................................7

4.3.1.功能簡介..............................................7

4.3.2.功能特點(diǎn)..............................................7

4.3.3.主要功能介紹..........................................8

4.4.數(shù)據(jù)交互...................................................9

4.4.1.功能簡介..............................................9

4.4.2.功能特點(diǎn)..............................................9

4.4.3.主要功能介紹..........................................9

4.5.業(yè)務(wù)數(shù)據(jù)中臺..............................................10

4.5.1.功能簡介.............................................10

4.5.2.功能特點(diǎn).............................................11

4.5.3.主要功能介紹.........................................11

4.6.資源使用監(jiān)控..............................................11

4.6.1.功能簡介.............................................11

4.6.2.功能特點(diǎn).............................................11

4.6.3.主要功能介紹.........................................11

4.7.API管理..................................................12

4.7.1.功能簡介.............................................12

4.7.2.功能特點(diǎn).............................................12

4.7.3.主要功能介紹.........................................12

4.8.應(yīng)用建設(shè)..................................................14

4.8.1.數(shù)盾風(fēng)控.............................................14

4.8.2.精準(zhǔn)營銷.............................................15

4.9.安全保障機(jī)制..............................................15

5.商務(wù)模式與資費(fèi)參考............................................16

5.1.商務(wù)模式及操作流程........................................16

5.2.資費(fèi)參考..................................................16

6.成功案例......................................................17

1.政策背景

數(shù)據(jù)是數(shù)字經(jīng)濟(jì)時代的新型生產(chǎn)資料，基于數(shù)據(jù)的生產(chǎn)變革和業(yè)務(wù)模式創(chuàng)新

正驅(qū)動著全球范圍內(nèi)經(jīng)濟(jì)社會各個領(lǐng)域的數(shù)字化、智能化轉(zhuǎn)型，發(fā)展大數(shù)據(jù)已經(jīng)

成為國家戰(zhàn)略。

十九大報告明確指出，要推動“互聯(lián)網(wǎng)、大數(shù)據(jù)、人工智能和實(shí)體經(jīng)濟(jì)深度

融合。”金融行業(yè)數(shù)據(jù)資源豐富，數(shù)據(jù)應(yīng)用由來已久。從發(fā)展特點(diǎn)和趨勢來看，

金融云快速建設(shè)落地奠定了金融大數(shù)據(jù)的應(yīng)用基礎(chǔ)，金融數(shù)據(jù)與其他跨領(lǐng)域數(shù)據(jù)

的融合應(yīng)用不斷強(qiáng)化，人工智能正在成為金融大數(shù)據(jù)應(yīng)用的新方向，金融行業(yè)數(shù)

據(jù)的整合、共享和開放正在成為趨勢。

隨著大數(shù)據(jù)技術(shù)的廣泛普及和發(fā)展成熟，金融大數(shù)據(jù)應(yīng)用已經(jīng)成為行業(yè)熱點(diǎn)

趨勢，在交易欺詐識別、精準(zhǔn)營銷、黑產(chǎn)防范、消費(fèi)信貸、信貸風(fēng)險評估、風(fēng)險

定價等涉及銀行、證券、保險、支付清算和互聯(lián)網(wǎng)金融等多領(lǐng)域的具體業(yè)務(wù)中，

得到廣泛應(yīng)用。涌現(xiàn)出一大批技術(shù)創(chuàng)新、業(yè)務(wù)突破的應(yīng)用案例?？偨Y(jié)來看，對于

大數(shù)據(jù)的應(yīng)用分析能力，正在成為金融機(jī)構(gòu)未來發(fā)展的核心競爭要素。

2.建設(shè)意義

通過X大數(shù)據(jù)資源及技術(shù)能力和科技創(chuàng)新優(yōu)勢，傾力打造“金融大數(shù)據(jù)能力

門戶”平臺。旨在打破現(xiàn)有“煙囪化”企業(yè)業(yè)務(wù)架構(gòu)，實(shí)現(xiàn)橫向業(yè)務(wù)打通，從全局

構(gòu)建金融企業(yè)的數(shù)據(jù)治理管控平臺，提取相同的業(yè)務(wù)元素，打造業(yè)務(wù)支撐數(shù)據(jù)服

務(wù)平臺，并結(jié)合多年來在消費(fèi)金融領(lǐng)域積累的金融風(fēng)控及精準(zhǔn)營銷經(jīng)驗(yàn)，集成金

融多場景數(shù)據(jù)服務(wù)工具，識別消費(fèi)金融等場景下潛在的欺詐風(fēng)險以及通過大數(shù)據(jù)

技術(shù)實(shí)現(xiàn)精準(zhǔn)營銷。

3.總體建設(shè)方案

3.1.設(shè)計原則

本項(xiàng)目建設(shè)遵循以下原則：

(1)統(tǒng)籌和集約化原則

建設(shè)要堅持統(tǒng)籌規(guī)劃，集約化實(shí)施。為實(shí)現(xiàn)資源優(yōu)化配置和信息共享需要，

項(xiàng)目建設(shè)應(yīng)充分考慮與金融企業(yè)客戶現(xiàn)有業(yè)務(wù)系統(tǒng)的對接、新建系統(tǒng)業(yè)務(wù)應(yīng)用以

3

及未來外部數(shù)據(jù)接入的實(shí)際情況，對現(xiàn)有軟硬件投資的保護(hù)及網(wǎng)絡(luò)、存儲、備份

等現(xiàn)有資源的統(tǒng)一利用，最大化避免重復(fù)建設(shè)帶來的浪費(fèi)。

(2)需求和服務(wù)導(dǎo)向原則

項(xiàng)目建設(shè)應(yīng)建立在對金融企業(yè)客戶需求充分梳理、分析、提煉的基礎(chǔ)上，

緊密結(jié)合加強(qiáng)銀行自身建設(shè)、強(qiáng)化執(zhí)行力、提高工作效率和服務(wù)水平的要求，以

江西農(nóng)商一囊實(shí)際業(yè)務(wù)需求為導(dǎo)向，以提供信息資源為精準(zhǔn)營銷、金融風(fēng)控服務(wù)

為目標(biāo)，提高跨現(xiàn)有銀行業(yè)務(wù)服務(wù)水平，進(jìn)一步提升業(yè)務(wù)服務(wù)效能。

(3)標(biāo)準(zhǔn)化和規(guī)范化原則

在開展統(tǒng)一門戶平臺建設(shè)的同時，應(yīng)同步制定銀行內(nèi)部及外部運(yùn)營商數(shù)據(jù)

接入及融合制度及規(guī)范，強(qiáng)化信息資源規(guī)范化管理，建立信息共享、發(fā)布的相關(guān)

標(biāo)準(zhǔn)規(guī)范和運(yùn)維管理制度。

(4)安全可靠原則

系統(tǒng)建設(shè)過程中，應(yīng)從整體性上考慮系統(tǒng)的安全可靠性，避免出現(xiàn)安全短

板。應(yīng)采用多種安全技術(shù)手段加以保證，對客戶的應(yīng)用數(shù)據(jù)庫提供嚴(yán)密的保護(hù),

保證系統(tǒng)持續(xù)運(yùn)行的穩(wěn)定性。

3.2.平臺架構(gòu)

金融大數(shù)據(jù)智慧數(shù)據(jù)服務(wù)中臺共由6部分組成，其中大數(shù)據(jù)基礎(chǔ)平臺實(shí)現(xiàn)

大數(shù)據(jù)的基礎(chǔ)數(shù)據(jù)采集和批處理；智慧數(shù)據(jù)中臺實(shí)現(xiàn)基礎(chǔ)數(shù)據(jù)對接以及業(yè)務(wù)側(cè)模

型、數(shù)據(jù)工具應(yīng)用能力；數(shù)據(jù)資源管理實(shí)現(xiàn)數(shù)據(jù)治理能力；用戶管理權(quán)限負(fù)責(zé)管

理平臺用戶；數(shù)據(jù)安全管控模塊涵蓋到整體平臺建設(shè)，負(fù)責(zé)數(shù)據(jù)安全合規(guī)使用；

智慧數(shù)據(jù)服務(wù)則是需要根據(jù)客戶業(yè)務(wù)需求，定制化完成相關(guān)系統(tǒng)的能力。

4

4.項(xiàng)目建設(shè)方案

4.1.數(shù)據(jù)服務(wù)門戶

4.1.1.功能簡介

統(tǒng)一展示數(shù)據(jù)服務(wù)平臺各項(xiàng)業(yè)務(wù)功能，為用戶提供登錄、數(shù)據(jù)接入管理、

數(shù)據(jù)服務(wù)申請、風(fēng)控平臺對接、營銷平臺對接、安全控制等能力的統(tǒng)一瀏覽、申

請、戈U配，并對用戶使用的能力和運(yùn)營進(jìn)行統(tǒng)一管理。

4.1.2.功能特點(diǎn)

門戶按照功能聚類統(tǒng)一展現(xiàn)了平臺的所有能力菜單，使得用戶對能力一目

了然，通過簡短的語句介紹讓用戶快速對每個能力進(jìn)行了解，幫助用戶快速選擇

符合自身需求的能力。

4.1.3.主要功能介紹

a）能力中心：能力中心是數(shù)據(jù)服務(wù)產(chǎn)品集中展示的平臺，用戶可在能力中

心查看和選擇所需能力，提交能力的使用申請。

b）服務(wù)注冊：用戶通過填寫相關(guān)信息可以申請注冊使用平臺數(shù)據(jù)服務(wù)，平

臺審核通過后該用戶生效，通過指定的方式實(shí)現(xiàn)數(shù)據(jù)使用。

4.2.數(shù)據(jù)治理

4.2.1.功能簡介

平臺提供安全、穩(wěn)定、高效的數(shù)據(jù)治理工具，以滿足各種數(shù)據(jù)管理、校驗(yàn)

及調(diào)度的需求。包括數(shù)據(jù)倉庫對象管理工具，數(shù)據(jù)質(zhì)量管理工具，數(shù)據(jù)流設(shè)計及

工作流調(diào)度工具，業(yè)務(wù)流程引擎等。

4.2.2.功能特點(diǎn)

ETL能夠高效的完成數(shù)據(jù)生產(chǎn)，提高數(shù)據(jù)處理效率，降低開發(fā)和部署、運(yùn)維

的開支，從而顯著降低用戶數(shù)據(jù)生產(chǎn)的成本。

數(shù)據(jù)質(zhì)量提供行業(yè)級的數(shù)據(jù)管理流程與數(shù)據(jù)質(zhì)量報告功能，為數(shù)據(jù)與業(yè)務(wù)

分析師提供數(shù)據(jù)質(zhì)量工作臺使其快速開發(fā)指定數(shù)據(jù)質(zhì)量規(guī)則集用于自動數(shù)據(jù)質(zhì)

5

量清洗、稽核與報告。

元數(shù)據(jù)納入了對接口文件和數(shù)據(jù)字段的管理從而拓展了數(shù)據(jù)資源管理的廣

度和深度、明晰了數(shù)據(jù)間的轉(zhuǎn)換關(guān)系，實(shí)現(xiàn)了真正的端到端的元數(shù)據(jù)管理。

4.2.3.主要功能介紹

a）云化ETL云化ETL支持各種數(shù)據(jù)集成應(yīng)用如數(shù)據(jù)倉庫建設(shè),數(shù)據(jù)遷移、

數(shù)據(jù)存檔、數(shù)據(jù)整合、數(shù)據(jù)同步等?？梢燥@著的提高工作效率、降低部

署時間、規(guī)范開發(fā)流程、簡化維護(hù)升級，使業(yè)務(wù)人員從繁重的維護(hù)業(yè)務(wù)

運(yùn)轉(zhuǎn)的日常數(shù)據(jù)工作中解脫出來，專注于新業(yè)務(wù)的開發(fā)。

b）數(shù)據(jù)質(zhì)量：數(shù)據(jù)質(zhì)量是通過對數(shù)據(jù)稽核來確保數(shù)據(jù)的及時性、完整性、

準(zhǔn)確性、一致性、唯一性及合理性等，及各系統(tǒng)之間數(shù)據(jù)的統(tǒng)一性的工

具。通過對數(shù)據(jù)配置稽核規(guī)則，由數(shù)據(jù)質(zhì)量平臺啟動稽核引擎，運(yùn)行稽

核任務(wù)，顯示稽核結(jié)果?；顺龅膯栴}數(shù)據(jù)自動進(jìn)入問題處理流程。

0能力平臺_L作臺髭力麗斯方案與文HS-ifMWuntOOO、

力中心.

nui眥目豪

而?&：*S￡W>S：一全，V??婢

iHGas下》（網(wǎng)

I0?w-名際歸mawarns

114315394074000000.0000000.0Hdti文件2017-04-261715

與存*3X（146〉

,214315394061

置6）oooooo.o000000.0Hdls文件2017-04-M1715

力修;?化：50>3|43153XH6oooooo_o000000J)Hg文件2017-04-M1715

0快題崛⑴4|43153M123oooooo_ooooooo_o2017-04-251715

?口*520956）5|4315394530000000_0000000_0HdisXft2017-04-261M5

力描標(biāo)體和0）6|4315394137oooooo_o000000.0Hdfs文件2017-04-261T15

/口

I7|43153M144000000.0000000.0H?S文件2017-04-261715

9143163M151

三］麻*192）000000.0000000.02O17-O4-261715

*□835含震對一119338）9|43153X158000000.0000000.0Hdta文忤2017-04-M1?t5

qUJB3*L巾打&10S）H0|4315394088000000J)gn麗000000_0wiwpyHdfc文件M17-04-M171S

；”|431a94095000001_0snappy000001_0snappyHtBsja*20V-04-K1M5

三）共享日錄12|43153X102000002_0snapp,000002_0snappyHdfsStt2017-04-261M5

13|4315394109000003_0snap?/000003_0,snaoiyyHdisXtt2017-04-261M5

；14|42825586880002期》寄（《試）DUS201&0M21400位33平6

il5|42943396190465」O33DSSOWE-2BA_OCgatKUfgBS2016^)9-2311)105?A>SCSE

'U|4298285010076M_dwd_gr076_B<S_ga_52016-110211292017-02-130940

j17|49dc32dfb2083」*”093_?M???201ag9217:20

6

c）元數(shù)據(jù)：元數(shù)據(jù)是對數(shù)據(jù)倉庫中各類數(shù)據(jù)的定義，其范圍覆蓋了數(shù)據(jù)來

源數(shù)據(jù)采集數(shù)據(jù)加工、數(shù)據(jù)展現(xiàn)等各個環(huán)節(jié)的業(yè)務(wù)和技術(shù)類的數(shù)據(jù)，

包括各類概念、元數(shù)據(jù)間的關(guān)系、轉(zhuǎn)換規(guī)則等信息。元數(shù)據(jù)管理的范圍

涉及了數(shù)據(jù)庫資源接口數(shù)據(jù)文件以及數(shù)據(jù)倉庫的各層以及服務(wù)接口。

8能力平臺Q底歡|Ktnffira|方案與文梏|uniOOO▼j"

________?MVFWhO

夠ai5：陽：一金*se?ra：

切4GtM6下發(fā)(10)

史出⑶

3710名穿物esws弱麗B）?am?as

l|4315394074000000.0000000.02017-04-261715a

24315394081oooooo.o000000-0Hdfc文件2017-04-2?17153

陽晡（他50）3|4315384116000000.000<X>00_0Horsstn2017-04-2617.153

4|4315394123000000.0000000.0HdfsXW2017-04-261715s

?口瘠喇1癡209例5|4315394130oooooo_o000000.0HdfjRtt2017-04-261715a

刃吟⑼

fi|4315394137oooooo.o800000Hdf*文件2017-04-J41715s

JJUO*S.：506)j7|4315394144

oooooo_ooooooo_oHd?sS*?2017-04-M17153

8|4315394151

SWWW192)000000.0000000,0HdTS文件2017-04-2617159

9|4315394158oooooo_o000000.0Hdfa文件2017-04-261715s

川口8?曼巾后或（10?）10|4315394088000000_0snappy000000_0snaporHOfS文件20VXM-2?17153

*LJ??tBa(3W)111431539409500000i_0snappy000001_0SfiapojHOTS文件2017-04-2?17:153

12|4315394102000002.0snappy000002_0snappyHOfsRtt2017-04-2617.15a

j13|4315394109000003.0snappy000003_0jnapor文格2017-04-2617159

?|428255968$0002JSH茂受卓DMS2016-03-02”8sraE*理平白K

1S|429433951904?5_TO33DS3?rtE-ZB$_QCBW2018-09-231010a

16j429B285010

076_t>O_<Jwd_<Jay076」x?_5wLd3yIfWS2016-11-0211282017-02-1309409

!7|4fidc32df-!>2083_(**1?K2016-09-4217.209

4.3.數(shù)據(jù)服務(wù)

4.3.1.功能簡介

通過將底層多元化的數(shù)據(jù)轉(zhuǎn)化為可視化的數(shù)據(jù)產(chǎn)品，結(jié)合實(shí)際下發(fā)/獲取需

求，為用戶提供定制化的數(shù)據(jù)服務(wù)能力。用戶以工單的方式申請數(shù)據(jù)，審批通過

后為其提供數(shù)據(jù)。

4.3.2.功能特點(diǎn)

a）數(shù)據(jù)源抽象：數(shù)據(jù)服務(wù)將用戶和數(shù)據(jù)源隔離開來，這使得數(shù)據(jù)提供者改

變數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)格式、數(shù)據(jù)持久化機(jī)制、數(shù)據(jù)連接協(xié)議都不會對用戶

產(chǎn)生影響。任何變化只會影響數(shù)據(jù)服務(wù)層，不會影響用戶對數(shù)據(jù)的訪問

邏輯。

b）數(shù)據(jù)源聚合：通過執(zhí)行聚合，數(shù)據(jù)服務(wù)為用戶提供了更簡單的接口去完

成數(shù)據(jù)的訪問，不需要查詢、訪問多個數(shù)據(jù)源便得到所需信息。

c）基于用戶、角色權(quán)限的數(shù)據(jù)安全：通過底層數(shù)據(jù)權(quán)限管理，維護(hù)數(shù)據(jù)模

型對不同用戶具備不同權(quán)限，并在獲取數(shù)據(jù)時驗(yàn)證權(quán)限。

7

d）自動數(shù)據(jù)集成：提供標(biāo)準(zhǔn)化ETL工作流，服務(wù)申請后系統(tǒng)自動按時間在

后臺產(chǎn)生任務(wù)實(shí)例與流程實(shí)例，抽取用戶申請的數(shù)據(jù)集，并將其推送到

目標(biāo)地址上，用戶可以監(jiān)控整個數(shù)據(jù)服務(wù)執(zhí)行情況。

4.3.3.主要功能介紹

通過將底層多元化的數(shù)據(jù)轉(zhuǎn)化為可視化的數(shù)據(jù)產(chǎn)品，結(jié)合實(shí)際下發(fā)/獲取需

求，為用戶提供定制化的數(shù)據(jù)服務(wù)能力?？梢詫?shí)現(xiàn)產(chǎn)品申請、定義、審核、發(fā)布

流程化管理，審批通過后為其提供數(shù)據(jù)。

a）數(shù)據(jù)產(chǎn)品展示：樣本數(shù)據(jù)和標(biāo)簽數(shù)據(jù)展示。

0能力平臺M兩U1E的曲用為案與文桃uniOOO

BS數(shù)據(jù)服務(wù)開放

故據(jù)下甄

用戶信息類

用戶濟(jì)費(fèi)數(shù)據(jù)

用戶行為數(shù)據(jù)

用戶消蹙敷板

互聯(lián)網(wǎng)類相關(guān)

綜合類相關(guān)產(chǎn)品[壹El]

CB原始數(shù)據(jù)

標(biāo)簽

基本特征標(biāo)簽

基本特征標(biāo)簽

消費(fèi)特征標(biāo)簽

客戶評批標(biāo)簽

終喇蹣S[gWM]

互聯(lián)網(wǎng)特征標(biāo)簽

數(shù)據(jù)API

清求API

b）產(chǎn)品訂閱與管理用戶根據(jù)數(shù)據(jù)產(chǎn)品編碼名稱檢索查看產(chǎn)品的定義。

并通過購物車功能選取所需的數(shù)據(jù)產(chǎn)品并提交申請。

能力平臺I作臺威力U店貓的麻用方案與文檔StfcOHuniOOO

產(chǎn)品電6略利

/?JWO

鼻：JSWM?辱JT-^S▼Wr??*：-#S5<5-▼?fi**?'螢B，二芯

產(chǎn)產(chǎn)ttWWB

o*d_<J_ia_ua_j>artawL<3_ua_partW