基于大數(shù)據(jù)的智能風險防控平臺設(shè)計與實現(xiàn)_第1頁
基于大數(shù)據(jù)的智能風險防控平臺設(shè)計與實現(xiàn)_第2頁
基于大數(shù)據(jù)的智能風險防控平臺設(shè)計與實現(xiàn)_第3頁
基于大數(shù)據(jù)的智能風險防控平臺設(shè)計與實現(xiàn)_第4頁
基于大數(shù)據(jù)的智能風險防控平臺設(shè)計與實現(xiàn)_第5頁
已閱讀5頁,還剩18頁未讀, 繼續(xù)免費閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)

文檔簡介

一、前言近年來,受宏觀經(jīng)濟下行壓力加大、監(jiān)管要求趨嚴、市場競爭加劇與犯罪形態(tài)升級等多重因素影響,防控金融風險的重要性日益凸顯。商業(yè)銀行作為金融中介機構(gòu),其經(jīng)營本質(zhì)是對風險的承擔和管理。伴隨著金融體系復(fù)雜程度的提高以及全球金融一體化進程的加快,商業(yè)銀行的經(jīng)營環(huán)境日益復(fù)雜,面臨風險進一步加大;在新形勢下,智能風險防控能力已成為商業(yè)銀行獲取競爭優(yōu)勢的關(guān)鍵。基于大數(shù)據(jù)、人工智能(AI)、生物識別等新技術(shù)培育大數(shù)據(jù)風險防控能力,加快智能風險防控平臺的應(yīng)用落地,已成為金融領(lǐng)域?qū)<壹皩W(xué)者研究的熱點。陳稀結(jié)合大數(shù)據(jù)技術(shù)和AI技術(shù),通過引入內(nèi)置分析工具與監(jiān)測模塊,為商業(yè)銀行審計部門設(shè)計并實現(xiàn)了以風險為導(dǎo)向的智能審計系統(tǒng)。丁世博針對互聯(lián)網(wǎng)企業(yè)在業(yè)務(wù)快速增長時所面臨的業(yè)務(wù)安全問題,研究了基于面向服務(wù)的架構(gòu)(SOA)框架的安全風險防控平臺。張魯男等以風險防控系統(tǒng)的架構(gòu)、規(guī)則引擎和閾值體系的設(shè)計為基礎(chǔ),詳細介紹了基于規(guī)則引擎并利用AI算法的實時業(yè)務(wù)風險防控系統(tǒng)。郭銳從大數(shù)據(jù)風險防控平臺應(yīng)用的概念特征及理論基礎(chǔ)出發(fā),論述了大數(shù)據(jù)風險防控平臺對金融信貸發(fā)展的重要作用,并以某公司為案例,分析了大數(shù)據(jù)風險防控平臺構(gòu)建與運營發(fā)展過程中存在的問題并提出對策建議。目前多數(shù)風險防控應(yīng)用系統(tǒng)是針對特定交易場景或業(yè)務(wù)需求進行邏輯處理的,并沒有建立實時、動態(tài)、可更新、可擴展的風險防控體系。本文以智能風險防控平臺的設(shè)計框架和實現(xiàn)方法為研究對象,論述數(shù)字化轉(zhuǎn)型背景下商業(yè)銀行對智能風險防控平臺的迫切需求;同時基于大量實踐經(jīng)驗,從大數(shù)據(jù)智能平臺的關(guān)鍵技術(shù)出發(fā),提出一種高可用、高復(fù)用、易擴展、易伸縮的風險防控平臺架構(gòu)以及各功能模塊的設(shè)計方法;以某金融機構(gòu)部署的智能風險防控平臺為例,從應(yīng)用角度說明該方法的實際成效,據(jù)此對智能風險防控平臺的應(yīng)用發(fā)展提出建議。二、構(gòu)建智能風險防控平臺的需求分析(一)宏觀需求分析

1.國際環(huán)境震蕩多變,風險形勢復(fù)雜嚴峻在世界經(jīng)濟陷入低迷、貿(mào)易摩擦不斷升級、地緣政治持續(xù)緊張等諸多因素的影響下,我國經(jīng)濟轉(zhuǎn)型發(fā)展阻力加劇。金融是經(jīng)濟的血脈,防范化解金融風險,促進經(jīng)濟健康高質(zhì)量發(fā)展,是我國決勝全面建成小康社會、全面建成社會主義現(xiàn)代化國家的必然要求。“十九大”報告中把堅決打好防范化解重大風險列為三大攻堅戰(zhàn)之首,其中防控金融風險是重中之重。十九屆四中全會和中央經(jīng)濟工作會議提出,要打贏防范化解重大風險攻堅戰(zhàn),必須推進治理體系和治理能力現(xiàn)代化。2.監(jiān)管要求持續(xù)從緊,風險打擊治理從嚴由于缺乏相應(yīng)監(jiān)管,支付行業(yè)經(jīng)歷一段時間的“野蠻”發(fā)展,造成支付市場亂象叢生,風險事件頻頻發(fā)生,網(wǎng)絡(luò)賭博與電信詐騙風險尤為突出。針對該情況,中國人民銀行及監(jiān)管部門陸續(xù)出臺了一系列規(guī)范與監(jiān)管措施,嚴厲整頓支付市場亂象。2016年,中國人民銀行發(fā)布261號文件,提出加強支付結(jié)算管理防范電信網(wǎng)絡(luò)新型違法犯罪的有關(guān)事項;2019年的85號文件強調(diào)需進一步加強支付結(jié)算管理,防范電信網(wǎng)絡(luò)新型違法犯罪的發(fā)生;2020年的155號文件部署開展為跨境賭博、電信網(wǎng)絡(luò)詐騙等違法違規(guī)活動提供支付結(jié)算服務(wù)的風險排查與整治工作。面對“嚴監(jiān)管常態(tài)化”的政策環(huán)境,商業(yè)銀行應(yīng)嚴格落實監(jiān)管政策要求,補齊風險防控短板,嚴防發(fā)生系統(tǒng)性風險。3.業(yè)態(tài)變革不斷加速,風險特征升級演變隨著支付參與主體更加開放和多元,支付的內(nèi)涵和外延發(fā)生全方位變革,新型支付方式不斷推陳出新,掃碼支付、手機閃付、無感支付等移動創(chuàng)新業(yè)務(wù)成為主流,在便利人們生活方式的同時,也對傳統(tǒng)銀行的風險防控能力提出挑戰(zhàn)。犯罪團伙通過網(wǎng)絡(luò)化渠道并借助程序多開、分身軟件、短信嗅探等黑灰產(chǎn)工具對移動創(chuàng)新業(yè)務(wù)各環(huán)節(jié)實施精準化攻擊,風險防控壓力向注冊、開戶、交易、轉(zhuǎn)賬等全鏈條滲透。商業(yè)銀行應(yīng)與時俱進,提前布局新型支付產(chǎn)品的風險防控體系,針對犯罪分子攻擊新業(yè)務(wù)的手段和特征變化快的特點,升級風險防控技術(shù)能力,強化智能風險防控建設(shè)。(二)技術(shù)需求分析傳統(tǒng)的風險防控體系以定性風險管理為主。然而,基于傳統(tǒng)架構(gòu)所設(shè)計和研發(fā)的風險防控系統(tǒng)已經(jīng)不能滿足業(yè)務(wù)快速發(fā)展的需要,突出表現(xiàn)在以下三方面。風險防控系統(tǒng)與業(yè)務(wù)系統(tǒng)的緊耦合導(dǎo)致重復(fù)建設(shè)和數(shù)據(jù)孤島。傳統(tǒng)系統(tǒng)設(shè)計通常采用垂直應(yīng)用架構(gòu),風險防控系統(tǒng)往往作為業(yè)務(wù)系統(tǒng)的一個子模塊;在業(yè)務(wù)形態(tài)較為單一的早期,這種架構(gòu)的問題并不突出,但隨著業(yè)務(wù)創(chuàng)新的加快,這種架構(gòu)將導(dǎo)致大量重復(fù)的功能建設(shè)。例如,某商業(yè)銀行重復(fù)建設(shè)信用卡風險防控系統(tǒng)、手機銀行風險防控系統(tǒng)、在線支付風險防控系統(tǒng)等多套類似功能的系統(tǒng),造成系統(tǒng)維護和升級的高昂成本;這樣的架構(gòu)也不利于數(shù)據(jù)沉淀,各個風險防控系統(tǒng)彼此難以打通,數(shù)據(jù)視角只能局限在其對接的業(yè)務(wù)場景中,而無法建立全局風險防控策略。單機存儲與算力的限制導(dǎo)致風險防控特征計算范圍的瓶頸。風險防控系統(tǒng)的核心是風險特征計算,即從卡片、商戶、設(shè)備等不同維度計算一段時間窗口內(nèi)的統(tǒng)計指標,從而刻畫風險程度的高低,統(tǒng)計指標的時間窗口跨度、統(tǒng)計函數(shù)的復(fù)雜度直接決定了風險防控能力的強弱。然而,傳統(tǒng)的以AIX/DB2為代表的小型機架構(gòu)一般只能通過增加單機的中央處理器(CPU)、內(nèi)存、磁盤等方式提高處理能力,代價高昂;隨著數(shù)字互聯(lián)時代的到來,在大規(guī)模高并發(fā)的交易行為處理方面顯得力不從心。規(guī)則模型迭代周期長導(dǎo)致無法應(yīng)對層出不窮的新欺詐。當前的犯罪形態(tài)已經(jīng)從個體化和作坊式向集團化、專業(yè)化、智能化和國際化轉(zhuǎn)變,加之貓池、偽基站、自動化腳本、流量劫持等網(wǎng)絡(luò)黑灰產(chǎn)已形成一個龐大的產(chǎn)業(yè)鏈,進一步降低了犯罪成本。然而,傳統(tǒng)風險防控系統(tǒng)仍然大量依賴“事后分析”的專家規(guī)則,規(guī)則參數(shù)與模型變量迭代周期長,無法滿足“事前甄別、事中干預(yù)”的新需求。此外,受制于底層的數(shù)據(jù)治理和模型訓(xùn)練環(huán)境,單純依靠機器學(xué)習算法并不能解決所有的風險防控難題。三、基于大數(shù)據(jù)的智能風險防控平臺關(guān)鍵技術(shù)構(gòu)建一個能夠有效支撐大數(shù)據(jù)應(yīng)用的智能風險防控平臺,涉及大數(shù)據(jù)處理、實時計算、機器學(xué)習算法等多項關(guān)鍵技術(shù)。(一)大數(shù)據(jù)處理大數(shù)據(jù)可以概括為“海量數(shù)據(jù)+復(fù)雜類型的數(shù)據(jù)”。Hadoop是典型的大數(shù)據(jù)批量處理架構(gòu),目前已發(fā)展成為以分布式文件系統(tǒng)(HDFS)、分布式計算框架(MapReduce)、分布式數(shù)據(jù)庫(HBase)等功能模塊為核心的完整生態(tài)系統(tǒng),支持在大型集群服務(wù)器上對文件進行分布式處理。Hadoop主要采用“分而治之”的思想,先對大規(guī)模數(shù)據(jù)的計算任務(wù)進行分解,然后派發(fā)到眾多計算節(jié)點分別完成。其中,HDFS負責將大規(guī)模文件分布式存儲在多臺服務(wù)器中,適用于海量數(shù)據(jù)的存儲和讀??;MapReduce實現(xiàn)任務(wù)分解和調(diào)度,負責協(xié)調(diào)計算任務(wù)在多臺機器上并行運算;Hbase是運行于HDFS文件系統(tǒng)上的分布式非關(guān)系型數(shù)據(jù)庫,主要用來存儲非結(jié)構(gòu)化和半結(jié)構(gòu)化的松散數(shù)據(jù),支持數(shù)據(jù)的實時隨機讀寫。Spark是另一個知名的批量數(shù)據(jù)處理平臺系統(tǒng),但與Mapreduce將計算中間結(jié)果保存在磁盤上不同,將中間計算結(jié)果存放在內(nèi)存來減少迭代過程中的數(shù)據(jù)落地,能夠?qū)崿F(xiàn)數(shù)據(jù)高效共享,提高迭代運算效率。(二)實時計算Hadoop等批量操作靜態(tài)數(shù)據(jù)的方式在處理實時性要求較高的業(yè)務(wù)時,難以滿足應(yīng)用需求。流式計算可以直接處理運動中的連續(xù)數(shù)據(jù)流,在接收數(shù)據(jù)的同時計算數(shù)據(jù),實現(xiàn)秒級響應(yīng)。Storm、Flink是流式計算框架的重要代表。Storm是Twitter公司支持開發(fā)的分布式、處理流式數(shù)據(jù)的系統(tǒng),采用主從式體系結(jié)構(gòu),包含一個主節(jié)點和多個從節(jié)點;主節(jié)點負責系統(tǒng)資源的管理和任務(wù)的協(xié)調(diào),從節(jié)點負責執(zhí)行具體的任務(wù)。Flink是Apache軟件基金會開發(fā)的,以數(shù)據(jù)并行和流水線方式執(zhí)行任意流數(shù)據(jù)的分布式處理引擎,突出特點是將所有任務(wù)當成流來處理;批數(shù)據(jù)可作為流數(shù)據(jù)的一個極限特例,因此Flink同時支持批數(shù)據(jù)和流數(shù)據(jù)的處理,采用多線程的方式來極大提高CPU的使用效率,具有高吞吐、低延遲、高可靠、精確計算等特性。實時計算同樣離不開消息系統(tǒng)和內(nèi)存數(shù)據(jù)庫的支撐。Kafka是分布式發(fā)布訂閱消息組件的代表,由Apache軟件基金會開發(fā),支持中央式流數(shù)據(jù)處理;由發(fā)布者向代理發(fā)布消息,訂閱者訂閱消息的方式處理流式數(shù)據(jù),將消息系統(tǒng)、存儲系統(tǒng)、流處理系統(tǒng)組合構(gòu)成了靈活伸縮的流式數(shù)據(jù)處理平臺。Redis是以key-value形式存儲數(shù)據(jù)、運行在內(nèi)存中的數(shù)據(jù)結(jié)構(gòu)存儲系統(tǒng),可以用作數(shù)據(jù)庫、緩存和消息中間件,適用于高并發(fā)、大數(shù)據(jù)量的處理,能克服單一使用關(guān)系型數(shù)據(jù)庫來保存數(shù)據(jù)所導(dǎo)致的磁盤讀/寫速度較慢等嚴重性能弊端。(三)機器學(xué)習傳統(tǒng)數(shù)據(jù)分析技術(shù)是基于特定任務(wù),使用預(yù)先設(shè)定的方法分析數(shù)據(jù)隱藏規(guī)律。機器學(xué)習則是在歷史數(shù)據(jù)中自動發(fā)現(xiàn)規(guī)律并利用規(guī)律對未知數(shù)據(jù)進行分類或預(yù)測,常見的機器學(xué)習算法有監(jiān)督算法、無監(jiān)督算法、半監(jiān)督算法、圖算法。有監(jiān)督算法利用已標識數(shù)據(jù)作為訓(xùn)練集來建立函數(shù)模型,再用模型來預(yù)測未知樣本,例如邏輯回歸、隨機森林等;以先驗知識作為輸入模型訓(xùn)練效果相對較好,但因需要人工標注數(shù)據(jù),所以訓(xùn)練成本相對較高。無監(jiān)督算法通過對無標識樣本集數(shù)據(jù)的學(xué)習來獲取數(shù)據(jù)的內(nèi)在模式及統(tǒng)計規(guī)律,如K均值聚類、主成分因子分析等;由于不需要對數(shù)據(jù)集進行標記,相應(yīng)訓(xùn)練成本較低但訓(xùn)練效果難以量化。半監(jiān)督算法是有監(jiān)督與無監(jiān)督的結(jié)合,在訓(xùn)練過程中利用小部分的標記數(shù)據(jù)、大部分的非標記數(shù)據(jù)進行訓(xùn)練學(xué)習,如標簽傳播算法等。圖算法借助關(guān)系網(wǎng)絡(luò),通過個體之間的行為等信息建立全局的關(guān)系圖,進而在全局關(guān)系圖上發(fā)現(xiàn)具有一定行為模式的團體。四、基于大數(shù)據(jù)的智能風險防控平臺總體框架設(shè)計(一)設(shè)計目標

1.打通數(shù)據(jù)壁壘

為順應(yīng)銀行業(yè)的數(shù)字化轉(zhuǎn)型,從平臺定位的角度看,風險防控系統(tǒng)不應(yīng)作為業(yè)務(wù)系統(tǒng)的附屬子系統(tǒng),而應(yīng)視為“大中臺”的重要組成部分,“一切業(yè)務(wù)數(shù)據(jù)化、一切數(shù)據(jù)業(yè)務(wù)化”也已逐步成為行業(yè)共識。風險防控平臺需要具備完備的數(shù)據(jù)接入能力,通過靈活的報文結(jié)構(gòu)設(shè)計,能主動或被動地從各個業(yè)務(wù)系統(tǒng)實時采集數(shù)據(jù)、完成風險評估、執(zhí)行風險防控動作。2.平衡計算資源實時決策已逐漸成為風險防控系統(tǒng)的標配,但是硬件資源的投入同樣遠超準實時和批量系統(tǒng),如何最大化利用計算資源的投入是不可回避的問題。應(yīng)充分借助大數(shù)據(jù)平臺處理海量數(shù)據(jù)的優(yōu)勢,將特征計算與模型計算解耦,從兩個方面平衡計算資源:一方面,對于指標特征的計算應(yīng)區(qū)分為在線與離線兩類,對于多日特征提前交由大數(shù)據(jù)平臺計算完成,T+1日加載至內(nèi)存中;另一方面,將模型區(qū)分為在線模型、離線模型,對于時效性優(yōu)先的風險防控場景(如交易反欺詐、申請反欺詐場景),采用在線的有監(jiān)督樹類模型來提高模型計算效率,而對于分析廣度優(yōu)先的風險防控場景(如洗錢團伙場景),采用離線的無監(jiān)督與復(fù)雜網(wǎng)絡(luò)模型來最大程度地挖掘潛在風險網(wǎng)絡(luò)。3.具備迭代能力風險防控是AI技術(shù)應(yīng)用的熱點領(lǐng)域,各類軟件包、建模工具日趨完善,基于海量樣本和數(shù)學(xué)統(tǒng)計學(xué)的風險防控模型也正在逐漸取代基于小樣本和專家經(jīng)驗的風險防控規(guī)則,但風險防控模型同樣面臨迭代周期長、迭代難度大的現(xiàn)實困難。因此,在風險防控平臺設(shè)計中應(yīng)考慮模型訓(xùn)練環(huán)境與運行環(huán)境的一體化,將模型迭代配置為一種業(yè)務(wù)人員可自主操作的輕量級更新,從而無需依賴整個風險防控平臺的更新;在數(shù)據(jù)脫敏的前提下,盡可能保證建模環(huán)境與運行環(huán)境的數(shù)據(jù)一致性,避免模型在離線表現(xiàn)的差異性導(dǎo)致模型迭代失敗。(二)框架組成本文提出一種“五層兩域”總體框架(見圖1),縱向涵蓋風險數(shù)據(jù)層、特征計算層、風險模型層、決策引擎層、業(yè)務(wù)接入層等5個功能層,各層之間松耦合、無狀態(tài)、可擴展。風險數(shù)據(jù)層包含底層的數(shù)據(jù)集市、各維度的數(shù)據(jù)標簽以及良好的數(shù)據(jù)管理功能;特征計算層同時支持實時數(shù)據(jù)的在線計算、批量數(shù)據(jù)的離線計算,通過統(tǒng)一的特征計算調(diào)度模塊實現(xiàn)對特征計算函數(shù)和計算周期的靈活配置;風險模型層主要用于部署有監(jiān)督、無監(jiān)督、半監(jiān)督、復(fù)雜網(wǎng)絡(luò)等機器學(xué)習算法,具備模型訓(xùn)練、驗證、部署的模型全生命周期管理功能;決策引擎層完成各類風險防控規(guī)則的配置和管理,規(guī)則執(zhí)行時可以調(diào)用風險模型的計算結(jié)果,最終決策當筆交易的阻斷、掛起或預(yù)警等;業(yè)務(wù)接入層完成與各個業(yè)務(wù)系統(tǒng)的對接,按照統(tǒng)一的風險防控要素過濾標準完成數(shù)據(jù)采集和各類黑灰名單的匹配。此外,橫向劃分為生產(chǎn)部署域、業(yè)務(wù)運營域,與聯(lián)機交易處理相關(guān)的核心功能模塊屬于生產(chǎn)部署域,而配套的參數(shù)、規(guī)則、模型、特征、數(shù)據(jù)等各類管理模塊則屬于業(yè)務(wù)運營域;生產(chǎn)部署域應(yīng)重點考慮平臺運行的穩(wěn)定性,業(yè)務(wù)運營域則需要有良好的人機交互界面,保證業(yè)務(wù)人員根據(jù)需要靈活配置相關(guān)內(nèi)容。圖1基于大數(shù)據(jù)的智能風險防控平臺總體框架圖五、基于大數(shù)據(jù)的智能風險防控平臺功能模塊實現(xiàn)(一)風險數(shù)據(jù)層風險數(shù)據(jù)層位于平臺的最底層,主要包括數(shù)據(jù)集市、數(shù)據(jù)標簽兩個功能模塊以及數(shù)據(jù)查詢、數(shù)據(jù)管理兩個數(shù)據(jù)管理模塊(見圖2)。

圖2智能風險防控平臺的風險數(shù)據(jù)層

注:ETL即數(shù)據(jù)抽取、轉(zhuǎn)換、裝載的過程

1.數(shù)據(jù)集市通過搭建Hadoop生態(tài),實現(xiàn)對海量業(yè)務(wù)數(shù)據(jù)、風險數(shù)據(jù)、外部數(shù)據(jù)的存儲和治理。業(yè)務(wù)數(shù)據(jù)的關(guān)鍵是通過唯一主鍵(如賬戶號、用戶身份標識號)將同一客戶從不同渠道發(fā)起的交易關(guān)聯(lián)勾兌在一起,形成一個完整的歷史交易序列,從源頭上解決數(shù)據(jù)孤島的問題。風險數(shù)據(jù)是在日常風險防控運營過程中積累的黑灰名單,如發(fā)生盜刷的卡號、涉嫌電信詐騙的商戶、惡意拒付的持卡人等。外部數(shù)據(jù)是通過行業(yè)聯(lián)防聯(lián)控獲得的外部補充數(shù)據(jù),如運營商提供的手機基站定位數(shù)據(jù),公安部門提供的實名認證數(shù)據(jù)等。2.數(shù)據(jù)標簽基于數(shù)據(jù)集市,通過數(shù)據(jù)的抽取、轉(zhuǎn)換和加載,形成人、卡片、商戶、設(shè)備等多維度的數(shù)據(jù)標簽,并按照主要的風險類型(欺詐風險、信用風險、合規(guī)風險)形成標簽分類。數(shù)據(jù)標簽不是靜態(tài)的,而是隨著基礎(chǔ)數(shù)據(jù)的更新不斷延展和擴充。例如,根據(jù)風險數(shù)據(jù)中的欺詐卡片,關(guān)聯(lián)歷史數(shù)據(jù)得到交叉度最高的商戶,從而對該商戶增加一個疑似信息泄漏點的數(shù)據(jù)標簽。3.數(shù)據(jù)管理通過對接Hive或Impala等大數(shù)據(jù)查詢分析引擎,業(yè)務(wù)人員可以方便地查詢數(shù)據(jù)集市中存儲的數(shù)據(jù),開展日常的風險排查和建模準備,也可以對數(shù)據(jù)標簽庫進行加工和維護。(二)特征計算層特征計算層負責在線特征和離線特征的計算,將計算完成的特征統(tǒng)一加載至分布式內(nèi)存中,被上層的模型和規(guī)則所調(diào)用(見圖3)。圖3智能風險防控平臺的特征計算層1.在線計算在線計算模塊通常負責計算當日內(nèi)的指標特征,用于刻畫當前的行為變化軌跡,如卡片30min的失敗交易筆數(shù)、商戶90min內(nèi)失敗交易的卡片數(shù)。由于當日的交易數(shù)據(jù)尚未在數(shù)據(jù)集市中落庫,因此計算的數(shù)據(jù)源來自于實時采集的數(shù)據(jù),通過Kafka等消息隊列組件源源不斷地進入流式計算引擎,隨后流式計算引擎通過滑動窗口的方式完成實時計算,并將計算結(jié)果實時加載至分布式緩存中。在線特征管理模塊通過結(jié)構(gòu)化查詢語言(SQL)語句和可視化界面,可以對在線特征的計算對象、計算函數(shù)、窗口大小、匹配條件等進行靈活配置,配置完成后支持實時生效。2.離線計算離線計算模塊通常負責T-1日以前的歷史特征計算,用于刻畫長期行為特點,如7d、30d、6個月的特征,典型的有商戶30d內(nèi)日交易量的標準差、卡片6個月內(nèi)發(fā)生交易的主要城市等。由于計算的跨度周期長、數(shù)據(jù)量大,需要調(diào)度大數(shù)據(jù)分布式集群來完成特征計算,計算完成后生成特征文件通過每日定時加載的方式加載至分布式內(nèi)存中。離線特征管理模塊主要用于管理大數(shù)據(jù)計算任務(wù),包括計算邏輯和計算周期;由于離線特征的計算資源開銷大,因此還需要有相應(yīng)的監(jiān)測機制,如果發(fā)現(xiàn)某個任務(wù)的計算時長出現(xiàn)超時,則應(yīng)盡快完成計算資源的彈性擴容。(三)風險模型層風險模型層不僅承擔機器學(xué)習模型計算的任務(wù),還需負責模型的全生命周期管理,主要包括模型訓(xùn)練、模型測試、模型運行功能模塊(見圖4)。圖4智能風險防控平臺的風險模型層1.模型訓(xùn)練模型訓(xùn)練時首先需要從風險數(shù)據(jù)層中抽取建模所需的數(shù)據(jù),并在抽取的過程中通過哈希算法完成卡號、手機號、身份證號等個人敏感信息的脫敏;其次進行數(shù)據(jù)清洗和特征篩選;最后是模型搭建,完成算法選擇和模型驗證。此外,為提高建模效率,建模環(huán)境支持Python、SAS、R等常用的建模工具和算法包,在模型指標(如ROC取現(xiàn)、KS值等)達到預(yù)期目標,即模型定稿后生成標準格式的模型文件。2.模型測試為降低由于訓(xùn)練樣本的不充分、在離線特征計算的差異等原因所導(dǎo)致的模型效果欠佳,在模型正式部署前,需要通過模型測試。模型測試是在灰度發(fā)布環(huán)境中進行,全部模擬生產(chǎn)環(huán)境的運行情況;其中離線特征同樣由離線計算模塊完成,在線特征則通過實時數(shù)據(jù)的并行分流,由在線計算模塊完成。最后將模型測試結(jié)果與建模環(huán)境中的訓(xùn)練結(jié)果進行比對,包括特征計算結(jié)果的一致性、評分分布結(jié)果的一致性,前者旨在發(fā)現(xiàn)特征篩選的缺陷,后者用于發(fā)現(xiàn)算法選擇的缺陷。3.模型運行在通過模型測試后,將模型文件正式部署在生產(chǎn)環(huán)境中,部署時需要根據(jù)模型的適配場景,配置不同的運行方式,包括在線模型和離線模型兩種:前者主要適用于實時反欺詐場景,需要對每一筆交易進行實時評估,如反電信詐騙等場景;后者適用于非實時的風險防控場景,如洗錢網(wǎng)絡(luò)偵測、團伙套現(xiàn)偵測等場景。模型運算的結(jié)果一方面被決策引擎層調(diào)用,另一方面也將同步記錄在風險數(shù)據(jù)層,作為模型持續(xù)迭代的訓(xùn)練樣本。(四)決策引擎層決策引擎層主要根據(jù)實時事件的觸發(fā),通過調(diào)用特征計算層和風險模型層,完成風險防控規(guī)則的匹配和決策動作的執(zhí)行,相關(guān)功能模塊如圖5所示。圖5智能風險防控平臺的決策引擎層1.規(guī)則庫規(guī)則庫由具體的規(guī)則條件組成,單個條件可以表示為左操作數(shù)、右操作數(shù)、關(guān)系運算符,操作數(shù)可以抽象為當筆交易要素、上筆交易要素、在線特征、離線特征、集合等不同類型,關(guān)系運算符包括大于、等于、屬于、不屬于、包含、不包含以及正則表達式匹配等。條件之間一般通過與(AND)、或(OR)的邏輯關(guān)系進行組合,如果條件沒有引用模型的計算結(jié)果則為簡單規(guī)則,否則為復(fù)雜規(guī)則。2.動作執(zhí)行當一個規(guī)則的所有條件全部滿足時,需要執(zhí)行后續(xù)的風險防控動作。根據(jù)命中規(guī)則的不同風險等級,將執(zhí)行相應(yīng)的動作,主要包括阻斷攔截、掛起等待、提示預(yù)警。阻斷攔截將直接使得當筆交易失敗,是最嚴格的干預(yù)措施;掛起等待則是給予二次確認的機會,提示預(yù)警不影響當筆交易的授權(quán)。此外,還可以疊加添加名單的動作,用戶將當筆交易的某個要素自動添加至黑白灰名單中。3.規(guī)則管理業(yè)務(wù)人員通過交互頁面對規(guī)則的條件和工作進行配置。為提高規(guī)則編輯的效率,一般應(yīng)支持規(guī)則模版的復(fù)用。(五)業(yè)務(wù)接入層業(yè)務(wù)接入層負責根據(jù)風險防控場景的需要開展實時數(shù)據(jù)的采集,主要包括要素過濾、名單匹配功能模塊(見圖6)。圖6智能風險防控平臺的業(yè)務(wù)接入層1.風險防控要素過濾風險防控首先需要識別當前的風險防控場景,如登陸、轉(zhuǎn)賬、開戶等,并根據(jù)場景對應(yīng)的過濾器配置,完成具體風險防控要素的過濾。風險防控要素主要包括交易信息、賬戶信息和設(shè)備信息等,其中交易信息有主賬號、手機號、交易時間、交易金額、交易地區(qū)等,賬戶信息有賬戶開立時間、可用額度等,設(shè)備信息有全球定位系統(tǒng)位置、設(shè)備指紋等。此外,在要素過濾的同時還需要檢查各要素的字段合規(guī)性,避免通過惡意篡改報文對風險防控平臺的判斷造成干擾。2.名單匹配名單匹配包括白名單匹配、黑名單匹配,命中白名單則直接當筆交易直接放行通過,命中黑名單則直接阻斷。名單的更新來源于三方面:根據(jù)規(guī)則觸發(fā)的關(guān)聯(lián)動作自動添加、根據(jù)調(diào)查反饋由業(yè)務(wù)人員主動添加、根據(jù)行業(yè)共享人工添加。六、應(yīng)用案例以某金融機構(gòu)為例,為滿足不同時期業(yè)務(wù)發(fā)展需要,該機構(gòu)曾建設(shè)了多套風險防控系統(tǒng),但不同渠道業(yè)務(wù)數(shù)據(jù)單獨存儲,各風險防控系統(tǒng)之間無法有效協(xié)同整合;為滿足數(shù)字時代的發(fā)展需要,基于本文提出的“五層兩域”智能風險防控平臺的設(shè)計框架和實現(xiàn)方法,對現(xiàn)有系統(tǒng)進行重構(gòu)和升級,打造了行業(yè)級的智能反欺詐風險防控平臺(見圖7)。圖7應(yīng)用案例:行業(yè)級智能反欺詐風險防控平臺該平臺底層搭建了數(shù)據(jù)集市,實現(xiàn)對開戶、支付、轉(zhuǎn)賬、取現(xiàn)等各類業(yè)務(wù)中產(chǎn)生的多源異構(gòu)數(shù)據(jù)采集、存儲和管理;在數(shù)據(jù)集市之上的是畫像標簽庫,綜合運用模式識別、自然語言處理、復(fù)雜網(wǎng)絡(luò)等各類AI技術(shù),從人、卡、設(shè)備、商戶等多維度分析挖掘客戶行為特征并沉淀為畫像標簽,標簽規(guī)模達到20億級,且每月以千萬級的速度遞增。對于每一筆交易,交換處理中心均會將交易報文實時轉(zhuǎn)發(fā)至計量風險評分模型引擎,評分模型基于當筆交易要素、歷史畫像特征,通過實時流式計算引擎,在毫秒級時間內(nèi)完成特征計算及當筆交易風險程度的量化評價,評價結(jié)果以分值的形式輸出至收單交易監(jiān)控引擎和發(fā)卡交易監(jiān)控引擎中;隨后,兩個引擎分別從卡片和商戶的維度完成基于量化評分的決策,并將決策結(jié)果返回至風險評分模型引擎,由評分模型完成綜合決策結(jié)果的計算;然后,交換處理中心根據(jù)綜合決策結(jié)果對當筆交易實施攔截、掛起、二次驗證或者放行等動作,從而完成整個實時交易的風險防控決策。為了降低對交易成功率的影響,上述整個決策過程將在50ms內(nèi)完成。此外,風險防控運營人員可以對存在風險的卡片、商戶開展調(diào)查處理,并根據(jù)調(diào)查情況不斷調(diào)整優(yōu)化特征、模型、規(guī)則配置,

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
  • 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論