金融反欺詐場(chǎng)景下的Spark實(shí)踐

1、金融反欺詐場(chǎng)景下的Spark實(shí)踐金融反欺詐場(chǎng)景下的Spark實(shí)踐融科技企業(yè)臨的欺詐險(xiǎn)在線反欺詐中的Spark算法實(shí)踐基于Spark架構(gòu)的實(shí)時(shí)反欺詐平臺(tái)123金融與科技的結(jié)晶融的本質(zhì)：資源的最合理化應(yīng)互聯(lián)技術(shù)：交易的邊界成本趨向“零”融科技（FinTech）：通過(guò)技術(shù)段推動(dòng)融創(chuàng)新，形成對(duì)融市場(chǎng)、機(jī) 構(gòu)及融服務(wù)產(chǎn)重影響的業(yè)務(wù)模式、技術(shù)應(yīng)以及流程和產(chǎn)品量速類(lèi)質(zhì)VolumeVelocityVarietyVeracity每天生,最高每分鐘網(wǎng)絡(luò) 設(shè)備 行為 完整度和質(zhì)量T級(jí)數(shù)據(jù)50+申請(qǐng)渠道 PII 社交 三方 等類(lèi)別經(jīng)常殘差不齊金融科技-個(gè)人對(duì)個(gè)人的信用貸款宜人貸官方網(wǎng)站宜人貸借款A(yù)PP宜人理財(cái)APP宜

2、人貸：極速信任-自動(dòng)化信用評(píng)估欺詐風(fēng)險(xiǎn)是互聯(lián)網(wǎng)金融 線上信貸工廠模式最大的挑戰(zhàn)客戶(hù)獲取信用評(píng)估交易促成客戶(hù)服務(wù)全流程線上借款與理財(cái)咨詢(xún)服務(wù)場(chǎng)景不同 人群不同數(shù)據(jù)獲取方式不同數(shù)據(jù)維度不同 數(shù)據(jù)深度不同信用評(píng)估機(jī)制不同線下線上金融科技企業(yè)面臨的欺詐風(fēng)險(xiǎn)群團(tuán)體化地區(qū)集中化式多樣化具智能化險(xiǎn)遇到的問(wèn)題業(yè)界通常解決法業(yè)界的法為什么效信險(xiǎn)還款能力收集收入水平、消費(fèi) 水平、負(fù)債情況等對(duì) 用戶(hù)進(jìn)行風(fēng)險(xiǎn)評(píng)分無(wú)權(quán)威數(shù)據(jù)、數(shù)據(jù)收集 難度大、傳統(tǒng)評(píng)分卡有 效特征挖掘難度大欺詐險(xiǎn)偽冒申請(qǐng)和欺詐交易人工審查、信用黑名 單、基于規(guī)則人工效率低、無(wú)權(quán)威黑 名單、無(wú)法自動(dòng)發(fā)現(xiàn)異 常、欺詐手段更新快金融反欺詐場(chǎng)景下的Spark實(shí)

3、踐融科技企業(yè)臨的欺詐險(xiǎn)在線反欺詐中的Spark算法實(shí)踐基于Spark架構(gòu)的實(shí)時(shí)反欺詐平臺(tái)123反欺詐也是一種機(jī)器學(xué)習(xí)過(guò)程Y標(biāo)： Benchmark選取好、壞戶(hù)定義訓(xùn)練、測(cè)試和跨時(shí)間驗(yàn)證樣本X變量：特征程特征程圖譜特征挖掘技術(shù)知識(shí)圖譜技術(shù)圖挖掘技術(shù)信消費(fèi) 通訊社交為險(xiǎn)控制數(shù)據(jù)字塔構(gòu)建金融知識(shí)圖譜：FinGraph10種實(shí)體-電話、份證、銀卡、信卡、IP、 設(shè)備號(hào)、地理位置等約2.6億節(jié)點(diǎn)約10億邊關(guān)系應(yīng)用場(chǎng)景層面智能搜索、反欺詐、貸后管理、營(yíng)銷(xiāo)分析、運(yùn)營(yíng)支撐 等數(shù)據(jù)整合層面信用數(shù)據(jù)、金融消費(fèi)數(shù)據(jù)、行為數(shù)據(jù)、社交數(shù)據(jù)、 網(wǎng)絡(luò)安全、第三方數(shù)據(jù) 等圖數(shù)據(jù)庫(kù)neo4j系統(tǒng)支持層面特征工程、模型開(kāi)發(fā)、異常

4、監(jiān)控、推薦系統(tǒng) 等Spark+Hadoop+GraphX+Mllib+Streaming+TensorFlowFinGraph 平臺(tái)系統(tǒng)反欺詐場(chǎng)景下Spark三板斧Spark StreamingSpark GraphXSpark Mllib流式數(shù)據(jù)處理業(yè)務(wù)：SDK實(shí)時(shí)數(shù)據(jù)處理算法：PageRank、LPA業(yè)務(wù)：圖挖掘特征程、挖掘欺詐組團(tuán)算法：LR、RF、Kmeans、LDA業(yè)務(wù)：特征程、簡(jiǎn)單機(jī)器學(xué)習(xí)訓(xùn)練3.3倍反欺詐分析案例：借款戶(hù)通信社交絡(luò) 與欺詐險(xiǎn)-結(jié)論：PageRank分段戶(hù)的壞賬率是 低分段戶(hù)的3.3倍反欺詐建模中的數(shù)據(jù)科學(xué)金融反欺詐場(chǎng)景下的Spark實(shí)踐融科技企業(yè)臨的欺詐險(xiǎn)在線反欺詐

5、中的Spark算法實(shí)踐基于Spark架構(gòu)的實(shí)時(shí)反欺詐平臺(tái)123對(duì)不同事件得出實(shí)時(shí)欺詐評(píng)分PHONEAME: MikeADRESS: Chaoyang, Beijing IP: 123.89.21.10IMEI： 447769804451095 Mac: 00-80-C2-00-00-1AOS：android 4.3 Model: Oppo R7.73446185設(shè)備激活注冊(cè)賬戶(hù)查看新手引導(dǎo)點(diǎn)擊貸款點(diǎn)擊提交 初審?fù)顺錾暾?qǐng)數(shù)據(jù)采集機(jī)器學(xué)習(xí)57欺詐評(píng)分92SENT EVENTSGET RISK SCORE通過(guò)SDK采集欺詐事件設(shè)備數(shù)據(jù)為數(shù)據(jù)位置數(shù)據(jù)機(jī)品牌機(jī)型號(hào)操作系統(tǒng)本機(jī)號(hào)

6、碼設(shè)備IDApp安裝列表賬號(hào)登錄進(jìn)按鈕點(diǎn)擊信息輸告瀏覽操作時(shí)間GPSIP反欺詐平臺(tái)架構(gòu)反 欺 詐具 平 臺(tái)SDK數(shù)據(jù)流提報(bào)終審戶(hù)評(píng)分模型/規(guī)則引擎預(yù)警戶(hù)反欺詐組調(diào)查員進(jìn)件戶(hù)數(shù)據(jù)(為數(shù)據(jù)、設(shè)備數(shù)據(jù)、資格數(shù)據(jù)等)數(shù)據(jù)層模型層具層戶(hù)層Neo4j/HDFS/Hbase/Mysql/Redis消費(fèi)數(shù)據(jù)通信數(shù)據(jù)Kafka存儲(chǔ)層.事件、團(tuán)伙引擎(知識(shí)圖譜)Spark StreamingImpalaMap Reduce數(shù)據(jù)處理層反欺詐平臺(tái)工作流程反欺詐 調(diào)查組SDK進(jìn)件設(shè)備算法模型戶(hù)申請(qǐng)借款消費(fèi)特征通訊特征評(píng)分等級(jí)FICO評(píng)分校準(zhǔn)預(yù)警戶(hù)1天）結(jié)合圖譜挖掘，利于快速發(fā)現(xiàn)欺詐團(tuán)伙根據(jù)調(diào)查認(rèn)定的欺詐戶(hù)，尋 找聯(lián)系緊密的戶(hù)團(tuán)體認(rèn)定 欺詐認(rèn)定 欺詐用一手行為數(shù)據(jù)和圖譜信息創(chuàng)造商業(yè)價(jià)值SDK數(shù)據(jù) 采集知識(shí)圖譜反欺詐 平臺(tái)挑戰(zhàn)：初步歷史為數(shù)據(jù)分析體現(xiàn)了 顯著的欺詐區(qū)分能。怎樣實(shí) 時(shí)捕捉，上傳，處理，和分析為數(shù)據(jù)？解決案：代碼 埋點(diǎn)SDK動(dòng)實(shí)時(shí)/準(zhǔn)實(shí)時(shí)上傳戶(hù) 為Flume+Kafka實(shí)時(shí)處理分析挑戰(zhàn)：反欺詐調(diào)研時(shí)效性差，需要實(shí) 時(shí)動(dòng)提報(bào)疑似欺詐案例，及 時(shí)發(fā)現(xiàn)欺詐事件/團(tuán)伙，來(lái)主動(dòng) 攔截？解決案：Go做為效開(kāi)發(fā)和運(yùn)基礎(chǔ)Python連接動(dòng)提報(bào)后臺(tái)SKLearn、GBDT、 事件識(shí)別Cypher圖譜關(guān)系挖掘挑戰(zhàn)：