螞蟻金服大數(shù)據(jù)開放式創(chuàng)新實踐-阿里系

數(shù)據(jù)開放式創(chuàng)新實踐螞蟻金服-平臺數(shù)據(jù)技術(shù)事業(yè)群徐紅星(崇思)?09年進入阿里?在大數(shù)據(jù)方面有8年經(jīng)驗，先后在阿里巴巴、螞蟻金服從事大數(shù)據(jù)的研發(fā)、平臺規(guī)劃和建設(shè)?曾經(jīng)負責(zé)采云間產(chǎn)品從0到1的?螞蟻數(shù)巢&DTPAI產(chǎn)品負責(zé)人?大數(shù)據(jù)開放式創(chuàng)新的背景和應(yīng)用案例?螞蟻數(shù)巢介紹?螞蟻數(shù)巢的安全體系及建設(shè)思路?螞蟻金服大數(shù)據(jù)開放式創(chuàng)新的總結(jié)數(shù)據(jù)時代正在走來研究機構(gòu)IDC預(yù)測，未來全球數(shù)據(jù)總量年增長率將維持在50%左右，到2020年，全球數(shù)據(jù)總量將達到40ZB。其中，中國數(shù)據(jù)量將達到8.6ZB，占全球的21%左右。全球大數(shù)據(jù)(BigData)與分析市場規(guī)模將由2015年的1220億美元，并在2019年底達到1870億美元的規(guī)模。技術(shù)驅(qū)動技術(shù)驅(qū)動制定執(zhí)行策略并實施驅(qū)動力數(shù)據(jù)驅(qū)動通過數(shù)據(jù)通過數(shù)據(jù)進行趨勢預(yù)測與分析，針對用戶進行產(chǎn)品和服務(wù)推薦全域數(shù)據(jù)和場景驅(qū)動整合全渠道數(shù)據(jù)，針對不同個體、群體所處環(huán)境，給予人性化服務(wù)，甚至開創(chuàng)新業(yè)務(wù)大數(shù)據(jù)時代，業(yè)務(wù)與產(chǎn)品的驅(qū)動力正在改變用戶需求用戶需求精準(zhǔn)畫像經(jīng)營與預(yù)測分析精準(zhǔn)畫像全渠道數(shù)據(jù)整合場景化決策和創(chuàng)新業(yè)務(wù)保險機構(gòu)預(yù)測價保險機構(gòu)預(yù)測價開放式創(chuàng)新案例：車險差異化定價網(wǎng)上購物網(wǎng)上購物人口特征生活繳費社會屬性地理位置人生階段從人因子從從人因子分群識別公司群識別公司對優(yōu)質(zhì)客群進行營銷大數(shù)據(jù)開放式創(chuàng)新案例：口碑讓服務(wù)更有溫度數(shù)據(jù)業(yè)務(wù)數(shù)據(jù)業(yè)務(wù)大數(shù)據(jù)應(yīng)用的階段劃分 1.0報表 1.0報表4.0數(shù)據(jù)開放式應(yīng)用階段劃分 1.應(yīng)用階段劃分 1.0報表 2.0數(shù)據(jù)應(yīng)用 3.0數(shù)據(jù)業(yè)務(wù)4.0數(shù)據(jù)開放新大數(shù)據(jù)應(yīng)用各階段的特征分析數(shù)據(jù)用途營決策參考Input我需要這些數(shù)據(jù)來決策Output導(dǎo)運營 (比如如何提升交易額)創(chuàng)造新業(yè)務(wù)革老業(yè)務(wù)基于大數(shù)據(jù)，打造全新產(chǎn)品體驗產(chǎn)品方案+運營方案數(shù)據(jù)+更多樣的產(chǎn)品或服務(wù)數(shù)據(jù)使用方DataConsumer產(chǎn)品(比如差異化車險)蟻數(shù)巢數(shù)據(jù)處理能力產(chǎn)品(比如淘金100指數(shù)基金)數(shù)據(jù)加工方ServiceProvider用戶真實性校驗數(shù)據(jù)提供方Data數(shù)據(jù)使用方DataConsumer產(chǎn)品(比如差異化車險)蟻數(shù)巢數(shù)據(jù)處理能力產(chǎn)品(比如淘金100指數(shù)基金)數(shù)據(jù)加工方ServiceProvider用戶真實性校驗數(shù)據(jù)提供方DataProvider產(chǎn)品數(shù)據(jù)業(yè)務(wù)化的3個要素：業(yè)務(wù)據(jù)加工能力、豐數(shù)據(jù)存在網(wǎng)絡(luò)效應(yīng)數(shù)據(jù)合作創(chuàng)造大數(shù)據(jù)價值巢的愿景互聯(lián)”數(shù)據(jù)生態(tài)系究和創(chuàng)新工作消費方數(shù)據(jù)“連接”數(shù)據(jù)價值安全發(fā)現(xiàn)數(shù)據(jù)價值消費云上安全、可信的數(shù)據(jù)共創(chuàng)消費方數(shù)據(jù)“連接”數(shù)據(jù)價值安全發(fā)現(xiàn)數(shù)據(jù)價值消費云上安全、可信的數(shù)據(jù)共創(chuàng)道閉環(huán)消費伴螞蟻數(shù)巢，驅(qū)動數(shù)據(jù)連接和價值發(fā)現(xiàn)提提供方俱樂部讓數(shù)據(jù)“交流”，助力會員開數(shù)據(jù)創(chuàng)新和合作。螞蟻數(shù)巢，四大能力介紹 力獨創(chuàng)的ID-Mapping能力，能最大化進行跨企業(yè)、跨行來 02全球領(lǐng)先的大數(shù)據(jù)能力、分析到機器學(xué)習(xí)、服，提供一站式的商業(yè)解方案能力 03數(shù)據(jù)安全共創(chuàng)能力不相識”的可信 04全渠道數(shù)據(jù)消費臺，幫助你多終會員中心會員管理會員分層會員分析會員生命周期會員中心會員管理會員分層會員分析會員生命周期表中心經(jīng)營儀表盤業(yè)務(wù)報表行業(yè)監(jiān)控中心------事前------ 營銷方案設(shè)計 活動效果預(yù)測------事中------ 活動效果監(jiān)控------事后------ 活動效果分析 活動設(shè)計優(yōu)化ISVCRM據(jù)集員數(shù)據(jù)集開放數(shù)據(jù)API接口開放云數(shù)據(jù)計算環(huán)境開放API開放會員融合API會員圈人API會API開放會員融合API會員圈人API會員分析API自定義標(biāo)簽API報表查詢API自定義報表API13數(shù)據(jù)服務(wù)工具建模工具BI報表工具ETL工具驗室2數(shù)據(jù)開放2標(biāo)標(biāo)準(zhǔn)數(shù)據(jù)集行行業(yè)數(shù)據(jù)集會員標(biāo)會員標(biāo)簽劵劵及效果數(shù)據(jù)交易數(shù)據(jù)交易數(shù)據(jù)集生態(tài)系統(tǒng)：-制藥企業(yè)-生態(tài)系統(tǒng)：-制藥企業(yè)-衛(wèi)生保健供應(yīng)商-疾病研究中心生態(tài)系統(tǒng)：-零售商-制造商-物流商-消費者生態(tài)系統(tǒng)：-工業(yè)制造商-供應(yīng)商-物流商數(shù)據(jù)：-制藥數(shù)據(jù)-治療數(shù)據(jù)數(shù)據(jù)：-銷售數(shù)據(jù)-制造數(shù)據(jù)-運輸數(shù)據(jù)數(shù)據(jù)：-生產(chǎn)數(shù)據(jù)-計劃數(shù)據(jù)-狀態(tài)數(shù)據(jù)螞蟻數(shù)巢，其他應(yīng)用場景舉例生態(tài)系統(tǒng)生態(tài)系統(tǒng)：-汽車制造商-交通管理中心-城市規(guī)劃與運營中心數(shù)數(shù)據(jù)：-地點(LBS)、目的地-車倆數(shù)據(jù)-交通數(shù)據(jù)物流醫(yī)療頭腦就是創(chuàng)意，技物流醫(yī)療家居服務(wù)家居產(chǎn)品數(shù)據(jù)就是生產(chǎn)資產(chǎn)品產(chǎn)品農(nóng)業(yè)農(nóng)業(yè)技術(shù)平臺工廠數(shù)據(jù)螞蟻數(shù)巢，安全的愿景和策略數(shù)據(jù)可用不數(shù)據(jù)可用不可見，安全開放和共享數(shù)據(jù)存儲和訪問可管控數(shù)據(jù)存儲和訪問可管控行為風(fēng)險可管控行為監(jiān)督(CTU)用用戶隱私和商業(yè)風(fēng)險可管理智能脫敏與預(yù)警策略安全要素：人；系統(tǒng)，賬號；操作；渠道(出入口)；數(shù)據(jù)6565螞蟻數(shù)巢，安全的閉環(huán)體系2數(shù)據(jù)只進不出，數(shù)據(jù)上完成，數(shù)據(jù)不落地32數(shù)據(jù)只進不出，數(shù)據(jù)上完成，數(shù)據(jù)不落地3申請與授權(quán)體系71數(shù)據(jù)俱樂部和云數(shù)據(jù)實驗室知警、安全攔截4日志 (功能級、表級、字段級、行級)數(shù)據(jù)安全流轉(zhuǎn)網(wǎng)絡(luò)數(shù)據(jù)安全流轉(zhuǎn)網(wǎng)絡(luò)行為風(fēng)險識別系統(tǒng)(CTU)安全監(jiān)控中心計則配置行為風(fēng)險識別系統(tǒng)(CTU)安全監(jiān)控中心計則配置型部署屏安全志統(tǒng)日志統(tǒng)析安全策略中心略據(jù)口螞蟻開放平臺業(yè)務(wù)閉環(huán)系統(tǒng)代碼掃描與發(fā)布實驗環(huán)境開發(fā)者擁有權(quán)限實驗區(qū)相互隔離數(shù)據(jù)開發(fā)數(shù)據(jù)服務(wù)數(shù)據(jù)挖掘報表開發(fā)實驗區(qū)1實驗區(qū)2實驗區(qū)3據(jù)口螞蟻開放平臺業(yè)務(wù)閉環(huán)系統(tǒng)代碼掃描與發(fā)布實驗環(huán)境開發(fā)者擁有權(quán)限實驗區(qū)相互隔離數(shù)據(jù)開發(fā)數(shù)據(jù)服務(wù)數(shù)據(jù)挖掘報表開發(fā)實驗區(qū)1實驗區(qū)2實驗區(qū)3蟻數(shù)巢，數(shù)據(jù)安全業(yè)務(wù)流程架構(gòu)圖權(quán)限控制動態(tài)脫敏日志監(jiān)控權(quán)限控制動態(tài)脫敏日志監(jiān)控風(fēng)險CTU限制、數(shù)據(jù)安全等級動態(tài)調(diào)整限制、數(shù)據(jù)安全等級動態(tài)調(diào)整數(shù)據(jù)生產(chǎn)環(huán)境僅平臺擁有權(quán)限數(shù)據(jù)生產(chǎn)環(huán)境僅平臺擁有權(quán)限層系統(tǒng)層日志監(jiān)控與分析計算引擎任務(wù)工作流采樣采樣螞蟻數(shù)巢，用戶隱私和商業(yè)風(fēng)險可管控托管云實驗區(qū)托管云實驗區(qū)短文短文本部分掩藏或數(shù)值化負浮動N%-M%精度，模糊化份標(biāo)識生成唯一ID加密轉(zhuǎn)換身份標(biāo)識身份標(biāo)識 (email,手機…)企業(yè)數(shù)據(jù)倉庫文本 (姓名，住址…)數(shù)值 (金額、筆數(shù)…)標(biāo)簽 (白富美…)唯一ID略斷執(zhí)行示略斷執(zhí)行示蹤螞蟻數(shù)巢-用戶隱私和商業(yè)風(fēng)險可管控ess CTU防護 脫敏防護提提交SQL語句掃描SQL語句執(zhí)行SQL語句處理查詢結(jié)果回結(jié)果鑒權(quán)測完善的執(zhí)行日志記錄、監(jiān)控、審計記錄日志僅為安全分析，執(zhí)行最嚴格的用戶數(shù)據(jù)和版權(quán)保障計劃螞蟻數(shù)巢-行為監(jiān)督的風(fēng)險識別制度嚴格的安全流程進行安全審核制度嚴格的安全流程進行安全審核 監(jiān)控出口控數(shù)據(jù)消費量規(guī)則模型識別風(fēng)險任何外在的表現(xiàn)，最終都會反應(yīng)到數(shù)據(jù)調(diào)用/處理的總量上來，所以可以從人和系統(tǒng)二個角度進行規(guī)則模型識別風(fēng)險人群分類，監(jiān)控其行為變化機器學(xué)習(xí)模型識別風(fēng)險可能有異機器學(xué)習(xí)模型識別風(fēng)險1.支付寶登錄體系(CTU大腦)2.多租戶，隔離到實驗(項目)級3.所有行為全部記錄進行風(fēng)控分析4.白名單體系，僅指定IP可訪問 Web服務(wù)器權(quán)限控制列級表格式存不暴露文件1.支付寶登錄體系(CTU大腦)2.多租戶，隔離到實驗(項目)級3.所有行為全部記錄進行風(fēng)控分析4.白名單體系，僅指定IP可訪問 Web服務(wù)器權(quán)限控制列級表格式存不暴露文件螞蟻數(shù)巢-數(shù)據(jù)存儲與訪問安全管控實現(xiàn)1、基于金融云搭建，采用獨立的機房集群，滿足一行三會金融監(jiān)管要求。2、保證數(shù)據(jù)產(chǎn)權(quán),專項專用,數(shù)據(jù)只進不出，用戶自行物理銷毀。云數(shù)據(jù)實驗室Web服務(wù)器阿里云ODPS保阿里云ODPS保障，保護用戶的數(shù)據(jù)不丟失、不泄露、不被竊取ODPS接入層 (用戶認證)ODPS控制集群ODPS飛天內(nèi)部認證與授權(quán)中心…2、Java沙箱式，只進不出訪問終端指定的白名單我對螞蟻金服大數(shù)據(jù)開放式實踐及應(yīng)用的總結(jié)(一)大數(shù)據(jù)的三個要素海量(新)數(shù)據(jù)新算法新新算法創(chuàng)造業(yè)務(wù)(客戶)價值滿足“大”和“在線”這二個特性要求舊，越“新”越能改變業(yè)務(wù)基礎(chǔ)能力速數(shù)據(jù)的流動和應(yīng)用規(guī)模機器學(xué)習(xí)需要大計算，需要新的計算框架是關(guān)鍵，是引擎規(guī)模機器學(xué)習(xí)，可以兼容部分“臟”數(shù)據(jù)提升用戶體驗的關(guān)鍵傾聽每一個個體的聲音我對螞蟻金服大數(shù)據(jù)