打造金融級智能中臺的數(shù)據(jù)底座

1、打造金融級智能中臺的數(shù)據(jù)底座目錄金融智能的應(yīng)用場景數(shù)據(jù)底座的背景分析高效：用AI解決AI的問題高質(zhì)：流程與工具并用安全：金融的底線總結(jié)AI在螞蟻的應(yīng)用場景02030504智能理財基于金融大數(shù)據(jù)提供智能 理財策略分析和決策建議智能營銷個性化智能營銷決策 提升業(yè)務(wù)運(yùn)營效率智能保險智能保險定價、定損、理 賠，線上自動化流程管理智能客服與助理一站式金融場景機(jī)器人 智能業(yè)務(wù)決策和執(zhí)行助理金融大腦06智能信貸 基于數(shù)據(jù)隱私加密共享 學(xué)習(xí)的聯(lián)合放貸智能風(fēng)控基于深度學(xué)習(xí)的風(fēng)險識別與防控01螞蟻AI能力大圖智能風(fēng)控智能客服助理智能營銷智能信貸智能保險機(jī)器人平臺金融信息服務(wù)生物識別金融知識圖譜&NLP金融視覺平臺

2、金融算法（AutoML ，圖推理，隱私保護(hù)共享學(xué)習(xí)，運(yùn)籌優(yōu)化，無監(jiān)督學(xué)習(xí)，在線學(xué)習(xí)，強(qiáng)化學(xué)習(xí)，模型可解釋）金 融 大 腦行 業(yè) &場 景智能理財計算數(shù)據(jù)螞蟻保險-讓更多人享受有保障的生活多收多保2500萬 小商戶日均 1萬筆 理賠相互寶半年超過 5000萬 用戶1000萬 老年用戶理賠寶背后的智能實(shí)體抽取實(shí)體匹配系統(tǒng)智能核賠圖像識別用戶上傳 理賠信息感知圖像分類：區(qū)別病歷、發(fā)票、證明等OCR：支持文字、圖章識別反欺詐：識別PS圖片等數(shù)十個圖像模型多鏈路融合決策金融視覺平臺 Computer visionNLP&知識圖譜健康知識圖譜：醫(yī)院、疾病、科室、手 術(shù)、保險產(chǎn)品等實(shí)體關(guān)聯(lián)億級節(jié)點(diǎn)和邊在線實(shí)

3、時融合推理金融知識圖譜平臺 Financial knowledge graph決策算法策略Algorithmic decision 對比傳統(tǒng)流程核賠效率提升5倍以上目錄金融智能的應(yīng)用場景數(shù)據(jù)底座的背景分析高效：用AI解決AI的問題高質(zhì)：流程與工具并用安全：金融的底線總結(jié)智能中臺的簡略框架智能標(biāo)注平臺知識圖譜&NLP平臺金融視覺平臺OLAPExplorer、ES搜索Ha3、ES訓(xùn)練&算法 ALPS存儲ODPS、OSS、Hbase、RDS、CEPH計算ASDI、ODPS、Kepler調(diào)度ASWF、DataOS研 發(fā) 平 臺底 層 技 術(shù)數(shù)據(jù)底座（存儲、標(biāo)注、分析等）工程底座（訓(xùn)練、評測、發(fā)布等）算

4、法研發(fā)工程研發(fā)模 型數(shù)據(jù)清洗數(shù)據(jù)標(biāo)注模型部署數(shù)據(jù)研發(fā)模型訓(xùn)練模型服務(wù)為什么數(shù)據(jù)底座很重要來源：Stanford機(jī)器學(xué)習(xí)公開課，36氪研究院數(shù)據(jù)處理貫穿模型迭代的始終數(shù)據(jù)和特征決定了機(jī)器學(xué)習(xí)的上限數(shù)據(jù)安全是金融行業(yè)生命線金融智能的數(shù)據(jù)底座挑戰(zhàn)效率質(zhì)量安全存儲分散，多次拷貝濫用批處理標(biāo)注效率低標(biāo)注質(zhì)量數(shù)據(jù)快速refine標(biāo)注安全訓(xùn)練安全目錄金融智能的應(yīng)用場景數(shù)據(jù)底座的背景分析高效：用AI解決AI的問題 數(shù)據(jù)流轉(zhuǎn)智能標(biāo)注高質(zhì)：流程與工具并用安全：金融的底線總結(jié)數(shù)據(jù)流轉(zhuǎn)：打通數(shù)據(jù)閉環(huán)，提升流轉(zhuǎn)效率清洗過濾數(shù)據(jù)選擇數(shù)據(jù)采集標(biāo)注檢查驗(yàn)收模型 規(guī)則校驗(yàn)業(yè)務(wù)數(shù)據(jù) 映射業(yè)務(wù)校驗(yàn)?zāi)Ｐ桶l(fā)布訓(xùn)練/評估數(shù)據(jù)切分?jǐn)?shù)據(jù)預(yù)處

5、理模型預(yù)標(biāo)數(shù)據(jù)標(biāo)注數(shù)據(jù)轉(zhuǎn)換模型訓(xùn)練業(yè)務(wù)場景統(tǒng)一存儲統(tǒng)一格式統(tǒng)一分析統(tǒng)一編碼數(shù)據(jù)流轉(zhuǎn)：基于one ID的數(shù)據(jù)復(fù)用uuid1：v1uuid1：v2uuid2：v1op1:uuid1：v2op1:uuid2：v1op2:uuid1：v2op2:uuid2：v1snapshot1snapshot3model1:v1model2:v1model1:v2ReporterPredict resultMark result1op1:uuid1：v1Mark result2op2:uuid1：v1conditionsnapshot2原始數(shù)據(jù)標(biāo)注數(shù)據(jù)樣本數(shù)據(jù)模型數(shù)據(jù)復(fù)用為預(yù) 標(biāo)注結(jié)果快照數(shù)據(jù)沉淀成資產(chǎn)， 提供快速

6、查找 能力DataSet1DataSet2n：n應(yīng)用效果數(shù)據(jù)智能標(biāo)注：模型市場賦能標(biāo)注LK光流法物體檢測透視矩陣變換視頻類Polyrnn+maskrnnOCR圖像類分詞實(shí)體推薦。文本類數(shù)據(jù)增強(qiáng)預(yù)標(biāo)注智能輔標(biāo)工具移動標(biāo)注PC標(biāo)注標(biāo)注 工具模型發(fā)布統(tǒng)一網(wǎng)關(guān)服務(wù)監(jiān)控模型管理圖像平臺NLP平臺算法 平臺樣本自 訓(xùn) 練 模 型主動學(xué)習(xí)機(jī)器人通 用 模 型數(shù)據(jù)選擇：通過主動學(xué)習(xí)節(jié)省90%的標(biāo)注量主動學(xué)習(xí)（Active Learning ）是一個迭代過 程，不斷選擇對當(dāng)前模型效果提升最有效的樣 本，優(yōu)先進(jìn)行標(biāo)注分類寶case：約10%的樣本達(dá)到所有數(shù)據(jù)的 訓(xùn)練效果能力集成到數(shù)據(jù)底座，包括基于信息熵的通用 選

7、擇和算法自定義選擇。橙色：主動學(xué)習(xí) 藍(lán)色：隨機(jī)綠色：所有數(shù)據(jù)增強(qiáng)：解決樣本少或者不均衡的問題復(fù)制、翻轉(zhuǎn)、剪切、縮放高斯噪聲、高斯模糊SMOTE、GAN例如Image Smote在具體業(yè)務(wù) 場景上帶來3-5%效果提升1.couting2.enlarge3.Extract k and gen noise總樣本數(shù)A：xB：yC：zA：x*NB：y*NC：z*N分別抽取K條計 算其均值和方 差，生成噪聲并 疊加到采樣數(shù)據(jù)Image SmoteAntLable 支持視頻、圖像、語音、文字、地圖等內(nèi)容標(biāo)注；很多業(yè)務(wù)場景帶來數(shù)倍的效率提升；大部分實(shí)現(xiàn)基于前端算法，計劃開源智能輔標(biāo)工具智能輔標(biāo)：傾斜校正、自動

8、貼合+OCR智能輔標(biāo)：圖像自動分割智能輔標(biāo)：視頻人物跟蹤智能輔標(biāo)：視頻圖像對齊目錄金融智能的應(yīng)用場景數(shù)據(jù)底座的背景分析高效：用AI解決AI的問題高質(zhì)：流程與工具并用安全：金融的底線總結(jié)標(biāo)注質(zhì)量：基于數(shù)據(jù)指標(biāo)的流程管控體系工 作 流模型數(shù)據(jù)指標(biāo)數(shù)據(jù)樣本數(shù)據(jù)數(shù) 據(jù)標(biāo)注檢查驗(yàn)收訓(xùn)練駁回駁回refine多維分析UDF投票雷題工 具規(guī)則校驗(yàn)機(jī)器人監(jiān)控預(yù)警分析引擎流程引擎引 擎標(biāo)注質(zhì)量報表樣本分析模型效果報表目錄金融智能的應(yīng)用場景數(shù)據(jù)底座的背景分析高效：用AI解決AI的問題精準(zhǔn)：流程與工具并用安全：金融的底線總結(jié)安全要求和解決思路安全存儲拒絕人員查看不落庫分割脫敏加密鑒權(quán)時效水印頻次訪問控制文件管控。安全

9、標(biāo)注：不落數(shù)據(jù)標(biāo)后即焚標(biāo)注前端業(yè)務(wù)系統(tǒng)安全標(biāo)注SDK標(biāo)注頁標(biāo)注員 密鑰解析結(jié)果展示標(biāo)注后端標(biāo)注員標(biāo)注開始訪問控制數(shù)據(jù)加密讀取內(nèi)容Token、 請求信息安全標(biāo)注：分割標(biāo)注語音、文本、圖片最小化分割數(shù)據(jù)脫敏sdk原始數(shù)據(jù)數(shù)據(jù)分割片段1.1片段1.2片段2.1片段2.2片段n.m標(biāo)注任務(wù)包1標(biāo)注任務(wù)包2標(biāo)注任務(wù)包3標(biāo)注任務(wù)包n標(biāo)注結(jié)果合并敏感信息識別脫敏處理安全訓(xùn)練標(biāo)注數(shù)據(jù)原始數(shù)據(jù)數(shù)據(jù)分割原數(shù)據(jù)1原數(shù)據(jù)2原數(shù)據(jù)3加密數(shù)據(jù)1加密數(shù)據(jù)2加密數(shù)據(jù)3加密標(biāo)注數(shù)據(jù)磁盤統(tǒng)一存儲加載到內(nèi)存解碼&合成模型訓(xùn)練目錄金融智能的應(yīng)用場景數(shù)據(jù)底座的背景分析高效：用AI解決AI的問題精準(zhǔn)：流程與工具并用安全：金融的底線總結(jié)數(shù)據(jù)底座總體功能框架標(biāo)注任務(wù)信息原數(shù)據(jù)、meta數(shù)據(jù)原始數(shù)據(jù)反饋數(shù)據(jù)原數(shù)據(jù)維度標(biāo)注label維度模型迭代維度標(biāo)注任務(wù)維度管控&治理數(shù)據(jù)資產(chǎn)數(shù)據(jù)多維透視質(zhì)量多維評估報表監(jiān)控&預(yù)警加工數(shù)據(jù)XXX預(yù)標(biāo) 注結(jié)果標(biāo) 注 數(shù) 據(jù)標(biāo)注&預(yù)測結(jié)果人工標(biāo)注算法預(yù)測 結(jié)果結(jié)果統(tǒng)一存儲 統(tǒng)一格式 統(tǒng)一分析采集&接入標(biāo)準(zhǔn)數(shù)據(jù)集數(shù)據(jù)集維度Dump寬 表產(chǎn)品 封裝平 臺標(biāo)注平臺圖像平臺NLP平臺.主動學(xué)習(xí)能力組件 模型市場知識圖譜.歸一抽取Label數(shù)據(jù)標(biāo)注質(zhì)量指標(biāo) 樣本質(zhì)量指標(biāo) 統(tǒng)計信息.數(shù)據(jù)