大數(shù)據(jù)和小米金融2

大數(shù)據(jù)和小米金融方流，小米金融技術(shù)總監(jiān)概述小米公司簡(jiǎn)介小米金融DW建設(shè)用戶金融畫像大數(shù)據(jù)反欺詐小米公司-產(chǎn)品手機(jī)空氣凈化器凈水器…電視移動(dòng)電源插線板…生態(tài)鏈平衡車手環(huán)…智能家居攝像頭血壓計(jì)體重秤…小米公司-成績(jī)小米金融信貸保險(xiǎn)理財(cái)證券小米金融-信貸便捷只需要一部小米手機(jī)隨時(shí)/隨地靈活第二天即可還款根據(jù)信用不同，先息后本/等額本金等多種還款方式極速1分鐘身份驗(yàn)證1分鐘到賬進(jìn)化隨著小米產(chǎn)品的使用/提交資料/使用貸款等方法可以提升信用信用和新品公測(cè)/分期等結(jié)合小米金融-保險(xiǎn)基于智能設(shè)備的企業(yè)團(tuán)體健康險(xiǎn)健康險(xiǎn)車險(xiǎn)意外險(xiǎn)數(shù)據(jù)平臺(tái)基于智能設(shè)備與小米大數(shù)據(jù)的保險(xiǎn)業(yè)務(wù)風(fēng)險(xiǎn)建模保險(xiǎn)公司贏利點(diǎn)2：風(fēng)控與精算定價(jià)數(shù)據(jù)輸出TOCTOB業(yè)務(wù)平臺(tái)極致性價(jià)比的保險(xiǎn)產(chǎn)品支持保險(xiǎn)業(yè)務(wù)快速成交、快速服務(wù)快速理賠的IT平臺(tái)贏利點(diǎn)1：產(chǎn)品分銷深度定制產(chǎn)品小米保險(xiǎn)DW建設(shè)架構(gòu)工具-scribe

-hadoop/hdfs

-hbase

-hive

-impala

-sqoop

-sparkDW建設(shè)-業(yè)務(wù)架構(gòu)智能家居小米手環(huán)小米血壓計(jì)小米金融/支付外部數(shù)據(jù)（爬蟲(chóng)/合作數(shù)據(jù)）小米生活等等小米push小米電視/盒子/視頻應(yīng)用/主題商店多看閱讀小米商城業(yè)務(wù)層設(shè)備層數(shù)據(jù)倉(cāng)庫(kù)模型KUDUhbaseHadoop/hdfs反欺詐模型信用模型機(jī)器學(xué)習(xí)/數(shù)據(jù)挖掘sparkimpalaHiveRscribe政策/運(yùn)營(yíng)sqoopSaikuDW建設(shè)-log利器之scribeApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientApplication/ScribeclientlocalScribe

AgentAnother

Scribe

AgentHDFSFILEsOther

storageLocal

Storage來(lái)自于facebook高性能較好的容錯(cuò)性DW建設(shè)-ETL利器之Hadoop/Hdfs每天上T數(shù)據(jù)ETL批處理DW建設(shè)-DW利器之HBaseColumnfamily數(shù)量不能太多線上服務(wù)（99%讀請(qǐng)求10ms左右，寫請(qǐng)求5ms左右）容易用map/reduce進(jìn)行批處理小米賬號(hào)11月安裝<-t110月安裝<-t29月安裝<-t3columnfamily:app數(shù)據(jù)columnfamily:商城數(shù)據(jù)columnfamily:視頻數(shù)據(jù)timestampRowKeyDW建設(shè)-數(shù)據(jù)分析利器之Hive/Sentry類SQL查詢語(yǔ)言/易上手無(wú)縫對(duì)接hadoop/hdfs/hbase使用Sentry進(jìn)行權(quán)限控制缺點(diǎn)：速度較慢DW建設(shè)-OLAP利器之Impala對(duì)應(yīng)于google的dremel近實(shí)時(shí)(分布式查詢引擎/中間結(jié)果在內(nèi)存/LLVM/C++等)類SQL查詢非常適合OLAPDW建設(shè)-數(shù)據(jù)遷移利器之sqoop業(yè)務(wù)數(shù)據(jù)往往都在mysql從mysql到hbaseDW建設(shè)-機(jī)器學(xué)習(xí)利器之spark比hadoop更通用（豐富的API）高性能良好的機(jī)器學(xué)習(xí)支持用戶金融畫像目標(biāo)屬性分析數(shù)據(jù)稀疏性問(wèn)題用戶金融畫像-目標(biāo)金融屬性

-收入/支出/資產(chǎn)/購(gòu)物/理財(cái)/…行為屬性(人被行為所定義)

-app/視頻/圖書(shū)/音樂(lè)/電話時(shí)間和次數(shù)/運(yùn)動(dòng)/…社交屬性(物以類聚，人以群分)

-居住區(qū)域/工作單位

-米聊/小米社區(qū)

-網(wǎng)絡(luò)社交（微博/linkedin）人口屬性

性別/年齡/學(xué)歷/…金融用戶畫像-屬性分析基于Spark引入GBDT+LR，GBDT+FM等方法自動(dòng)發(fā)現(xiàn)、組合特征采樣：均衡性問(wèn)題去噪：部分業(yè)務(wù)數(shù)據(jù)可能有作弊數(shù)據(jù)用戶金融畫像-數(shù)據(jù)稀疏性-應(yīng)用數(shù)據(jù)應(yīng)用元信息用戶評(píng)論評(píng)分用戶行為數(shù)據(jù)分類：SVM+人工用戶金融焦屬性-數(shù)據(jù)稀陽(yáng)疏性-職業(yè)數(shù)據(jù)定向定向抓取人工修正，需要一些領(lǐng)域知識(shí)搜索引擎通過(guò)搜索引擎獲得語(yǔ)義機(jī)器學(xué)習(xí)分類知識(shí)圖譜垂直搜索引擎建立公司、職業(yè)的知識(shí)圖譜大數(shù)據(jù)涼反欺詐-欺詐類眠型盜號(hào)-異常環(huán)大境監(jiān)測(cè)/手機(jī)驗(yàn)證身份偽造-實(shí)名認(rèn)證虛假資料-交叉驗(yàn)證大數(shù)據(jù)且反欺詐-架構(gòu)業(yè)務(wù)接國(guó)口反欺詐中壯心DW/Cach坐e外部數(shù)據(jù)鍵接入異常特征善發(fā)現(xiàn)資料交籃叉驗(yàn)證反欺詐模仇型決策引擎人工審批大數(shù)據(jù)裳反欺詐-反欺詐聯(lián)盟反欺詐任徒重而道今遠(yuǎn)—需要大家企攜手如何衡量全各自的價(jià)距值？Tha擋nks謝謝觀看/歡迎下載BYF苦AITH豎IM湖EAN貧AVI短SION慈OF袖GOOD煤ONE欄CHE滑RISH主ESA世NDT奔HEE霸NTHU煙SIAS江MTH典ATP點(diǎn)