數(shù)據(jù)中臺：宜信敏捷數(shù)據(jù)中臺建設(shè)實(shí)踐 2020盧山巍

宜信技術(shù)學(xué)院宜信技術(shù)學(xué)院CreditEase目錄目錄CONTENTS1宜信數(shù)據(jù)中臺頂層設(shè)計(jì)2從中間件工具到平臺3典型案例分析宜信技術(shù)學(xué)院宜信技術(shù)學(xué)院宜信數(shù)據(jù)中臺頂層設(shè)計(jì):特點(diǎn)和需求?業(yè)務(wù)條線眾多:普惠金融板塊、財(cái)富管理板塊、資產(chǎn)管理板塊、金融科技板塊,?技術(shù)選型眾多:MYSQL、oracIe、HBase、KUDU、Cassandra、EIasticsearch、?數(shù)據(jù)需求多樣:報(bào)表、可視化、服務(wù)、推送、遷移、同步、數(shù)據(jù)應(yīng)用等?數(shù)據(jù)需求多變:經(jīng)常有周級產(chǎn)出數(shù)據(jù)需求和數(shù)據(jù)應(yīng)用?數(shù)據(jù)管理考慮:數(shù)據(jù)元信息可查,數(shù)據(jù)定義和流程標(biāo)準(zhǔn)化,數(shù)據(jù)管理可控等?數(shù)據(jù)安全考慮:多級數(shù)據(jù)安全策略,數(shù)據(jù)鏈路可追溯,敏感數(shù)據(jù)不可泄露等?數(shù)據(jù)權(quán)限考慮:表級、列級、行級數(shù)據(jù)權(quán)限,組織架構(gòu)、角色、權(quán)限策略自動化?數(shù)據(jù)成本考慮:集群成本、運(yùn)維成本、人力成本、時間成本、風(fēng)險(xiǎn)成本等宜信數(shù)據(jù)中臺頂層設(shè)計(jì):定位宜信數(shù)據(jù)中臺從數(shù)據(jù)技術(shù)和計(jì)算能力復(fù)用,到數(shù)據(jù)資產(chǎn)和數(shù)據(jù)服務(wù)復(fù)用數(shù)據(jù)中臺會以更大價值帶寬,快準(zhǔn)精讓數(shù)據(jù)直接賦能業(yè)務(wù)數(shù)據(jù)安全團(tuán)隊(duì)數(shù)據(jù)運(yùn)維團(tuán)隊(duì)數(shù)據(jù)管理委員會業(yè)務(wù)領(lǐng)域數(shù)據(jù)團(tuán)隊(duì)業(yè)務(wù)領(lǐng)域數(shù)據(jù)安全團(tuán)隊(duì)數(shù)據(jù)運(yùn)維團(tuán)隊(duì)數(shù)據(jù)管理委員會業(yè)務(wù)領(lǐng)域數(shù)據(jù)團(tuán)隊(duì)業(yè)務(wù)領(lǐng)域數(shù)據(jù)團(tuán)隊(duì)業(yè)務(wù)領(lǐng)域數(shù)據(jù)團(tuán)隊(duì)業(yè)務(wù)領(lǐng)域數(shù)據(jù)團(tuán)隊(duì)ADXADX數(shù)據(jù)中臺平臺(byADX團(tuán)隊(duì))數(shù)據(jù)集群數(shù)據(jù)集群數(shù)據(jù)集群數(shù)據(jù)集群數(shù)據(jù)集群數(shù)據(jù)集群數(shù)據(jù)集群數(shù)據(jù)集群快平臺化,透明封裝復(fù)用技術(shù)組件自助化,簡單配置,月=>天實(shí)時化,驅(qū)動業(yè)務(wù)增長,天=>分ADX準(zhǔn)省o快平臺化,透明封裝復(fù)用技術(shù)組件自助化,簡單配置,月=>天實(shí)時化,驅(qū)動業(yè)務(wù)增長,天=>分ADX準(zhǔn)省o時間成本,需求排期和重復(fù)開發(fā)o人力成本,重復(fù)開發(fā)和缺少復(fù)用o硬件成本,集群資源濫用造成浪費(fèi)o定制化需求造成重復(fù)開發(fā)o取數(shù)方式各異,清洗邏輯各異o數(shù)據(jù)孤島未打通整合o需求驅(qū)動實(shí)施,無法沉淀數(shù)據(jù)資產(chǎn)統(tǒng)—化,統(tǒng)—數(shù)據(jù)湖歸集和出口管理化,元數(shù)據(jù)、數(shù)據(jù)地圖、血緣資產(chǎn)化,模型管理讓數(shù)據(jù)可信賴自助化,節(jié)省時間就是節(jié)省成本平臺化,成熟技術(shù)組件高復(fù)用度精細(xì)化,集群資源可估可查可量化宜信數(shù)據(jù)中臺頂層設(shè)計(jì):模塊架構(gòu)維度業(yè)務(wù)前臺數(shù)據(jù)維度數(shù)據(jù)應(yīng)用層數(shù)據(jù)應(yīng)用層數(shù)據(jù)資產(chǎn)層數(shù)據(jù)湖層宜信數(shù)據(jù)中臺平臺維度DavinciDavinciconvoAIconvoAI會話式AIDataHubDataHub數(shù)據(jù)樞紐AIHubAIHub智能服務(wù)DataDataMgt數(shù)據(jù)管理ADXMgt中臺管理ADXMgt中臺管理DataworksDataworks數(shù)據(jù)工坊(基于wormhoIe/Moonbox/TriangIe)數(shù)據(jù)標(biāo)簽AIkit智能工具箱AIkit智能工具箱DataHubDataHub數(shù)據(jù)樞紐(基于DBus/wormhoIe/Moonbox/TriangIe)數(shù)據(jù)集群數(shù)據(jù)集群宜信數(shù)據(jù)中臺頂層設(shè)計(jì):數(shù)據(jù)能力維度業(yè)務(wù)智能AI智能業(yè)務(wù)computation數(shù)據(jù)處理Governance數(shù)據(jù)治理Management平臺管理operation集群管理(davinci)(dataworks)(datahubIdavinci)(adxmgt)(davinci)(aihub)(dataworks)(datahub)(adxmgt)(davinci)(convoai)(dataworks)(datamgt)(adxmgt)(datahub)(dataworks)(datastarIdatatag)(adxmgt)宜信技術(shù)學(xué)院宜信技術(shù)學(xué)院從中間件工具到平臺:ABD總覽從中間件工具到平臺:ABD-DBus功能特性?無侵入方式接入多種數(shù)據(jù)源?海量數(shù)據(jù)實(shí)時傳輸?自動感知數(shù)據(jù)源Schema變更?數(shù)據(jù)實(shí)時脫敏?初始加載和獨(dú)立加載?可靠多路消息訂閱分發(fā)?實(shí)時監(jiān)控&預(yù)警?可視化后臺管理系統(tǒng)?支持分表數(shù)據(jù)匯集?多租戶支持DBus(數(shù)據(jù)總線平臺),是一個DBaas(DataBusasaservice)平臺解DBus面向大數(shù)據(jù)項(xiàng)目開發(fā)和管理運(yùn)維人員,致力于提供數(shù)據(jù)實(shí)時采集和分發(fā)解決方案。平臺采用高可用流式計(jì)算框架,提供海量數(shù)據(jù)實(shí)時傳輸,可靠多路消息訂閱分發(fā),通過簡單靈活的配置,無侵入接入源端數(shù)據(jù),對各個IT系統(tǒng)在業(yè)務(wù)流程中產(chǎn)生的數(shù)據(jù)進(jìn)行匯集,并統(tǒng)—處理轉(zhuǎn)換成通過JSON描述的UMS格式,提供給不同下游客戶訂閱和消費(fèi)。DBus可充當(dāng)數(shù)倉平臺、大數(shù)據(jù)分析平臺、實(shí)時報(bào)表和實(shí)時營銷等業(yè)務(wù)的數(shù)據(jù)源。FKSinkHeartbeat心跳預(yù)警&監(jiān)控模塊RDBMSFKSinkHeartbeat心跳預(yù)警&監(jiān)控模塊RDBMS…SourceDBusDBus-web部署&配置&管理DBusDBusManagerzooKeeper從中間件工具到平臺:ABD-wormhoIe/cass/cass/es/mongo功能特性wormhoIe(流式處理平臺),是一個spaas(streamprocessingasaservice)平臺解決方案。wormhoIe面向大數(shù)據(jù)項(xiàng)目開發(fā)和管理運(yùn)維人員,致力于提供數(shù)據(jù)流式化處理解決方案。平臺專注于簡化和統(tǒng)—開發(fā)管理流程,提供可視化的操作界面,基于配置和SQL的業(yè)務(wù)開發(fā)方式,屏蔽底層技術(shù)實(shí)現(xiàn)細(xì)節(jié),極大的降低了開發(fā)門檻,使得大數(shù)據(jù)流式處理項(xiàng)目的開發(fā)和管理變得更加輕量敏捷、可控可靠。sourceFksourceFkEsvertica…sinkzookeeperREsTREsTAPIwEBwEBUIUMs協(xié)議解析source擴(kuò)展source異構(gòu)sink冪等UMs協(xié)議解析source擴(kuò)展source異構(gòu)sink冪等sink擴(kuò)展sinksparksQLLookupsQL流上流上JoinsQLwormhoIewormhoIe統(tǒng)—流式執(zhí)行框架 從中間件工具到平臺:ABD-Moonbox/cassMoonbox(計(jì)算服務(wù)平臺),是一個Daas(DatavirtuaIization/cassMoonbox面向數(shù)據(jù)倉庫工程師/數(shù)據(jù)分析師/數(shù)據(jù)科學(xué)家等,致力于提供數(shù)據(jù)虛擬化解決方案。既可作為數(shù)據(jù)應(yīng)用底層數(shù)據(jù)查詢計(jì)算統(tǒng)—入口,也可作為邏輯數(shù)據(jù)倉庫與現(xiàn)有數(shù)據(jù)倉庫互補(bǔ)。用戶只需通過統(tǒng)—SQL服務(wù)調(diào)用和/es/mongo/es/mongo…功能特性功能特性支持多源異構(gòu)系統(tǒng)無縫混算(目前支持MYSQL、OracIe、kudu、HBase、Cassandra、MongoDB、EIasticsearch、HDFS、Hive等)支持CLI工具和zeppeIincache(redis)cataIog(mysqI)workernodescache(redis)cataIog(mysqI)workernodesjvmcIientjdbcjdbcdriverodbcodbcdrivermasternodesjvmhttphttpservertcptcpserverthriftthriftserverauthenticationauthenticationmasteractor workermgtstatusstatusmgtscheduIerscheduIertimertimerworkeractor(sparkcontext)runneractorscataIogcontextmbsessioncataIogcontextuserusercontextmixcaIcontextsparksparksessionsparkdatasourcesparkdatasourceapimbdatasystemapisparkconnectorsdataadaptersdatasourcedatasourcedatasourcedatasource從中間件工具到平臺:ABD-DavinciDavinci(可視應(yīng)用平臺),是一個Dvaas(DatavisuaIizationasaservice)平臺解決方案。Davinci面向業(yè)務(wù)人員/數(shù)據(jù)工程師/數(shù)據(jù)分析師/數(shù)據(jù)科學(xué)家,致力于提供—站式數(shù)據(jù)可視化解決方案。既可作為公有云/私有云獨(dú)立部署使用,也可作為可視化插件集成到三方系統(tǒng)。用戶只需在可視化UI上簡單配置即可服務(wù)多種數(shù)據(jù)可視化應(yīng)用,并支持高級交互/行業(yè)分析/模式探索/社交智能等可視化功能。功能特性支持可視化組件CSV數(shù)據(jù)下載、公共分享授權(quán)分享以支持圖層、透明度設(shè)置、邊框、背景色、對齊、標(biāo)簽等更豐從中間件工具到平臺:ABD-DavincivisuaIizationDashboardDashboard……widgetviewSourceoracIeoracIe…CSvCSv……從中間件工具到平臺:ABD-Davinci…服務(wù)應(yīng)用從中間件工具到平臺:ABD架構(gòu)…服務(wù)應(yīng)用數(shù)據(jù)源/客戶端集成/采集/抽取總線/發(fā)布/訂閱加工/擴(kuò)展/注入存儲/索引/緩存查詢/計(jì)算/服務(wù)展示/分析/應(yīng)用關(guān)系數(shù)據(jù)庫關(guān)系數(shù)據(jù)庫/mysqIubiLog/cass/hue服務(wù)終端服務(wù)終端用戶程序用戶程序/es/mongojupyterjupyter/sas/r數(shù)據(jù)管理:元數(shù)據(jù)/數(shù)據(jù)質(zhì)量/血緣分析/數(shù)據(jù)資產(chǎn)數(shù)據(jù)管理:元數(shù)據(jù)/數(shù)據(jù)質(zhì)量/血緣分析/數(shù)據(jù)資產(chǎn)數(shù)據(jù)安全:安全審計(jì)/脫敏加密/權(quán)限角色/多租戶數(shù)據(jù)安全:安全審計(jì)/脫敏加密/權(quán)限角色/多租戶開發(fā)運(yùn)維:開發(fā)/測試/部署/運(yùn)維/監(jiān)控/預(yù)警/作開發(fā)運(yùn)維:開發(fā)/測試/部署/運(yùn)維/監(jiān)控/預(yù)警/作業(yè)調(diào)度驅(qū)動引擎:事件引擎/動作引擎/規(guī)則引擎/驅(qū)動引擎:事件引擎/動作引擎/規(guī)則引擎/預(yù)測引擎從中間件工具到平臺:ADX總覽Dataworks?自助項(xiàng)目管理?自助資源管理?自助權(quán)限管理?審批管理流程?元數(shù)據(jù)管理?數(shù)據(jù)字典?數(shù)據(jù)地圖?數(shù)據(jù)血緣?自助數(shù)據(jù)申請、數(shù)據(jù)發(fā)布?自助數(shù)據(jù)標(biāo)準(zhǔn)化清洗?自助數(shù)據(jù)安全脫敏加密?自助數(shù)據(jù)服務(wù)?自助即席查詢?自助批量作業(yè)?自助流式作業(yè)?對接數(shù)據(jù)模型作業(yè)?自助數(shù)據(jù)模型管理?共享數(shù)據(jù)模型流程?自助配置數(shù)據(jù)集市層、數(shù)據(jù)應(yīng)用層?聯(lián)動數(shù)據(jù)工坊部署從中間件工具到平臺:ADX-DataHubjupyterjupyter 從中間件工具到平臺:ADX-DataLakedbus對接dbus接入wh落湖實(shí)時數(shù)據(jù)湖實(shí)時歷史?所有結(jié)構(gòu)化數(shù)據(jù)源,通過實(shí)時增量方式寫入HDFS存儲,稱為ubiLog(ubiquitousLog)?通過ubiLog,可以計(jì)算出某張表任意歷史時刻精確快照(Snapshot)?ubiLog存儲格式為TXT,并且會定期做merge和壓縮?如果存儲空間允許,ubiLog會至少保存2年歷史數(shù)據(jù)?ubiLog所在HDFS為kerberos認(rèn)證安全保障的存儲,并且—式三份防止壞節(jié)點(diǎn)造成數(shù)據(jù)丟失?ubiLog的訪問和使用只能通過ADX提供的能力輸出,因此確保了多租戶、安全、權(quán)限管控?公司所有結(jié)構(gòu)化數(shù)據(jù)源會統(tǒng)-實(shí)時匯總為ubiLog,并由ADX-DataHub統(tǒng)-對外提供訪問?非結(jié)構(gòu)化數(shù)據(jù)源中,自然語言文本也會實(shí)時(或定期)匯總到ubiLog?其他非結(jié)構(gòu)化數(shù)據(jù)源,如音頻、視頻等,暫不考慮納入ADX-DataLake中從中間件工具到平臺:ADX-DataHub…Dataworks數(shù)據(jù)工坊TriangIeMoonboxwo……datawS化……從中間件工具到平臺:ADX-Dataworks}} 元數(shù)據(jù)數(shù)據(jù)安全多租戶用戶體系功能權(quán)限數(shù)據(jù)權(quán)限從中間件工具到平臺:ADX-Dataworks元數(shù)據(jù)數(shù)據(jù)安全多租戶用戶體系功能權(quán)限數(shù)據(jù)權(quán)限D(zhuǎn)ataworks數(shù)據(jù)分析/報(bào)表數(shù)據(jù)查詢流式作業(yè)數(shù)據(jù)策略數(shù)據(jù)分析/報(bào)表數(shù)據(jù)查詢流式作業(yè)數(shù)據(jù)策略 wormhoIe讀寫讀寫wormhoIe 從中間件工具到平臺:ADX-Datastar↓↓↓↓ 從中間件工具到平臺:ADXMgt/DataMgtADXMgt中臺管理模塊ADXMgt中臺管理模塊DataMgtDataMgt數(shù)據(jù)管理模塊從中間件工具到平臺:ADX架構(gòu)ADXMgt中臺管理模塊數(shù)據(jù)源Datastar數(shù)據(jù)模型模塊APP數(shù)據(jù)應(yīng)用數(shù)據(jù)源Datastar數(shù)據(jù)模型模塊APP數(shù)據(jù)應(yīng)用DataMgt數(shù)據(jù)管理模塊DataMgt數(shù)據(jù)管理模塊APP數(shù)據(jù)應(yīng)用數(shù)據(jù)源APP數(shù)據(jù)應(yīng)用數(shù)據(jù)源Dataworks數(shù)據(jù)工坊模塊DataLake實(shí)時數(shù)據(jù)湖Davinci可視應(yīng)用平臺DataHub數(shù)據(jù)樞紐模塊Dataworks數(shù)據(jù)工坊模塊DataLake實(shí)時數(shù)據(jù)湖Davinci可視應(yīng)用平臺DataHub數(shù)據(jù)樞紐模塊wormhoIe流式處理平臺MoonboxwormhoIe流式處理平臺Moonbox計(jì)算服務(wù)平臺作業(yè)調(diào)度平臺數(shù)據(jù)總線平臺宜信技術(shù)學(xué)院宜信技術(shù)學(xué)院典型案例分析:案例1—自助實(shí)時報(bào)表?業(yè)務(wù)領(lǐng)域組數(shù)據(jù)團(tuán)隊(duì)需要緊急制作—批報(bào)表,不希望排期,希望可以自助完成,并且部分報(bào)表需要T+0時效性?業(yè)務(wù)組數(shù)據(jù)團(tuán)隊(duì)工程能力有限,只會簡單SQL,之前要么排期,要么通過工具直連業(yè)務(wù)備庫制作報(bào)表,要么通?數(shù)據(jù)來源可能來自異構(gòu)數(shù)據(jù)庫,沒有很好的平臺支持自助導(dǎo)數(shù)?對數(shù)據(jù)時效性要求很高,需要流上做數(shù)據(jù)處理邏輯?(見下頁)?平臺全自助能力,大大提高了業(yè)務(wù)數(shù)字化驅(qū)動進(jìn)程,無需排期等待,經(jīng)過短暫培訓(xùn),人均3日到5日可以自助完成—張實(shí)時報(bào)表,實(shí)時報(bào)表不再求人?平臺支持人員也無需過多參與,不再成為進(jìn)度瓶頸【能力】即席查詢能力、批量處理能力、實(shí)時處理能力理能力、租戶管理能力、項(xiàng)目管理能力、作業(yè)管理能力、資源1)登錄,創(chuàng)建新項(xiàng)目,申請資源等(DO-數(shù)據(jù)擁有方)(DD-數(shù)據(jù)需求方)(DS-數(shù)據(jù)安全員)3)各方按策略依次審批2)查找選出表,選擇dataworks方式使用,填寫其他信息,申請1)登錄,創(chuàng)建新項(xiàng)目,申請資源等(DO-數(shù)據(jù)擁有方)(DD-數(shù)據(jù)需求方)(DS-數(shù)據(jù)安全員)3)各方按策略依次審批2)查找選出表,選擇dataworks方式使用,填寫其他信息,申請4)自助查詢或開發(fā),配置或SQL,批量或流式,配置dv,提交作業(yè)5)使用自助報(bào)表或儀表板jupyter典型案例分析:案例2—協(xié)作模型指標(biāo)?業(yè)務(wù)線需要打造自己的基礎(chǔ)數(shù)據(jù)集市,以共享給其他業(yè)務(wù)或者前線系統(tǒng)使用?如何有效建設(shè)數(shù)據(jù)模型和管理數(shù)據(jù)模型?如何既支持自己領(lǐng)域內(nèi)數(shù)據(jù)模型建設(shè),同時也支持?jǐn)?shù)據(jù)模型的共享?數(shù)據(jù)的共享發(fā)布如何從流程上、技術(shù)上、安全上等多方面考慮?如何運(yùn)營數(shù)據(jù)以確保有效數(shù)據(jù)資產(chǎn)沉淀和管理?(見下頁)?這是—個典型的數(shù)據(jù)資產(chǎn)管理、數(shù)據(jù)資產(chǎn)運(yùn)營的案例,通過統(tǒng)—的協(xié)作化的模型指標(biāo)管理,確保了模型可維護(hù),指標(biāo)可配置,質(zhì)量可追溯?Datastar也支持—致性維度共享、數(shù)據(jù)詞典標(biāo)準(zhǔn)化、業(yè)務(wù)線梳理等支持,可以進(jìn)—步柔性支持公司統(tǒng)—數(shù)據(jù)基【能力】數(shù)據(jù)服務(wù)能力、即席查詢能力、批量處理能力產(chǎn)能力、租戶管理能力、項(xiàng)目管理能力、作業(yè)管理能力、1)登錄,創(chuàng)建新項(xiàng)目,申請資源等3)查找選出表,選擇dataworks方式使用,填寫其他信息,申請2)查找選出表,設(shè)計(jì)DW模型,推送到dataworks項(xiàng)目5)持續(xù)配置化維護(hù)和管理DM/APP層指標(biāo)集4)基于datastar1)登錄,創(chuàng)建新項(xiàng)目,申請資源等3)查找選出表,選擇dataworks方式使用,填寫其他信息,申請2)查找選出表,設(shè)計(jì)DW模型,推送到dataworks項(xiàng)目5)持續(xù)配置化維護(hù)和管理DM/APP層指標(biāo)集4)基于datastar項(xiàng)目開發(fā)etI,提交作業(yè),發(fā)布到datahubjupyter典型案例分析:案例3—敏捷分析挖掘?業(yè)務(wù)領(lǐng)域組數(shù)據(jù)分析團(tuán)隊(duì)需要自助的進(jìn)行快速數(shù)據(jù)分析挖掘?分析團(tuán)隊(duì)使用工具各異,如SAS、R、python、SQL等?分析團(tuán)隊(duì)往往需要原始數(shù)據(jù)進(jìn)行分析(非脫敏),并且需要全歷史數(shù)據(jù)?分析團(tuán)隊(duì)希望可以快速拿到需要數(shù)據(jù)(往往并不知道需要什么數(shù)據(jù)),并敏捷高效專注于數(shù)據(jù)分析本身?(見下頁)?Moonbox本身是數(shù)據(jù)虛擬化解決方案,很適合進(jìn)行各種異構(gòu)數(shù)據(jù)源的即席數(shù)據(jù)讀取和計(jì)算,可以節(jié)省數(shù)據(jù)分?Datahub/DataLake提供了實(shí)時同步的全增量數(shù)據(jù)湖,還可以進(jìn)行配置化脫敏加密等安全策略,為數(shù)據(jù)分析場?Moonbox還專門提供了pymb庫,以支持python用戶更容易的在安全管控下進(jìn)行快速數(shù)據(jù)查看、即席計(jì)算和【能力】分析鉆取能力、數(shù)據(jù)服務(wù)能力、算法模型能力全能力、數(shù)據(jù)管理能力、租戶管理能力、項(xiàng)目管理能力、典型案例分析:案例3—敏捷分析挖掘1)登錄,創(chuàng)建新項(xiàng)目,申請資源等(DO-數(shù)據(jù)擁有方)(1)登錄,創(chuàng)建新項(xiàng)目,申請資源等(DO-數(shù)據(jù)擁有方)(DD-數(shù)據(jù)需求方)(DS-數(shù)據(jù)安全員)3)各方按策略依次審批2)查找選出表,選擇習(xí)慣的工