金融級(jí)數(shù)據(jù)研發(fā) DataOps 落地實(shí)踐-廖曉格

金融級(jí)數(shù)據(jù)研發(fā)Data平安銀行數(shù)據(jù)及AI平臺(tái)團(tuán)隊(duì)負(fù)責(zé)人/廖曉格廖曉格長期大數(shù)據(jù)平臺(tái)、AI平臺(tái)建設(shè)經(jīng)驗(yàn)二、數(shù)據(jù)研發(fā)DataOps實(shí)踐如何保證數(shù)據(jù)共享重升降保數(shù)據(jù)研發(fā)平臺(tái)問題和挑戰(zhàn)如何保證數(shù)據(jù)共享重升降保如何減少數(shù)據(jù)事如何減少數(shù)據(jù)事故，保證數(shù)據(jù)交付如何提高數(shù)據(jù)交付如何提高數(shù)據(jù)交付效率和批量數(shù)據(jù)時(shí)如何有效賦能業(yè)如何有效賦能業(yè)臺(tái)成本？>>必須有數(shù)據(jù)研發(fā)工程師+后端開發(fā)工程師參與完整的業(yè)務(wù)需求批流程也要小時(shí)到天不等，影響一些分析場景的效能；理理A提升數(shù)據(jù)加工效率改善數(shù)據(jù)質(zhì)量D控制數(shù)據(jù)風(fēng)險(xiǎn)賦能管理決策數(shù)據(jù)成本越來越高，理理A提升數(shù)據(jù)加工效率改善數(shù)據(jù)質(zhì)量D控制數(shù)據(jù)風(fēng)險(xiǎn)賦能管理決策數(shù)據(jù)安全隱患0不可靠決策理急需一套工程體系支撐數(shù)據(jù)研發(fā)急需一套工程體系支撐數(shù)據(jù)研發(fā)，DataOps是一種面向數(shù)據(jù)全生命周期，以價(jià)值最大化為目標(biāo)的最佳實(shí)踐。聚焦于協(xié)同從數(shù)據(jù)需求輸入到交付物輸出的全過程。構(gòu)建集開發(fā)、治理、運(yùn)營于一體的自動(dòng)化數(shù)據(jù)流水線，不斷提高數(shù)據(jù)產(chǎn)品交付效率與質(zhì)量，實(shí)現(xiàn)高質(zhì)量數(shù)字化發(fā)展。數(shù)據(jù)研發(fā)平臺(tái)DataOps目標(biāo)?統(tǒng)一數(shù)據(jù)研發(fā)平臺(tái)核心目標(biāo)將DataOps的數(shù)據(jù)管理方法論融入數(shù)據(jù)開發(fā)，以及一些自動(dòng)化測試，部署等技術(shù),構(gòu)建標(biāo)準(zhǔn)數(shù)據(jù)研發(fā)生產(chǎn)流水線。支研發(fā)流程標(biāo)數(shù)據(jù)安全保精細(xì)化數(shù)據(jù)提升數(shù)據(jù)時(shí)效工具化運(yùn)營夯實(shí)平臺(tái)穩(wěn)定保障數(shù)據(jù)研發(fā)質(zhì)量；沉淀高價(jià)值數(shù)據(jù)資產(chǎn)深入湖倉一體架構(gòu)提高數(shù)據(jù)研發(fā)效率；提供高可用的數(shù)據(jù)服務(wù)擴(kuò)大實(shí)時(shí)數(shù)據(jù)使用場二、數(shù)據(jù)研發(fā)DataOps實(shí)踐數(shù)據(jù)運(yùn)營推動(dòng)數(shù)據(jù)監(jiān)督數(shù)據(jù)基礎(chǔ)底座數(shù)據(jù)安全保護(hù)傘生成測試一體化統(tǒng)一調(diào)度統(tǒng)一權(quán)限數(shù)據(jù)研發(fā)平臺(tái)DataOps數(shù)據(jù)運(yùn)營推動(dòng)數(shù)據(jù)監(jiān)督數(shù)據(jù)基礎(chǔ)底座數(shù)據(jù)安全保護(hù)傘生成測試一體化統(tǒng)一調(diào)度統(tǒng)一權(quán)限建立以價(jià)值最大化為目標(biāo)的數(shù)據(jù)全生命周期管理最佳實(shí)踐建立以價(jià)值最大化為目標(biāo)的數(shù)據(jù)全生命周期管理最佳實(shí)踐倉表字段業(yè)務(wù)標(biāo)簽/特征數(shù)據(jù)模型服務(wù)API湖/倉表數(shù)據(jù)源作業(yè)成本價(jià)值作業(yè)成本價(jià)值ROI質(zhì)量運(yùn)營異常診斷資產(chǎn)盤點(diǎn)事前治理項(xiàng)事前治理項(xiàng)事故復(fù)盤管理字段相似度相似作業(yè)識(shí)別相似加工鏈路數(shù)據(jù)質(zhì)量DQ資源監(jiān)控作業(yè)大屏高保作業(yè)發(fā)布規(guī)范質(zhì)量規(guī)范架構(gòu)規(guī)范數(shù)據(jù)標(biāo)準(zhǔn)安全規(guī)范事中治理事后治理數(shù)據(jù)加工測試發(fā)布運(yùn)維監(jiān)控?cái)?shù)據(jù)集成數(shù)據(jù)服務(wù)指標(biāo)加工數(shù)據(jù)源重降升保Oneservice指標(biāo)定義指標(biāo)發(fā)布數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)采集數(shù)據(jù)模型應(yīng)用管理數(shù)據(jù)準(zhǔn)備項(xiàng)目注冊(cè)服務(wù)配置并發(fā)布服務(wù)交付數(shù)據(jù)集定義數(shù)據(jù)研發(fā)流程規(guī)范數(shù)據(jù)運(yùn)營規(guī)范數(shù)據(jù)安全規(guī)范數(shù)據(jù)研發(fā)平臺(tái)DataOneservice指標(biāo)定義指標(biāo)發(fā)布數(shù)據(jù)數(shù)據(jù)數(shù)據(jù)采集數(shù)據(jù)模型應(yīng)用管理數(shù)據(jù)準(zhǔn)備項(xiàng)目注冊(cè)服務(wù)配置并發(fā)布服務(wù)交付數(shù)據(jù)集定義數(shù)據(jù)研發(fā)流程規(guī)范數(shù)據(jù)運(yùn)營規(guī)范數(shù)據(jù)安全規(guī)范?基于《數(shù)據(jù)研發(fā)流程基線細(xì)則》和《務(wù)等)，引入CI/CT/CD方法融入并標(biāo)準(zhǔn)化數(shù)據(jù)研發(fā)流程，降低統(tǒng)一數(shù)據(jù)研發(fā)平臺(tái)數(shù)據(jù)研發(fā)的全生命周期流程數(shù)據(jù)數(shù)據(jù)一采集方式數(shù)據(jù)源一采集方式數(shù)據(jù)源數(shù)據(jù)定義合規(guī)檢查表注冊(cè)模型管理建模定義數(shù)據(jù)源選擇定義數(shù)據(jù)源選擇檢查數(shù)據(jù)數(shù)據(jù)運(yùn)營語法UAT定義采集頻率采集頻率加解密數(shù)據(jù)架構(gòu)規(guī)范數(shù)據(jù)架構(gòu)規(guī)范核心能力Dataops全研發(fā)流程：融合數(shù)產(chǎn)定義開發(fā)、Oneservice數(shù)據(jù)服務(wù)配置全流程；將治理規(guī)范融入數(shù)據(jù)研發(fā)流服務(wù)和數(shù)據(jù)指標(biāo)驅(qū)動(dòng)數(shù)據(jù)研據(jù)血緣/元數(shù)據(jù)管理/規(guī)范檢實(shí)現(xiàn)線上數(shù)據(jù)的自動(dòng)檢核運(yùn)營AI建模前端業(yè)務(wù)監(jiān)管報(bào)送(starlink)數(shù)據(jù)服務(wù)OneService數(shù)據(jù)血緣數(shù)據(jù)質(zhì)量業(yè)務(wù)圖譜權(quán)限審批作業(yè)血緣鏈路治理任務(wù)成本運(yùn)(精品/kpi)全鏈路監(jiān)控診斷跑批規(guī)范數(shù)據(jù)質(zhì)量檢測統(tǒng)一資源管理Yarn實(shí)時(shí)計(jì)算引擎Flink運(yùn)營AI建模前端業(yè)務(wù)監(jiān)管報(bào)送(starlink)數(shù)據(jù)服務(wù)OneService數(shù)據(jù)血緣數(shù)據(jù)質(zhì)量業(yè)務(wù)圖譜權(quán)限審批作業(yè)血緣鏈路治理任務(wù)成本運(yùn)(精品/kpi)全鏈路監(jiān)控診斷跑批規(guī)范數(shù)據(jù)質(zhì)量檢測統(tǒng)一資源管理Yarn實(shí)時(shí)計(jì)算引擎Flink統(tǒng)一智能調(diào)度運(yùn)行規(guī)范登記評(píng)審分發(fā)API開發(fā)API市場資源隔離服務(wù)計(jì)量服務(wù)編排數(shù)據(jù)集成實(shí)時(shí)采集Flinkcdc離線采集waterdrop流批采集Flinkcdc->Spark測試/發(fā)布數(shù)據(jù)源注冊(cè)數(shù)據(jù)源管理File數(shù)據(jù)源DB數(shù)據(jù)源數(shù)據(jù)加工批任務(wù)Spark流任務(wù)Flink流轉(zhuǎn)批Flink->Spark指標(biāo)加工數(shù)據(jù)建模維度/指標(biāo)定義設(shè)計(jì)即研發(fā)指標(biāo)物化指標(biāo)上下架數(shù)據(jù)服務(wù)化分布式文件系統(tǒng)數(shù)據(jù)研發(fā)平臺(tái)DICloud統(tǒng)一SQL語義層引擎Nosql存儲(chǔ)湖倉一體Mpp存儲(chǔ)?建設(shè)目標(biāo):研發(fā)層面，基于湖倉一體存儲(chǔ)，面向全行提供流批數(shù)據(jù)一體化的研發(fā)平臺(tái)，覆蓋從需求階段-研發(fā)階段-運(yùn)行階段-運(yùn)營階段，支持業(yè)架構(gòu)治理服務(wù)編排服務(wù)編排?全行統(tǒng)一大數(shù)據(jù)作業(yè)調(diào)度平臺(tái)，支持離線數(shù)據(jù)研發(fā)，血緣自動(dòng)計(jì)算，生產(chǎn)測試一體，作業(yè)線上發(fā)布，作業(yè)運(yùn)營等數(shù)據(jù)研發(fā)的生命周期過程，標(biāo)準(zhǔn)監(jiān)控運(yùn)營監(jiān)控運(yùn)營治理全景治理全景生命周期運(yùn)營生命周期運(yùn)營統(tǒng)一研發(fā)統(tǒng)一研發(fā)IDE離線數(shù)據(jù)研發(fā)元數(shù)據(jù)離線數(shù)據(jù)研發(fā)元數(shù)據(jù)管理架構(gòu)治理檢查數(shù)據(jù)脫敏數(shù)據(jù)發(fā)布依賴調(diào)度依賴調(diào)度周期調(diào)度周期調(diào)度重跑調(diào)度重跑調(diào)度(級(jí)聯(lián)/批量重跑)組件優(yōu)先級(jí)優(yōu)先級(jí)多源異構(gòu)多源異構(gòu)數(shù)據(jù)集成SparkSpark執(zhí)行器HiveHive執(zhí)行器數(shù)據(jù)出倉數(shù)據(jù)出倉執(zhí)行器組件資源隔離SparkSpark/HiveSqoopDataxEs-sparkJdbc數(shù)據(jù)研發(fā)平臺(tái)DataOps-質(zhì)量治理能力?數(shù)據(jù)質(zhì)量已經(jīng)成為銀行數(shù)據(jù)治理的核心組成部分，從治理視角而言，建立完整全流程的數(shù)據(jù)質(zhì)量體系，及時(shí)發(fā)現(xiàn)質(zhì)量問題->實(shí)時(shí)預(yù)警屬主修復(fù)->事后復(fù)盤增強(qiáng)測試發(fā)布環(huán)節(jié)檢測、提升銀行數(shù)據(jù)整體質(zhì)量，事后-異常質(zhì)量問題追蹤復(fù)盤事后-異常質(zhì)量問題追蹤復(fù)盤實(shí)時(shí)質(zhì)量異常阻斷(依據(jù)血緣依賴阻斷下游自動(dòng)調(diào)度)基于過程質(zhì)量問題，工單追蹤異常整改實(shí)時(shí)質(zhì)量異常阻斷(依據(jù)血緣依賴阻斷下游自動(dòng)調(diào)度)2)字段粒度規(guī)則監(jiān)控效率優(yōu)化對(duì)接系統(tǒng)聚合報(bào)告分析缺陷標(biāo)注結(jié)果大盤用戶&權(quán)限一鍵UM登錄數(shù)據(jù)權(quán)限自動(dòng)識(shí)別場景自適應(yīng)數(shù)據(jù)模型（待建）基礎(chǔ)數(shù)據(jù)規(guī)則場景建模數(shù)據(jù)研發(fā)平臺(tái)效率優(yōu)化對(duì)接系統(tǒng)聚合報(bào)告分析缺陷標(biāo)注結(jié)果大盤用戶&權(quán)限一鍵UM登錄數(shù)據(jù)權(quán)限自動(dòng)識(shí)別場景自適應(yīng)數(shù)據(jù)模型（待建）基礎(chǔ)數(shù)據(jù)規(guī)則場景建模數(shù)據(jù)研發(fā)平臺(tái)脫敏系統(tǒng)ROUTER權(quán)限系統(tǒng)Jira需求管理DQM數(shù)據(jù)監(jiān)控基礎(chǔ)集市…信用卡集市質(zhì)量門檻UAT/業(yè)務(wù)程理?為解決大數(shù)據(jù)數(shù)據(jù)質(zhì)量測試痛點(diǎn)，在測試環(huán)境無法完全復(fù)現(xiàn)生產(chǎn)問題，生產(chǎn)數(shù)據(jù)脫敏到測試環(huán)境仍有安全隱患，因此需要構(gòu)建數(shù)據(jù)研發(fā)測試一體證全流程質(zhì)量閉環(huán)心能據(jù)備事后監(jiān)控審計(jì)：基于規(guī)則引擎建立數(shù)據(jù)訪事后監(jiān)控審計(jì)：基于規(guī)則引擎建立數(shù)據(jù)訪可能的異常訪問；權(quán)限，返回用戶對(duì)應(yīng)的脫敏數(shù)據(jù)。調(diào)度平臺(tái)調(diào)度平臺(tái)SQL/Job統(tǒng)一SQL引擎Router權(quán)限管理大數(shù)據(jù)SQL計(jì)算引擎SparkSQL大數(shù)據(jù)平臺(tái)安全決策引擎Kyligence客戶端AI算法平臺(tái)元數(shù)據(jù)管理脫敏引擎Presto血緣分析JupyterAdhocHIVEDMDM對(duì)公DMDMDWDW對(duì)公DWDWMIDMIDMIDMID貼源層RAW數(shù)據(jù)研發(fā)平臺(tái)DataOps-數(shù)倉分層加密處理過程DMDM對(duì)公DMDMDWDW對(duì)公DWDWMIDMIDMIDMID貼源層RAW?ODS貼源層(raw)：敏感字段識(shí)別，利用正則+算法+人工，識(shí)別出貼源數(shù)據(jù)表的敏感字段。?ODS加密層(mid)：高敏感字段加密，將銀行卡號(hào)，手機(jī)號(hào)，證件號(hào)進(jìn)行加密儲(chǔ)存。?數(shù)倉、集市等層：利用字段級(jí)血緣關(guān)系，標(biāo)識(shí)出每張表敏感字段。?數(shù)據(jù)查詢?cè)L問：應(yīng)用端查詢數(shù)據(jù)時(shí)，對(duì)統(tǒng)一查詢中心(router)，根據(jù)訪問的敏感字段及敏感脫敏類型進(jìn)行脫敏處理。規(guī)則庫數(shù)據(jù)表B12數(shù)據(jù)自動(dòng)√字段血緣分析√√√√^[a-規(guī)則庫數(shù)據(jù)表B12數(shù)據(jù)自動(dòng)√字段血緣分析√√√√^[a-zA-Z0-9_-]+@[a-zA-Z0-9_-]+(\.[a-zA-Z0-9_-]+)+$34人工?源生產(chǎn)系統(tǒng)數(shù)據(jù)集成過程中，無論實(shí)時(shí)或者離線采集，開發(fā)治理一體化平臺(tái)基于數(shù)據(jù)規(guī)則自動(dòng)實(shí)現(xiàn)敏感數(shù)據(jù)發(fā)現(xiàn)；采集表A采集表A數(shù)據(jù)表A數(shù)據(jù)表ACert_noeEmailCHILD_C人工人工標(biāo)識(shí)識(shí)別說明識(shí)別環(huán)節(jié)1，數(shù)據(jù)識(shí)別：依據(jù)預(yù)定義規(guī)則庫+命名實(shí)體算法服務(wù)自動(dòng)識(shí)別識(shí)別說明識(shí)別環(huán)節(jié)2，血緣分析：依據(jù)上游字段的安全標(biāo)記，下游字段自動(dòng)繼承；識(shí)別環(huán)節(jié)3，人工復(fù)核：開放白名單數(shù)據(jù)環(huán)境，數(shù)據(jù)標(biāo)準(zhǔn)由人工進(jìn)行復(fù)核確認(rèn)；原則場景可有效解決類似數(shù)據(jù)融合、公私聯(lián)動(dòng)融合分析等數(shù)據(jù)類場景Aicloud數(shù)據(jù)分析Adhoc即席查詢析平臺(tái)A模型A結(jié)果B模型B結(jié)果權(quán)限申請(qǐng)NoSql存儲(chǔ) Hbase/MongoDB/ES統(tǒng)一脫敏B模型結(jié)果√C模型結(jié)果A模型結(jié)果最小化申請(qǐng)?jiān)瓌t場景可有效解決類似數(shù)據(jù)融合、公私聯(lián)動(dòng)融合分析等數(shù)據(jù)類場景Aicloud數(shù)據(jù)分析Adhoc即席查詢析平臺(tái)A模型A結(jié)果B模型B結(jié)果權(quán)限申請(qǐng)NoSql存儲(chǔ) Hbase/MongoDB/ES統(tǒng)一脫敏B模型結(jié)果√C模型結(jié)果A模型結(jié)果最小化申請(qǐng)√x校驗(yàn)通過校驗(yàn)不通過校驗(yàn)通過統(tǒng)一脫敏x統(tǒng)一SQL語義引擎沙箱YARN生產(chǎn)YARNHDFS/Iceberg沙箱HDFS原則?基于沙箱數(shù)據(jù)只進(jìn)不出和分析應(yīng)用相互隔離兩大原則構(gòu)建數(shù)據(jù)沙箱環(huán)境，差異化數(shù)據(jù)融合模式，確保安全可控要求下，提升訓(xùn)練和探索環(huán)節(jié)效1一號(hào)寫入沙箱庫外部沙箱應(yīng)用數(shù)據(jù)源沙箱作業(yè)數(shù)據(jù)源外部生產(chǎn)應(yīng)用生產(chǎn)作業(yè)2 生產(chǎn)庫沙箱庫1分析用戶脫敏/采樣/大數(shù)據(jù)SQL引擎圖判斷算法平臺(tái)生產(chǎn)環(huán)境 脫敏引擎/采樣引擎數(shù)倉層!阻斷規(guī)則2血緣分析KAFKA消息隊(duì)列安全決策引擎元數(shù)據(jù)管理1一號(hào)寫入沙箱庫外部沙箱應(yīng)用數(shù)據(jù)源沙箱作業(yè)數(shù)據(jù)源外部生產(chǎn)應(yīng)用生產(chǎn)作業(yè)2 生產(chǎn)庫沙箱庫1分析用戶脫敏/采樣/大數(shù)據(jù)SQL引擎圖判斷算法平臺(tái)生產(chǎn)環(huán)境 脫敏引擎/采樣引擎數(shù)倉層!阻斷規(guī)則2血緣分析KAFKA消息隊(duì)列安全決策引擎元數(shù)據(jù)管理敏感字段原始層采集團(tuán)隊(duì)資源單價(jià)對(duì)應(yīng)資源的使用單價(jià)：數(shù)據(jù)研發(fā)平臺(tái)Data資源單價(jià)對(duì)應(yīng)資源的使用單價(jià)：?平臺(tái)層面深化數(shù)據(jù)價(jià)值評(píng)估體系探索，實(shí)現(xiàn)數(shù)據(jù)成本與價(jià)值的多維度可量化分析，基于成本/價(jià)值實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)的ROI分析以及成本治理。 價(jià)值量化分析PV/UVPV/UVPrestoHIVE 基礎(chǔ)平臺(tái)從存儲(chǔ)和計(jì)算兩個(gè)維度，計(jì)算每一份數(shù)據(jù)資源用量資源用量?存儲(chǔ)使用單價(jià)：?計(jì)算使用單價(jià)：0.0000093（元/vcoreseconds）數(shù)據(jù)使用成本數(shù)據(jù)使用成本存儲(chǔ)成本+計(jì)算成本；存儲(chǔ)成本=存儲(chǔ)用量*存儲(chǔ)單價(jià)計(jì)算成本=計(jì)算用量*計(jì)算單價(jià)不代表實(shí)際情況資產(chǎn)目錄運(yùn)營資產(chǎn)自動(dòng)掛載資產(chǎn)查找服務(wù)資產(chǎn)鏈路地圖數(shù)據(jù)分類識(shí)別數(shù)據(jù)盤點(diǎn)指標(biāo)加工數(shù)據(jù)研發(fā)平臺(tái)DataOps-數(shù)據(jù)資產(chǎn)沉淀資產(chǎn)目錄運(yùn)營資產(chǎn)自動(dòng)掛載資產(chǎn)查找服務(wù)資產(chǎn)鏈路地圖數(shù)據(jù)分類識(shí)別數(shù)據(jù)盤點(diǎn)指標(biāo)加工數(shù)據(jù)資產(chǎn)平臺(tái)開發(fā)治理一體化平臺(tái)元數(shù)據(jù)檢查質(zhì)量檢查血緣鏈路核驗(yàn)開發(fā)治理一體化平臺(tái)數(shù)據(jù)資產(chǎn)平臺(tái)開發(fā)治理一體化平臺(tái)元數(shù)據(jù)檢查質(zhì)量檢查血緣鏈路核驗(yàn)開發(fā)治理一體化平臺(tái)業(yè)務(wù)屬主定義資產(chǎn)認(rèn)定定義資產(chǎn)業(yè)務(wù)屬主(2).認(rèn)責(zé)定義;：基于推送的數(shù)資產(chǎn)自動(dòng)打標(biāo)(表類型/是否敏感)資產(chǎn)信息盤點(diǎn)資產(chǎn)信息變更資產(chǎn)生命周期運(yùn)營資產(chǎn)自動(dòng)打標(biāo)(表類型/是否敏感)資產(chǎn)信息盤點(diǎn)資產(chǎn)信息變更資產(chǎn)生命周期運(yùn)營數(shù)倉目錄管理資產(chǎn)目錄掛載資產(chǎn)全景地圖資產(chǎn)目錄導(dǎo)航資產(chǎn)場景搜索打通資產(chǎn)場景(5).資產(chǎn)化應(yīng)用：數(shù)據(jù)資產(chǎn)治理之API服務(wù)加工二、數(shù)據(jù)研發(fā)DataOps實(shí)踐構(gòu)建面向用戶和下游應(yīng)用消費(fèi)的邏輯數(shù)倉層，構(gòu)建面向用戶和下游應(yīng)用消費(fèi)的邏輯數(shù)倉層，將邏輯表與物理表隔離，將物理表交給系統(tǒng)層優(yōu)化透明數(shù)據(jù)ETL邏輯和物理存儲(chǔ)介質(zhì)，由邏輯層用戶行為和需求觸發(fā)，實(shí)現(xiàn)數(shù)據(jù)生產(chǎn)鏈路的智能編排和調(diào)度，針對(duì)重復(fù)、相似計(jì)算進(jìn)行自動(dòng)合并，下線或降權(quán)無效、低頻、低價(jià)值數(shù)據(jù)生產(chǎn)基于用戶查詢行為實(shí)現(xiàn)自適應(yīng)的查詢Cube/索引邏輯層基于業(yè)務(wù)需求快速調(diào)整，物理層自適應(yīng)上層調(diào)整，識(shí)別數(shù)據(jù)核心資產(chǎn)元?邏輯數(shù)倉以用戶視角出發(fā)，以最大化數(shù)據(jù)價(jià)值和最優(yōu)成本管控為目標(biāo)，更敏捷響應(yīng)用戶需求，弱化繁瑣的數(shù)據(jù)流ETL加工鏈路，讓ETL工程師更專注企業(yè)通用模型設(shè)計(jì)，節(jié)約存儲(chǔ)成