【構(gòu)建企業(yè)級(jí)好數(shù)據(jù)】Dataphin智能數(shù)據(jù)建設(shè)與治理產(chǎn)品白皮書

里矢ALIBABACLOUDINTELLIGENCEGROUP羊好數(shù)據(jù)數(shù)據(jù)建設(shè)、治理、消費(fèi)一體化平臺(tái)用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)關(guān)注「領(lǐng)羊企業(yè)微信s咨詢領(lǐng)羊產(chǎn)品釘釘掃碼加入關(guān)注「領(lǐng)羊企業(yè)微信s咨詢領(lǐng)羊產(chǎn)品仰望星空,腳踏實(shí)地2015年12月,阿里巴巴正式實(shí)施數(shù)據(jù)中臺(tái)戰(zhàn)略,數(shù)據(jù)中臺(tái)話題熱度逐步攀升,在這一過程當(dāng)中,我們也發(fā)現(xiàn)不同角色對(duì)其理解以及期望各有側(cè)重。阿里巴巴關(guān)注的是建立統(tǒng)一數(shù)據(jù)體系,同時(shí)貼近業(yè)務(wù)場景打造出體驗(yàn)一流的數(shù)據(jù)服務(wù)與產(chǎn)品;企業(yè)管理者會(huì)關(guān)心數(shù)據(jù)中臺(tái)可以帶來哪些業(yè)務(wù)變革與增量價(jià)值;而數(shù)據(jù)與技術(shù)從業(yè)者,則更傾向于去探求其與數(shù)據(jù)倉庫、數(shù)據(jù)湖的不同之處,去了解數(shù)據(jù)中臺(tái)的技術(shù)領(lǐng)先性2018年,基于阿里巴巴數(shù)據(jù)中臺(tái)內(nèi)部實(shí)踐經(jīng)驗(yàn)和成果,面向不同行業(yè)的實(shí)際業(yè)務(wù)場景,Dataphin應(yīng)運(yùn)而生,作為阿里巴巴數(shù)據(jù)中臺(tái)方法論的工具化沉淀,Dataphin希望能幫助企業(yè)探索更加復(fù)雜與多樣的數(shù)據(jù)中臺(tái)建設(shè)之路。2021年,阿里巴巴集團(tuán)數(shù)據(jù)中臺(tái)、業(yè)務(wù)中臺(tái)、客服系統(tǒng)、供應(yīng)鏈服務(wù)等多個(gè)部門融合升級(jí)為領(lǐng)羊,將ll阿里巴巴最佳實(shí)踐"完整、系統(tǒng)、產(chǎn)品化地全面對(duì)外輸出。2022年正式對(duì)外亮相,成為數(shù)字化服務(wù)的獨(dú)立提供商,提供Daas服務(wù),數(shù)據(jù)即服務(wù),Daas以Data為核心,用數(shù)據(jù)思維貫穿企業(yè)運(yùn)營的各個(gè)方面,讓數(shù)據(jù)在企業(yè)發(fā)揮最大價(jià)值。2024年升級(jí)羊數(shù)據(jù)智能服務(wù),聚焦ll數(shù)據(jù)+Al",形成企業(yè)數(shù)據(jù)生產(chǎn)、企業(yè)數(shù)據(jù)消費(fèi)、行業(yè)數(shù)據(jù)流通的數(shù)據(jù)要素服務(wù)鏈,企業(yè)數(shù)據(jù)生產(chǎn)環(huán)節(jié)包括數(shù)據(jù)治理和分析,其中Dataphin承載了幫助企業(yè)治理好數(shù)據(jù)的使命,為未來數(shù)據(jù)資產(chǎn)入表、數(shù)據(jù)資產(chǎn)流通創(chuàng)造積極條件。我們深知,企業(yè)需要一套完善的數(shù)據(jù)技術(shù)與工具,實(shí)現(xiàn)數(shù)據(jù)采集、存儲(chǔ)、計(jì)算、建設(shè)和管理,利用數(shù)據(jù)思維對(duì)當(dāng)下的業(yè)務(wù)運(yùn)營與管理場景問題精細(xì)洞察,學(xué)會(huì)利用數(shù)據(jù)資產(chǎn)改善能效,以此循環(huán)往復(fù),推動(dòng)數(shù)據(jù)資產(chǎn)的持續(xù)沉淀,形成企業(yè)特有的數(shù)據(jù)資產(chǎn)體系;同時(shí),企業(yè)還需要完成數(shù)據(jù)人才組織建設(shè),并輔以數(shù)據(jù)文化,讓人人都能理解數(shù)據(jù)、用好數(shù)據(jù)。我們期望與企業(yè)們一起乘風(fēng)破浪,仰望星空、腳踏實(shí)地,持續(xù)在數(shù)字化轉(zhuǎn)型的實(shí)踐道路上并肩前行。數(shù)據(jù)建設(shè)與治理的現(xiàn)狀與訴求Dataphin智能數(shù)據(jù)建設(shè)與治理企業(yè)構(gòu)建數(shù)據(jù)中臺(tái)既要解決以上所遇到的問題,又有著更高的要求:。數(shù)據(jù)體系化組織:數(shù)據(jù)中臺(tái)的數(shù)據(jù)來自企業(yè)的業(yè)務(wù)系統(tǒng),而企業(yè)中各個(gè)業(yè)務(wù)有著各自獨(dú)立的系統(tǒng)。系統(tǒng)之間的數(shù)據(jù)可能存在交叉,全部抽取到數(shù)據(jù)中臺(tái)后,需要進(jìn)行體系化的組織,否則就是一團(tuán)亂麻,無法快速準(zhǔn)確的找到想要的數(shù)據(jù)。需要一個(gè)將數(shù)據(jù)按照統(tǒng)一的體系來組織,這個(gè)體系內(nèi),數(shù)據(jù)標(biāo)準(zhǔn)一致,并且有數(shù)據(jù)落標(biāo)后可以被稽核,企業(yè)可以獲得高質(zhì)量的,口徑統(tǒng)一的,可用性高的數(shù)據(jù)。。數(shù)據(jù)高效生產(chǎn):數(shù)據(jù)中臺(tái)來自很多個(gè)業(yè)務(wù)系統(tǒng),對(duì)應(yīng)著海量的業(yè)務(wù)分析需求。企業(yè)希望數(shù)據(jù)中臺(tái)可以快速響應(yīng)業(yè)務(wù)端的需求,并且保障數(shù)據(jù)生產(chǎn)的安全可靠和數(shù)據(jù)正確。同時(shí),又要降低在生產(chǎn)過程中的各種成本,提升投入產(chǎn)出比。。數(shù)據(jù)便捷服務(wù):數(shù)據(jù)中臺(tái)需要服務(wù)業(yè)務(wù),需要有便捷的數(shù)據(jù)消費(fèi)方式。數(shù)據(jù)消費(fèi)需要接入便捷,安全可控,響應(yīng)及時(shí)。數(shù)據(jù)體系化組織頂層視角清晰、規(guī)范地對(duì)數(shù)據(jù)進(jìn)行全局、全鏈路組織、包括數(shù)據(jù)的來源、數(shù)據(jù)的清晰、數(shù)據(jù)的關(guān)聯(lián)、數(shù)據(jù)的存儲(chǔ)、數(shù)據(jù)服務(wù)出口等。數(shù)據(jù)高效生產(chǎn)提升數(shù)據(jù)生產(chǎn)效率、規(guī)避重復(fù)生產(chǎn)和錯(cuò)誤生產(chǎn)、保障數(shù)據(jù)產(chǎn)出質(zhì)量,技術(shù)人員有成長有沉淀,業(yè)務(wù)人員需求滿足周期短質(zhì)量高。數(shù)據(jù)便捷服務(wù)更多以業(yè)務(wù)應(yīng)用數(shù)據(jù)的視角,便捷地知曉有什么數(shù)據(jù)并獲取數(shù)據(jù),清晰的數(shù)據(jù)服務(wù)策略、便捷的數(shù)據(jù)服務(wù)通道,簡單用、放心用。數(shù)據(jù)建設(shè)與治理的現(xiàn)狀與訴求企業(yè)構(gòu)建數(shù)據(jù)中臺(tái),所遇到的問題挑戰(zhàn)不是一下子全部出現(xiàn)的,而是在建設(shè)歷程中逐漸顯現(xiàn)出來的?；诎⒗锇桶蛿?shù)據(jù)中臺(tái)內(nèi)部實(shí)踐經(jīng)驗(yàn),企業(yè)數(shù)據(jù)能力建設(shè)可以分為三個(gè)階段:。在線開發(fā)階段:起步階段,數(shù)據(jù)量相對(duì)較小,團(tuán)隊(duì)規(guī)模不大,以滿足業(yè)務(wù)需求為主要目標(biāo)。隨著數(shù)據(jù)量的增加,人員的擴(kuò)張,就需要回答數(shù)據(jù)的價(jià)值在哪里的問題,以匹配所投入的成本。自然地,就進(jìn)入下階段。。數(shù)據(jù)平臺(tái)構(gòu)建與管理階段:數(shù)據(jù)量級(jí)提升,數(shù)據(jù)來源多樣,除了來自業(yè)務(wù)的取數(shù)和基本分析需求之外,開始梳理數(shù)據(jù)之間的關(guān)系,挖掘潛在的價(jià)值,同時(shí)還需要保障數(shù)據(jù)的質(zhì)量,這就是數(shù)據(jù)資產(chǎn)化。這個(gè)階段的數(shù)據(jù)平臺(tái),除了基本的數(shù)據(jù)開發(fā)功能之外,還需要提供資產(chǎn)管理和質(zhì)量監(jiān)測的能力。。數(shù)據(jù)綜合治理階段:當(dāng)數(shù)據(jù)平臺(tái)內(nèi)部的建設(shè)完備之后,就需要回饋平臺(tái)外的各個(gè)業(yè)務(wù)。這個(gè)回饋不是應(yīng)答業(yè)務(wù)的需求,而是通過挖掘出數(shù)據(jù)的價(jià)值,反向來促進(jìn)業(yè)務(wù)的發(fā)展。Dataphin智能數(shù)據(jù)建設(shè)與治理用中臺(tái)方法論構(gòu)建與治理企業(yè)級(jí)好數(shù)據(jù)用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)1.Dataphin:源自阿里巴巴的數(shù)據(jù)建設(shè)·治理·消費(fèi)體化平臺(tái)阿里巴巴在2015年提出全面啟動(dòng)中臺(tái)戰(zhàn)略,并在集團(tuán)內(nèi)部開啟了一系列數(shù)據(jù)技術(shù)建設(shè)探索,沉淀下特有方法論捋清了數(shù)據(jù)全生命周期的管理思路,將其植入到領(lǐng)羊智能數(shù)據(jù)建設(shè)與治理Dataphin產(chǎn)品中,并與QuickBI(智能商業(yè)分析)、QuickAudience(智能用戶運(yùn)營)一同形成數(shù)據(jù)中臺(tái)建設(shè)核心產(chǎn)品體系。自2018年問世以來,Dataphin已發(fā)展出了內(nèi)容豐富的功能大圖,到目前為止經(jīng)歷了多輪大版本升級(jí),產(chǎn)品核心的能力模塊清晰顯現(xiàn),可以幫助企業(yè)高效地完成「好數(shù)據(jù)s的構(gòu)建。數(shù)據(jù)消費(fèi)數(shù)據(jù)治理數(shù)據(jù)建設(shè)兼容與開放Dataphin從下而上可分為四個(gè)大板塊:平臺(tái)底座:。引擎平臺(tái)兼容:可支持不同的引擎及部署環(huán)境,可納管不同的引擎,包括但不限于Maxcompute、EMR、Hadoop體系(CDH、華為、星環(huán)、亞信等)、交互式分析Holo、Impala、ADBforPG、starrocks等,Flink商業(yè)及開源版等,也支持不同云平臺(tái)環(huán)境的部署及私有DC部署。.多樣化開放接口:開放數(shù)據(jù)集成、數(shù)據(jù)處理、調(diào)度、運(yùn)維、元數(shù)據(jù)、質(zhì)量、安全、標(biāo)準(zhǔn)等幾百個(gè)標(biāo)準(zhǔn)化接口,可與企業(yè)自有系統(tǒng)進(jìn)行對(duì)接集成或進(jìn)行功能個(gè)性與定制。。配置化能力:開放了關(guān)于消息渠道、審批渠道、認(rèn)證、審批模板、樣式配置等客制化的能力,更好的適配企業(yè)的規(guī)范及場景。Dataphin智能數(shù)據(jù)建設(shè)與治理數(shù)據(jù)建設(shè)平臺(tái):。全域數(shù)據(jù)可集成:通過配置化的方式完成數(shù)據(jù)的模型構(gòu)建及指標(biāo)的構(gòu)建,并同時(shí)支持代碼編寫模式,更靈活的適應(yīng)不同的場景和訴求,并支持日千萬級(jí)調(diào)度能力。。規(guī)范建模:Dataphin遵循Ralphkimball的維度建模理論,可根據(jù)業(yè)務(wù)實(shí)際情況在Dataphin設(shè)計(jì)并創(chuàng)建概念模型,并通過概念模型中的業(yè)務(wù)實(shí)體(業(yè)務(wù)對(duì)象或業(yè)務(wù)活動(dòng))創(chuàng)建對(duì)應(yīng)的維度表、事實(shí)表、原子指標(biāo)、業(yè)務(wù)限定、指標(biāo)、匯總邏輯表。。指標(biāo)構(gòu)建與管理:通過構(gòu)建的規(guī)范化的要素(原子指標(biāo)、統(tǒng)計(jì)周期、維度、業(yè)務(wù)限定),配置化的方式構(gòu)建指標(biāo);通過代碼方式也可將已經(jīng)加工好的指標(biāo)注冊到匯總表上,進(jìn)行統(tǒng)一的指標(biāo)管理?！?biāo)簽工廠:可通過配置化的方式加工標(biāo)簽,讓業(yè)務(wù)人員也可進(jìn)行標(biāo)簽的二次加工及群組的圈選;通過快捷的配置,提供群組及標(biāo)簽的服務(wù);根據(jù)元數(shù)據(jù)進(jìn)行標(biāo)簽及群組進(jìn)行治理、運(yùn)行和管理。。數(shù)據(jù)服務(wù):通過數(shù)據(jù)服務(wù),可將提供高效的API開發(fā)及運(yùn)維能力,可將數(shù)據(jù)資源通過API統(tǒng)一服務(wù)業(yè)務(wù)系統(tǒng)。。隱私計(jì)算:打通內(nèi)外循環(huán),實(shí)現(xiàn)數(shù)據(jù)不出域的自由流通,讓數(shù)據(jù)可用不可見,數(shù)據(jù)價(jià)值化的同時(shí)保障數(shù)據(jù)的安全合規(guī)。全域數(shù)據(jù)治理:Dataphin不僅僅治理數(shù)倉內(nèi)的數(shù)據(jù),也需要治理全域數(shù)據(jù)資產(chǎn)。。資產(chǎn)盤點(diǎn):在數(shù)據(jù)治理開始前,需要對(duì)全域的數(shù)據(jù)進(jìn)行盤點(diǎn),對(duì)元數(shù)據(jù)進(jìn)行豐富。。標(biāo)準(zhǔn)及規(guī)范:Dataphin可支持?jǐn)?shù)據(jù)的規(guī)范、研發(fā)的規(guī)范,制定數(shù)據(jù)標(biāo)準(zhǔn),讓數(shù)據(jù)治理ll有法可依";通過數(shù)據(jù)標(biāo)準(zhǔn)的手動(dòng)和自動(dòng)映射,可將表資產(chǎn)的字段與標(biāo)準(zhǔn)進(jìn)行關(guān)聯(lián),并進(jìn)行元數(shù)據(jù)和內(nèi)容的稽核和監(jiān)控。。資產(chǎn)質(zhì)量:提供全域的資產(chǎn)質(zhì)量校驗(yàn)及跟蹤方案,從質(zhì)量稽核與評(píng)估(質(zhì)量大盤、配置質(zhì)量規(guī)則、查看校驗(yàn)記錄、質(zhì)量監(jiān)控、智能報(bào)警)、質(zhì)量治理(質(zhì)量工作臺(tái)、質(zhì)量整改跟蹤)、查看質(zhì)量報(bào)告等功能?！?shù)據(jù)安全:通過自動(dòng)及手動(dòng)的方式,可對(duì)資產(chǎn)進(jìn)行分類及分級(jí)打標(biāo),對(duì)數(shù)據(jù)的權(quán)限申請流通進(jìn)行規(guī)范的管理,也可對(duì)高敏數(shù)據(jù)在流通前就對(duì)數(shù)據(jù)進(jìn)行加密處理,避免數(shù)據(jù)泄露?！べY源治理:通過元數(shù)據(jù),對(duì)數(shù)據(jù)存儲(chǔ)與計(jì)算資源診斷與治理,在數(shù)據(jù)價(jià)值挖掘的同時(shí),也控制數(shù)據(jù)的成本,避免數(shù)據(jù)沼澤。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)全域數(shù)據(jù)運(yùn)營:數(shù)據(jù)在消費(fèi)者手中用起來才能發(fā)揮數(shù)據(jù)的價(jià)值,全域運(yùn)營是將數(shù)據(jù)資產(chǎn)推送到數(shù)據(jù)消費(fèi)場景中,讓數(shù)據(jù)在消費(fèi)者手動(dòng)實(shí)現(xiàn)價(jià)值化。全域數(shù)據(jù)運(yùn)營板塊主要提供以下功能模塊:。資產(chǎn)目錄:業(yè)務(wù)及消費(fèi)視角的數(shù)據(jù)資產(chǎn)目錄,可快速搜索查找推薦數(shù)據(jù)資產(chǎn),推動(dòng)企業(yè)數(shù)據(jù)文化。針對(duì)不同的人群,Dataphin可定制多套目錄滿足不同場景不同人群的找數(shù)、看數(shù)需求?！?shù)據(jù)門戶:通過提供場景式、主題式的數(shù)據(jù)門戶,讓用數(shù)的成本進(jìn)一步降低,讓數(shù)據(jù)可找到正確的人。。自助消費(fèi):通過打通B分析系統(tǒng),面向業(yè)務(wù)人員運(yùn)營人員,實(shí)現(xiàn)從可見到可用;通過提供即系分析的功能,可通過簡單的SQL、python能力進(jìn)行數(shù)據(jù)分析。1.2三大核心優(yōu)勢Dataphin產(chǎn)品經(jīng)過了幾年的沉淀,積累了豐富的產(chǎn)品能力,也形成了獨(dú)特的產(chǎn)品核心優(yōu)勢:。多樣的計(jì)算引擎兼容,可利舊降本:除了支持大數(shù)據(jù)離線和實(shí)時(shí)計(jì)算主流引擎外,我們還會(huì)不斷探索和集成更多的計(jì)算引擎,以滿足不同客戶的需求。我們會(huì)不斷優(yōu)化引擎的性能和穩(wěn)定性,以提高計(jì)算效率和降低成本。在部署的平臺(tái)底座上,我們也適配支持了不同的云平臺(tái),包括阿里云的公共云多租戶、阿里云專有云、阿里云公共云VPC部署,IDC部署,以及其他云平臺(tái)上進(jìn)行部署。Dataphin智能數(shù)據(jù)建設(shè)與治理。資產(chǎn)化驅(qū)動(dòng)構(gòu)建數(shù)據(jù):阿里巴巴多年的內(nèi)部的實(shí)踐,我們沉淀了一套完整的方法論,幫助數(shù)據(jù)資產(chǎn)的構(gòu)建。這套方法論和產(chǎn)品也在100多家客戶中進(jìn)行了深度的驗(yàn)證。。價(jià)值導(dǎo)向、消費(fèi)驅(qū)動(dòng)的數(shù)據(jù)治理:我們將進(jìn)一步完善數(shù)據(jù)治理體系,包括數(shù)據(jù)盤點(diǎn)、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全與合規(guī)等方面。我們還將借鑒和應(yīng)用更多的經(jīng)驗(yàn)和案例,不斷提升數(shù)據(jù)治理的水平和效果。同時(shí),我們也會(huì)更加注重?cái)?shù)據(jù)的價(jià)值和消費(fèi)者需求,以提供更有針對(duì)性和可用性的數(shù)據(jù)治理解決方案。2.1Dataphin模型體系數(shù)據(jù)中臺(tái)是數(shù)據(jù)沉淀、建設(shè)、管理與使用的一整套體系。Dataphin的核心優(yōu)勢是在數(shù)據(jù)的建設(shè)與治理上,引入了阿里巴巴。主題域模型:在數(shù)據(jù)中臺(tái),主題對(duì)應(yīng)一個(gè)宏觀的分析領(lǐng)域,比如銷售分析就是分析ll銷售"這個(gè)主題,聯(lián)系較為緊密的主題的集合就是主題域。每一個(gè)行業(yè)都可以拆分為有多個(gè)(十個(gè)左右不等)主題域組成的主題域模型。。概念模型:在主題域的基礎(chǔ)上,每個(gè)主題域內(nèi)增加了實(shí)體以及實(shí)體之間的關(guān)系。。邏輯模型:在概念模型的基礎(chǔ)上,增加每個(gè)實(shí)體的屬性以及屬性的約束。。業(yè)務(wù)分析模型:行業(yè)中重要的以及常用的分析方法與分析視角。在邏輯模型基礎(chǔ)上,將業(yè)務(wù)分析問題轉(zhuǎn)換為Dataphin特有的派生指標(biāo),并進(jìn)一步提煉出原子指標(biāo)和業(yè)務(wù)限定。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)限定維度邏輯表事實(shí)邏輯表業(yè)務(wù)過程主題域2主題域3主題域1粒度指標(biāo)維度2.2劃分業(yè)務(wù)板塊企業(yè)的規(guī)模有大有小,業(yè)務(wù)復(fù)雜度和跨度也不同,數(shù)據(jù)反映業(yè)務(wù),所以每個(gè)企業(yè)的數(shù)據(jù)中臺(tái)也是不同的。數(shù)據(jù)中臺(tái)建設(shè)的第一步是做規(guī)劃,規(guī)劃的第一步是全盤梳理企業(yè)的業(yè)務(wù)架構(gòu),將業(yè)務(wù)劃分為一個(gè)個(gè)獨(dú)立業(yè)務(wù),對(duì)應(yīng)到Dataphin就是業(yè)務(wù)板塊的劃分。業(yè)務(wù)板塊的劃分總原則是高內(nèi)聚,低耦合。可以通過業(yè)務(wù)活動(dòng)之間以及業(yè)務(wù)活動(dòng)與業(yè)務(wù)對(duì)象之間的關(guān)系來厘定業(yè)務(wù)板塊的邊界:。存在上下游的關(guān)系或者有共同的業(yè)務(wù)對(duì)象的幾個(gè)業(yè)務(wù)流程屬于同一個(gè)業(yè)務(wù)板塊。反之,如果兩個(gè)業(yè)務(wù)流程之間不存在任何直接或者間接的上下游關(guān)系,也沒有直接或者間接共同的業(yè)務(wù)對(duì)象,他們就不應(yīng)當(dāng)被放在同一個(gè)業(yè)務(wù)板塊。。與業(yè)務(wù)活動(dòng)相關(guān)的業(yè)務(wù)對(duì)象與業(yè)務(wù)活動(dòng)同屬一個(gè)板塊。。某些業(yè)務(wù)對(duì)象是企業(yè)級(jí)共用的,比如,公司的員工、行政地理區(qū)劃(沒錯(cuò),這個(gè)也屬于業(yè)務(wù)對(duì)象)等,可以冗余在每一個(gè)板塊中。2.3主題域建模主題域建模,即在業(yè)務(wù)板塊下進(jìn)一步將業(yè)務(wù)劃分為多個(gè)主題域。主題域的劃分沒有客觀原則,主要根據(jù)數(shù)據(jù)模型師的行業(yè)經(jīng)驗(yàn)與業(yè)務(wù)理解來劃分。具體以零售行業(yè)為例來說明。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)零售行業(yè)的主題域劃分:數(shù)據(jù)在消費(fèi)者手中用起來才能發(fā)揮數(shù)據(jù)的價(jià)值,全域運(yùn)營是將數(shù)據(jù)資產(chǎn)推送到數(shù)據(jù)消費(fèi)場景中,讓數(shù)據(jù)在消費(fèi)者手動(dòng)實(shí)現(xiàn)價(jià)值化。全域數(shù)據(jù)運(yùn)營板塊主要提供一下功能模塊:。公共主題域:在所有業(yè)務(wù)流程中都會(huì)被引用的數(shù)據(jù),如地理位置數(shù)據(jù)、企業(yè)的人員組織數(shù)據(jù)。。消費(fèi)者主題域:該主題域主要是零售企業(yè)內(nèi)用戶(消費(fèi)者)運(yùn)營相關(guān)的業(yè)務(wù)活動(dòng)數(shù)據(jù)。。商品主題域:商品的管理(類目管理、品牌管理等),商品結(jié)構(gòu)管理(組貨)等相關(guān)的業(yè)務(wù)活動(dòng)數(shù)據(jù)。其他還有商家主題域、流量主題域、交易主題域、履約主題域、服務(wù)主題域、交互主題域、營銷主題域、內(nèi)容主題域、供應(yīng)鏈主題域等。2.4概念建模概念模型主要由業(yè)務(wù)實(shí)體以及實(shí)體關(guān)系組成。2.4.1概念建模業(yè)務(wù)對(duì)象是參與業(yè)務(wù)的人或事物,在企業(yè)組織的業(yè)務(wù)模式確定時(shí)就存在的,偏靜態(tài)的實(shí)體。根據(jù)復(fù)雜程度,業(yè)務(wù)對(duì)象可以分為:。普通對(duì)象,復(fù)雜的、有很多屬性的對(duì)象。狹義上,業(yè)務(wù)對(duì)象就是普通對(duì)象。。枚舉對(duì)象,簡單的基礎(chǔ)對(duì)象。如性別,其取值可以窮舉(男/女/未知)。。虛擬對(duì)象,在業(yè)務(wù)定義中,沒有任何屬性的基礎(chǔ)對(duì)象,如姓名。。層級(jí)對(duì)象,多個(gè)業(yè)務(wù)對(duì)象之間有上下級(jí)關(guān)系,這一組對(duì)象就是層級(jí)對(duì)象。業(yè)務(wù)活動(dòng)是一個(gè)或者多個(gè)業(yè)務(wù)對(duì)象在某個(gè)時(shí)間(段)為了達(dá)成某種目的所進(jìn)行的活動(dòng)或者是某種活動(dòng)的結(jié)果。業(yè)務(wù)活動(dòng)有以下幾個(gè)關(guān)鍵要素(屬性):。活動(dòng)主體,活動(dòng)的發(fā)起者,是一個(gè)業(yè)務(wù)對(duì)象。。可選的活動(dòng)客體,活動(dòng)的參與者,可能有多個(gè),也是業(yè)務(wù)對(duì)象。。活動(dòng)時(shí)間,可以是一個(gè)單點(diǎn)時(shí)刻,也可能是一個(gè)有開始和結(jié)束的時(shí)間段。根據(jù)業(yè)務(wù)活動(dòng)持續(xù)時(shí)間的長短,可以將業(yè)務(wù)活動(dòng)細(xì)分為:。業(yè)務(wù)流程,持續(xù)一段時(shí)間,有明確生命周期的業(yè)務(wù)活動(dòng)。o(業(yè)務(wù))事件,發(fā)生在某一個(gè)時(shí)刻,持續(xù)時(shí)間極短(瞬間)。事件一般對(duì)應(yīng)業(yè)務(wù)流程的一次狀態(tài)變化。。業(yè)務(wù)快照,是一系列活動(dòng)在某一個(gè)時(shí)刻點(diǎn)的狀態(tài)和結(jié)果,比如庫存、賬戶余額。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)2.4.2實(shí)體關(guān)系在實(shí)際業(yè)務(wù)中,業(yè)務(wù)實(shí)體并不是孤立存在的,他們之間有著各種各樣的聯(lián)系,Dataphin將這些聯(lián)系定義為ll實(shí)體關(guān)系"。有以下實(shí)體關(guān)系:釋義與舉例1.業(yè)務(wù)對(duì)象A是業(yè)務(wù)對(duì)象B的屬性,則業(yè)務(wù)對(duì)象B關(guān)聯(lián)了業(yè)務(wù)對(duì)象A。如:地址是客戶的屬性之一,客戶實(shí)體關(guān)聯(lián)了地址實(shí)體。2.業(yè)務(wù)對(duì)象A是業(yè)務(wù)活動(dòng)C的參與者,則業(yè)務(wù)活動(dòng)C關(guān)聯(lián)了業(yè)務(wù)對(duì)象A。如:客戶是銷售的參與者,銷售實(shí)體關(guān)聯(lián)了客戶實(shí)體。普通對(duì)象B是普通對(duì)象A的一種,但是比普通對(duì)象A多一些獨(dú)有的屬性,則普通對(duì)象B繼承了普通對(duì)象A。如:會(huì)員本身也是用戶,除了用戶的姓名,性別等屬性外,會(huì)員還獨(dú)有會(huì)員等級(jí)等屬性,會(huì)員繼承了用戶。層級(jí)對(duì)象的多個(gè)對(duì)象間為層級(jí)關(guān)系。業(yè)務(wù)活動(dòng)A有三個(gè)處理節(jié)點(diǎn)B、C、D,每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)業(yè)務(wù)事件,業(yè)務(wù)事件發(fā)生后,A的狀態(tài)將發(fā)生變化。業(yè)務(wù)活動(dòng)A包含業(yè)務(wù)事件B、C、D。如:銷售活動(dòng)包含銷售下單,銷售付款,銷售完結(jié)等業(yè)務(wù)事件。業(yè)務(wù)活動(dòng)A有三個(gè)處理節(jié)點(diǎn)B,C,D,每個(gè)節(jié)點(diǎn)對(duì)應(yīng)一個(gè)業(yè)務(wù)事件,事件按照B->C->D的順序發(fā)生,則B、C、D之間為流轉(zhuǎn)關(guān)系。進(jìn)入業(yè)務(wù)活動(dòng)B之前必須先完成業(yè)務(wù)活動(dòng)A,則A是B的前序活動(dòng),B是A的后序活動(dòng)。如:銷售完成后,才可以退款退貨(銷退),則銷售是銷退的前序活動(dòng),銷退是銷售的后序活動(dòng)。Dataphin智能數(shù)據(jù)建設(shè)與治理3.1全域數(shù)據(jù)匯聚,打破數(shù)據(jù)孤島企業(yè)在構(gòu)建數(shù)據(jù)中臺(tái)時(shí),首先就是要將企業(yè)內(nèi)部各個(gè)業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步集成到數(shù)據(jù)中臺(tái),然后進(jìn)行后續(xù)的數(shù)據(jù)研發(fā)工作。一句話總結(jié)數(shù)據(jù)集成的能力,就是提供不同數(shù)據(jù)源之間的通道能力,解決異構(gòu)數(shù)據(jù)源之間,讀取、轉(zhuǎn)換和寫入三個(gè)流程。Dataphin中的數(shù)據(jù)集成模塊是一個(gè)簡單高效的數(shù)據(jù)同步平臺(tái),通過組件拖拽式的方式,提供了豐富的異構(gòu)數(shù)據(jù)源間高速穩(wěn)定的數(shù)據(jù)同步能力,與強(qiáng)大的數(shù)據(jù)預(yù)處理能力,匯集全域數(shù)據(jù),打破數(shù)據(jù)孤島,為數(shù)據(jù)中臺(tái)的建設(shè)打好堅(jiān)實(shí)的數(shù)據(jù)基座。在企業(yè)信息化建設(shè)過程中,由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素等因素影響,使得企業(yè)在發(fā)展過程中積累了大量不同存儲(chǔ)方式的業(yè)務(wù)數(shù)據(jù),采用的數(shù)據(jù)管理系統(tǒng)也大不相同。從簡單用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫,構(gòu)成了企業(yè)的異構(gòu)數(shù)據(jù)源。Dataphin數(shù)據(jù)集成支持豐富的異構(gòu)數(shù)據(jù)源,包括關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)存儲(chǔ)、文件存儲(chǔ)、消息隊(duì)列、NOSQL、API、應(yīng)用系統(tǒng)等40+數(shù)據(jù)庫。并支持創(chuàng)建自定義數(shù)據(jù)源,靈活接入數(shù)據(jù),提供了數(shù)據(jù)源的可擴(kuò)展性與靈活性。3.1.2強(qiáng)大的數(shù)據(jù)預(yù)處理能力與傳輸配置在數(shù)據(jù)集成過程中,對(duì)于數(shù)據(jù)安全、同步配置、數(shù)據(jù)預(yù)處理等都會(huì)存在一些訴求。Dataphin數(shù)據(jù)集成提供豐富的數(shù)據(jù)預(yù)處理能力以及任務(wù)中數(shù)據(jù)傳輸過程中的可配置項(xiàng)。。字段處理:提供字段選擇、條件過濾,與字段計(jì)算的能力。幫助在同步過程中過濾掉冗雜數(shù)據(jù),提高數(shù)據(jù)質(zhì)量。。數(shù)據(jù)安全:對(duì)于敏感字段,比如個(gè)人隱私信息,在集成任務(wù)中可以結(jié)合安全模塊,對(duì)敏感字段進(jìn)行加密或解密,進(jìn)一步保障數(shù)據(jù)在同步過程中的安全。。傳輸配置:支持限流配置,可根據(jù)數(shù)據(jù)庫性能與任務(wù)并發(fā)數(shù)靈活配置;支持條件分發(fā),一個(gè)來源數(shù)據(jù)源以某個(gè)條件,二分發(fā)到兩個(gè)不同的目標(biāo)數(shù)據(jù)庫中,可避免任務(wù)的二次配置;支持容錯(cuò)配置,指定集成任務(wù)允許產(chǎn)生的臟數(shù)據(jù)上限;支持運(yùn)行參數(shù)配置與數(shù)據(jù)庫連接配置:可根據(jù)場景靈活調(diào)整,提升集成任務(wù)的成功率與運(yùn)維效率。Dataphin智能數(shù)據(jù)建設(shè)與治理傳輸配置傳輸配置。限流。條件分發(fā)?容錯(cuò)配置。運(yùn)行參數(shù)配置。數(shù)據(jù)庫連接配置數(shù)據(jù)安全?字段加密?字段解密字段處理。字段選擇。字段計(jì)算?條件過濾3.1.3產(chǎn)品易用性在進(jìn)行數(shù)據(jù)中臺(tái)建設(shè)時(shí),匯集全域數(shù)據(jù),需要集成的表體量較大,大量的任務(wù)配置與調(diào)試工作量會(huì)消耗大量人力與資源。Dataphin的數(shù)據(jù)集成提供任務(wù)配置、調(diào)試等各場景下的易用性功能,可提高任務(wù)配置與調(diào)試的效率。。組件化配置:可通過在畫布界面中拖拉拽組件進(jìn)行集成任務(wù)的配置,通過無代碼化操作,降低任務(wù)配置門檻。。實(shí)時(shí)/離線整庫遷移:支持通過配置化的方式進(jìn)行實(shí)時(shí)或離線的整庫遷移,高整庫數(shù)據(jù)遷移場景下的配置效率。。運(yùn)行日志智能診斷:將原始日志提取為結(jié)構(gòu)化的信息,包括任務(wù)運(yùn)行信息(運(yùn)行時(shí)長、CPU負(fù)載等)、同步通道信息(讀取/寫入速度,臟數(shù)據(jù)條數(shù)等)。在任務(wù)運(yùn)行報(bào)錯(cuò)后,自動(dòng)提取日志內(nèi)的錯(cuò)誤信息,根據(jù)知識(shí)庫進(jìn)行相似度檢索,提供可能的報(bào)錯(cuò)原因與可參考的解決方案,提高排查與調(diào)試的效率。3.2設(shè)計(jì)即研發(fā),保障數(shù)據(jù)模型與代碼的一致性傳統(tǒng)的數(shù)據(jù)中臺(tái)建設(shè)過程中,數(shù)據(jù)模型需要用限定詳細(xì)的文檔記錄設(shè)計(jì),再基于文檔進(jìn)行代碼研發(fā)。經(jīng)過多輪變更后設(shè)計(jì)文檔與實(shí)際代碼可能已南轅北轍。Dataphin通過規(guī)范化、模塊化的低代碼配置,在設(shè)計(jì)的同時(shí)生成代碼,有效的保證了模型與代碼的一致性,提升數(shù)據(jù)質(zhì)量。Dataphin模型體系中,主題域模型和概念模型屬于規(guī)劃部分,邏輯模型和業(yè)務(wù)分析模型則屬于研發(fā)部分。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)3.2.1邏輯模型在概念模型基礎(chǔ)上,基于對(duì)業(yè)務(wù)的理解,可以對(duì)實(shí)體:。增加屬性屬性是用來從各個(gè)方面描述實(shí)體,是純粹的業(yè)務(wù)認(rèn)知。屬性的增減完全跟隨業(yè)務(wù)本身的變化,而不是基于業(yè)務(wù)系統(tǒng)。設(shè)置屬性約束對(duì)屬性值的業(yè)務(wù)約束,如:鞋子的尺碼有效范圍是10碼~45碼,顏色只有白色和黑色等。。設(shè)置屬性與來源業(yè)務(wù)表之間的關(guān)系邏輯模型設(shè)置完成后,系統(tǒng)將自動(dòng)生成相應(yīng)的調(diào)度任務(wù)。后續(xù)如果業(yè)務(wù)側(cè)發(fā)生了變化,重新設(shè)計(jì)邏輯模型時(shí),在Dataphin可以直接編輯邏輯模型,系統(tǒng)將自動(dòng)生成任務(wù),確保設(shè)計(jì)與代碼的一致。3.2.2業(yè)務(wù)分析模型邏輯模型構(gòu)建后,基于邏輯模型可以構(gòu)建分析模型,即下圖中的業(yè)務(wù)分析模型。統(tǒng)計(jì)統(tǒng)計(jì)周期+業(yè)務(wù)分析模型的目標(biāo)是快速生成業(yè)務(wù)分析中的指標(biāo),稱為派生指標(biāo),且保障這些指標(biāo)的可靠性和可維護(hù)性。最終使用的指標(biāo)拆解為四個(gè)基本組成部分統(tǒng)計(jì)粒度業(yè)務(wù)限定原子指標(biāo)。統(tǒng)計(jì)周期,指標(biāo)覆蓋的時(shí)間范圍,即該指標(biāo)反映的是哪個(gè)時(shí)間段內(nèi)的業(yè)務(wù)情況,本質(zhì)上也是業(yè)務(wù)限定的一種,但由于它的通用性,將其獨(dú)立出來作為一個(gè)單獨(dú)的組成部分。。原子指標(biāo),針對(duì)某個(gè)業(yè)務(wù)事件的聚合統(tǒng)計(jì)分析,比如:求和、取平均。。業(yè)務(wù)限定,指標(biāo)計(jì)算時(shí)的業(yè)務(wù)約束(過濾)規(guī)則。。統(tǒng)計(jì)粒度,指標(biāo)的分析維度或者分析角度,指標(biāo)是描述哪些業(yè)務(wù)對(duì)象或哪些實(shí)體屬性的。selectselectuseridfromorderandsite=1groupbyuserid業(yè)務(wù)限定統(tǒng)計(jì)(分析)粒度維度/業(yè)務(wù)過程業(yè)務(wù)分析建模的步驟是,統(tǒng)計(jì)周期設(shè)置->原子指標(biāo)/業(yè)務(wù)限定配置->派生指標(biāo)配置,所有配置完成后,系統(tǒng)將自動(dòng)生成計(jì)算代碼和周期調(diào)度任務(wù)。后續(xù)修改指標(biāo)定義,也是通過修改統(tǒng)計(jì)周期,原子指標(biāo),業(yè)務(wù)限定等業(yè)務(wù)視角的對(duì)象,由系統(tǒng)自動(dòng)來生成修改后的計(jì)算代碼。Dataphin通過規(guī)范化、模塊化的低代碼配置式研發(fā),有效的保證了模型與代碼的一致性。3.3發(fā)布管控,數(shù)據(jù)安全生產(chǎn)3.3.1發(fā)布Dataphin提供兩種項(xiàng)目模式:Basic簡單模式和生產(chǎn)開發(fā)隔離的Dev-prod模式。在數(shù)據(jù)權(quán)限管控嚴(yán)格的研發(fā)流程下,常常會(huì)使用生產(chǎn)開發(fā)環(huán)境隔離的研發(fā)模式。項(xiàng)目中,研發(fā)人員通常需要完成代碼編寫、任務(wù)基礎(chǔ)屬性和調(diào)度屬性用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)配置、并基于開發(fā)環(huán)境的數(shù)據(jù)執(zhí)行補(bǔ)數(shù)據(jù)測試,通過后再將任務(wù)提交至發(fā)布中心。發(fā)布審核人員接到發(fā)布申請后,結(jié)合任務(wù)配置詳情評(píng)估是否配置合理,是否存在數(shù)據(jù)生產(chǎn)風(fēng)險(xiǎn)等,之后執(zhí)行發(fā)布操作。Dataphin發(fā)布中心提供了待發(fā)布任務(wù)概覽、批量發(fā)布、基于系統(tǒng)校驗(yàn)規(guī)則的自動(dòng)審核,發(fā)布記錄概覽、發(fā)布詳情查看、發(fā)布失敗原因提示、一鍵重新發(fā)布、發(fā)布審批和發(fā)布管控等功能。發(fā)布作為生產(chǎn)開發(fā)隔離的研發(fā)模式中必經(jīng)的一道環(huán)節(jié),為生產(chǎn)數(shù)據(jù)的正確性和生產(chǎn)環(huán)境穩(wěn)定性提供了前置保障,可以減少人工操作失誤或流程不規(guī)范引發(fā)的問題,降低了對(duì)生產(chǎn)業(yè)務(wù)產(chǎn)生影響的可能性,為數(shù)據(jù)建設(shè)撐起一道保護(hù)傘。3.3.2發(fā)布管控發(fā)布管控功能支持基于用戶已經(jīng)設(shè)定好的管控規(guī)則及生效策略,在任務(wù)發(fā)布前執(zhí)行對(duì)應(yīng)的檢查,以判斷任務(wù)是否符合發(fā)布條件。針對(duì)校驗(yàn)不通過的任務(wù),根據(jù)規(guī)則配置詳情,會(huì)阻斷發(fā)布流程(強(qiáng)管控)或給出警告提示但不阻塞發(fā)布(弱管控),以增強(qiáng)平臺(tái)的穩(wěn)定性保障。發(fā)布管控是變更管控的子功能之一(后續(xù)可逐步拓展研發(fā)管控、運(yùn)維管控等),變更管控分為更規(guī)則和變更策略兩部分。變更規(guī)則:基于對(duì)象的基礎(chǔ)屬性、外部服務(wù)接口等來源抽象出來的元數(shù)據(jù),結(jié)合系統(tǒng)內(nèi)置規(guī)則或自定義代碼編寫的邏輯條件而組成的校驗(yàn)規(guī)則;規(guī)則校驗(yàn)不通過的對(duì)象即被納入管控,結(jié)合變更策略判斷管控方式。。變更策略:根據(jù)用戶已經(jīng)創(chuàng)建好的變更規(guī)則,設(shè)置其生效范圍和管控方式。支持在單個(gè)變更策略中配置多個(gè)規(guī)則并給每個(gè)規(guī)則指定不同的管控方式。發(fā)布管控常用但不限于以下幾種場景:。時(shí)間節(jié)點(diǎn)管控:在某些特殊時(shí)間節(jié)點(diǎn),禁止發(fā)布新的任務(wù)或更新歷史任務(wù),防止數(shù)據(jù)計(jì)算口徑變更帶來的影響,如財(cái)年末封賬、財(cái)務(wù)審計(jì)、雙11大促管控、集群切換保障等場景。研發(fā)規(guī)范管控:根據(jù)某些任務(wù)屬性來進(jìn)行判斷,如ODS項(xiàng)目中沒有以llods"為開頭命名的任務(wù)不可發(fā)布等。賬號(hào)管控:針對(duì)部分提交人或發(fā)布人進(jìn)行限制,如已離職人員提交的任務(wù)不可執(zhí)行發(fā)布操作等等通過發(fā)布管控,靈活調(diào)整管控規(guī)則及策略配置,可以實(shí)現(xiàn)不同的管控效果,減少人工干預(yù)成本,進(jìn)一步提升平臺(tái)建設(shè)的規(guī)范性和穩(wěn)定性。3.3.3跨租戶發(fā)布使用開發(fā)生產(chǎn)隔離的模式,可以提供代碼及數(shù)據(jù)的生產(chǎn)開發(fā)環(huán)境隔離。然而在某些對(duì)安全性要求更高的場景(比如金融場景),客戶需要對(duì)生產(chǎn)和開發(fā)環(huán)境進(jìn)行物理的隔離。為確保租戶間的數(shù)據(jù)安全,Dataphin完全隔離租戶間的數(shù)據(jù)。若有構(gòu)建數(shù)據(jù)生態(tài)或強(qiáng)安全管控(例如,不同租戶構(gòu)建共同的開發(fā)、測試或生產(chǎn)環(huán)境)訴求,通常需要在新租戶中重新開發(fā)所有數(shù)據(jù),這將降低數(shù)據(jù)應(yīng)用的效率。Dataphin升級(jí)了數(shù)據(jù)的發(fā)布能力,旨在構(gòu)建簡單高效、安全可靠的跨租戶發(fā)布,用于遷移租戶間的規(guī)則數(shù)據(jù)的遷移,以滿足不同數(shù)據(jù)的應(yīng)用場景,幫助企業(yè)實(shí)現(xiàn)數(shù)據(jù)應(yīng)用價(jià)值最大化?？缱鈶舭l(fā)布支持全量導(dǎo)出、增量導(dǎo)出及指定對(duì)象導(dǎo)出,支持設(shè)置全局粒度的導(dǎo)入規(guī)則,支持批量發(fā)布文件中的對(duì)象,同時(shí)系統(tǒng)根據(jù)對(duì)象依賴關(guān)系自動(dòng)控制發(fā)布至目標(biāo)環(huán)境的順序。3.4靈活調(diào)度,滿足多樣化的開發(fā)場景Dataphin自研的調(diào)度系統(tǒng)支持靈活的調(diào)度周期、上游依賴、調(diào)度類型、參數(shù)配置、公共日歷和條件調(diào)度,可適配多樣性的數(shù)據(jù)研發(fā)場景,滿足各種個(gè)性化的調(diào)度需求。3.4.1周期調(diào)度在任務(wù)調(diào)度時(shí)通常需要根據(jù)任務(wù)運(yùn)行頻率和數(shù)據(jù)產(chǎn)出時(shí)效性判斷該任務(wù)的調(diào)度類型,并針對(duì)不同類型的任務(wù)進(jìn)行調(diào)度規(guī)則的配置。其中,周期調(diào)度是最常用的調(diào)度方式,對(duì)于周期調(diào)度的任務(wù)支持為其進(jìn)行以下配置:調(diào)度類型支持正常調(diào)度、空跑調(diào)度、暫停調(diào)度三種方式?？张苷{(diào)度的任務(wù)生成的所有實(shí)例直接空跑成功,不會(huì)真正運(yùn)行;暫停調(diào)度的任務(wù)生成的實(shí)例均為暫停運(yùn)行狀態(tài),常用于經(jīng)常需要暫停某些鏈路上的數(shù)據(jù)更新、又不希望頻繁下線任務(wù)或修改依賴的場景。。調(diào)度周期抽數(shù)任務(wù),需要每小時(shí)從業(yè)務(wù)庫抽取上小時(shí)新增的訂單數(shù)據(jù),再進(jìn)行銷售總額的合并計(jì)算,則需要配置調(diào)度周期為ll小時(shí)",開始運(yùn)行時(shí)間為每個(gè)整點(diǎn),以保證數(shù)據(jù)時(shí)效性。。上游依賴提供自動(dòng)依賴解析能力,可以基于SQL詳情解析出存在數(shù)據(jù)依賴的上游任務(wù)并自動(dòng)添加。對(duì)于不存在數(shù)據(jù)依賴關(guān)系但是有調(diào)度依賴的上游(如用于檢查數(shù)據(jù)變化情況的check任務(wù)),可以手動(dòng)搜索添加。依賴上周期支持配置依賴任務(wù)自身或其他任務(wù)的上一周期實(shí)例。有時(shí)為了防止多個(gè)實(shí)例同時(shí)運(yùn)行造成的數(shù)據(jù)沖突或重復(fù),用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)需要保證每個(gè)任務(wù)同一時(shí)間只有一個(gè)任務(wù)在運(yùn)行,此時(shí)可以配置ll自依賴",如ll截止當(dāng)日銷售總額"任務(wù),計(jì)算口徑為ll前一日銷售總額+當(dāng)日銷售總額"。另外一些場景下,任務(wù)運(yùn)行完成時(shí)間較晚,對(duì)于數(shù)據(jù)時(shí)效性要求不嚴(yán)格的下游,可以配置依賴該任務(wù)的上周期。3.4.2公共日歷&條件調(diào)度任務(wù)調(diào)度主要是兩個(gè)核心設(shè)置,一是依賴關(guān)系,二是日期時(shí)間。在日期時(shí)間的設(shè)置上,有非常多的場景,需要產(chǎn)品提供靈活個(gè)性化的設(shè)置項(xiàng)。Dataphin提供租戶級(jí)別的公共日歷功能,支持自定義多個(gè)日歷、自定義日期類型(工作日和假日)和靈活的自定義日歷標(biāo)簽,支持在日歷上靈活的設(shè)置標(biāo)簽,配合條件調(diào)度功能幫助用戶在配置調(diào)度任務(wù)時(shí),結(jié)合公共日歷中的定義信息配置組合條件調(diào)度參數(shù),進(jìn)行靈活的調(diào)度?；蛟趧?chuàng)建任務(wù)時(shí)引用公共日歷,避免在創(chuàng)建任務(wù)時(shí)重復(fù)定義,減少開發(fā)和后期維護(hù)成本。Dataphin調(diào)度系統(tǒng)提供靈活的配置方式,幫助用戶根據(jù)實(shí)際業(yè)務(wù)場景梳理上下游數(shù)據(jù)的影響,通過給對(duì)應(yīng)的任務(wù)配置依賴條件,確保數(shù)據(jù)依賴關(guān)系正確。3.5智能運(yùn)維,提升運(yùn)維人員的滿意度""每個(gè)客戶最近30天的平均消費(fèi)金額指標(biāo)需要基于匯總的門店訂單表來分析,得等訂單表的數(shù)據(jù)更新了才能運(yùn)行指標(biāo)"ll老板9點(diǎn)就要看報(bào)表,這個(gè)任務(wù)可一定要盡早跑完,優(yōu)先級(jí)要設(shè)置成最最最最最高!"ll怎么又有任務(wù)報(bào)錯(cuò)了,我可不想一直盯著電腦屏幕呀""每天都要回刷歷史數(shù)據(jù),我每天都在做重復(fù)的工作,真的好麻煩呀"以上是數(shù)據(jù)開發(fā)和運(yùn)維人員日常工作中經(jīng)常會(huì)遇到的問題,我們希望給重要的任務(wù)優(yōu)先分配調(diào)度資源和運(yùn)行資源,保證其順利運(yùn)行。這些無疑都給開發(fā)運(yùn)維人員增加了工作難度。運(yùn)維中心是研發(fā)鏈路重要的保障,包括大盤概覽、任務(wù)運(yùn)維、實(shí)例運(yùn)維和監(jiān)控告警配置等功能,為您提供任務(wù)操作與運(yùn)行查看、異常監(jiān)控與及時(shí)告警等多方位的運(yùn)維能力,從而維護(hù)生產(chǎn)任務(wù)有序、正確運(yùn)行,數(shù)據(jù)正常產(chǎn)出。下面介紹運(yùn)維中心如何解決問題。Dataphin支持為生產(chǎn)環(huán)境的任務(wù)配置監(jiān)控告警規(guī)則,包括智能基線監(jiān)控、離線任務(wù)監(jiān)控及實(shí)時(shí)任務(wù)監(jiān)控。幫助您及時(shí)了解任務(wù)運(yùn)行動(dòng)態(tài),并監(jiān)控異常任務(wù),降低對(duì)下游業(yè)務(wù)的影響。Dataphin智能數(shù)據(jù)建設(shè)與治理。任務(wù)監(jiān)控Dataphin支持針對(duì)任務(wù)粒度的監(jiān)控配置,可指定具體任務(wù)或通過ll歸屬某個(gè)項(xiàng)目下的所有任務(wù)等"方式批量配置任務(wù)告警。不同類型的任務(wù)支持不同的告警原因,以離線監(jiān)控為例,支持完成、出錯(cuò)、運(yùn)行超時(shí)、未完成等。此外,Dataphin特有的邏輯運(yùn)維能力,支持針對(duì)邏輯表任務(wù)以字段視角進(jìn)行監(jiān)控配置,可通過字段更快捷直觀的分析異常任務(wù)對(duì)下游業(yè)務(wù)的影響。為了支持不同接收人角色的區(qū)分告警,Dataphin支持給不同類型的接收人配置不同的告警方式,如:負(fù)責(zé)人電話告警、管理員郵件告警。同時(shí),也支持根據(jù)任務(wù)優(yōu)先級(jí)和運(yùn)行時(shí)間,設(shè)置不同的監(jiān)控時(shí)間段、告警頻率等,以減少運(yùn)維人員的人工操作成本,實(shí)現(xiàn)靈活的自動(dòng)化告警。。智能基線監(jiān)控使用智能基線監(jiān)控,只需配置要保障的末節(jié)點(diǎn),即可根據(jù)依賴關(guān)系自動(dòng)推算末節(jié)點(diǎn)依賴的所有上游節(jié)點(diǎn),無需人工介入,大大降低復(fù)雜依賴場景下的配置成本。此外,被納入基線保障范圍的任務(wù)具有更高優(yōu)先級(jí),在同時(shí)滿足運(yùn)行條件時(shí)可優(yōu)先下發(fā)到計(jì)算引擎執(zhí)行,進(jìn)一步保障重要任務(wù)運(yùn)行穩(wěn)定性,并在可能產(chǎn)生延遲風(fēng)險(xiǎn)的情況下發(fā)送預(yù)警通知,便于提前發(fā)現(xiàn)風(fēng)險(xiǎn)。智能基線主要提供以下能力:b自動(dòng)推算需要納入基線監(jiān)控范圍的任務(wù):添加需要保障的任務(wù)或字段后,系統(tǒng)將基于依賴關(guān)系自動(dòng)推算需要納入監(jiān)控范圍的上游節(jié)點(diǎn),這樣一來,即使更新了任務(wù)依賴關(guān)系,也無需更新基線配置,大大降低了人工操作成本;同時(shí)也提升了監(jiān)控準(zhǔn)確性,避免因?yàn)榕渲貌煌蕉鴮?dǎo)致的監(jiān)控缺失。b關(guān)聯(lián)路徑與關(guān)鍵實(shí)例識(shí)別:基線上需要保障的任務(wù),其依賴關(guān)系可能錯(cuò)綜復(fù)雜,Dataphin提供甘特圖功能以快速定位阻塞基線上數(shù)據(jù)產(chǎn)出的關(guān)鍵路徑與關(guān)鍵實(shí)例,其中影響基線任務(wù)產(chǎn)出的多條路徑中,耗時(shí)最長的路徑為基線關(guān)鍵路徑。b自動(dòng)推算預(yù)計(jì)產(chǎn)出時(shí)間并觸發(fā)相應(yīng)告警:周期運(yùn)行過程中,系統(tǒng)將根據(jù)基線鏈路上每個(gè)節(jié)點(diǎn)最近7天的歷史運(yùn)行概況,推算保障節(jié)點(diǎn)的預(yù)計(jì)運(yùn)行完成時(shí)間。如果推算出的時(shí)間晚于配置的預(yù)警及承諾時(shí)間,則會(huì)發(fā)送基線告警,給開發(fā)人員和業(yè)務(wù)人員對(duì)應(yīng)的通知。3.5.2如何快速定位問題并快速恢復(fù)或修復(fù)數(shù)據(jù)?。智能診斷Dataphin提供了實(shí)例運(yùn)行診斷的能力,從上游依賴、定時(shí)時(shí)間、限流規(guī)則、調(diào)度資源及實(shí)例執(zhí)行5個(gè)階段分析實(shí)例運(yùn)行過程中可能產(chǎn)生的異常,同時(shí)提供單個(gè)任務(wù)每次運(yùn)行的執(zhí)行日志,可快速定位異常信息進(jìn)行進(jìn)一步分析。通過查看診斷結(jié)果和日志進(jìn)一步排查失敗原因并一鍵定位到需要直接處理的異常實(shí)例,并根據(jù)診斷建議執(zhí)行對(duì)應(yīng)的操作。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)。數(shù)據(jù)回溯面向不同的數(shù)據(jù)回溯場景,Dataphin提供靈活、可配置的重跑、強(qiáng)制重跑、補(bǔ)數(shù)據(jù)等功能,并提供基于列表的批量操作能力,可以幫助您快速執(zhí)行相關(guān)操作,大大減少人工操作成本,快速恢復(fù)歷史數(shù)據(jù)。對(duì)于任務(wù)配置問題或網(wǎng)絡(luò)環(huán)境問題導(dǎo)致的的運(yùn)行失敗,可以通過重跑快速恢復(fù)任務(wù)運(yùn)行。某些特殊場景下,任務(wù)不滿足運(yùn)行條件時(shí)仍然需要強(qiáng)制運(yùn)行任務(wù),此時(shí)可以使用強(qiáng)制重跑功能來實(shí)現(xiàn)。Dataphin支持針對(duì)單個(gè)實(shí)例或選中一個(gè)起點(diǎn)及其下游,按照依賴關(guān)系進(jìn)行批量重跑或強(qiáng)制重跑(如整條鏈路計(jì)算邏輯修改等場景),以實(shí)現(xiàn)全鏈路數(shù)據(jù)更新。補(bǔ)數(shù)據(jù)是為了解決數(shù)據(jù)倉庫中存在的數(shù)據(jù)缺失、錯(cuò)誤、不一致等問題,通過補(bǔ)錄、修復(fù)、補(bǔ)充或更新數(shù)據(jù)來保證數(shù)據(jù)的準(zhǔn)確性、完整性和一致性,滿足業(yè)務(wù)需求和數(shù)據(jù)分析的需要。Datatphin支持多種靈活的補(bǔ)數(shù)據(jù)方式,能夠滿足多樣化的業(yè)務(wù)需求,提高運(yùn)維人員的工作效率。以下為多種補(bǔ)數(shù)據(jù)模式:b列表模式補(bǔ)數(shù)據(jù):按下游任務(wù)層級(jí)篩選任務(wù)。b海量模式補(bǔ)數(shù)據(jù):直接輸入需要補(bǔ)數(shù)據(jù)的任務(wù)ID、或通過指定項(xiàng)目、指定節(jié)點(diǎn)輸出名稱、當(dāng)前節(jié)點(diǎn)的全部下游、指定一級(jí)子節(jié)點(diǎn)及其全部下游、指定終點(diǎn)等多種方式來圈選下游節(jié)點(diǎn)的范圍,系統(tǒng)將依據(jù)依賴關(guān)系對(duì)選中的任務(wù)進(jìn)行自動(dòng)編排生成補(bǔ)數(shù)據(jù)實(shí)例。定時(shí)調(diào)度的補(bǔ)數(shù)據(jù)任務(wù):Datatphin支持配置補(bǔ)數(shù)據(jù)任務(wù)并設(shè)置補(bǔ)數(shù)據(jù)實(shí)例的運(yùn)行規(guī)則,系統(tǒng)將基于任務(wù)配置定時(shí)、自動(dòng)地生成補(bǔ)數(shù)據(jù)實(shí)例,適用于周期規(guī)律性的數(shù)據(jù)回刷場景。此外,也支持手動(dòng)臨時(shí)運(yùn)行補(bǔ)數(shù)據(jù)任務(wù),實(shí)現(xiàn)臨時(shí)性的補(bǔ)數(shù)據(jù)操作,大大降低重復(fù)性配置成本。。限流管控當(dāng)計(jì)算引擎出現(xiàn)性能瓶頸、資源分配不足或需控制任務(wù)下發(fā)時(shí)間和順序等場景時(shí),通過配置開發(fā)或生產(chǎn)環(huán)境任務(wù)的限流規(guī)則,保障系統(tǒng)的穩(wěn)定性以及業(yè)務(wù)數(shù)據(jù)按序及時(shí)產(chǎn)出。Dataphin支持基于業(yè)務(wù)視角的調(diào)度限流功能,支持根據(jù)任務(wù)優(yōu)先級(jí)和資源空閑情況,控制不同時(shí)間段內(nèi)不同任務(wù)的下發(fā)數(shù)量?；谙蘖髂芰?不僅可以減少對(duì)底層計(jì)算引擎和上下游數(shù)據(jù)源的并發(fā)壓力,保證高優(yōu)任務(wù)優(yōu)先分配調(diào)度及計(jì)算資源,任務(wù)能按序產(chǎn)出;同時(shí)也能實(shí)現(xiàn)故障異常場景下的快速止血,避免產(chǎn)生因?yàn)闊o法干預(yù)或介入較晚而產(chǎn)生嚴(yán)重的問題,增強(qiáng)整體穩(wěn)定性。例如:在更換底層引擎的場景下,我們可以通過配置全局限流來阻斷任務(wù)的下發(fā);遷移完成后,需要優(yōu)先對(duì)核心任務(wù)進(jìn)行補(bǔ)數(shù)據(jù)操作,再逐步恢復(fù)對(duì)日常任務(wù)的運(yùn)行,則可以通過"所屬項(xiàng)目"圈選出日常任務(wù)并將其并發(fā)度設(shè)置為1而核心任務(wù)不設(shè)置并發(fā)限制,來保障資源優(yōu)先分配給核心任務(wù)。調(diào)度資源管控調(diào)度資源指任務(wù)生成的實(shí)例調(diào)度所消耗的資源,Dataphin的調(diào)度資源分組管理的功能,能夠幫助您統(tǒng)一管理部署Dataphin實(shí)例的集群資源。支持將資源劃分為不同的配額組,不同資源組之間的資源配額互相獨(dú)立,并支持為不同租戶、統(tǒng)一租戶下不同項(xiàng)目內(nèi)的任務(wù)單獨(dú)指定調(diào)度時(shí)使用的自定義資源組,從而保障核心任務(wù)的資源不被搶占,同時(shí)也提升整體資源利用率。Dataphin的自定義資源組功能可為您提供以下場景的支持:b核心任務(wù)保障:通過資源組管理可為核心任務(wù)分配單獨(dú)的調(diào)度資源組,防止低優(yōu)先級(jí)任務(wù)優(yōu)先運(yùn)行時(shí)搶占大量調(diào)度資源而導(dǎo)致高優(yōu)任務(wù)一直在等待調(diào)度資源狀態(tài)。例如,希望保證核心業(yè)務(wù)庫的集成任務(wù)按時(shí)運(yùn)行,那么可以給對(duì)應(yīng)的集成任務(wù)配置ll集成專用資源組",其他非核心任務(wù)使用項(xiàng)目默認(rèn)資源組。b按需分配:支持按照租戶、項(xiàng)目、任務(wù)粒度分配資源,可實(shí)現(xiàn)不同業(yè)務(wù)部門使用的資源解耦,避免某個(gè)部門占用大量資源而影響其他業(yè)務(wù)部門的正常使用。b臨時(shí)批量運(yùn)維操作:大批量補(bǔ)數(shù)據(jù)場景下,可能會(huì)占用較多的資源,從而影響周期任務(wù)的正常運(yùn)行。支持在批量補(bǔ)數(shù)據(jù)等臨時(shí)運(yùn)維操作時(shí)指定單獨(dú)的資源組,僅對(duì)本次運(yùn)行生效,從而保障任務(wù)日常調(diào)度不受影響。3.6實(shí)時(shí)集成和實(shí)時(shí)研發(fā),實(shí)現(xiàn)數(shù)據(jù)秒級(jí)響應(yīng)3.6.1應(yīng)用場景當(dāng)下,實(shí)時(shí)數(shù)據(jù)的重要性在各行業(yè)日益凸顯,實(shí)時(shí)數(shù)據(jù)的精細(xì)管理和優(yōu)化運(yùn)營對(duì)企業(yè)發(fā)展至關(guān)重要。通過實(shí)時(shí)監(jiān)測和分析各項(xiàng)指標(biāo),企業(yè)能夠快速發(fā)現(xiàn)問題和機(jī)會(huì),及時(shí)調(diào)整決策以保持競爭力。例如,實(shí)時(shí)營銷場景下,企業(yè)可以根據(jù)用戶的實(shí)時(shí)行為偏好提供個(gè)性化推薦和服務(wù),提升用戶滿意度;金融風(fēng)控場景下,通過實(shí)時(shí)數(shù)據(jù)采集和分析,金融機(jī)構(gòu)可以監(jiān)控交易活動(dòng),檢測異常交易模式和風(fēng)險(xiǎn)事件。傳統(tǒng)的批處理方式無法滿足實(shí)時(shí)分析和決策的需求,因此需要實(shí)現(xiàn)實(shí)時(shí)數(shù)據(jù)的采集與研發(fā)至關(guān)重要,以保障數(shù)據(jù)的時(shí)效性,發(fā)揮其最大價(jià)值。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)3.6.2解決方案實(shí)時(shí)集成Dataphin實(shí)時(shí)集成通過實(shí)時(shí)抽取數(shù)據(jù)庫CDC(changeDatacapture,變更數(shù)據(jù)捕獲),滿足數(shù)據(jù)實(shí)時(shí)同步的需求。全配置化交互,一次任務(wù)配置實(shí)現(xiàn)整庫數(shù)據(jù)實(shí)時(shí)同步;支持實(shí)時(shí)集成任務(wù)運(yùn)行監(jiān)控告警,降低運(yùn)維成本。且目標(biāo)庫為Hive以及Maxcompute時(shí),支持以表到表的形式同步數(shù)據(jù),無需再進(jìn)行后續(xù)的日志格式解析。實(shí)時(shí)集成適用于實(shí)時(shí)采集表量較大,且無需數(shù)據(jù)實(shí)時(shí)處理的場景。若需針對(duì)采集的實(shí)時(shí)數(shù)據(jù)進(jìn)行進(jìn)一步的實(shí)時(shí)加工處理,可以結(jié)合實(shí)時(shí)研發(fā)構(gòu)建實(shí)時(shí)數(shù)據(jù)開發(fā)鏈路。實(shí)時(shí)研發(fā)Dataphin具備全鏈路實(shí)時(shí)研發(fā)、實(shí)時(shí)資產(chǎn)管理的能力。。傳統(tǒng)批處理、流處理割裂帶來一定的問題和挑戰(zhàn),如流批底層數(shù)據(jù)模型不一致,導(dǎo)致應(yīng)用層需要做大量的拼接邏輯(同比、環(huán)比、二次加工等),搭建效率低,且容易出錯(cuò);流批存儲(chǔ)系統(tǒng)隔離(面向不同寫入場景),提供的數(shù)據(jù)服務(wù)不一致,維護(hù)成本高;手工建數(shù)據(jù)同步任務(wù),開發(fā)成本/存儲(chǔ)成本高(兩份);一個(gè)業(yè)務(wù)邏輯,兩個(gè)引擎兩套代碼,SQL邏輯不能復(fù)用,數(shù)據(jù)一致性和質(zhì)量難以保障;不同平臺(tái)和引擎間切換,開發(fā)體驗(yàn)割裂,容易出現(xiàn)變更遺漏;批處理&流處理集群無法做到錯(cuò)峰,資源利用率較低。Dataphin支持全鏈路Flink流計(jì)算(Flinkstream)任務(wù)開發(fā)與運(yùn)維能力,具備擴(kuò)展批處理(FlinkBatch)的產(chǎn)品基礎(chǔ),打通流批一體化,數(shù)據(jù)架構(gòu)具有多方面優(yōu)勢:b效率層面:一套代碼、兩種時(shí)效;流批研發(fā)運(yùn)維一致性體驗(yàn);統(tǒng)一元數(shù)據(jù)管理。b成本層面:流批統(tǒng)一存儲(chǔ),減少資源浪費(fèi);流批計(jì)算錯(cuò)峰運(yùn)行,提升資源利用率。b質(zhì)量和資源層面:變更口徑,可強(qiáng)一致性保障。Dataphin智能數(shù)據(jù)建設(shè)與治理 Bi分析產(chǎn)品 Bi分析產(chǎn)品·在線應(yīng)用等應(yīng)用層產(chǎn)品組裝產(chǎn)品組裝流批存儲(chǔ)透明化,查詢邏輯完全一致產(chǎn)品組裝產(chǎn)品組裝流批存儲(chǔ)透明化,查詢邏輯完全一致,應(yīng)用端接入成本大幅降低點(diǎn)查/OLAP分析統(tǒng)一支持批數(shù)據(jù)服務(wù)層批存儲(chǔ) 流批統(tǒng)批數(shù)據(jù)服務(wù)層批存儲(chǔ) 流批統(tǒng)存儲(chǔ)層·批存儲(chǔ)服務(wù)層統(tǒng)一存儲(chǔ),無需手工同步,無重復(fù)存儲(chǔ)流數(shù)據(jù)服務(wù)層一套代碼,兩種計(jì)算模式,邏輯統(tǒng)一,靈活切換,研發(fā)效率大幅提升流批計(jì)算資源混部,資源利用率提升流處理系統(tǒng)批處理系統(tǒng)流數(shù)據(jù)服務(wù)層一套代碼,兩種計(jì)算模式,邏輯統(tǒng)一,靈活切換,研發(fā)效率大幅提升流批計(jì)算資源混部,資源利用率提升流處理系統(tǒng)批處理系統(tǒng)流批統(tǒng)一處理(Flink)批處理(Maxcompute)Flink/ststreami流批邏輯層onrmispark非必選消息中間件批存儲(chǔ)b流數(shù)據(jù)服務(wù)層消息中間件定時(shí)回流(分鐘小時(shí)i天) 實(shí)時(shí)采集增量實(shí)時(shí)采集(增量)業(yè)務(wù)數(shù)據(jù)庫日志服務(wù)器 業(yè)務(wù)數(shù)據(jù)庫web 實(shí)時(shí)采集增量實(shí)時(shí)采集(增量)業(yè)務(wù)數(shù)據(jù)庫日志服務(wù)器 業(yè)務(wù)數(shù)據(jù)庫web、小程序、APP、應(yīng)用日志數(shù)據(jù)同步(全量)日志服務(wù)器關(guān)系型數(shù)據(jù)庫關(guān)系型數(shù)據(jù)庫、列存儲(chǔ)數(shù)據(jù)庫等實(shí)時(shí)研發(fā)功能及優(yōu)勢Dataphin在Flink流批一體的能力之上額外提供了更多的平臺(tái)能力,如數(shù)據(jù)源管理、元數(shù)據(jù)管理、資產(chǎn)血緣、資產(chǎn)質(zhì)量控制、預(yù)編譯、調(diào)試等能力:。強(qiáng)兼容性,支持多引擎多數(shù)據(jù)源支持ApacheFlink、阿里云實(shí)時(shí)計(jì)算Flink、MRSFlink等多種實(shí)時(shí)計(jì)算引擎;支持kafka、postgressQL、MYSQL、Hive、oracle、MicrosoftSQLServer、TDB、oceanBase、Mogondb、starRocKs、Hudi、Doris、SLS、Redis、clickHouse、Elasticsearch、ApacheHbase等多種豐富實(shí)時(shí)數(shù)據(jù)源;支持自定義Flink實(shí)時(shí)數(shù)據(jù)源,擴(kuò)展實(shí)時(shí)數(shù)據(jù)來源和輸出可支持的源類型。。開發(fā)生產(chǎn)隔離開發(fā)環(huán)境和生產(chǎn)環(huán)境隔離,保證開發(fā)環(huán)境開發(fā)的業(yè)務(wù)代碼和生產(chǎn)相互之間不干擾。。元數(shù)據(jù)管理各系統(tǒng)組件包括數(shù)據(jù)源、元表、UDX等具備權(quán)限控制功能,敏感型配置信息加密保護(hù)。支持?jǐn)?shù)據(jù)源敏感字段訪問訂閱。元表、函數(shù)、資源等全部單元化可視化的管理,支持元數(shù)據(jù)檢索,作業(yè)依賴、字段血緣的可視化探查,支持跨項(xiàng)目鑒權(quán)(字段級(jí))調(diào)用,讓使用者聚焦業(yè)務(wù)邏輯。元表使得元數(shù)據(jù)可顯示化定義和可管理,安全可靠,支持一次建表,多次引用,承載了權(quán)限管控,上下游血緣資產(chǎn)可查可探。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)流批一體流批存儲(chǔ)層的統(tǒng)一管理,實(shí)現(xiàn)模型層統(tǒng)一,流批代碼統(tǒng)一、在一份代碼上可同時(shí)進(jìn)行流和批任務(wù)的各自專屬配置,生產(chǎn)獨(dú)立有協(xié)同的調(diào)度實(shí)例。。研發(fā)運(yùn)維提效支持基于代碼模板等多種開發(fā)方式、編輯器智能提示,任務(wù)資源及參數(shù)的靈活配置,全面的版本管理,對(duì)象的批量管理、容器化調(diào)試和開發(fā)環(huán)境多模式測試等功能;支持任務(wù)靈活啟停、日志和異常信息分類分級(jí)查看、豐富的監(jiān)控指標(biāo)及靈活多樣的告警配置。。穩(wěn)定性及質(zhì)量保障Dataphin實(shí)時(shí)數(shù)據(jù)質(zhì)量主要面向開發(fā)者,針對(duì)產(chǎn)品中實(shí)時(shí)產(chǎn)出的數(shù)據(jù)表,通過對(duì)產(chǎn)出結(jié)果進(jìn)行數(shù)據(jù)質(zhì)量分析和校驗(yàn),來保障數(shù)據(jù)的最終有效與準(zhǔn)確。支持流量閾值設(shè)置,防止計(jì)算資源過度競爭,避免下游系統(tǒng)過載。支持實(shí)時(shí)元表質(zhì)量監(jiān)測,可配置統(tǒng)計(jì)趨勢監(jiān)測、實(shí)時(shí)多鏈路對(duì)比、實(shí)時(shí)離線數(shù)據(jù)核對(duì)。4·特色研發(fā)能力Dataphin除規(guī)范建模、離線及實(shí)時(shí)研發(fā)及運(yùn)維能力外,還提供了兩種特色的資產(chǎn)構(gòu)建能力。4.1標(biāo)簽平臺(tái),一站式標(biāo)簽研發(fā)、管理及應(yīng)用標(biāo)簽作為企業(yè)數(shù)據(jù)資產(chǎn)的一部分,在數(shù)據(jù)應(yīng)用及業(yè)務(wù)中扮演著非常重要的角色。不同的企業(yè)中對(duì)標(biāo)簽有不同的應(yīng)用。如金融機(jī)構(gòu)中,對(duì)私客戶經(jīng)理需要基于客戶畫像進(jìn)行理財(cái)產(chǎn)品推薦。消費(fèi)金融領(lǐng)域?qū)τ脩糍J前準(zhǔn)入有嚴(yán)格審核,需要基于借貸用戶以及設(shè)備信息建立畫像生成風(fēng)險(xiǎn)評(píng)估報(bào)告,對(duì)高風(fēng)險(xiǎn)客戶進(jìn)行有效識(shí)別。在零售營銷業(yè)務(wù)中,需要針對(duì)不同的用戶進(jìn)行運(yùn)營,如為促進(jìn)高價(jià)值新用戶留存提高復(fù)購,制定運(yùn)營策略ll對(duì)當(dāng)天注冊為會(huì)員的新用戶,且滿足注冊當(dāng)日消費(fèi)總金額滿100元條件時(shí),對(duì)其進(jìn)行短信營銷,派發(fā)優(yōu)惠券"等。標(biāo)簽資產(chǎn)作為重要的資產(chǎn),也需要進(jìn)行有規(guī)劃的建設(shè)和管理,業(yè)務(wù)部門可便捷高效地使用標(biāo)簽資產(chǎn)用于業(yè)務(wù)。Dataphin標(biāo)簽平臺(tái)提供了基于標(biāo)簽類目進(jìn)行標(biāo)簽的開發(fā)、管理、應(yīng)用、治理,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)商業(yè)價(jià)值閉環(huán)。4.1.1Dataphin標(biāo)簽平臺(tái)概述標(biāo)簽平臺(tái)基于Dataphin基礎(chǔ)研發(fā)版能力,面向成熟期企業(yè),提供企業(yè)核心商業(yè)要素的標(biāo)簽建設(shè)與管理能力,幫助企業(yè)沉淀好找好用、易開發(fā)、好治理的數(shù)據(jù)資產(chǎn)。標(biāo)簽平臺(tái)面向不同角色的人員提供了全生命周期的標(biāo)簽加工、管理與應(yīng)用功能:。標(biāo)簽管理與運(yùn)營:從業(yè)務(wù)場景和訴求出發(fā),可進(jìn)行標(biāo)簽市場的規(guī)劃與管理,標(biāo)簽的實(shí)體、ID的管理以及標(biāo)簽屬性的前置規(guī)劃,為后續(xù)的標(biāo)簽開發(fā)及標(biāo)簽應(yīng)用做好前置的設(shè)計(jì)和規(guī)劃。可對(duì)標(biāo)簽和群組進(jìn)行類目管理、對(duì)標(biāo)簽和群組的應(yīng)用進(jìn)行統(tǒng)計(jì)分析,從而進(jìn)行標(biāo)簽的運(yùn)營工作。。標(biāo)簽開發(fā)與生產(chǎn):為標(biāo)簽資產(chǎn)建設(shè)者提供標(biāo)簽生產(chǎn)、群組加工的工作空間,在工作臺(tái)可以進(jìn)行視圖和行為關(guān)系的定義,基于視圖、事件、行為關(guān)系進(jìn)行標(biāo)簽、群組加工邏輯配置完成資產(chǎn)開發(fā)與發(fā)布,并上架至資產(chǎn)市場。業(yè)務(wù)人員也可以基于市場的標(biāo)簽或群組進(jìn)行再加工,生成衍生標(biāo)簽、衍生群組用于自己的業(yè)務(wù)。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)標(biāo)簽應(yīng)用與服務(wù):為標(biāo)簽資產(chǎn)應(yīng)用者提供統(tǒng)一資產(chǎn)門戶,在資產(chǎn)市場可以查看標(biāo)簽熱度,獲取標(biāo)簽上架最新信息,查看標(biāo)簽分布情況以及血緣信息,進(jìn)行標(biāo)簽測試以及統(tǒng)計(jì)其離線、在線應(yīng)用情況。為資產(chǎn)應(yīng)用者提供多種資產(chǎn)服務(wù)類型,如標(biāo)簽離線服務(wù),通過批量標(biāo)簽查詢,輸出標(biāo)簽表給到下游報(bào)表系統(tǒng);標(biāo)簽實(shí)時(shí)查詢,通過在線接口請求查詢標(biāo)簽值。4.1.2標(biāo)簽平臺(tái)優(yōu)勢依托于Dataphin資產(chǎn)建設(shè)模塊強(qiáng)大的數(shù)據(jù)集成、數(shù)據(jù)研發(fā)及運(yùn)維能力,以及圍繞標(biāo)簽資產(chǎn)建設(shè)與運(yùn)營管理的標(biāo)簽平臺(tái)有其獨(dú)特的優(yōu)勢:。豐富強(qiáng)大的標(biāo)簽加工:支持多類型標(biāo)簽開發(fā),包括離線、實(shí)時(shí)等標(biāo)簽可視化加工。可基于離線視圖、實(shí)時(shí)視圖、行為關(guān)系,通過配置化的方式構(gòu)建屬性類、統(tǒng)計(jì)類標(biāo)簽、偏好類標(biāo)簽,也可以與已有的標(biāo)簽創(chuàng)建衍生組合標(biāo)簽。通過標(biāo)簽可圈選群組,也可以衍生出新的群組。標(biāo)簽及群組支持周期性調(diào)度及手動(dòng)加工模式,可提前生產(chǎn),提升性能。。豐富便捷的服務(wù)應(yīng)用:支持多實(shí)體標(biāo)簽開發(fā)、標(biāo)簽及群組類目管理、公共及私有標(biāo)簽及群組資產(chǎn)市場管理、離線標(biāo)簽及群組數(shù)據(jù)的導(dǎo)出,在線服務(wù)調(diào)用,滿足多種業(yè)務(wù)場景訴求。通過配置化的方式,即可將標(biāo)簽導(dǎo)出到不同的目標(biāo)數(shù)據(jù)庫中,通過實(shí)時(shí)服務(wù)能力,應(yīng)用在申請標(biāo)簽及群組權(quán)限后,即可調(diào)用服務(wù)API獲取標(biāo)簽值,或查詢?nèi)航M信息。。多云環(huán)境多引擎支持:多引擎、多種容災(zāi),架構(gòu)擴(kuò)展性強(qiáng)、穩(wěn)定性強(qiáng)、性能高。通過統(tǒng)一的平臺(tái)底座,可兼容多種部署環(huán)境,適配主流的大數(shù)據(jù)離線及實(shí)時(shí)計(jì)算引擎。4.2隱私計(jì)算,數(shù)據(jù)可用不可見4.2.1隱私計(jì)算概述當(dāng)前我國數(shù)據(jù)流通還處在起步階段,數(shù)據(jù)價(jià)值無法最大化釋放。因此,數(shù)據(jù)的開放共享、交換流通成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重中之重,快速發(fā)展的隱私計(jì)算等數(shù)據(jù)流通新技術(shù)為產(chǎn)業(yè)"破局"提供了關(guān)鍵思路,成為建設(shè)和完善數(shù)據(jù)要素市場的重要抓手。Daphin隱私計(jì)算,基于隱私計(jì)算技術(shù),為企業(yè)提供數(shù)據(jù)可用不可見的數(shù)據(jù)安全流通方案,幫助企業(yè)實(shí)現(xiàn)產(chǎn)業(yè)間高效協(xié)同,促進(jìn)行業(yè)、機(jī)構(gòu)實(shí)現(xiàn)數(shù)據(jù)價(jià)值的共享與協(xié)作。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)隱匿信息查詢功能介紹:隱匿信息查詢,也稱隱私信息檢索,是指查詢方隱藏被查詢對(duì)象關(guān)鍵詞或客戶D信息,數(shù)據(jù)服務(wù)方提供匹配的查詢結(jié)果卻無法獲知具體對(duì)應(yīng)哪個(gè)查詢對(duì)象。適用場景:適用于一些查詢場景,數(shù)據(jù)查詢方不想向數(shù)據(jù)服務(wù)方透露要查詢的內(nèi)容。例如病患想通過醫(yī)藥系統(tǒng)查詢其疾病的治療藥物,如果以該疾病名為查詢條件,醫(yī)療系統(tǒng)將會(huì)得知該病人可能患有這樣的疾病,從而病人的隱私被泄露,通過隱私信息查詢可以避免此類泄露問題?？蛻鬉客戶B客戶Aid1id1,id1,id2,id1id1,value1A根據(jù)id向B查詢value值,但不向B透露查詢的是哪一個(gè)id客戶A客戶B客戶A用戶id1用戶id1,x3,x4用戶id2,x3,x4原始數(shù)據(jù)不出域,完成聯(lián)合建模安全聯(lián)邦學(xué)習(xí)功能介紹:在原始數(shù)據(jù)不出域的前提下,通過交換各個(gè)參與方的算法訓(xùn)練的中間結(jié)果梯度、參數(shù)信息,或完全在密文條件下進(jìn)行計(jì)算,從而發(fā)揮參與多方數(shù)據(jù)樣本更豐富、更全面的優(yōu)勢,得出更優(yōu)模型。聯(lián)合建模,分為橫向聯(lián)合建模、縱向聯(lián)合建模。其中,縱向聯(lián)合建模,聯(lián)合多個(gè)參與者的共同樣本的不同數(shù)據(jù)特征進(jìn)行聯(lián)合建模,即各個(gè)參與者的訓(xùn)練數(shù)據(jù)是縱向劃分的。橫向聯(lián)合建模,聯(lián)合多個(gè)參與者的具有相同特征的多行樣本進(jìn)行聯(lián)合建模,即各個(gè)參與者的訓(xùn)練數(shù)據(jù)是橫向劃分的。適用場景:縱向聯(lián)合建模,適用于參與者訓(xùn)練樣本ID重疊較多,而數(shù)據(jù)特征重疊較少的情況,例如某銀行和某電商平臺(tái),分別擁有一部分客戶數(shù)據(jù),擁有的客戶特征不一樣,銀行擁有客戶的金融信用數(shù)據(jù),電商擁有客戶的電商消費(fèi)數(shù)據(jù),期望聯(lián)合兩方數(shù)據(jù)訓(xùn)練精準(zhǔn)營銷模型,則適合使用縱向聯(lián)合建模。橫向聯(lián)合建模,適用于參與者的數(shù)據(jù)特征重疊較多,而樣本ID重疊較少的情況,例如兩家銀行,分別擁有一部分客戶數(shù)據(jù),擁有的客戶特征相似,但各自數(shù)據(jù)偏少,期望聯(lián)合兩方數(shù)據(jù)訓(xùn)練共同訓(xùn)練評(píng)分卡模型,則適合使用橫向聯(lián)合建模。Dataphin智能數(shù)據(jù)建設(shè)與治理安全聯(lián)合分析功能介紹:在原始數(shù)據(jù)不可見的前提下,提供SQL模式對(duì)多方數(shù)據(jù)進(jìn)行聯(lián)合分析。適用場景:適用于雙方數(shù)據(jù)不共享,但有一些統(tǒng)計(jì)分析的需求。例如電商平臺(tái)在媒體平臺(tái)進(jìn)行了營銷廣告投放,投放結(jié)束后,電商平臺(tái)期望能聯(lián)合兩邊的數(shù)據(jù),進(jìn)行全鏈路的營銷活動(dòng)復(fù)盤分析,就可以借助聯(lián)合分析功能實(shí)現(xiàn)?？蛻鬉客戶B客戶A+id1+id1,y1,y2id2,y1,y2原始數(shù)據(jù)不出域,完成聯(lián)合分析4.2.3隱私計(jì)算核心優(yōu)勢安全性高Dataphin隱私計(jì)算,擁有全鏈路數(shù)據(jù)保護(hù)和權(quán)限管理機(jī)制,在數(shù)據(jù)的數(shù)據(jù)源調(diào)取、算法使用、算法變更環(huán)節(jié),隱私計(jì)算都會(huì)發(fā)起授權(quán),需要數(shù)據(jù)合作方進(jìn)行確認(rèn)審批,保證數(shù)據(jù)的使用不會(huì)出現(xiàn)數(shù)據(jù)合作預(yù)期之外的場景,全程清晰可見。另外,Dataphin隱私計(jì)算底層加密算法全部自研,自研算法在多個(gè)頂會(huì)中稿,底層算法能力已開源。并且,領(lǐng)羊Dataphin隱私計(jì)算已獲得工信部、ISO、國家金融評(píng)測中心三大類評(píng)測。。性能優(yōu)越Dataphin隱私計(jì)算生長于阿里數(shù)據(jù)中臺(tái)實(shí)踐,在解決大數(shù)據(jù)場景下有優(yōu)越的性能,支持百億級(jí)別的PSI、億級(jí)別的SQL分析,千維聯(lián)邦學(xué)習(xí),隱匿信息查詢秒級(jí)返回。。智能化強(qiáng)安全性和性能是隱私計(jì)算領(lǐng)域的兩大挑戰(zhàn),想達(dá)到很高的安全性,性能必然受到影響。領(lǐng)羊Dataphin隱私計(jì)算,結(jié)合了大量的場景實(shí)踐,創(chuàng)新性提出了智能計(jì)算模式,能保障安全性的前提下,能根據(jù)場景、數(shù)據(jù)量、網(wǎng)絡(luò)等情況,自動(dòng)選擇最優(yōu)的協(xié)議、最優(yōu)的計(jì)算引擎、最優(yōu)的算法,自動(dòng)為該場景匹配最優(yōu)的計(jì)算模式。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)5·資產(chǎn)治理:高價(jià)值數(shù)據(jù)助力企業(yè)高質(zhì)量發(fā)展隨著各行各業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程的加速,業(yè)務(wù)數(shù)字化的基礎(chǔ)日漸扎實(shí),數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)或數(shù)據(jù)化運(yùn)營,不再是傳統(tǒng)頭部企業(yè)及大型互聯(lián)網(wǎng)公司的專利,越來越多的企業(yè)也在擁抱數(shù)據(jù)、消費(fèi)數(shù)據(jù)。因此,數(shù)據(jù)治理的訴求呈現(xiàn)出日漸強(qiáng)烈的趨勢。治理的價(jià)值在于構(gòu)建企業(yè)內(nèi)一份質(zhì)量可靠、安全可控、服務(wù)便捷的好數(shù)據(jù),讓數(shù)據(jù)價(jià)值得以釋放。然而,數(shù)據(jù)治理并非一蹴而就。一般圍繞四大關(guān)鍵領(lǐng)域ll成本、質(zhì)量、安全、服務(wù)"開展工作,進(jìn)行目標(biāo)設(shè)定:。生產(chǎn)經(jīng)濟(jì):以控制甚至節(jié)約成本為目標(biāo),實(shí)際運(yùn)作則需要拆解到業(yè)務(wù)線或者不同領(lǐng)域范圍的成本控制,比如銷售業(yè)務(wù)線、市場投放線等;。質(zhì)量可靠:以減少數(shù)據(jù)質(zhì)量問題、收窄數(shù)據(jù)質(zhì)量風(fēng)險(xiǎn)敞口為目標(biāo),實(shí)際運(yùn)作則需要拆解到應(yīng)用場景或不同數(shù)據(jù)等級(jí),如優(yōu)先保障高管數(shù)據(jù)看板、驅(qū)動(dòng)業(yè)務(wù)運(yùn)行涉及的數(shù)據(jù)質(zhì)量等;。安全可控:以滿足合規(guī)要求、防止數(shù)據(jù)泄漏為目標(biāo),實(shí)際運(yùn)作則需要拆解到不同的數(shù)據(jù)類型或流程環(huán)節(jié),如隱私數(shù)據(jù)、監(jiān)管報(bào)送數(shù)據(jù)等;。服務(wù)便捷:以盤點(diǎn)供給豐富的數(shù)據(jù)、驅(qū)動(dòng)數(shù)據(jù)消費(fèi)為目標(biāo),實(shí)際運(yùn)作則需要拆解到不同的業(yè)務(wù)線、數(shù)據(jù)類型及服務(wù)場景,如營銷推廣業(yè)務(wù)決策等。數(shù)據(jù)資產(chǎn)管理:360全鏈路數(shù)據(jù)洞察與管理數(shù)據(jù)需要資產(chǎn)化管理,而非當(dāng)做成本表、指標(biāo)、API表、指標(biāo)、API等資產(chǎn)對(duì)象全景呈現(xiàn)物理元數(shù)據(jù)及邏輯元數(shù)據(jù)管理數(shù)據(jù)質(zhì)量源、表、字段級(jí)質(zhì)量監(jiān)控自定義規(guī)則擴(kuò)展及強(qiáng)弱規(guī)則阻斷告警資產(chǎn)安全資產(chǎn)分類分級(jí)及數(shù)據(jù)識(shí)別敏感字段脫敏及防泄露資源治理計(jì)算存儲(chǔ)健康度評(píng)估資源陳本管控可治理按圖索確信字段級(jí)血緣可追溯數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)標(biāo)準(zhǔn)、碼表、詞根定義及管理基于資產(chǎn)元數(shù)據(jù)的落標(biāo)關(guān)聯(lián)映射下面,我們就來詳細(xì)看一下每個(gè)具體的功能模塊在全鏈路資產(chǎn)治理中發(fā)揮的重要作用。5.1數(shù)據(jù)盤點(diǎn),厘清數(shù)據(jù)資產(chǎn)現(xiàn)狀數(shù)據(jù)資產(chǎn)盤點(diǎn)往往是企業(yè)評(píng)估數(shù)字化轉(zhuǎn)型進(jìn)程、確定數(shù)據(jù)治理的領(lǐng)域、范圍、核心目標(biāo)的第一步。通過對(duì)企業(yè)所有數(shù)據(jù)的盤點(diǎn)及管理,可以在數(shù)據(jù)供給側(cè)匯聚全域數(shù)據(jù),體系化地組織數(shù)據(jù)并豐富數(shù)據(jù)信息,同時(shí)結(jié)合數(shù)據(jù)運(yùn)營培訓(xùn)及推廣,建立良好的資產(chǎn)檢索和確信體驗(yàn),并連接消費(fèi)渠道,實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)在需求側(cè)消費(fèi)擴(kuò)大。Dataphin提供了元數(shù)據(jù)的采集與管理能力,幫助企業(yè)用戶快速了解數(shù)據(jù)概貌,并基于統(tǒng)一的元數(shù)據(jù)支撐數(shù)據(jù)開發(fā)與治理的全鏈路。針對(duì)不同來源的資產(chǎn)數(shù)據(jù),Dataphin支持不同的采集方式,以更好地適配使用訴求。。域內(nèi)數(shù)據(jù):Dataphin系統(tǒng)支持自動(dòng)、定時(shí)采集倉內(nèi)數(shù)據(jù)資產(chǎn)(即項(xiàng)目綁定的計(jì)算源中存儲(chǔ)的數(shù)據(jù)資產(chǎn))的技術(shù)元數(shù)據(jù)信息,無需用戶手動(dòng)配置,并在資產(chǎn)目錄進(jìn)行統(tǒng)一的呈現(xiàn),便于數(shù)據(jù)開發(fā)人員能及時(shí)獲取最新元數(shù)據(jù),并便捷查看和校驗(yàn)。。全域數(shù)據(jù):針對(duì)數(shù)據(jù)源中的資產(chǎn)對(duì)象,Dataphin支持配置元數(shù)據(jù)采集任務(wù),可根據(jù)配置的采集頻率、采集范圍、過濾條件等參數(shù)信息,實(shí)現(xiàn)端到端的自動(dòng)化元數(shù)據(jù)采集,實(shí)現(xiàn)全局資產(chǎn)盤點(diǎn)。此外,針對(duì)臨時(shí)性的元數(shù)據(jù)獲取需求,也支持臨時(shí)手動(dòng)運(yùn)行已配置好的采集任務(wù),一次性獲取最新元數(shù)據(jù)。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)5.1.2標(biāo)準(zhǔn)化元數(shù)據(jù)管理Dataphin提供完善的ll元數(shù)據(jù)管理"和ll元數(shù)據(jù)豐富"功能。。元數(shù)據(jù)管理:對(duì)于直接從源端信息采集到的元數(shù)據(jù),可自動(dòng)、手動(dòng)創(chuàng)建版本生成定版元數(shù)據(jù),并支持不同版本之間的差異對(duì)比。Dataphin也提供了元數(shù)據(jù)的變動(dòng)及影響分析統(tǒng)計(jì)報(bào)告,可查看不同時(shí)間段內(nèi)元數(shù)據(jù)總量的變化趨勢、變動(dòng)頻率即變動(dòng)百分比等信息,便于資產(chǎn)管理人員和開發(fā)人員快速了解上游系統(tǒng)的穩(wěn)定性。此外,支持自定義元數(shù)據(jù)變動(dòng)預(yù)警通知,及時(shí)獲取變更通知,并在統(tǒng)計(jì)報(bào)告中查看發(fā)生變更的對(duì)象對(duì)下游的相關(guān)影響,提前識(shí)別潛在風(fēng)險(xiǎn)。。元數(shù)據(jù)豐富:資產(chǎn)對(duì)象上架到資產(chǎn)目錄前,還可以通過資產(chǎn)盤點(diǎn)功能實(shí)現(xiàn)管理元數(shù)據(jù)和業(yè)務(wù)元數(shù)據(jù)的豐富。通過配置資產(chǎn)上架規(guī)則,可快速批量為上架資產(chǎn)添加管理部門、相關(guān)業(yè)務(wù)需求、資產(chǎn)標(biāo)簽等信息,并歸屬到不同的資產(chǎn)目錄,便于統(tǒng)一管理。此外,系統(tǒng)也會(huì)采集不同元數(shù)據(jù)之間的血緣關(guān)系并統(tǒng)一呈現(xiàn),可以更清晰直觀的了解元數(shù)據(jù)之間的關(guān)聯(lián)關(guān)系。結(jié)合從源端系統(tǒng)采集到的技術(shù)元數(shù)據(jù)和資產(chǎn)盤點(diǎn)過程中豐富的業(yè)務(wù)管數(shù)據(jù),資產(chǎn)管理人員可快速了解數(shù)據(jù)資產(chǎn)概貌,資產(chǎn)開發(fā)和使用人員可快速找到所需要的資產(chǎn)并查看資產(chǎn)詳情,大大降低了溝通成本,快速打通資產(chǎn)消費(fèi)鏈路。5.1.3全方位資產(chǎn)信息呈現(xiàn)Dataphin支持管理多種類型的資產(chǎn)對(duì)象,包括:數(shù)據(jù)表(8種細(xì)分表類型)、字段、指標(biāo)、數(shù)據(jù)源、項(xiàng)目、API、標(biāo)簽等。每種資產(chǎn)對(duì)象根據(jù)使用場景和使用方式,在資產(chǎn)目錄展示了不同的信息項(xiàng),便于消費(fèi)人員更直接、更快捷的找到自己需要的信息,并評(píng)估是否滿足使用訴求。如:數(shù)據(jù)表資產(chǎn),除了基本的表結(jié)構(gòu)和字段信息,還展示了血緣和影響分析,便于在數(shù)據(jù)變更時(shí)準(zhǔn)確評(píng)估下游影響并通知到相關(guān)人員;可快捷查看已配置的質(zhì)量監(jiān)控規(guī)則和質(zhì)量報(bào)告,便于了解數(shù)據(jù)質(zhì)量,判斷是否可用于開發(fā)或分析任務(wù);支持快捷發(fā)起數(shù)據(jù)探查以了解數(shù)據(jù)分布概要、識(shí)別是否有主鍵重復(fù)、空值等影響數(shù)據(jù)準(zhǔn)確性的潛在風(fēng)險(xiǎn)等等?；诮y(tǒng)一的元數(shù)據(jù)采集與管理,下游應(yīng)用也更加靈活豐富。。數(shù)據(jù)開發(fā)鏈路:數(shù)據(jù)集成任務(wù)中配置來源表和目標(biāo)表時(shí)可實(shí)時(shí)獲取已選數(shù)據(jù)源的最新元數(shù)據(jù)信息,便于開發(fā)人員進(jìn)行選擇;實(shí)時(shí)研發(fā)任務(wù)可以直接讀取數(shù)據(jù)源表的元數(shù)據(jù)進(jìn)行代碼開發(fā),簡化流程;標(biāo)簽開發(fā)可以通過統(tǒng)一的元數(shù)據(jù)實(shí)現(xiàn)簡化來源數(shù)據(jù)集加工和下游調(diào)用服務(wù)開發(fā)的工作量,提升開發(fā)效率。Dataphin智能數(shù)據(jù)建設(shè)與治理·資產(chǎn)治理鏈路:數(shù)據(jù)標(biāo)準(zhǔn)可以結(jié)合采集到的元數(shù)據(jù),對(duì)資產(chǎn)進(jìn)行落標(biāo)映射與監(jiān)控,規(guī)范開發(fā);質(zhì)量規(guī)則可以基于采集到的元數(shù)據(jù),監(jiān)控源端數(shù)據(jù)表結(jié)構(gòu)的變更并根據(jù)配置阻斷下游任務(wù)運(yùn)行或發(fā)出告警,防止數(shù)據(jù)入倉任務(wù)運(yùn)行異常產(chǎn)生臟數(shù)據(jù)。統(tǒng)一的元數(shù)據(jù)中心不僅幫助企業(yè)管理者更清晰的盤點(diǎn)企業(yè)資產(chǎn)現(xiàn)狀,快速識(shí)別現(xiàn)有資產(chǎn)問題,更好地評(píng)估資產(chǎn)價(jià)值做出決策,也幫助數(shù)據(jù)開發(fā)與消費(fèi)人員快速找到可用、能用、易用的資產(chǎn),是企業(yè)進(jìn)行標(biāo)準(zhǔn)化數(shù)據(jù)開發(fā)與全鏈路數(shù)據(jù)治理的基石。5.2定標(biāo)、落標(biāo)、核標(biāo)一體化數(shù)據(jù)標(biāo)準(zhǔn)管理數(shù)據(jù)標(biāo)準(zhǔn)是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則,通常從業(yè)務(wù)、技術(shù)、管理三方面進(jìn)行定義,使組織內(nèi)外部使用和交換的數(shù)據(jù)是一致且準(zhǔn)確的。然而,數(shù)據(jù)標(biāo)準(zhǔn)需求缺乏統(tǒng)一管理、不同系統(tǒng)間標(biāo)準(zhǔn)制定依據(jù)各異、資產(chǎn)建設(shè)缺乏和標(biāo)準(zhǔn)的關(guān)聯(lián),使得數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)和應(yīng)用都面臨很大困難。作為資產(chǎn)治理的重要一環(huán),Dataphin數(shù)據(jù)標(biāo)準(zhǔn)模塊為數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)提供統(tǒng)一的產(chǎn)品化能力,支持:數(shù)據(jù)標(biāo)準(zhǔn)在線創(chuàng)建管理、關(guān)聯(lián)研發(fā)鏈路提供規(guī)范引導(dǎo)、結(jié)合質(zhì)量監(jiān)控能力實(shí)現(xiàn)對(duì)資產(chǎn)對(duì)象的落標(biāo)稽核,以幫助企業(yè)解決數(shù)據(jù)建設(shè)管理過程中遇到的規(guī)范性、統(tǒng)一性問題,提升企業(yè)整體數(shù)字能力建設(shè)的標(biāo)準(zhǔn)化成熟和資產(chǎn)的健康度。參考數(shù)據(jù)詞根碼表數(shù)據(jù)開發(fā)命名規(guī)范參考數(shù)據(jù)詞根碼表數(shù)據(jù)開發(fā)命名規(guī)范資產(chǎn)評(píng)估推進(jìn)整改指導(dǎo)消費(fèi)標(biāo)準(zhǔn)視角每個(gè)標(biāo)準(zhǔn)映射到的對(duì)象及核際情況落標(biāo)評(píng)估明顯數(shù)據(jù)類型:INT資產(chǎn)視角每個(gè)對(duì)象映射到的標(biāo)準(zhǔn)及核際情況元數(shù)據(jù)監(jiān)控規(guī)則質(zhì)量監(jiān)控規(guī)則Dataphin支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)定義與應(yīng)用,同時(shí)結(jié)合質(zhì)量、安全的能力,從數(shù)據(jù)開發(fā)到資產(chǎn)消費(fèi)提供全鏈路保障,為業(yè)務(wù),技術(shù)和管理提供服務(wù)和支持。數(shù)據(jù)標(biāo)準(zhǔn)管理的過程就是對(duì)數(shù)據(jù)以及數(shù)據(jù)的屬性信息的標(biāo)準(zhǔn)化定義和應(yīng)用的過程。定義創(chuàng)建標(biāo)準(zhǔn)時(shí)需要填寫的屬性及需要遵循的規(guī)范配置自定義屬性引用公共屬性屬性信息監(jiān)控規(guī)則業(yè)務(wù)信息字段a<->標(biāo)準(zhǔn)aDataphinDataphin字段、Dataphin指標(biāo)、全域資產(chǎn)、外部注冊資產(chǎn)等用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)相較于傳統(tǒng)模式下用Excel等文件分散管理數(shù)據(jù)標(biāo)準(zhǔn)的方式,Dataphin支持在線創(chuàng)建數(shù)據(jù)標(biāo)準(zhǔn),結(jié)合標(biāo)準(zhǔn)模板和標(biāo)準(zhǔn)目錄的能力,支持一次定義多次復(fù)用和分類管理,減少了定義不統(tǒng)一、理解不一致、落地執(zhí)行難等問題的產(chǎn)生,真正實(shí)現(xiàn)了標(biāo)準(zhǔn)的統(tǒng)一管理,讓開發(fā)和治理工作都有據(jù)可循?！つ０寤诰€管理:不同企業(yè)對(duì)于數(shù)據(jù)標(biāo)準(zhǔn)的定義不同,應(yīng)用范圍和使用場景也有所差異,為了滿足不同組織對(duì)數(shù)據(jù)標(biāo)準(zhǔn)的靈活定義訴求,Dataphin支持創(chuàng)建標(biāo)準(zhǔn)模板,用于管理創(chuàng)建數(shù)據(jù)標(biāo)準(zhǔn)時(shí)需要填寫的屬性信息。通過定義每一個(gè)標(biāo)準(zhǔn)屬性的填寫規(guī)范(如是否必填、填寫方式、取值范圍約束等),保證基于該模板創(chuàng)建的相同類型的數(shù)據(jù)標(biāo)準(zhǔn)都遵循統(tǒng)一的結(jié)構(gòu)定義,便于后續(xù)的傳播和使用。。批量導(dǎo)入導(dǎo)出:Dataphin也支持快捷將已經(jīng)梳理好的標(biāo)準(zhǔn)明細(xì)文件導(dǎo)入系統(tǒng)進(jìn)行統(tǒng)一管理,或者將已創(chuàng)建的數(shù)據(jù)標(biāo)準(zhǔn)批量導(dǎo)出,批量修改后再一次性錄入更新。只需要下載標(biāo)準(zhǔn)模板并配置沖突策略,就可以實(shí)現(xiàn)數(shù)據(jù)標(biāo)準(zhǔn)的批量錄入和更新,大大提升操作效率。5.2.2靈活的數(shù)據(jù)標(biāo)準(zhǔn)分類管理隨著企業(yè)治理工作的深入,沉淀的數(shù)據(jù)標(biāo)準(zhǔn)可能會(huì)越來越多,需要對(duì)標(biāo)準(zhǔn)進(jìn)行分類管理,便于查找和統(tǒng)計(jì)。此外,部分敏感字段對(duì)應(yīng)的數(shù)據(jù)標(biāo)準(zhǔn)可能會(huì)存在一些不便于公開的機(jī)密信息,需要控制這類標(biāo)準(zhǔn)的查看詳情權(quán)限。針對(duì)上述訴求,Dataphin支持最多五級(jí)標(biāo)準(zhǔn)目錄管理;此外ll標(biāo)準(zhǔn)集"作為一種特殊的標(biāo)準(zhǔn)目錄,除了分類的作用外,還承載標(biāo)準(zhǔn)查看權(quán)限管控和審批流程定義的作用。數(shù)據(jù)標(biāo)準(zhǔn)需要先唯一歸屬一個(gè)標(biāo)準(zhǔn)集,并跟隨標(biāo)準(zhǔn)集歸屬到不同的標(biāo)準(zhǔn)目錄,實(shí)現(xiàn)靈活分類管理。實(shí)際應(yīng)用中,建議一張表(如客戶信息維度表)或一個(gè)業(yè)務(wù)實(shí)體(如客戶、商品)對(duì)應(yīng)一個(gè)標(biāo)準(zhǔn)集,并根據(jù)業(yè)務(wù)相關(guān)性將標(biāo)準(zhǔn)集上掛到不同的標(biāo)準(zhǔn)目錄下;其次,每個(gè)標(biāo)準(zhǔn)類型對(duì)應(yīng)一個(gè)標(biāo)準(zhǔn)模板(如基礎(chǔ)標(biāo)準(zhǔn)、指標(biāo)標(biāo)準(zhǔn)),從而簡化標(biāo)準(zhǔn)規(guī)范定義的工作,同時(shí)也能滿足靈活、多樣化的管理訴求。5.2.3完整的數(shù)據(jù)標(biāo)準(zhǔn)生命周期管理Dataphin支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)的全生命周期管理。。開發(fā)態(tài):數(shù)據(jù)標(biāo)準(zhǔn)創(chuàng)建完成后默認(rèn)生成ll草稿態(tài)"版本,確認(rèn)填寫無誤后可以提交標(biāo)準(zhǔn)上線申請并生成對(duì)應(yīng)的審批任務(wù)。審批通過前,標(biāo)準(zhǔn)的狀態(tài)為ll修訂中"。注意,開發(fā)態(tài)的數(shù)據(jù)標(biāo)準(zhǔn)不支持參與落標(biāo)映射和評(píng)估監(jiān)控。用中臺(tái)方法論打造企業(yè)級(jí)好數(shù)據(jù)。手動(dòng)批量導(dǎo)入:Dataphin也支持導(dǎo)入Excel文件的方式實(shí)現(xiàn)手動(dòng)批量導(dǎo)入映射關(guān)系,只需要下載配置模板,根據(jù)配置說明提示填寫配置文件后上傳,并根據(jù)需要配置更新策略,即可完成映射關(guān)系的批量導(dǎo)入。此外,針對(duì)已經(jīng)生成的映射關(guān)系,支持人工審核后根據(jù)映射是否正確將其劃分為"有效映射"和ll無效映射",僅有效映射關(guān)系會(huì)參與到后續(xù)的落標(biāo)評(píng)估監(jiān)控環(huán)節(jié),避免產(chǎn)生誤告警影響正常使用。5.2.5有效的數(shù)據(jù)標(biāo)準(zhǔn)落地評(píng)估和監(jiān)控映射關(guān)系配置完成后,如何判斷映射成功的資產(chǎn)對(duì)