【構(gòu)建企業(yè)級好數(shù)據(jù)】Dataphin智能數(shù)據(jù)建設(shè)與治理產(chǎn)品白皮書

阿里巴巴數(shù)據(jù)中臺方法論工具化沉淀與5000+數(shù)據(jù)人交流互動阿里巴巴關(guān)注的是建立統(tǒng)一數(shù)據(jù)體系，同時貼近業(yè)務(wù)場景打造出體驗(yàn)一流的數(shù)據(jù)服務(wù)與產(chǎn)品；企業(yè)管理者會關(guān)心同之處，去了解數(shù)據(jù)中臺的技術(shù)領(lǐng)先性...企業(yè)數(shù)據(jù)生產(chǎn)環(huán)節(jié)包括數(shù)據(jù)治理和分析，其中Dataphin承載了幫助企業(yè)治理好數(shù)據(jù)的使命，為未來數(shù)據(jù)資產(chǎn)入好數(shù)據(jù)。當(dāng)前數(shù)據(jù)建設(shè)與治理所面臨的問題構(gòu)建企業(yè)級數(shù)據(jù)中臺的核心訴求企業(yè)數(shù)據(jù)能力建設(shè)的三個發(fā)展階段Dataphin:源自阿里巴巴的數(shù)據(jù)建設(shè)、治理、消費(fèi)一體化平臺規(guī)劃：高屋建瓴，總覽企業(yè)數(shù)據(jù)體系研發(fā)：高效建設(shè)，穩(wěn)定運(yùn)行特色研發(fā)能力資產(chǎn)治理：高價值數(shù)據(jù)，助力企業(yè)高質(zhì)量發(fā)展數(shù)據(jù)服務(wù)：集中管控，快速服務(wù)業(yè)務(wù)系統(tǒng)自助分析：靈活分析，快速釋放數(shù)據(jù)價值資產(chǎn)目錄：主題式的目錄，打造精品數(shù)據(jù)開放能力：自由拓展，滿足企業(yè)個性化需求產(chǎn)品訂購與部署模式產(chǎn)品配套服務(wù)04企業(yè)實(shí)踐樣板雅戈?duì)枺?年造數(shù)據(jù)中臺，最高節(jié)省70%日常精力臺州銀行攜手瓴羊共建數(shù)據(jù)平臺，打造小微金融治理新標(biāo)桿一汽紅旗：“國車?yán)洗蟾纭背松蠑?shù)字化東風(fēng)，線索轉(zhuǎn)化率提升超過30%敏實(shí)牽手瓴羊加速數(shù)字化轉(zhuǎn)型，數(shù)據(jù)查詢效率提升近90%關(guān)于瓴羊P08P62數(shù)據(jù)建設(shè)與治理的現(xiàn)狀與訴求時技術(shù)又覺得沒有沉淀與成長；既懂業(yè)務(wù)又懂?dāng)?shù)據(jù)的人才不足，需求理解到開發(fā)實(shí)現(xiàn)涉及大量溝通，服務(wù)效數(shù)據(jù)體系化組織數(shù)據(jù)高效生產(chǎn)數(shù)據(jù)便捷服務(wù)用中臺方法論構(gòu)建與治理企業(yè)級好數(shù)據(jù)用中臺方法論打造企業(yè)級好數(shù)據(jù)阿里巴巴在2015年提出全面啟動中臺戰(zhàn)略，并在集團(tuán)內(nèi)部開啟了一系列數(shù)據(jù)技術(shù)建設(shè)探索，沉淀下特有方法論捋清了數(shù)據(jù)全生命周期的管理思路，將其植入到瓴羊智能數(shù)據(jù)建設(shè)與治理Dataphin產(chǎn)品中，并與QuickBI(智能商業(yè)分析)、QuickAudience(智能用戶運(yùn)營)一同形成數(shù)據(jù)中臺建設(shè)核心產(chǎn)品體系。自2018年問世以來，Dataphin已發(fā)展出了內(nèi)容豐富的功能大圖，到目前為止經(jīng)歷了多輪大版本升級，產(chǎn)品核心的能力模塊清晰顯現(xiàn)，可以幫助企業(yè)高效地完成「好數(shù)據(jù)」的構(gòu)建。DataphinDataphin智能數(shù)據(jù)建設(shè)與治理數(shù)據(jù)建設(shè)、治理、消費(fèi)一體化平臺全域數(shù)據(jù)資產(chǎn)目錄領(lǐng)域數(shù)據(jù)治理多模式數(shù)據(jù)處理數(shù)據(jù)服務(wù)大規(guī)模統(tǒng)一調(diào)度與運(yùn)維隱私計(jì)算高效地匯整所有拖拽式標(biāo)簽工廠全域數(shù)據(jù)資產(chǎn)管理報告全域數(shù)據(jù)資產(chǎn)盤點(diǎn)全域數(shù)據(jù)中心數(shù)據(jù)服務(wù)即席分析Dataphin從下而上可分為四個大板塊：平臺底座：●引擎平臺兼容：可支持不同的引擎及部署環(huán)境，可納管不同的引擎，包括但不限于MaxCompute、EMR、及開源版等，也支持不同云平臺環(huán)境的部署及私有IDC部署。企業(yè)自有系統(tǒng)進(jìn)行對接集成或進(jìn)行功能個性與定制。全域數(shù)據(jù)治理：全域數(shù)據(jù)運(yùn)營：數(shù)據(jù)在消費(fèi)者手中用起來才能發(fā)揮數(shù)據(jù)的價值，全域運(yùn)營是將數(shù)據(jù)資產(chǎn)推送到數(shù)據(jù)消費(fèi)場景中，讓數(shù)據(jù)在消費(fèi)者手動實(shí)現(xiàn)價值化。全域數(shù)據(jù)運(yùn)營板塊主要提供以下功能模塊：●自助消費(fèi)：通過打通BI分析系統(tǒng)，面向業(yè)務(wù)人員運(yùn)營人員，實(shí)現(xiàn)從可見到可用；通過提供即系分析的功能，可通過簡單的SQL、Python能力進(jìn)行數(shù)據(jù)分析。一站式全鏈路全域數(shù)據(jù)資產(chǎn)●多樣的計(jì)算引擎兼容，可利舊降本：除了支持大數(shù)據(jù)離線和實(shí)時計(jì)算主流引擎外，我們還會不斷探索和集成更多的計(jì)算引擎，以滿足不同客戶的需求。我們會不斷優(yōu)化引擎的性能和穩(wěn)定性，以提高計(jì)算效率和降低成本。在部署的平臺底座上，我們也適配支持了不同的云平臺，包括阿里云的公共云多租戶、阿里云專有云、阿里云公共云VPC部署，IDC部署，以及其他云平臺上進(jìn)行部署?！褓Y產(chǎn)化驅(qū)動構(gòu)建數(shù)據(jù)：阿里巴巴多年的內(nèi)部的實(shí)踐，我們沉淀了一套完整的方法論，幫助數(shù)據(jù)資產(chǎn)的構(gòu)建。這套方法論和產(chǎn)品也在100多家客戶中進(jìn)行了深度的驗(yàn)證?！駜r值導(dǎo)向、消費(fèi)驅(qū)動的數(shù)據(jù)治理：我們將進(jìn)一步完善數(shù)據(jù)治理體系，包括數(shù)據(jù)盤點(diǎn)、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全與合規(guī)等方面。我們還將借鑒和應(yīng)用更多的經(jīng)驗(yàn)和案例，不斷提升數(shù)據(jù)治理的水平和效果。同時，我們也會更加注重數(shù)據(jù)的價值和消費(fèi)者需求，以提供更有針對性和可用性的數(shù)據(jù)治理解決方案。在這個方法論中，某一個完整獨(dú)立的業(yè)務(wù)對應(yīng)一個業(yè)務(wù)板塊，數(shù)據(jù)建模是基于一個業(yè)務(wù)板塊來進(jìn)行板塊●主題域模型：在數(shù)據(jù)中臺，主題對應(yīng)一個宏觀的分析領(lǐng)域，比如銷售分析就是分析“銷售”這個主題，聯(lián)系較為緊密的主題的集合就是主題域。每一個行業(yè)都可以拆分為有多個(十個左右不等)主題域組成的主題域模型?！窀拍钅Ｐ停涸谥黝}域的基礎(chǔ)上，每個主題域內(nèi)增加了實(shí)體以及實(shí)體之間的關(guān)系?！襁壿嬆Ｐ停涸诟拍钅Ｐ偷幕A(chǔ)上，增加每個實(shí)體的屬性以及屬性的約束?！駱I(yè)務(wù)分析模型：行業(yè)中重要的以及常用的分析方法與分析視角。在邏輯模型基礎(chǔ)上，將業(yè)務(wù)分析問題轉(zhuǎn)換為Dataphin特有的派生指標(biāo)，并進(jìn)一步提煉出原子指標(biāo)和業(yè)務(wù)限定。業(yè)務(wù)分析模型業(yè)務(wù)分析模型原子指標(biāo)主題域1主題域2主題域3業(yè)務(wù)統(tǒng)計(jì)粒度派生公共實(shí)業(yè)務(wù)板塊的劃分總原則是高內(nèi)聚，低耦合。可以通過業(yè)務(wù)活動之間以及業(yè)務(wù)活動與業(yè)務(wù)對象之間的關(guān)系來厘定數(shù)據(jù)在消費(fèi)者手中用起來才能發(fā)揮數(shù)據(jù)的價值，全域運(yùn)營是將數(shù)據(jù)資產(chǎn)推送到數(shù)據(jù)消費(fèi)場景中，讓數(shù)據(jù)在消費(fèi)者手動實(shí)現(xiàn)價值化。全域數(shù)據(jù)運(yùn)營板塊主要提供一下功能模塊：8%文章(Article)圖集(8Lo∈收藏(Collect)評8(Merchandise)地理位置oo概念模型主要由業(yè)務(wù)實(shí)體以及實(shí)體關(guān)系組成?；顒佑幸韵聨讉€關(guān)鍵要素(屬性):實(shí)體關(guān)系釋義與舉例1.業(yè)務(wù)對象A是業(yè)務(wù)對象B的屬性，則業(yè)務(wù)對象B關(guān)聯(lián)如：地址是客戶的屬性之一，客戶實(shí)體關(guān)聯(lián)2.業(yè)務(wù)對象A是業(yè)務(wù)活動C的參與者，則業(yè)務(wù)活動C關(guān)聯(lián)了繼承普通對象B是普通對象A的一種，但是比普通對象A多一些獨(dú)有的繼承了普通對象A。層級業(yè)務(wù)活動A有三個處理節(jié)點(diǎn)B、C、D,每個節(jié)點(diǎn)對應(yīng)一個業(yè)務(wù)事件，業(yè)務(wù)事件發(fā)生后，A的狀態(tài)將發(fā)生變化。業(yè)務(wù)活動A包含業(yè)務(wù)事件如：銷售活動包含銷售下單，銷售付款，銷售完結(jié)業(yè)務(wù)活動A有三個處理節(jié)點(diǎn)B,C,D,每個節(jié)點(diǎn)對應(yīng)一個業(yè)務(wù)事件，事件的順序發(fā)生，則B、C、D之間為流轉(zhuǎn)關(guān)系。前后序進(jìn)入業(yè)務(wù)活動B之前必須先完成業(yè)務(wù)活動A,則A是B的前序活動，B是A的后序活動。企業(yè)在構(gòu)建數(shù)據(jù)中臺時，首先就是要將企業(yè)內(nèi)部各個業(yè)務(wù)系統(tǒng)的數(shù)據(jù)同步集成到數(shù)據(jù)中臺，然后進(jìn)行后續(xù)的數(shù)據(jù)研發(fā)工作。一句話總結(jié)數(shù)據(jù)集成的能力，就是提供不同數(shù)據(jù)源之間的通道能力，解決異構(gòu)數(shù)據(jù)源之間，讀取、轉(zhuǎn)換和寫入三個流程。Dataphin中的數(shù)據(jù)集成模塊是一個簡單高效的數(shù)據(jù)同步平臺，通過組件拖拽式的方式，提供了豐富的異構(gòu)數(shù)據(jù)源間高速穩(wěn)定的數(shù)據(jù)同步能力，與強(qiáng)大的數(shù)據(jù)預(yù)處理能力，匯集全域數(shù)據(jù)，打破數(shù)據(jù)孤島，為數(shù)據(jù)中臺的建設(shè)打好堅(jiān)實(shí)的數(shù)據(jù)基座。 數(shù)據(jù)引入：全域數(shù)據(jù)可集成豐富實(shí)時/離線、全量/增量安全自定義引入字段容錯可配置測試數(shù)據(jù)可便捷生成可過濾輸出在企業(yè)信息化建設(shè)過程中，由于各業(yè)務(wù)系統(tǒng)建設(shè)和實(shí)施數(shù)據(jù)管理系統(tǒng)的階段性、技術(shù)性以及其它經(jīng)濟(jì)和人為因素等因素影響，使得企業(yè)在發(fā)展過程中積累了大量不同存儲方式的業(yè)務(wù)數(shù)據(jù)，采用的數(shù)據(jù)管理系統(tǒng)也大不相同。從簡單用中臺方法論打造企業(yè)級好數(shù)據(jù)的文件數(shù)據(jù)庫到復(fù)雜的網(wǎng)絡(luò)數(shù)據(jù)庫，構(gòu)成了企業(yè)的異構(gòu)數(shù)據(jù)源。Dataphin數(shù)據(jù)集成支持豐富的異構(gòu)數(shù)據(jù)源，包括關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)存儲、文件存儲、消息隊(duì)列、NoSQL、API、應(yīng)用系統(tǒng)等40+數(shù)據(jù)庫。并支持創(chuàng)建自定義數(shù)據(jù)源，靈活接入數(shù)據(jù)，提供了數(shù)據(jù)源的可擴(kuò)展性與靈活性。關(guān)系型關(guān)系型數(shù)據(jù)庫大數(shù)據(jù)存儲文件存儲消息關(guān)系型數(shù)據(jù)庫大數(shù)據(jù)存儲文件存儲消息隊(duì)列半結(jié)構(gòu)化儲存自定義數(shù)據(jù)源半結(jié)構(gòu)化儲存自定義數(shù)據(jù)源OceanBaseTeradataIMPALAVertiOceanBaseTeradataIM3.1.2強(qiáng)大的數(shù)據(jù)預(yù)處理能力與傳輸配置在數(shù)據(jù)集成過程中，對于數(shù)據(jù)安全、同步配置、數(shù)據(jù)預(yù)處理等都會存在一些訴求。Dataphin數(shù)據(jù)集成提供豐富的數(shù)據(jù)預(yù)處理能力以及任務(wù)中數(shù)據(jù)傳輸過程中的可配置項(xiàng)?！褡侄翁幚恚禾峁┳侄芜x擇、條件過濾，與字段計(jì)算的能力。幫助在同步過程中過濾掉冗雜數(shù)據(jù)，提高數(shù)據(jù)質(zhì)量?！駭?shù)據(jù)安全：對于敏感字段，比如個人隱私信息，在集成任務(wù)中可以結(jié)合安全模塊，對敏感字段進(jìn)行加密或解密，進(jìn)一步保障數(shù)據(jù)在同步過程中的安全?！駛鬏斉渲茫褐С窒蘖髋渲?，可根據(jù)數(shù)據(jù)庫性能與任務(wù)并發(fā)數(shù)靈活配置；支持條件分發(fā)，一個來源數(shù)據(jù)源以某個條件，二分發(fā)到兩個不同的目標(biāo)數(shù)據(jù)庫中，可避免任務(wù)的二次配置；支持容錯配置，指定集成任務(wù)允許產(chǎn)生的臟數(shù)據(jù)上限；支持運(yùn)行參數(shù)配置與數(shù)據(jù)庫連接配置：可根據(jù)場景靈活調(diào)整，提升集成任務(wù)的成功率與運(yùn)維效率。字段處理字段處理●字段計(jì)算數(shù)據(jù)安全●字段加密傳輸配置傳輸字段處理在進(jìn)行數(shù)據(jù)中臺建設(shè)時，匯集全域數(shù)據(jù)，需要集成的表體量較大，大量的任務(wù)配置與調(diào)試工作量會消耗大量人力與資源。Dataphin的數(shù)據(jù)集成提供任務(wù)配置、調(diào)試等各場景下的易用性功能，可提高任務(wù)配置與調(diào)試的效率?！窠M件化配置：可通過在畫布界面中拖拉拽組件進(jìn)行集成任務(wù)的配置，通過無代碼化操作，降低任務(wù)配置門檻?！駥?shí)時/離線整庫遷移：支持通過配置化的方式進(jìn)行實(shí)時或離線的整庫遷移，高整庫數(shù)據(jù)遷移場景下的配置效率?！襁\(yùn)行日志智能診斷：將原始日志提取為結(jié)構(gòu)化的信息，包括任務(wù)運(yùn)行信息(運(yùn)行時長、CPU負(fù)載等)、同步通道信息(讀取/寫入速度，臟數(shù)據(jù)條數(shù)等)。在任務(wù)運(yùn)行報錯后，自動提取日志內(nèi)的錯誤信息，根據(jù)知識庫進(jìn)行相似度檢索，提供可能的報錯原因與可參考的解決方案，提高排查與調(diào)試的效率。傳統(tǒng)的數(shù)據(jù)中臺建設(shè)過程中，數(shù)據(jù)模型需要用限定詳細(xì)的文檔記錄設(shè)計(jì)，再基于文檔進(jìn)行代碼研發(fā)。經(jīng)過多輪變更后設(shè)計(jì)文檔與實(shí)際代碼可能已南轅北轍。Dataphin通過規(guī)范化、模塊化的低代碼配置，在設(shè)計(jì)的同時生成代碼，有效的保證了模型與代碼的一致性，提升數(shù)據(jù)質(zhì)量。Dataphin模型體系中，主題域模型和概念模型屬于規(guī)劃部分，邏輯模型和業(yè)務(wù)分析模型則屬于研發(fā)部分。1屬性是用來從各個方面描述實(shí)體，是純粹的業(yè)務(wù)認(rèn)知。屬性的增減完全跟隨業(yè)務(wù)本身的變化，而不是基于業(yè)邏輯模型設(shè)置完成后，系統(tǒng)將自動生成相應(yīng)的調(diào)度任務(wù)。后續(xù)如果業(yè)務(wù)側(cè)發(fā)生了變化，重新設(shè)十whereorder_date>='20200620′andorder_date<=′202006統(tǒng)計(jì)(分析)粒度發(fā)布管控是變更管控的子功能之一(后續(xù)可逐步拓展研發(fā)管控、運(yùn)維管控等),變更管控分為更規(guī)則和變更新了才能運(yùn)行指標(biāo)”自動推算需要納入基線監(jiān)控范圍的任務(wù)：添加需要保障的任務(wù)或字段后，系統(tǒng)將基于依賴關(guān)系自動推算需關(guān)聯(lián)路徑與關(guān)鍵實(shí)例識別：基線上需要保障的任務(wù)，其依賴關(guān)系可能錯綜復(fù)雜，Dataphin提供甘特圖功能以快速定位阻塞基線上數(shù)據(jù)產(chǎn)出的關(guān)鍵路徑與關(guān)鍵實(shí)例，其中影響基線任務(wù)產(chǎn)出的多條路徑中，耗時最長的路徑為基線關(guān)鍵路徑。例運(yùn)行過程中可能產(chǎn)生的異常，同時提供單個任務(wù)每次運(yùn)行的執(zhí)行日志，可快速定位異常信息進(jìn)行進(jìn)一步分對于任務(wù)配置問題或網(wǎng)絡(luò)環(huán)境問題導(dǎo)致的的運(yùn)行失敗，可以通過重跑快速恢復(fù)任務(wù)運(yùn)行。某些特殊場景按需分配：實(shí)時采集(增量)全入(調(diào)度定時回流(分鐘/小時/天數(shù)據(jù)同步(全量)流批統(tǒng)一存儲層澄Dataphin在Flink流批一體的能力之上額外提供了更多的平臺能力，如數(shù)據(jù)源管理、元數(shù)據(jù)管理、元表使得元數(shù)據(jù)可顯示化定義和可管理，安全可靠，支持一次建表，多次引用，承載了權(quán)限管控，上下游血緣資產(chǎn)可查可探。流批存儲層的統(tǒng)一管理，實(shí)現(xiàn)模型層統(tǒng)一，流批代碼統(tǒng)一、在一份代碼上可同時進(jìn)行流和批任務(wù)的各自專屬配置，生產(chǎn)獨(dú)立有協(xié)同的調(diào)度實(shí)例?！裱邪l(fā)運(yùn)維提效支持基于代碼模板等多種開發(fā)方式、編輯器智能提示，任務(wù)資源及參數(shù)的靈活配置，全面的版本管理，對象的批量管理、容器化調(diào)試和開發(fā)環(huán)境多模式測試等功能；支持任務(wù)靈活啟停、日志和異常信息分類分級查看、豐富的監(jiān)控指標(biāo)及靈活多樣的告警配置?！穹€(wěn)定性及質(zhì)量保障Dataphin實(shí)時數(shù)據(jù)質(zhì)量主要面向開發(fā)者，針對產(chǎn)品中實(shí)時產(chǎn)出的數(shù)據(jù)表，通過對產(chǎn)出結(jié)果進(jìn)行數(shù)據(jù)質(zhì)量分析和校驗(yàn)，來保障數(shù)據(jù)的最終有效與準(zhǔn)確。支持流量閾值設(shè)置，防止計(jì)算資源過度競爭，避免下游系統(tǒng)過載。支持實(shí)時元表質(zhì)量監(jiān)測，可配置統(tǒng)計(jì)趨勢監(jiān)測、實(shí)時多鏈路對比、實(shí)時離線數(shù)據(jù)核對。4.特色研發(fā)能力Dataphin除規(guī)范建模、離線及實(shí)時研發(fā)及運(yùn)維能力外，還提供了兩種特色的資產(chǎn)構(gòu)建能力。標(biāo)簽作為企業(yè)數(shù)據(jù)資產(chǎn)的一部分，在數(shù)據(jù)應(yīng)用及業(yè)務(wù)中扮演著非常重要的角色。不同的企業(yè)中對標(biāo)簽有不同的應(yīng)用。如金融機(jī)構(gòu)中，對私客戶經(jīng)理需要基于客戶畫像進(jìn)行理財產(chǎn)品推薦。消費(fèi)金融領(lǐng)域?qū)τ脩糍J前準(zhǔn)入有嚴(yán)格審核，需要基于借貸用戶以及設(shè)備信息建立畫像生成風(fēng)險評估報告，對高風(fēng)險客戶進(jìn)行有效識別。在零售營銷業(yè)務(wù)中，需要針對不同的用戶進(jìn)行運(yùn)營，如為促進(jìn)高價值新用戶留存提高復(fù)購，制定運(yùn)營策略“對當(dāng)天注冊為會員的新用戶，且滿足注冊當(dāng)日消費(fèi)總金額滿100元條件時，對其進(jìn)行短信營銷，派發(fā)優(yōu)惠券”等。標(biāo)簽資產(chǎn)作為重要的資產(chǎn)，也需要進(jìn)行有規(guī)劃的建設(shè)和管理，業(yè)務(wù)部門可便捷高效地使用標(biāo)簽資產(chǎn)用于業(yè)務(wù)。Dataphin標(biāo)簽平臺提供了基于標(biāo)簽類目進(jìn)行標(biāo)簽的開發(fā)、管理、應(yīng)用、治理，實(shí)現(xiàn)數(shù)據(jù)資產(chǎn)商業(yè)價值閉環(huán)。標(biāo)簽平臺基于Dataphin基礎(chǔ)研發(fā)版能力，面向成熟期企業(yè)，提供企業(yè)核心商業(yè)要素的標(biāo)簽建設(shè)與管理能力，幫助企業(yè)沉淀好找好用、易開發(fā)、好治理的數(shù)據(jù)資產(chǎn)。目管理流離線標(biāo)簽標(biāo)簽資產(chǎn)類目查詢像查詢閱平臺管理業(yè)務(wù)規(guī)劃/資產(chǎn)治理公共云多租戶環(huán)境資產(chǎn)開發(fā)資產(chǎn)應(yīng)用營銷應(yīng)用離線服務(wù)標(biāo)簽平臺面向不同角色的人員提供了全生命周期的標(biāo)簽加工、管理與應(yīng)用功能：從業(yè)務(wù)場景和訴求出發(fā)，可進(jìn)行標(biāo)簽市場的規(guī)劃與管理，標(biāo)簽的實(shí)體、ID的管理以及標(biāo)簽屬性的前置規(guī)劃，為后續(xù)的標(biāo)簽開發(fā)及標(biāo)簽應(yīng)用做好前置的設(shè)計(jì)和規(guī)劃?？蓪?biāo)簽和群組進(jìn)行類目管理、對標(biāo)簽和群組的應(yīng)用進(jìn)行統(tǒng)計(jì)分析，從而進(jìn)行標(biāo)簽的運(yùn)營工作。為標(biāo)簽資產(chǎn)建設(shè)者提供標(biāo)簽生產(chǎn)、群組加工的工作空間，在工作臺可以進(jìn)行視圖和行為關(guān)系的定義，基于視圖、事件、行為關(guān)系進(jìn)行標(biāo)簽、群組加工邏輯配置完成資產(chǎn)開發(fā)與發(fā)布，并上架至資產(chǎn)市場。業(yè)務(wù)人員也可以基于市場的標(biāo)簽或群組進(jìn)行再加工，生成衍生標(biāo)簽、衍生群組用于自己的業(yè)務(wù)。依托于Dataphin資產(chǎn)建設(shè)模塊強(qiáng)大的數(shù)據(jù)集成、數(shù)據(jù)研發(fā)及運(yùn)維能力，以及圍繞標(biāo)簽資產(chǎn)建設(shè)與運(yùn)營管理的標(biāo)簽平臺有其獨(dú)特的優(yōu)勢：當(dāng)前我國數(shù)據(jù)流通還處在起步階段，數(shù)據(jù)價值無法最大化釋放。因此，數(shù)據(jù)的開放共享、交換流通成為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的重中之重，快速發(fā)展的隱私計(jì)算等數(shù)據(jù)流通新技術(shù)為產(chǎn)業(yè)"破局"提供了關(guān)鍵Daphin隱私計(jì)算，基于隱私計(jì)算技術(shù)，為企業(yè)提供數(shù)據(jù)可用不可見的數(shù)據(jù)安全流通方案，幫助企業(yè)實(shí)現(xiàn)產(chǎn)業(yè)間解決企業(yè)/機(jī)構(gòu)間數(shù)據(jù)流通問題解決企業(yè)/機(jī)構(gòu)間數(shù)據(jù)流通問題安全聯(lián)邦學(xué)習(xí)安全聯(lián)合模型機(jī)器學(xué)習(xí)安全數(shù)據(jù)特征分析安全聯(lián)合分析預(yù)計(jì)算安全模型評估數(shù)據(jù)使用方本地隱私計(jì)算節(jié)點(diǎn)A-LSCC合作空間數(shù)據(jù)數(shù)據(jù)表創(chuàng)建FL邏輯回歸FL線性回歸數(shù)據(jù)保護(hù)設(shè)置隱私集合求交ID安全匹配非平衡ID安全匹配ID安全匹配預(yù)計(jì)算安全數(shù)據(jù)加密安全數(shù)據(jù)對齊安全數(shù)據(jù)左對齊隱匿信息查詢隱匿信息查詢預(yù)計(jì)算運(yùn)行實(shí)例運(yùn)行帳期運(yùn)行狀態(tài)運(yùn)行日志數(shù)據(jù)中心數(shù)據(jù)表數(shù)據(jù)源文件源數(shù)據(jù)審批模型審批區(qū)塊鏈存證深度學(xué)習(xí)模型預(yù)測項(xiàng)目審批任務(wù)審批免批規(guī)則調(diào)度規(guī)則運(yùn)行狀態(tài)在線服務(wù)定制方案安全聯(lián)邦學(xué)習(xí)數(shù)據(jù)加持方本地隱私計(jì)算節(jié)點(diǎn)B-LSCC任務(wù)創(chuàng)建任務(wù)運(yùn)行任務(wù)鎖定ID安全匹配隱匿信息查詢安全聯(lián)合學(xué)習(xí)安全聯(lián)合分析安全多方計(jì)算模型管理FL決策樹同態(tài)加密差分隱私聯(lián)邦學(xué)習(xí)協(xié)調(diào)中心FL深度學(xué)習(xí)合作空間共識審計(jì)特征分析任務(wù)管理4.2.2隱私計(jì)算核心能力功能介紹：在弱匿名化的前提下進(jìn)行ID安全匹配。用于在不泄漏數(shù)據(jù)參與多方原始數(shù)據(jù)的前提下，得出共有ID集，非共有ID不會透出。適用場景：適用于一些數(shù)據(jù)圈選的場景。例如，某銀行期望在某電商平臺，對【特定非活躍老客】用戶進(jìn)行老客營銷，需要求兩邊客戶交集，但兩邊客戶ID不透出，此處可用ID安全匹配功能完成。求A和B共同交集，但雙方都不透露非交集部分隱匿信息查詢，也稱隱私信息檢索，是指查詢方隱藏被查詢對象關(guān)鍵詞或客戶ID信息，數(shù)據(jù)服務(wù)方提供匹配的查詢結(jié)果卻無法獲知具體對應(yīng)哪個查詢對象。適用于一些查詢場景，數(shù)據(jù)查詢方不想向數(shù)據(jù)服務(wù)方透露要查詢的內(nèi)容。例如病患想通過醫(yī)藥系統(tǒng)查詢其疾病的治療藥物，如果以該疾病名為查詢條件，醫(yī)療系統(tǒng)將會得知該病人可能患有這樣的疾病，從而病人的隱私被泄露，通過隱私信息查詢可以避免此類泄露問題。在原始數(shù)據(jù)不出域的前提下，通過交換各個參與方的算法訓(xùn)練的中間結(jié)果梯度、參數(shù)信息，或完全在密文條件下進(jìn)行計(jì)算，從而發(fā)揮參與多方數(shù)據(jù)樣本更豐富、更全面的優(yōu)合建模。其中，縱向聯(lián)合建模，聯(lián)合多個參與者的共同樣本的不同數(shù)據(jù)特征進(jìn)行聯(lián)合建模，即各個參與者的訓(xùn)練數(shù)據(jù)是縱向劃分的。橫向聯(lián)合建模，聯(lián)合多個參與者的具有相同特征的多行樣本進(jìn)行聯(lián)合建模，即各個參與者的訓(xùn)練數(shù)據(jù)是橫向劃分的。十十縱向聯(lián)合建模，適用于參與者訓(xùn)練樣本ID重疊較多，而數(shù)據(jù)特征重疊較少的情況，例如某銀行和某電商平臺，分別擁有一部分客戶數(shù)據(jù)，擁有的客戶特征不一樣，銀行擁有客戶的金融信用數(shù)據(jù)，電商擁有客戶的電商消費(fèi)數(shù)據(jù)，期望聯(lián)合兩方數(shù)據(jù)訓(xùn)練精準(zhǔn)營銷模型，則適合使用縱向聯(lián)合建模。橫向聯(lián)合建模，適用于參與者的數(shù)據(jù)特征重疊較望聯(lián)合兩方數(shù)據(jù)訓(xùn)練共同訓(xùn)練評分卡模型，則適合使用橫安全聯(lián)合分析功能介紹：在原始數(shù)據(jù)不可見的前提下，提供SQL模式對多方數(shù)據(jù)進(jìn)行聯(lián)合分析。適用場景：適用于雙方數(shù)據(jù)不共享，但有一些統(tǒng)計(jì)分析的需求。例如電商平臺在媒體平臺進(jìn)行了營銷廣告投放，投放結(jié)束后，電商平臺期望能聯(lián)合兩邊的數(shù)據(jù)，進(jìn)行全鏈路的營銷活動復(fù)盤分析，就可以借助聯(lián)合分析功能實(shí)現(xiàn)?？蛻鬉客戶B十十原始數(shù)據(jù)不出域，完成聯(lián)合分析4.2.3隱私計(jì)算核心優(yōu)勢●安全性高Dataphin隱私計(jì)算，擁有全鏈路數(shù)據(jù)保護(hù)和權(quán)限管理機(jī)制，在數(shù)據(jù)的數(shù)據(jù)源調(diào)取、算法使用、算法變更環(huán)節(jié)，隱私計(jì)算都會發(fā)起授權(quán)，需要數(shù)據(jù)合作方進(jìn)行確認(rèn)審批，保證數(shù)據(jù)的使用不會出現(xiàn)數(shù)據(jù)合作預(yù)期之外的場景，全程清晰可見。另外，Dataphin隱私計(jì)算底層加密算法全部自研，自研算法在多個頂會中稿，底層算法能力已開源。并且，瓴羊Dataphin隱私計(jì)算已獲得工信部、ISO、國家金融評測中心三大類評測?！裥阅軆?yōu)越Dataphin隱私計(jì)算生長于阿里數(shù)據(jù)中臺實(shí)踐，在解決大數(shù)據(jù)場景下有優(yōu)越的性能，支持百億級別的PSI、億級別的SQL分析，千維聯(lián)邦學(xué)習(xí)，隱匿信息查詢秒級返回。安全性和性能是隱私計(jì)算領(lǐng)域的兩大挑戰(zhàn)，想達(dá)到很高的安全性，性能必然受到影響。瓴羊Dataphin隱私計(jì)算，結(jié)合了大量的場景實(shí)踐，創(chuàng)新性提出了智能計(jì)算模式，能保障安全性的前提下，能根據(jù)場情況，自動選擇最優(yōu)的協(xié)議、最優(yōu)的計(jì)算引擎、最優(yōu)的算法，自動為該場景匹配最優(yōu)的計(jì)算模式。隨著各行各業(yè)數(shù)字化轉(zhuǎn)型進(jìn)程的加速，業(yè)務(wù)數(shù)字化的基礎(chǔ)日漸扎實(shí)，數(shù)據(jù)驅(qū)動業(yè)務(wù)或數(shù)據(jù)化運(yùn)營，不再是傳統(tǒng)頭部企業(yè)及大型互聯(lián)網(wǎng)公司的專利，越來越多的企業(yè)也在擁抱數(shù)據(jù)、消費(fèi)數(shù)據(jù)。因此，數(shù)據(jù)治理的訴求呈現(xiàn)出日漸強(qiáng)烈的趨勢。治理的價值在于構(gòu)建企業(yè)內(nèi)一份質(zhì)量可靠、安全可控、服務(wù)便捷的好數(shù)據(jù)，讓數(shù)據(jù)價值得以釋放。然而，數(shù)據(jù)治理并非一蹴而就。一般圍繞四大關(guān)鍵領(lǐng)域“成本、質(zhì)量、安全、服務(wù)”開展工作，進(jìn)行目標(biāo)設(shè)定：●生產(chǎn)經(jīng)濟(jì)：以控制甚至節(jié)約成本為目標(biāo)，實(shí)際運(yùn)作則需要拆解到業(yè)務(wù)線或者不同領(lǐng)域范圍的成本控制，比如銷●質(zhì)量可靠：以減少數(shù)據(jù)質(zhì)量問題、收窄數(shù)據(jù)質(zhì)量風(fēng)險敞口為目標(biāo)，實(shí)際運(yùn)作則需要拆解到應(yīng)用場景或不同數(shù)據(jù)等級，如優(yōu)先保障高管數(shù)據(jù)看板、驅(qū)動業(yè)務(wù)運(yùn)行涉及的數(shù)據(jù)質(zhì)量等；●安全可控：以滿足合規(guī)要求、防止數(shù)據(jù)泄漏為目標(biāo)，實(shí)際運(yùn)作則需要拆解到不同的數(shù)據(jù)類型或流程環(huán)節(jié)，如隱私數(shù)據(jù)、監(jiān)管報送數(shù)據(jù)等；●服務(wù)便捷：以盤點(diǎn)供給豐富的數(shù)據(jù)、驅(qū)動數(shù)據(jù)消費(fèi)為目標(biāo)，實(shí)際運(yùn)作則需要拆解到不同的業(yè)務(wù)線、數(shù)據(jù)類型及數(shù)據(jù)資產(chǎn)管理：360°全鏈路數(shù)據(jù)洞察與管理數(shù)據(jù)需要資產(chǎn)化管理，而非當(dāng)做成本表、指標(biāo)、API等資產(chǎn)對象全景呈現(xiàn)按圖索驥確信字段級血緣可追溯物理元數(shù)據(jù)及邏輯元數(shù)據(jù)管理數(shù)據(jù)標(biāo)準(zhǔn)、碼表、詞根定義及管理o敏感字段脫敏及防泄露資源陳本管控可治理自定義規(guī)則擴(kuò)展及強(qiáng)弱規(guī)則阻斷告警基于資產(chǎn)元數(shù)據(jù)的落標(biāo)關(guān)聯(lián)映射源、表、字段級資產(chǎn)分類分級及數(shù)據(jù)識別計(jì)算存儲健康度評估數(shù)據(jù)質(zhì)量資產(chǎn)安全資源治理下面，我們就來詳細(xì)看一下每個具體的功能模塊在全鏈路資產(chǎn)治理中發(fā)揮的重要作用。統(tǒng)一元數(shù)據(jù)業(yè)務(wù)元數(shù)據(jù)數(shù)據(jù)質(zhì)量數(shù)據(jù)標(biāo)準(zhǔn)數(shù)據(jù)安全資源治理針對不同來源的資產(chǎn)數(shù)據(jù)，Dataphin支持不同的采集方式，以更好地適配使用訴求。Dataphin系統(tǒng)支持自動、定時采集倉內(nèi)數(shù)據(jù)資產(chǎn)(即項(xiàng)目綁定的計(jì)算源中存儲的數(shù)據(jù)資產(chǎn))的技術(shù)元數(shù)據(jù)信結(jié)合從源端系統(tǒng)采集到的技術(shù)元數(shù)據(jù)和資產(chǎn)盤點(diǎn)過程中豐富的業(yè)務(wù)管數(shù)據(jù)，資產(chǎn)管理人員可快速了解數(shù)據(jù)資產(chǎn)概貌，資產(chǎn)開發(fā)和使用人員可快速找到所需要的資產(chǎn)并查看資產(chǎn)詳情，大大降低了溝通成本，快速打通資產(chǎn)消費(fèi)鏈路。Dataphin支持管理多種類型的資產(chǎn)對象，包括：數(shù)據(jù)表(8種細(xì)分表類型)、字段、指標(biāo)、數(shù)據(jù)源、項(xiàng)目、API、標(biāo)簽等。每種資產(chǎn)對象根據(jù)使用場景和使用方式，在資產(chǎn)目錄展示了不同的信息項(xiàng)，便于消費(fèi)人員更直接、更快捷的找到自己需要的信息，并評估是否滿足使用訴求。如：數(shù)據(jù)表資產(chǎn)，除了基本的表結(jié)構(gòu)和字段信息，還展示了血緣和影響分析，便于在數(shù)據(jù)變更時準(zhǔn)確評估下游影響并通知到相關(guān)人員；可快捷查看已配置的質(zhì)量監(jiān)控規(guī)則和質(zhì)量報告，便于了解數(shù)據(jù)質(zhì)量，判斷是否可用于開發(fā)或分析任務(wù)；支持快捷發(fā)起數(shù)據(jù)探查以了解數(shù)據(jù)分布概要、識別是否有主鍵重復(fù)、空值等影響數(shù)據(jù)準(zhǔn)確性的潛在風(fēng)險等等?；诮y(tǒng)一的元數(shù)據(jù)采集與管理，下游應(yīng)用也更加靈活豐富。與全鏈路數(shù)據(jù)治理的基石。數(shù)據(jù)標(biāo)準(zhǔn)是用于描述公司層面需共同遵守的數(shù)據(jù)含義和業(yè)務(wù)規(guī)則，通常從業(yè)務(wù)、技術(shù)、管理三方面進(jìn)行定作為資產(chǎn)治理的重要一環(huán)，Dataphin數(shù)據(jù)標(biāo)準(zhǔn)模塊為數(shù)據(jù)標(biāo)準(zhǔn)的建設(shè)提供統(tǒng)一的產(chǎn)品化能力，支持：數(shù)據(jù)業(yè)解決數(shù)據(jù)建設(shè)管理過程中遇到的規(guī)范性、統(tǒng)一性問題，提升企業(yè)整體數(shù)字能力建設(shè)的標(biāo)準(zhǔn)化成熟和資產(chǎn)的健康度。DataphinDataphin支持?jǐn)?shù)據(jù)標(biāo)準(zhǔn)定義與應(yīng)用，同時結(jié)合質(zhì)量、安全的能力，從數(shù)據(jù)開務(wù)和支持。數(shù)據(jù)標(biāo)準(zhǔn)管理的過程就是對數(shù)據(jù)以及數(shù)據(jù)的屬性信息的標(biāo)準(zhǔn)化定義和應(yīng)用的過程標(biāo)準(zhǔn)模板配置自定義屬性引用公共屬性標(biāo)準(zhǔn)視角落標(biāo)評估明顯資產(chǎn)視角落標(biāo)監(jiān)控評估資產(chǎn)評估推進(jìn)整改指導(dǎo)消費(fèi)監(jiān)控規(guī)則業(yè)務(wù)信息數(shù)據(jù)開發(fā)屬性信息數(shù)據(jù)標(biāo)準(zhǔn)參考數(shù)據(jù)資產(chǎn)對象修訂中④到達(dá)生效時間已生效已停用⑥下線發(fā)布中標(biāo)準(zhǔn)創(chuàng)建完成后，需要和對應(yīng)的資產(chǎn)對象關(guān)聯(lián)起來才能真正實(shí)現(xiàn)其應(yīng)用價值，實(shí)現(xiàn)對資產(chǎn)的規(guī)范性約束。映射條件：標(biāo)準(zhǔn)英文名=字段名稱標(biāo)準(zhǔn)集item_id(無法映射)落標(biāo)映射資產(chǎn)對象落標(biāo)監(jiān)控評估的結(jié)果統(tǒng)一在“落標(biāo)評估明細(xì)”頁面呈現(xiàn)。落標(biāo)評估明細(xì)提供了兩種查看視角。針對不滿足關(guān)聯(lián)標(biāo)準(zhǔn)定義的資產(chǎn)，標(biāo)準(zhǔn)管理人員可以推動研發(fā)人員可以盡早進(jìn)行整改，從源端保障數(shù)據(jù)規(guī)范性和統(tǒng)一性。內(nèi)容質(zhì)量：系統(tǒng)模板/完整性/..目數(shù)據(jù)標(biāo)準(zhǔn)常常需要和參考數(shù)據(jù)一起使用，才能更好地適配業(yè)務(wù)需求。常見的參考數(shù)據(jù)包括碼表、詞根。碼表可用于約束標(biāo)準(zhǔn)屬性字段的取值范圍，提升標(biāo)準(zhǔn)定義的準(zhǔn)確性。詞根常用作詞綴并作為數(shù)據(jù)表、字段等研發(fā)對象命名的參考依據(jù)，以提升命名規(guī)范性減少數(shù)據(jù)消費(fèi)時的不一致性和理解誤差。Dataphin數(shù)據(jù)標(biāo)準(zhǔn)模塊支持碼表和字根的創(chuàng)建和管理，研發(fā)鏈路中也支持基于已定義的詞根自動推薦字段規(guī)范化命名和關(guān)聯(lián)標(biāo)準(zhǔn)，大大降低了標(biāo)準(zhǔn)管理人員的操作成本?？傮w來說，作為資產(chǎn)治理的重要一環(huán)，Dataphin數(shù)據(jù)標(biāo)準(zhǔn)功能為標(biāo)準(zhǔn)的統(tǒng)一管理提供了靈活的產(chǎn)品化能力支持，同時也能減少人工監(jiān)控成本，為標(biāo)準(zhǔn)的落地執(zhí)行提供了強(qiáng)有力的保障，讓數(shù)據(jù)消費(fèi)通暢無歧義。Dataphin智能數(shù)據(jù)建設(shè)與治理整體工作提升質(zhì)量整體工作提升質(zhì)量·支持異常監(jiān)控告警、質(zhì)量整改建議、異常數(shù)據(jù)歸檔查詢等功能·支持整改工作臺跟蹤質(zhì)量問題研發(fā)流程質(zhì)量保障內(nèi)置模板全面覆蓋全域數(shù)據(jù)質(zhì)量檢驗(yàn)量校驗(yàn)統(tǒng)、數(shù)據(jù)消費(fèi)的數(shù)據(jù)應(yīng)用進(jìn)行質(zhì)量校驗(yàn)數(shù)據(jù)質(zhì)量核心能力研發(fā)質(zhì)量校驗(yàn)方式·支持阻斷任務(wù)，防止質(zhì)量問題擴(kuò)散·內(nèi)置完整新、唯一性、有效性、準(zhǔn)確性、覆蓋常用業(yè)務(wù)場景全域數(shù)據(jù)質(zhì)量是指對客戶全場景/全數(shù)據(jù)源下的數(shù)據(jù)常用的數(shù)據(jù)場景，都可以進(jìn)行數(shù)據(jù)質(zhì)量監(jiān)控。Dataphin能夠?qū)蛻粼跀?shù)據(jù)處理中常用到的數(shù)據(jù)引擎、數(shù)據(jù)源和數(shù)據(jù)對象進(jìn)行數(shù)據(jù)質(zhì)量的監(jiān)控，詳細(xì)支持的列表如下：支持范圍支持Dataphin上的物理表和100+不同監(jiān)控指標(biāo)的質(zhì)量規(guī)則校驗(yàn)支持MySQL、Oracle、Hive、表的質(zhì)量檢測100+不同監(jiān)控指標(biāo)的質(zhì)量規(guī)則校驗(yàn)注冊到Dataphin上的數(shù)據(jù)源的穩(wěn)定實(shí)時元表實(shí)時指標(biāo)監(jiān)控實(shí)時離線對比實(shí)時多條鏈路對比5.3.2豐富的內(nèi)置質(zhì)量規(guī)則模版量模版分類下28個模版共計(jì)100+不同監(jiān)控指標(biāo)的質(zhì)量規(guī)則校驗(yàn)：分類說明(主要基于DAMA)企業(yè)有1000員工只有600人有聯(lián)系方式唯一性對字段是否唯一進(jìn)行校驗(yàn)。員工身份證號碼在系統(tǒng)看到相關(guān)信息員工年齡-1歲，無效比較不同數(shù)據(jù)表的主鍵是否相同、單價總監(jiān)，在銷售系統(tǒng)是主管校驗(yàn)數(shù)據(jù)產(chǎn)出是否穩(wěn)定，也可以用于校驗(yàn)業(yè)務(wù)數(shù)據(jù)是否穩(wěn)定校驗(yàn)數(shù)據(jù)總大小/總條數(shù)是否穩(wěn)定，以及數(shù)據(jù)的匯總值、平均值是否穩(wěn)定等當(dāng)一個月波動20%的時候可能存在異常自定義SQL支持自定義指標(biāo)監(jiān)控和自定義異常數(shù)據(jù)提示：此處僅針對模版的整體能力進(jìn)行說明，每一個分類下都有更多的模質(zhì)量分大盤全局質(zhì)量分*日期2023-09-04全局質(zhì)量分趨勢項(xiàng)目質(zhì)量評估數(shù)據(jù)源質(zhì)量評估個人質(zhì)量分評估00項(xiàng)目質(zhì)量分排行詳情日環(huán)比周環(huán)比監(jiān)控資產(chǎn)數(shù)數(shù)值已選字段(7)日環(huán)比周環(huán)比234針對已發(fā)現(xiàn)的質(zhì)量問題，提供問題的統(tǒng)一查看和管理、快速發(fā)起整改流程并跟進(jìn)整改進(jìn)度等功能，助力提升質(zhì)整改完成后可以重跑校驗(yàn)規(guī)則查詢最新的校驗(yàn)結(jié)果，校驗(yàn)通過后可主動發(fā)起驗(yàn)收。整改任務(wù)發(fā)起人收到整改此外，對于暫時不需要治理的治理項(xiàng)，可以放入“治理白名單”進(jìn)行統(tǒng)一管理，會正常執(zhí)行，但不會生成待治理項(xiàng)。在治理白名單頁面，可以針對白名單進(jìn)行統(tǒng)一管理，如修改白名單生效時度數(shù)據(jù)安全事前-敏感數(shù)據(jù)識別·全量敏感數(shù)據(jù)自動識別事前-敏感數(shù)據(jù)識別·全量敏感數(shù)據(jù)自動識別·識別記錄支持查看與管理·落地企業(yè)數(shù)據(jù)分類分級標(biāo)準(zhǔn)·密鑰權(quán)限統(tǒng)一管理和審計(jì)·敏感字段在權(quán)限流程額外·常用加解密/脫敏算法事中-敏感數(shù)據(jù)保護(hù)事后-安全風(fēng)險與審計(jì)·代碼任務(wù)支持動態(tài)脫敏·確保敏感數(shù)據(jù)不泄露數(shù)據(jù)分類是安全模塊的基礎(chǔ)，數(shù)據(jù)分類的定義包含了業(yè)務(wù)場景、識別方式、敏感等級的信息。安全的自動識別和脫敏保護(hù)都依賴于數(shù)據(jù)分類。Dataphin內(nèi)置了“通用”和“金融”兩個行業(yè)模型，包含了大量行業(yè)常用的數(shù)據(jù)分類信息，用戶可以根據(jù)自己的需要，一鍵引入內(nèi)置的數(shù)據(jù)分類，并支持根據(jù)企業(yè)自身特性進(jìn)行自定義修改，快速實(shí)現(xiàn)企業(yè)數(shù)據(jù)安全分類體系的冷啟動。全部(212)作業(yè)務(wù)類(85)賬號信息(a)0交易信息(3)合約協(xié)議(54)法定數(shù)字貨幣能包信息(1)e客戶類(96)?個人(59)?單位(37)經(jīng)營管理類(31)5.4.2智能的敏感數(shù)據(jù)識別通過自動識別和人工打標(biāo)，可以快速生成企業(yè)的敏感數(shù)據(jù)清單，該結(jié)果可用于后續(xù)權(quán)限申5.4.3內(nèi)置豐富的脫敏算法，動/靜態(tài)脫敏更好保障敏感數(shù)據(jù)集中管控，快速服務(wù)業(yè)務(wù)系統(tǒng)在數(shù)據(jù)的消費(fèi)場景中，除了簡單地提供數(shù)據(jù)表，另一種常見的方式是提供數(shù)據(jù)服務(wù)，也被稱為APl或接口，這種方式可以改善用戶的使用體驗(yàn)，更加便捷、安全和高效。在企業(yè)中，常見的數(shù)據(jù)服務(wù)場景如下：對內(nèi)的數(shù)據(jù)服務(wù)：企業(yè)不同部門之間通過數(shù)據(jù)服務(wù)實(shí)現(xiàn)數(shù)據(jù)共享，實(shí)現(xiàn)跨部門的協(xié)作；數(shù)據(jù)部門提供數(shù)據(jù)服務(wù)給業(yè)務(wù)團(tuán)隊(duì)，實(shí)現(xiàn)數(shù)據(jù)賦能業(yè)務(wù)，用于進(jìn)一步的商業(yè)分析決策；對外的數(shù)據(jù)服務(wù)：企業(yè)將部分?jǐn)?shù)據(jù)服務(wù)開放給合作伙伴或第三方，實(shí)現(xiàn)數(shù)據(jù)變現(xiàn)。但是，在傳統(tǒng)的數(shù)據(jù)服務(wù)開發(fā)模式中，一般數(shù)據(jù)服務(wù)的需求從提出到交付分為：需求提出-需求分析-需求評估與設(shè)計(jì)-開發(fā)-測試-上線-交付，完整的流程往往需要花費(fèi)超過2周的時間。而且，在接口上線后，如果業(yè)務(wù)需求發(fā)生變更，則需要重新提交需求，安排迭代和開發(fā)。這種開發(fā)模式對于不同角色而言存在以下問題：問題管理者業(yè)務(wù)場景多樣，個性化需求多數(shù)據(jù)接入方式多樣，接入效率低多物理表關(guān)聯(lián)查詢SQL代碼復(fù)雜，維護(hù)困難沒有全局服務(wù)市場和詳細(xì)資料，不知道怎么查找已有服務(wù)定制化開發(fā)響應(yīng)緩慢，無法快速滿足業(yè)務(wù)需求市市場與調(diào)用服務(wù)運(yùn)維服務(wù)開發(fā)管理API申請發(fā)布系統(tǒng)配置網(wǎng)絡(luò)配置數(shù)據(jù)服務(wù)市場服務(wù)開發(fā)Notebook是集文本與SQL查詢于一體的交互式數(shù)據(jù)分析筆記本。在SQL查詢?nèi)蝿?wù)的功能基礎(chǔ)上，支持了7.3Dataphin分析平臺使用場景為分析平臺綁定專用計(jì)算源，分析師可直接在分析平臺中使用致最新數(shù)據(jù)不能及時共享出去。主題式的目錄，打造精品數(shù)據(jù)隨著數(shù)據(jù)量的不斷增長以及消費(fèi)場景的多樣化，當(dāng)前單一的數(shù)據(jù)目錄已經(jīng)很難滿足數(shù)據(jù)管理者和消費(fèi)者對于資產(chǎn)管理和查找的需求。對于數(shù)據(jù)管理者來說，常常遇到以下問題：不同場景有不同的數(shù)據(jù)分類組織方式，難以使用一套目錄承載數(shù)據(jù)資產(chǎn)多且雜，難以快速識別核心資產(chǎn)，也無法區(qū)分業(yè)務(wù)關(guān)心的資產(chǎn)精品資產(chǎn)缺少推廣鏈路，資產(chǎn)價值難以發(fā)揮對于數(shù)據(jù)消費(fèi)者來說，查找所需資產(chǎn)時也會遇到以下阻礙：無關(guān)數(shù)據(jù)一大堆，真正關(guān)心的找不到難以評估資產(chǎn)價值，用資產(chǎn)時小心翼翼種種困難和吐槽的背后，核心原因是缺少一套有效的資產(chǎn)管理及運(yùn)營體系，數(shù)據(jù)難以與業(yè)務(wù)形成有效連接，數(shù)據(jù)資產(chǎn)價值無法發(fā)揮放大。Dataphin的資產(chǎn)專題功能，致力于打造面向主題的精品數(shù)據(jù)資產(chǎn)建設(shè)和運(yùn)營生態(tài)，幫助數(shù)據(jù)生產(chǎn)者和消費(fèi)者提升工作效率，持續(xù)提升資產(chǎn)價值。Dataphin的資產(chǎn)專題支持三層管理結(jié)構(gòu)：專題分組-專題-專題目錄。每個專題分組下可以創(chuàng)建多個資產(chǎn)專題，每個資產(chǎn)專題下可以創(chuàng)建最多五級目錄?；谶@種結(jié)構(gòu)，可以實(shí)現(xiàn)多層級、多視角的資產(chǎn)分類管理。如：創(chuàng)建一個技術(shù)視角的專題分組，首先按照數(shù)據(jù)分層創(chuàng)建專題(如：ODS層、中間層、應(yīng)用層等);每個專題下，再按照數(shù)據(jù)來源和存儲項(xiàng)目劃分目錄；再創(chuàng)建一個業(yè)務(wù)視角的專題分組，按照業(yè)務(wù)場景劃分為不同的專題，每個專題內(nèi)按照業(yè)務(wù)實(shí)體和活動劃分不同的目錄。這樣一來，數(shù)據(jù)開發(fā)人員和運(yùn)行分析人員在查找資產(chǎn)時，都可以選擇最適合自己使用習(xí)慣和訴求的專題，更快捷的查找目標(biāo)數(shù)據(jù)。除了基礎(chǔ)的分類功能，支持給資產(chǎn)專題增加“是否精品”的標(biāo)簽。針對典型的解決方案相關(guān)的數(shù)據(jù)，或某些高質(zhì)量、應(yīng)用范圍較廣的數(shù)據(jù)，可以通過添加到精品專題的方式進(jìn)行主動推廣。此外，在專題廣場，所有成員都可以對專題進(jìn)行收藏、點(diǎn)贊；運(yùn)營管理員可以結(jié)合這些反饋，有針對性的進(jìn)行推廣操作?？傮w來說，數(shù)據(jù)管理者可以借助資產(chǎn)專題功能打造主題/業(yè)務(wù)團(tuán)隊(duì)等多個精品資產(chǎn)的運(yùn)營陣地，從多視角切入進(jìn)行資產(chǎn)盤點(diǎn)并評估資產(chǎn)熱度，優(yōu)化全局資產(chǎn)供需匹配機(jī)制，以便提供更好的資產(chǎn)服務(wù)；數(shù)據(jù)消費(fèi)者也可以更容易地搜索需要的資產(chǎn)，收藏精品資產(chǎn)專題或?yàn)槠潼c(diǎn)贊，實(shí)現(xiàn)業(yè)務(wù)數(shù)據(jù)資產(chǎn)的一站式查找&自助消費(fèi)。義數(shù)據(jù)源的開放能力，幫助企業(yè)實(shí)現(xiàn)各類應(yīng)用對接Dataphin、結(jié)合系統(tǒng)元數(shù)據(jù)進(jìn)行二次開發(fā)、對接內(nèi)部審批系統(tǒng)Dataphin提供各模塊對應(yīng)的OpenAPI,通過調(diào)用這些支持將Dataphin基礎(chǔ)研發(fā)平臺的部分能力集成到其他系統(tǒng)中，包括離線腳本任務(wù)和管道集成任務(wù)的查詢協(xié)助企業(yè)構(gòu)建個性化的運(yùn)維工具，通過API可完成離線腳本任務(wù)和管道集成支持使用部分Dataphin平臺級別的功能，包括創(chuàng)建與管理數(shù)據(jù)源、查詢項(xiàng)目信息、管理租戶和項(xiàng)目中的成客戶可以結(jié)合業(yè)務(wù)場景進(jìn)行二次開發(fā)，以更好地滿足對下游業(yè)務(wù)的適配性；也可以對數(shù)倉開發(fā)任務(wù)等進(jìn)行更細(xì)粒9.3審批與消息集成產(chǎn)品訂購與服務(wù)說明Dataphin支持公共云共享模式(全托管)、公共云獨(dú)享模式(半托管)、本地化部署和阿里云專有云這幾類訂購與部署模式。Dataphin提供多種可售版本，每個版本對應(yīng)不同的基礎(chǔ)功能組合，以滿足多樣化的企業(yè)訴求。每個版本在最小功能合集的基礎(chǔ)上，可根據(jù)實(shí)際需求場景靈活疊加購買增值功能包，以夯實(shí)數(shù)據(jù)建設(shè)與治理基礎(chǔ)，更好地對接上層應(yīng)用服務(wù)。1.1公共云共享模式(全托管)阿里云公共云環(huán)境下，Dataphin支持即買即用的在線服務(wù)訂購。您可根據(jù)需要選購不同的產(chǎn)品功能規(guī)格及訂購時長，詳情如下：●可選地域：華北2(北京)、華東2(上海)、華南1(深圳)、華東1(杭州)●云資源依賴：根據(jù)購買版本及規(guī)格，Dataphin為每個用戶分配一定額度的調(diào)度資源，您只需關(guān)注開發(fā)需要使用的計(jì)算引擎(如MaxCompute、FlinkVVP)并進(jìn)行相關(guān)資源配置，無需關(guān)心其他產(chǎn)品部署所依賴的底層資源，即可快速開啟服務(wù)。1.2公共云獨(dú)享模式(半托管)此外，Dataphin支持阿里云公共云獨(dú)享模式(半托管)。相比于公共云在線服務(wù)，您可以獨(dú)立掌控軟件部署和任務(wù)運(yùn)行所需要的相關(guān)云資源，購買后，云平臺將基于資源在指定VPC中實(shí)現(xiàn)自動化部署，具備更好的安全性和可拓展性，此外，您可以自行控制產(chǎn)品的升級時間，享受更加自由、靈活、自主可控的云上自助體驗(yàn)?！ぴ瀑Y源依賴：需要單獨(dú)購買軟件部署依賴的底層資源(如ECS、Redis、RDS等)、任務(wù)調(diào)度資源和計(jì)算資源，可靈活進(jìn)行資源擴(kuò)容除公共云服務(wù)外，Dataphin支持本地化部署，并可適配多云平臺及多種計(jì)算引擎，包括MaxCompute、特定訴求?！耙钥蛻舫晒楹诵摹笔荄ataphin深植其中的服務(wù)理念。Dataphin團(tuán)隊(duì)不僅提供技術(shù)支持，更傾力構(gòu)建與客戶的深度協(xié)同與溝通橋梁。從精細(xì)的需求管理、系統(tǒng)變更的策略規(guī)劃，到個性化的實(shí)戰(zhàn)培訓(xùn)方案，Dataphin始終致力成為客戶在數(shù)據(jù)轉(zhuǎn)型旅程中的可靠盟友。每一次服務(wù)我們都力求為客戶的業(yè)務(wù)創(chuàng)新與增長注入動力，最大化數(shù)據(jù)資產(chǎn)的價值回報。 客戶成功計(jì)劃：充分發(fā)揮Dataphin的能力價值結(jié)果智能數(shù)據(jù)建設(shè)與治理好數(shù)據(jù)、數(shù)據(jù)智能數(shù)據(jù)能力客戶成功計(jì)劃先進(jìn)的平臺完備的功能良好的性能持續(xù)的迭代穩(wěn)定的系統(tǒng)及時的支持專業(yè)的指導(dǎo)個性的陪伴充分發(fā)揮我們的合作之旅始自綜合服務(wù)矩陣，這是一套解鎖數(shù)據(jù)潛力的全面工具集。無論是依托于阿里云的強(qiáng)大生態(tài)系統(tǒng)，還是融入其他云環(huán)境，Dataphin均能展現(xiàn)出其高度的靈活性與適配性，確保無縫對接。我們提供專業(yè)的部署服務(wù)，搭配詳實(shí)的部署指南及運(yùn)維手冊，加速客戶技術(shù)團(tuán)隊(duì)掌握關(guān)鍵技能。此外，定制化的遠(yuǎn)程專家培訓(xùn)課程與豐富的在線教育資源，將迅速助力客戶成為數(shù)據(jù)治理領(lǐng)域?qū)＜摇?支付客戶成功計(jì)劃支付客戶成功計(jì)劃基礎(chǔ)服務(wù)(標(biāo)準(zhǔn)包、高級包)面向訂閱制且訂購高級技術(shù)支持服務(wù)客戶、部署的新客戶提供標(biāo)準(zhǔn)的軟使用產(chǎn)品的必要技術(shù)支持和服務(wù)。包括軟件升級更新、系統(tǒng)監(jiān)控、在線基礎(chǔ)技術(shù)支持、在線幫助及答疑響應(yīng)等。及更高階技術(shù)支持的服務(wù)，面向客戶提供高階的技術(shù)支持和運(yùn)維，包括更高時效及更廣時間貼合需要的產(chǎn)品培訓(xùn)及實(shí)訓(xùn)、個性化專屬的需求管理及系統(tǒng)集成、系統(tǒng)護(hù)航等高階服務(wù)。構(gòu)、數(shù)據(jù)架構(gòu)、數(shù)據(jù)開發(fā)產(chǎn)品客戶成功計(jì)劃初始化服務(wù)是客戶成功之旅的起點(diǎn)。我們提供定制化的部署咨詢與實(shí)施服務(wù)，確保Dataphin能夠在客戶的操作指南和豐富的在線教育資源，我們助力客戶團(tuán)隊(duì)快速掌握數(shù)據(jù)管理的核心技