DataOps 實(shí)踐指南 2.0白皮書(shū)

CCSATC601大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)2024年5月版權(quán)聲明編制說(shuō)明前言版權(quán)聲明編制說(shuō)明(一)敏捷數(shù)據(jù)開(kāi)發(fā)取得穩(wěn)健成效，先行企業(yè)特征各異(二)文化滲透促進(jìn)數(shù)據(jù)深度應(yīng)用，數(shù)據(jù)價(jià)值逐步釋放(三)組織變革促進(jìn)協(xié)同機(jī)制構(gòu)建，業(yè)數(shù)合作更加緊密(四)數(shù)據(jù)研發(fā)治理流程初步搭建，質(zhì)量管控初見(jiàn)成效(一)盲目跟風(fēng)，沒(méi)有“量體裁衣”(二)決策機(jī)制模糊，導(dǎo)致資源浪費(fèi)或投入不足(三)過(guò)度依賴(lài)技術(shù)解決所有問(wèn)題(四)追求短期收益22(一)DataOps能力模型04(一)數(shù)據(jù)流程可觀測(cè)22(二)DataOps核心環(huán)節(jié)05(二)數(shù)據(jù)工程智能化22(三)DataOps實(shí)踐保障09(三)數(shù)據(jù)價(jià)值精準(zhǔn)量化23圖目錄圖圖1DataOps能力模型框架04圖3DataOps保障措施框架09表目錄表1DataOps數(shù)據(jù)組織vs.傳統(tǒng)數(shù)據(jù)組織11表2傳統(tǒng)數(shù)據(jù)治理團(tuán)隊(duì)vs.DataOps數(shù)據(jù)治理團(tuán)隊(duì)12表3DataOps典型協(xié)同模式舉例131.形成敏捷數(shù)據(jù)產(chǎn)品開(kāi)發(fā)流程 2.構(gòu)建高效的跨域協(xié)同機(jī)制3.打造研發(fā)治理一體化流水線4.建立精細(xì)化的數(shù)據(jù)運(yùn)營(yíng)體系 2022年起，中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)牽頭成立了DataOps工作“4+3”的能力框架，即4個(gè)核心環(huán)節(jié)和3項(xiàng)實(shí)踐保障。如圖1組織組織管理業(yè)務(wù)價(jià)值系統(tǒng)工具管控研發(fā)管理數(shù)據(jù)運(yùn)維交付管理價(jià)值運(yùn)營(yíng)成本管理持成本管理持續(xù)優(yōu)化變更管理監(jiān)控管理部署與發(fā)布管理測(cè)試管理配置管理需求管理為了不斷提高數(shù)據(jù)產(chǎn)品交付效率與質(zhì)量，實(shí)現(xiàn)高質(zhì)量數(shù)字化發(fā)展的目標(biāo)，DataOps的數(shù)據(jù)流水線以數(shù)據(jù)工程化能力為核心，構(gòu)建出數(shù)據(jù)研發(fā)管理、數(shù)據(jù)交付管理、數(shù)據(jù)運(yùn)維和價(jià)值運(yùn)營(yíng)四個(gè)環(huán)節(jié)。數(shù)據(jù)研發(fā)管理數(shù)據(jù)交付管數(shù)據(jù)研發(fā)管理是指以研發(fā)治理一體化為目標(biāo)，構(gòu)建標(biāo)準(zhǔn)化的數(shù)據(jù)開(kāi)發(fā)流程。企業(yè)在數(shù)據(jù)開(kāi)發(fā)階段，構(gòu)建數(shù)據(jù)研發(fā)治理一體化流程，將數(shù)據(jù)治理工作前置，把數(shù)據(jù)治理工作與數(shù)據(jù)開(kāi)發(fā)工作有機(jī)結(jié)合，能夠加強(qiáng)數(shù)據(jù)治理與開(kāi)發(fā)工作的協(xié)同配合，同時(shí)降低數(shù)據(jù)治理后置所產(chǎn)生的風(fēng)險(xiǎn)。此外，在數(shù)據(jù)研發(fā)階段加強(qiáng)對(duì)數(shù)據(jù)需求的約束，并利用自助分析能力來(lái)提前探查或解決部分?jǐn)?shù)據(jù)需求，大幅提升了數(shù)據(jù)需求的溝通效率，減少了部分研發(fā)工作壓力。數(shù)據(jù)研發(fā)管理包括需求管理、設(shè)計(jì)管理、數(shù)據(jù)開(kāi)發(fā)和自助分析四部分內(nèi)容?！鲂枨蠊芾頂?shù)據(jù)需求是指組織對(duì)業(yè)務(wù)運(yùn)營(yíng)、經(jīng)營(yíng)分析和戰(zhàn)略決策過(guò)程中產(chǎn)生和使用數(shù)據(jù)的分類(lèi)、含義、分布和流轉(zhuǎn)的描述。數(shù)據(jù)需求管理是指與數(shù)據(jù)需求的采集、分析、確認(rèn)、實(shí)施和變更相關(guān)的全流程管理活動(dòng)。需求管理分為數(shù)據(jù)需求收集、數(shù)據(jù)需求分析、數(shù)據(jù)需求確認(rèn)、數(shù)據(jù)需求變更四部分內(nèi)容。在實(shí)踐過(guò)程中，需求往往以碎片化的形式提出，如何從源頭上對(duì)需求進(jìn)行有效歸集、分類(lèi)、分析、追蹤和評(píng)估是需求管理的核心環(huán)節(jié)。此外，除了形成跨部門(mén)的需求協(xié)作流程和制度外，還應(yīng)注重需求與研發(fā)過(guò)程的緊密聯(lián)動(dòng)。需求管理應(yīng)以需求背后的業(yè)務(wù)目標(biāo)為導(dǎo)向，深入數(shù)據(jù)加工全鏈路，通過(guò)不斷評(píng)估優(yōu)化需求，形成促進(jìn)業(yè)務(wù)目標(biāo)的閉環(huán)。最后，需求管理的平臺(tái)工具需要支持與現(xiàn)有數(shù)據(jù)開(kāi)發(fā)平臺(tái)、工作流管理工具的集成，支持需求與數(shù)據(jù)生命周期的關(guān)聯(lián)。2.數(shù)據(jù)交付管理3.數(shù)據(jù)運(yùn)維4.價(jià)值運(yùn)營(yíng)價(jià)值運(yùn)營(yíng)是指以精益運(yùn)營(yíng)數(shù)據(jù)為目標(biāo)，打造量化驅(qū)動(dòng)變革的能力。企業(yè)基于量化指標(biāo)對(duì)數(shù)源的可評(píng)估性和可控性，在數(shù)據(jù)開(kāi)發(fā)過(guò)程中，具體需求的資源投入應(yīng)能夠被準(zhǔn)確評(píng)估和管控。在鼓勵(lì)創(chuàng)新的前提下，數(shù)據(jù)驅(qū)動(dòng)與跨部門(mén)的協(xié)作是持續(xù)變革的原動(dòng)力，在全周期引入反饋復(fù)盤(pán)機(jī)制，可加深團(tuán)隊(duì)對(duì)過(guò)程的反思和理解。通過(guò)打破溝通壁壘、組建臨時(shí)小組、加強(qiáng)團(tuán)隊(duì)間的分享協(xié)作等手段，能夠促進(jìn)組織內(nèi)有益變革的產(chǎn)生。目前行業(yè)內(nèi)基于DevOps理念已形成一套軟件研發(fā)管理效能評(píng)價(jià)體系，而對(duì)數(shù)據(jù)研發(fā)全過(guò)程的效能評(píng)價(jià)標(biāo)準(zhǔn)仍處于缺失狀態(tài)。精益的數(shù)據(jù)運(yùn)營(yíng)管理體系至少要從協(xié)同流程、人員績(jī)效、數(shù)據(jù)開(kāi)發(fā)各環(huán)節(jié)效能對(duì)企業(yè)的效能進(jìn)行評(píng)估。第一，量化協(xié)同流程的效能評(píng)價(jià)標(biāo)準(zhǔn)。協(xié)同流程的效能評(píng)價(jià)包括協(xié)作效率、溝通頻率和問(wèn)題解決速度等。通過(guò)量化分析相關(guān)指標(biāo)，企業(yè)可以深入了解團(tuán)隊(duì)協(xié)作的表現(xiàn)，并確定潛在的風(fēng)險(xiǎn)點(diǎn)和流程優(yōu)化方向。第二，量化人員績(jī)效評(píng)價(jià)標(biāo)準(zhǔn)。企業(yè)應(yīng)當(dāng)建立和協(xié)同流程、數(shù)據(jù)開(kāi)發(fā)流程相匹配的團(tuán)隊(duì)和人員評(píng)價(jià)標(biāo)準(zhǔn)，包括但不限于對(duì)開(kāi)發(fā)效率、開(kāi)發(fā)質(zhì)量，以及項(xiàng)目交付準(zhǔn)時(shí)性等關(guān)鍵指標(biāo)的評(píng)估。第三，量化數(shù)據(jù)開(kāi)發(fā)各環(huán)節(jié)效能評(píng)價(jià)標(biāo)準(zhǔn)。通過(guò)監(jiān)控和分析數(shù)據(jù)準(zhǔn)備時(shí)間、質(zhì)量標(biāo)準(zhǔn)達(dá)成率、交付效率等關(guān)鍵指標(biāo)，企業(yè)可以發(fā)現(xiàn)數(shù)據(jù)開(kāi)發(fā)中存在的低效環(huán)節(jié)，從而優(yōu)化流程設(shè)計(jì)并合理配置資源。產(chǎn)業(yè)實(shí)踐產(chǎn)業(yè)實(shí)踐為了保證DataOps研發(fā)流水線能夠持續(xù)高效運(yùn)轉(zhuǎn)和迭代完善，企業(yè)需要有力的保障措施。本指南提出了組織、工具和安全三個(gè)維度的保障要求。這些要求的目標(biāo)是引導(dǎo)企業(yè)以全局最優(yōu)為目標(biāo)，保障數(shù)據(jù)研發(fā)流水線的平滑運(yùn)作。安全測(cè)計(jì)安全測(cè)計(jì)風(fēng)險(xiǎn)管理安全風(fēng)險(xiǎn)策略協(xié)作協(xié)同崗位角色組織架構(gòu)數(shù)據(jù)一體化運(yùn)維數(shù)據(jù)自動(dòng)化交付部署數(shù)推研發(fā)治理一體化數(shù)據(jù)需求管理1.系統(tǒng)工具系統(tǒng)工具是企業(yè)實(shí)踐DataOps理念的抓手，通過(guò)搭建完整且成熟的DataOps工具鏈，能夠?yàn)槠髽I(yè)的一體化數(shù)據(jù)研發(fā)治理能力提供強(qiáng)有力的技術(shù)支撐。DataOps系統(tǒng)工具應(yīng)具備強(qiáng)大的工具鏈集成能力，能夠整合企業(yè)現(xiàn)有的數(shù)據(jù)治理工具(如數(shù)據(jù)質(zhì)量管理工具、數(shù)據(jù)安全管控工具、元數(shù)據(jù)管理工具等)和數(shù)據(jù)開(kāi)發(fā)工具(如ETL工具、數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)科學(xué)平臺(tái)等)。通過(guò)高度集成這些工具，企業(yè)內(nèi)部可以形成一條完整、流暢的數(shù)據(jù)流水線，支持通過(guò)統(tǒng)一數(shù)據(jù)門(mén)戶集中展現(xiàn)和管理，并為不同角色的用戶提供便捷訪問(wèn)、使用、共享數(shù)據(jù)資源的能力，從而實(shí)現(xiàn)數(shù)據(jù)服務(wù)的自助化和標(biāo)準(zhǔn)化。數(shù)據(jù)需求管理指通過(guò)構(gòu)建數(shù)據(jù)需求全生命周期的管理能力來(lái)支持流程的設(shè)計(jì)和共享，并進(jìn)一步要求數(shù)據(jù)需求方主動(dòng)通過(guò)自助分析平臺(tái)進(jìn)行數(shù)據(jù)探查，滿足數(shù)據(jù)需求。數(shù)據(jù)需求管理分為數(shù)據(jù)需求生命周期管理、流程管理兩部分。在構(gòu)建數(shù)據(jù)需求的全生命周期管理過(guò)程中，系統(tǒng)工具的基本配置能力、需求分析與評(píng)估能力、需求分類(lèi)分級(jí)能力、需求跟蹤能力和需求變更管理能力是關(guān)鍵能力點(diǎn)。在工具管理能力之上，越來(lái)越多的企業(yè)逐漸意識(shí)到將工具能力與業(yè)務(wù)目標(biāo)關(guān)聯(lián)的重要性。需求管理工具通過(guò)提供互動(dòng)式需求分析與溝通確認(rèn)機(jī)制，提供需求影響分析能力，從而快速響應(yīng)業(yè)務(wù)需求變更，并評(píng)估變更對(duì)整體數(shù)據(jù)生態(tài)的影響。然而，數(shù)據(jù)需求的管理在實(shí)際應(yīng)用中仍面臨諸多挑戰(zhàn)，如彌合業(yè)務(wù)與開(kāi)發(fā)之間的溝通壁壘、應(yīng)對(duì)需求頻繁變更、確保需求一致性與追溯性，以及加強(qiáng)工具間的集成與自動(dòng)化水平等。 和追溯。一體化運(yùn)維工具在DataOps流水線中2.組織管理異同點(diǎn)目標(biāo)需求為主要目標(biāo)，側(cè)重于數(shù)速變化。內(nèi)負(fù)責(zé)特定數(shù)據(jù)環(huán)節(jié)，受困含數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師、人員之間更加密切地合作。注重全局最優(yōu)。治理團(tuán)隊(duì)、IT部門(mén)等。務(wù)能夠充分感知企業(yè)數(shù)據(jù)資產(chǎn)、利用數(shù)據(jù)資產(chǎn)。不同部門(mén)之間的協(xié)同和數(shù)據(jù)和整合。據(jù)流暢，減少數(shù)據(jù)孤立和延遲。相對(duì)保守和穩(wěn)定的文化，強(qiáng)調(diào)數(shù)據(jù)的可靠性和一致性，傾向和技術(shù)。鼓勵(lì)數(shù)據(jù)驅(qū)動(dòng)、全民用數(shù)的文化，鼓勵(lì)創(chuàng)速變化的業(yè)務(wù)需求。 擇在首席信息官的角色中增加數(shù)據(jù)職能。首席數(shù)據(jù)官的設(shè)立反映出企業(yè)越來(lái)越重視數(shù)據(jù)戰(zhàn)差異點(diǎn)多采用較為靜態(tài)的規(guī)則和流求適應(yīng)度上不夠靈活。團(tuán)隊(duì)集中管理，缺少更廣泛的團(tuán)隊(duì)參與。強(qiáng)調(diào)自服務(wù)數(shù)據(jù)治理，即賦予數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)和業(yè)務(wù)部門(mén)更多的權(quán)力來(lái)定義和維護(hù)數(shù)據(jù)治理規(guī)則。獨(dú)立，協(xié)同性較弱。數(shù)據(jù)治理團(tuán)隊(duì)、數(shù)據(jù)開(kāi)發(fā)團(tuán)隊(duì)、業(yè)務(wù)部門(mén)和IT部門(mén)共同完成，確保數(shù)據(jù)治理規(guī)則與實(shí)際開(kāi)發(fā)流程相集成。問(wèn)題。通過(guò)規(guī)章制度來(lái)進(jìn)行約束。營(yíng)造數(shù)據(jù)驅(qū)動(dòng)的文化，并通過(guò)培訓(xùn)來(lái)提高表2傳統(tǒng)數(shù)據(jù)治理團(tuán)隊(duì)vs.DataOps數(shù)據(jù)治理團(tuán)隊(duì)業(yè)務(wù)部門(mén)和治理規(guī)則(業(yè)務(wù)邏輯)收集用戶反饋和數(shù)據(jù)質(zhì)量報(bào)告和規(guī)劃按照需求和規(guī)劃收集用戶反饋和數(shù)據(jù)質(zhì)量報(bào)告設(shè)計(jì)數(shù)據(jù)架構(gòu)和規(guī)劃(數(shù)據(jù)質(zhì)量和合規(guī)性)監(jiān)控?cái)?shù)據(jù)質(zhì)量、收集用戶反饋和數(shù)據(jù)質(zhì)量報(bào)告IT部門(mén)設(shè)計(jì)數(shù)據(jù)架構(gòu)收集用戶反饋和數(shù)據(jù)質(zhì)量報(bào)告表3DataOps典型協(xié)同模式舉例3.安全管控研，具備最先進(jìn)安全能力的組織在五年內(nèi)的收入增長(zhǎng)率要比其他組織高出43%。企業(yè)通過(guò) (一)敏捷數(shù)據(jù)開(kāi)發(fā)取得穩(wěn)健成效，先行企業(yè)特征各異率提升50%,測(cè)試數(shù)據(jù)準(zhǔn)備效率提升10倍以上，北京銀行通過(guò)敏態(tài)數(shù)據(jù)研發(fā)模式將交付效能 (二)文化滲透促進(jìn)數(shù)據(jù)深度應(yīng)用，數(shù)據(jù)價(jià)值逐步釋放(三)組織變革促進(jìn)協(xié)同機(jī)制構(gòu)建，業(yè)數(shù)合作更加緊密上，2022年同2020年增長(zhǎng)14%。許多領(lǐng)頭企業(yè)建設(shè)了跨職能DataOps實(shí)施典型誤區(qū)解決思路：急用先行，把握節(jié)奏解決思路：急用先行，把握節(jié)奏解決思路：定權(quán)責(zé)、常溝通、重反饋、建流程、勤宣貫解決思路：定權(quán)責(zé)、常溝通、重反饋、建流程、勤宣貫 解決思路：業(yè)務(wù)導(dǎo)向，解決思路：業(yè)務(wù)