DataOps 實踐指南 2.0白皮書

CCSATC601大數據技術標準推進委員會2024年5月版權聲明編制說明前言版權聲明編制說明(一)敏捷數據開發(fā)取得穩(wěn)健成效，先行企業(yè)特征各異(二)文化滲透促進數據深度應用，數據價值逐步釋放(三)組織變革促進協(xié)同機制構建，業(yè)數合作更加緊密(四)數據研發(fā)治理流程初步搭建，質量管控初見成效(一)盲目跟風，沒有“量體裁衣”(二)決策機制模糊，導致資源浪費或投入不足(三)過度依賴技術解決所有問題(四)追求短期收益22(一)DataOps能力模型04(一)數據流程可觀測22(二)DataOps核心環(huán)節(jié)05(二)數據工程智能化22(三)DataOps實踐保障09(三)數據價值精準量化23圖目錄圖圖1DataOps能力模型框架04圖3DataOps保障措施框架09表目錄表1DataOps數據組織vs.傳統(tǒng)數據組織11表2傳統(tǒng)數據治理團隊vs.DataOps數據治理團隊12表3DataOps典型協(xié)同模式舉例131.形成敏捷數據產品開發(fā)流程 2.構建高效的跨域協(xié)同機制3.打造研發(fā)治理一體化流水線4.建立精細化的數據運營體系 2022年起，中國通信標準化協(xié)會大數據技術標準推進委員會牽頭成立了DataOps工作“4+3”的能力框架，即4個核心環(huán)節(jié)和3項實踐保障。如圖1組織組織管理業(yè)務價值系統(tǒng)工具管控研發(fā)管理數據運維交付管理價值運營成本管理持成本管理持續(xù)優(yōu)化變更管理監(jiān)控管理部署與發(fā)布管理測試管理配置管理需求管理為了不斷提高數據產品交付效率與質量，實現高質量數字化發(fā)展的目標，DataOps的數據流水線以數據工程化能力為核心，構建出數據研發(fā)管理、數據交付管理、數據運維和價值運營四個環(huán)節(jié)。數據研發(fā)管理數據交付管數據研發(fā)管理是指以研發(fā)治理一體化為目標，構建標準化的數據開發(fā)流程。企業(yè)在數據開發(fā)階段，構建數據研發(fā)治理一體化流程，將數據治理工作前置，把數據治理工作與數據開發(fā)工作有機結合，能夠加強數據治理與開發(fā)工作的協(xié)同配合，同時降低數據治理后置所產生的風險。此外，在數據研發(fā)階段加強對數據需求的約束，并利用自助分析能力來提前探查或解決部分數據需求，大幅提升了數據需求的溝通效率，減少了部分研發(fā)工作壓力。數據研發(fā)管理包括需求管理、設計管理、數據開發(fā)和自助分析四部分內容?！鲂枨蠊芾頂祿枨笫侵附M織對業(yè)務運營、經營分析和戰(zhàn)略決策過程中產生和使用數據的分類、含義、分布和流轉的描述。數據需求管理是指與數據需求的采集、分析、確認、實施和變更相關的全流程管理活動。需求管理分為數據需求收集、數據需求分析、數據需求確認、數據需求變更四部分內容。在實踐過程中，需求往往以碎片化的形式提出，如何從源頭上對需求進行有效歸集、分類、分析、追蹤和評估是需求管理的核心環(huán)節(jié)。此外，除了形成跨部門的需求協(xié)作流程和制度外，還應注重需求與研發(fā)過程的緊密聯(lián)動。需求管理應以需求背后的業(yè)務目標為導向，深入數據加工全鏈路，通過不斷評估優(yōu)化需求，形成促進業(yè)務目標的閉環(huán)。最后，需求管理的平臺工具需要支持與現有數據開發(fā)平臺、工作流管理工具的集成，支持需求與數據生命周期的關聯(lián)。2.數據交付管理3.數據運維4.價值運營價值運營是指以精益運營數據為目標，打造量化驅動變革的能力。企業(yè)基于量化指標對數源的可評估性和可控性，在數據開發(fā)過程中，具體需求的資源投入應能夠被準確評估和管控。在鼓勵創(chuàng)新的前提下，數據驅動與跨部門的協(xié)作是持續(xù)變革的原動力，在全周期引入反饋復盤機制，可加深團隊對過程的反思和理解。通過打破溝通壁壘、組建臨時小組、加強團隊間的分享協(xié)作等手段，能夠促進組織內有益變革的產生。目前行業(yè)內基于DevOps理念已形成一套軟件研發(fā)管理效能評價體系，而對數據研發(fā)全過程的效能評價標準仍處于缺失狀態(tài)。精益的數據運營管理體系至少要從協(xié)同流程、人員績效、數據開發(fā)各環(huán)節(jié)效能對企業(yè)的效能進行評估。第一，量化協(xié)同流程的效能評價標準。協(xié)同流程的效能評價包括協(xié)作效率、溝通頻率和問題解決速度等。通過量化分析相關指標，企業(yè)可以深入了解團隊協(xié)作的表現，并確定潛在的風險點和流程優(yōu)化方向。第二，量化人員績效評價標準。企業(yè)應當建立和協(xié)同流程、數據開發(fā)流程相匹配的團隊和人員評價標準，包括但不限于對開發(fā)效率、開發(fā)質量，以及項目交付準時性等關鍵指標的評估。第三，量化數據開發(fā)各環(huán)節(jié)效能評價標準。通過監(jiān)控和分析數據準備時間、質量標準達成率、交付效率等關鍵指標，企業(yè)可以發(fā)現數據開發(fā)中存在的低效環(huán)節(jié)，從而優(yōu)化流程設計并合理配置資源。產業(yè)實踐產業(yè)實踐為了保證DataOps研發(fā)流水線能夠持續(xù)高效運轉和迭代完善，企業(yè)需要有力的保障措施。本指南提出了組織、工具和安全三個維度的保障要求。這些要求的目標是引導企業(yè)以全局最優(yōu)為目標，保障數據研發(fā)流水線的平滑運作。安全測計安全測計風險管理安全風險策略協(xié)作協(xié)同崗位角色組織架構數據一體化運維數據自動化交付部署數推研發(fā)治理一體化數據需求管理1.系統(tǒng)工具系統(tǒng)工具是企業(yè)實踐DataOps理念的抓手，通過搭建完整且成熟的DataOps工具鏈，能夠為企業(yè)的一體化數據研發(fā)治理能力提供強有力的技術支撐。DataOps系統(tǒng)工具應具備強大的工具鏈集成能力，能夠整合企業(yè)現有的數據治理工具(如數據質量管理工具、數據安全管控工具、元數據管理工具等)和數據開發(fā)工具(如ETL工具、數據倉庫、數據科學平臺等)。通過高度集成這些工具，企業(yè)內部可以形成一條完整、流暢的數據流水線，支持通過統(tǒng)一數據門戶集中展現和管理，并為不同角色的用戶提供便捷訪問、使用、共享數據資源的能力，從而實現數據服務的自助化和標準化。數據需求管理指通過構建數據需求全生命周期的管理能力來支持流程的設計和共享，并進一步要求數據需求方主動通過自助分析平臺進行數據探查，滿足數據需求。數據需求管理分為數據需求生命周期管理、流程管理兩部分。在構建數據需求的全生命周期管理過程中，系統(tǒng)工具的基本配置能力、需求分析與評估能力、需求分類分級能力、需求跟蹤能力和需求變更管理能力是關鍵能力點。在工具管理能力之上，越來越多的企業(yè)逐漸意識到將工具能力與業(yè)務目標關聯(lián)的重要性。需求管理工具通過提供互動式需求分析與溝通確認機制，提供需求影響分析能力，從而快速響應業(yè)務需求變更，并評估變更對整體數據生態(tài)的影響。然而，數據需求的管理在實際應用中仍面臨諸多挑戰(zhàn)，如彌合業(yè)務與開發(fā)之間的溝通壁壘、應對需求頻繁變更、確保需求一致性與追溯性，以及加強工具間的集成與自動化水平等。 和追溯。一體化運維工具在DataOps流水線中2.組織管理異同點目標需求為主要目標，側重于數速變化。內負責特定數據環(huán)節(jié)，受困含數據架構師、數據工程師、人員之間更加密切地合作。注重全局最優(yōu)。治理團隊、IT部門等。務能夠充分感知企業(yè)數據資產、利用數據資產。不同部門之間的協(xié)同和數據和整合。據流暢，減少數據孤立和延遲。相對保守和穩(wěn)定的文化，強調數據的可靠性和一致性，傾向和技術。鼓勵數據驅動、全民用數的文化，鼓勵創(chuàng)速變化的業(yè)務需求。 擇在首席信息官的角色中增加數據職能。首席數據官的設立反映出企業(yè)越來越重視數據戰(zhàn)差異點多采用較為靜態(tài)的規(guī)則和流求適應度上不夠靈活。團隊集中管理，缺少更廣泛的團隊參與。強調自服務數據治理，即賦予數據開發(fā)團隊和業(yè)務部門更多的權力來定義和維護數據治理規(guī)則。獨立，協(xié)同性較弱。數據治理團隊、數據開發(fā)團隊、業(yè)務部門和IT部門共同完成，確保數據治理規(guī)則與實際開發(fā)流程相集成。問題。通過規(guī)章制度來進行約束。營造數據驅動的文化，并通過培訓來提高表2傳統(tǒng)數據治理團隊vs.DataOps數據治理團隊業(yè)務部門和治理規(guī)則(業(yè)務邏輯)收集用戶反饋和數據質量報告和規(guī)劃按照需求和規(guī)劃收集用戶反饋和數據質量報告設計數據架構和規(guī)劃(數據質量和合規(guī)性)監(jiān)控數據質量、收集用戶反饋和數據質量報告IT部門設計數據架構收集用戶反饋和數據質量報告表3DataOps典型協(xié)同模式舉例3.安全管控研，具備最先進安全能力的組織在五年內的收入增長率要比其他組織高出43%。企業(yè)通過 (一)敏捷數據開發(fā)取得穩(wěn)健成效，先行企業(yè)特征各異率提升50%,測試數據準備效率提升10倍以上，北京銀行通過敏態(tài)數據研發(fā)模式將交付效能 (二)文化滲透促進數據深度應用，數據價值逐步釋放(三)組織變革促進協(xié)同機制構建，業(yè)數合作更加緊密上，2022年同2020年增長14%。許多領頭企業(yè)建設了跨職能DataOps實施典型誤區(qū)解決思路：急用先行，把握節(jié)奏解決思路：急用先行，把握節(jié)奏解決思路：定權責、常溝通、重反饋、建流程、勤宣貫解決思路：定權責、常溝通、重反饋、建流程、勤宣貫 解決思路：業(yè)務導向，解決思路：業(yè)務